Chatbots: een plaag voor de mensheid

[Update 13/1/23: en toen kwam eind 2022 ChatGPT — een ‘Large Language Model’ (LLM) — en verbaasde ons met perfecte zinsbouw die ook nog eens to the point was. De meeste chatbots zijn nog altijd gebaseerd op de ‘expertsysteem’ technologie uit de jaren 1980, maar ChatGPT lijkt aan te tonen dat dat niet nodig is. Helaas, die conclusie is wat te snel. Zie: Cicero and chatGPT — signs of AI progress? (Engels)]

Wie heeft er ooit contact gehad met een chatbot van het type helpdesk en was tevreden en onder de indruk? Uit persoonlijke ervaring: mijn tevredenheid schommelt rond -5 op een schaal van 1 tot 10. Is die van jou anders? [The english version of this post is here]

Als IT-er weet ik ook waarom chatbots over het algemeen worden ingezet. Echte mensen die uw vragen beantwoorden, zijn in veel opzichten duur. Een chatbot is veel goedkoper. Helaas krijgt jouw klant waar jij voor betaalt.

Chatbots zijn ook om een ​​andere reden interessant. Met alle recente berichtgeving over AI, zou je kunnen denken dat AI echt intelligent is. Maar chatbots zijn een perfect voorbeeld dat de AI-hype van vandaag niet veel verschilt van de AI-hype 30 en 50 jaar geleden (Yep. Er was al een AI-hype vijftig jaar geleden). In werkelijkheid zijn chatbots idioten. Nogal irritante idioten zelfs. Ze helpen misschien alleen bij de eenvoudigste problemen, en daarom vind ik ze in het algemeen frustrerend irriterend. Eenvoudige problemen kan ik over het algemeen zelf oplossen. Als ik hulp nodig heb, ben ik voorbij “heb je hem aangezet?”, Dus mijn perspectief is scheef. Toch laat mijn interactie met hen zien hoe ‘slim’ (lees: ‘dom’) ze eigenlijk zijn en met wat voor soort (mislukte) AI-technologie uit de jaren 80 we eigenlijk te maken hebben.

“1980’s?”, Hoor ik je zeggen. Ja: jaren 80. Omdat je ofwel nog niet op de hoogte was van de ‘eerste golven van AI’, of je had het idee dat onze huidige situatie in AI qua technologie heel anders is dan vroeger en dus niet zal eindigen in hetzelfde soort fiasco. Maar schijn misleidt hier. De meeste chatbots (waarschijnlijk allemaal buiten het domein van puur onderzoek) zijn taakgerichte chatbots, wat betekent dat ze zijn gebaseerd op een door mensen gemaakt model van een beperkte probleemruimte, waarbij de tekst die je invoert, wordt gebruikt om uit de ene toestand in dat model te komen naar een andere toestand. In wezen zijn dergelijke modellen precies hetzelfde als wat in de jaren tachtig de voorhoede van AI was: het ‘expertsysteem’. Ik krijg een déjà-vu: de eerste code die ik in een baan schreef, was een frontend in C voor een expertsysteem geschreven in Prolog, maar ik dwaal af, zoals gewoonlijk. Tegenwoordig is de taalanalyse misschien een diep neuraal netwerk of is het gewoon het gebruik van triggerwoorden. Maar de techniek waarmee je wordt geconfronteerd, lijkt veel op het expertsysteem van lang geleden.

Terug naar 2020. Onlangs moest ik communiceren met de chatbot van Marktplaats, een Nederlandse online markt die eigendom is van eBay. eBay is geen kleine jongen, dus ik kan aannemen dat de gebruikte chatbot-technologie niet de Action-versie is, maar iets serieus. Eigenlijk zijn al mijn andere ervaringen met chatbots van grote organisaties hetzelfde, dus Marktplaats is een prima voorbeeld. De situatie was deze: ik wilde kijken naar een gesprek dat ik had met iemand die bijna een jaar geleden iets van mij had gekocht. De reden was dat ik iets anders ging aanbieden en ik had beloofd het hem te vertellen zodra het beschikbaar kwam. Omdat ik mijn beloftes graag nakom, ging ik op zoek naar zijn berichten op de website. Maar al mijn berichten ouder dan zes maanden waren verdwenen. Ik herinnerde me — waarschijnlijk ten onrechte — dat ik nog maar een paar maanden geleden berichten van jaren terug had gezien, dus ik vroeg me af, waar zijn mijn oude berichten gebleven? Dus, start de helpfunctie op de website en de chat begint:

CB: Welkom bij Marktplaats. Waarmee kan ik je helpen?

GW: Waar zijn mijn oude berichten?

CB: Goed om te weten: Nu meer dan ooit is het onze taak om vraag en aanbod goed bij elkaar te brengen. Met coronahulp kan jij hulp aanbieden of hulp vragen, voor jezelf of anderen. Voor meer informatie verwijzen wij jou graag naar onze Help en Info pagina.

CB: Wil je weten waar je een overzicht vindt van je verstuurde berichten?

De chatbot-‘toestandsmachine’ (state machine) heeft, bij de analyse van mijn vraag, mijn toestand gezet als ‘proberen overzicht te vinden van verzonden berichten’. Ik heb daar niet om gevraagd, maar mijn vraag had wel het woord ‘berichten’ en het woord ‘waar’ en dit is waarschijnlijk de meest gestelde vraag op basis van die twee woorden. Je moet heel eenvoudig en duidelijk praten, anders raken ze in de war. Dus om de chatbot te vertellen dat dit niet mijn toestand is, begin ik met een duidelijk ‘nee’ en herhaal mijn vraag.

GW: Nee, waar mijn oude berichten zijn

De chatbot weet nu dat mijn toestand niet ‘probeert een overzicht van verzonden berichten te vinden’, dus het valt terug op het vaststellen of ‘berichten’ echt mijn probleemgebied is. Ik had tenslotte zoiets kunnen schrijven als “Ik heb berichten ontvangen waarin ik korting krijg, maar die heb ik nooit gekregen” en die vraag gaat niet over berichten — ook al staat het er wel — maar over korting.

CB: Als ik het goed begrijp, ervaar je problemen met je berichten. Klopt dat?

GW: Ja

CB: De meeste problemen met Berichten worden opgelost door de volgende domeinnamen van Marktplaats toe te voegen aan veilige afzenders binnen je e-mailaccount:
– @marktplaats.nl
– @mail.marktplaats.nl
– automatisch@marktplaats.nl

CB: Hoe je dit kunt doen, kun je lezen op de website ‘Veilige Afzender’. Is er nog iets anders waarmee ik je kan helpen?

Ten eerste gaat de chatbot — met die laatste zin — ervan uit dat hij mijn vraag goed heeft beantwoord, wat natuurlijk nogal irritant is. Het heeft me blijkbaar in de toestand ‘berichten komen niet aan’ gebracht. Nogmaals, dat is waarschijnlijk een vaak voorkomend probleem, met filters voor ongewenste e-mail en zo. Maar het is — nogmaals — niet mijn probleem, en ik heb op geen enkele manier gezegd dat het dat is. Dus ik vertel de chatbot zo simpel mogelijk dat dit niet mijn probleem is:

GW: Dit is niet mijn probleem

CB: Ik snap niet helemaal wat je bedoelt. Mag ik je nogmaals vragen waar het over gaat?

Dus de chatbot is terug bij het begin. Dus ik begin opnieuw.

GW: Waar zijn mijn oude berichten?

CB: Als ik het goed begrijp, ervaar je problemen met je berichten. Klopt dat?

Hmm, die heb ik eerder gezien. De chatbot stelt mijn toestand voorlopig in op ‘berichtenproblemen’. Het negeert ook het woord ‘oud’, dus het heeft daar geen emplooi voor. Op dit punt kan ik concluderen dat het geen idee heeft wat ‘oude berichten’ zijn, het zit niet in het expertsysteem / de toestandsmachine. Maar dat weet ik nog niet, ik hoop nog steeds tegen alle verwachtingen in, dus:

GW: Ja

CB: De meeste problemen met Berichten worden opgelost door de volgende domeinnamen van Marktplaats toe te voegen aan veilige afzenders binnen je e-mailaccount:
– @marktplaats.nl
– @mail.marktplaats.nl
– automatisch@marktplaats.nl

CB:Hoe je dit kunt doen, kun je lezen op de website ‘Veilige Afzender’. Is er nog iets anders waarmee ik je kan helpen?

Ik word teruggezet waar ik eerder was. Ik krijg ook hetzelfde antwoord dat ik al kreeg en waarvan ik zei dat dit niet mijn probleem is. Hier aangekomen kan ik dit jaren volhouden — nou ja, niet echt, zij kunnen het, ik kan het niet — dus ik maak een bericht dat ik hoop dat ik me in de toestand ‘menselijke hulp nodig’ zal brengen:

GW: Deze chatbot is waardeloos

CB: Het spijt me dat ik geen goed antwoord heb kunnen geven. Wil je misschien contact opnemen met mijn collega’s?

Ik ben blijkbaar — zie hieronder — in de voorlopige toestand ‘wil een mens spreken’ gezet en de chatbot controleert of dit klopt. Dus ik antwoord:

GW: Ja

CB: Misschien kan ik je ook verder helpen met je vraag of opmerking en anders kan ik checken wat de contactopties zijn. Waarover wil je contact opnemen?

De toestand waarin ik zit is kennelijk: ‘heeft gevraagd om een mens te spreken’. In deze toestand probeert het me allereerst weg te houden van die — dure — optie. Dat de chatbot al gefaald heeft als je hier komt is geen onderdeel van het model, dus krijg ik die irritante eerste suggestie. (“Nee! Heb ik al geprobeerd! Stoute chatbot!”)

Ik maak nu een fout, maar dat is niet helemaal onlogisch, want de laatste vraag is waarschijnlijk bedoeld als ‘wil je verder met mij of met een mens?’ maar is niet helemaal duidelijk. Ik heb dit blijkbaar foutief gelezen als “waar neem je contact over” als resultaat.

GW: Mijn berichten

CB: Ik kan je ook meer informatie geven over een overzicht van je verzonden berichten⁠. Wil je dit?

De chatbot probeert het nog een keer met een voorlopige toestand die ik al heb afgewezen. Ik krijg het gevoel dat ik een sadistische versie van Adventure aan het spelen ben. “You’re in a maze of little twisty passages, all different“.

GW: Nee.

CB: Mijn collega komt zo met je live chatten. Om je nog sneller te helpen, kan ik alvast wat gegevens doorgeven. Wat is je naam?

Hoera! Ik mag een mens spreken! ik antwoord

GW: Gerben

CB: Mijn collega komt er zo bij. Je kunt op elk moment aangeven dat je niet meer wilt wachten.

“Alsjeblieft! Alsjeblieft! Gebruik geen dure agent. Gebruik mij alsjeblieft of ga weg!”.

Nu krijg ik ongeveer elke dertig seconden een bericht. Er is variatie, blijkbaar om me te kalmeren en het gevoel te geven dat ik tegen iets mensachtigs praat, respect waardig ‘en niet een systeem dat vooral als eerste verdedigingslinie fungeert om te voorkomen dat ik de hulp krijg die ik nodig heb en dat ik echt vriendelijk willen zijn met een bot instrument.

CB: Nog even geduld, mijn collega helpt je zo.

CB: Nog even geduld, mijn collega helpt je zo.

CB: Nog even geduld alsjeblieft.

CB: Het is nog even wachten op mijn collega. Dit duurt nog maximaal 8 minuten.

“We hebben de meeste mensen in de helpdesk ontslagen en vervangen door een ultramoderne chatbot. Onze aandeelhouders zijn blij. Is dat niet geweldig?”

CB: Een ogenblik geduld alsjeblieft.

CB: Een ogenblik geduld alsjeblieft.

CB: Nog even geduld alsjeblieft.

CB: Nog even geduld, mijn collega helpt je zo.

CB: Moment geduld alsjeblieft.

CB: Nog even geduld alsjeblieft.

CB: Nog even een momentje, mijn collega komt je zo helpen.

CB: [Naam agent] schrijft een bericht …

[Het bleek dat ze na een paar maanden je oude berichten gewoon weggooien]

Dit, ben ik bang, is de stand van de techniek in AI met betrekking tot interactie met mensen. En ik ben ook bang dat dit niet zo veel verschilt van wat het 30 (!) jaar geleden was, hetgeen opvallend is gezien de ongelooflijke groei van rekenkracht sindsdien. Als je me niet gelooft, lees dan het korte stukje The State of Chatbots in 2019, over de chatbot Mitsuku, viervoudig winnaar van de Loebner-prijs, een prijs die jaarlijks wordt uitgereikt aan de meest mensachtige chatbot.

Expertsystemen zijn — hoe je er ook mee interacteert — lastig en duur om te onderhouden en broos. Ze schalen niet goed. Dus tenzij het probleemdomein echt beperkt en eenvoudig is, zullen ze niet goed werken. Ze zijn — over het algemeen — een herhaling van een van de mislukte pogingen tot AI.

Je zult mij ​​niet horen zeggen dat alle huidige AI onzin is. Zeker niet. Een fraai voorbeeld over het ontdekken van nieuwe antibiotica werd bijvoorbeeld gegeven in IT is Us. In Something is (still) rotten in the kingdom of artificial intelligence heb ik geschreven dat de diepe neurale netwerken en andere statistische benaderingen veel krachtiger zijn dan de AI van 30 of 50 jaar geleden. Maar in datzelfde artikel heb ik ook uitgelegd waarom iets dat lijkt op werkelijke ‘intelligentie’ niet van statistische methoden op digitale computers te verwachten is en dat die methodes een aantal essentiële zwakheden hebben die over het algemeen over het hoofd worden gezien.

Een aspect van deze ‘derde golf van AI’ waarin we ons bevinden, is dat het nog steeds voor een groot deel is gebaseerd op de veronderstelling dat wat we doen ons uiteindelijk de gewenste resultaten zal opleveren, zelfs als die uitkomsten momenteel nergens te bekennen zijn. Neem het toch kritische artikel The State of Chatbots in 2019 dat ik eerder noemde. Hier is een citaat:

We kunnen verwachten dat chatbots de komende jaren aanzienlijk zullen verbeteren, naarmate de natuurlijke taalverwerking in AI verbetert en zich uitbreidt. Grote technologiebedrijven bouwen nu al regelmatig diepe neurale netwerktechnologie waarmee spraakherkenningsprogramma’s mensen beter kunnen begrijpen en en beter met ze communiceren. Zodra er meer diepe neurale netwerken worden ingezet, zullen chatbots de klassieke Turing-test overtreffen, veel gaan voorkomen op het internet en een minder ongemakkelijk onderdeel van ons dagelijks leven worden. Sommige experts beweren zelfs dat chatbots op een dag zouden kunnen evolueren tot een vervanging van de zoekbalken in onze web-browsers.

Dit kan worden samengevat als “Het werkt nu nog niet zo goed, maar we kunnen verwachten dat het in de nabije toekomst erg goed zal werken, uitgaande van de aanname dat problemen kunnen worden overwonnen”. Precies dergelijke uitspraken werden al gedaan in de jaren zestig en tachtig en zoals Hubert Dreyfus al in het begin van de jaren zeventig aantoonde, zijn ze gebaseerd op onjuiste aannames die diep in onze cultuur zijn verankerd: de overtuiging dat intelligentie op menselijk niveau iets te maken heeft met logica (nogal weinig, zo weten we inmiddels). Als de eerste golven van AI één ding lieten zien, was het een experimentele verificatie dat filosofen als Oom Ludwig gelijk hadden. Het kostte de AI-gemeenschap ongeveer 30 jaar en twee AI-winters om eindelijk toe te geven dat Dreyfus gelijk had toen hij erop wees. Serieus: lees mijn boek over Enterprise Architecture (een ander grotendeels mislukte discipline) niet. Als je één niet-techneutisch boek over IT leest, lees dan What Computers (Still) Can’t Do, door Hubert Dreyfus, zijn volledige en totale ontmaskering van de eerste 10 (editie 1), 20 (editie 2), of 30 (editie 3) jaren van AI, inclusief een ontleding van de hype van die jaren en het inzicht waar die hype op gebaseerd was (hetzelfde waar het nu op gebaseerd is).

Het is momenteel een goed moment om in de AI werkzaam te zijn. En ik ben ervan overtuigd dat datawetenschapper en neurale netwerkingenieurs blijvertjes zijn, hoewel waarschijnlijk niet in de aantallen die velen nu denken. De huidige statistische AI ​​is buitengewoon krachtig in de handen van mensen. Miljarden worden nu geïnvesteerd in de belofte van toverachtige resultaten. Het zou best kunnen dat deze derde AI-golf óók wordt gevolgd door een AI-winter, hoewel ik vermoed dat het concrete nut van de statistische methoden deze winter minder hard zal maken. Zo zijn sommige vertalingen door Google Translate verbluffend goed (maar bakt hij er op een ander moment een potje van, als je statistisch gezien tegen een onwaarschijnlijk maar fout resultaat aanloopt).

En chatbots? Dat is er een waar ontevredenheid van klanten uiteindelijk waarschijnlijk een limiet zal stellen aan het gebruik ervan om de klant weg te houden van de kostbare helpdeskmedewerkers. Voor de gebruiker is er natuurlijk wel het voordeel dat je je 24/7 kunt laten martelen, dat wel. Pas dus op voor iedereen die ze je aan de hand probeert te doen, of erger nog, je probeert te overtuigen van een droom waarin chatbots echt intelligent kunnen worden en kunnen worden gebruikt voor complexe interacties met echte mensen. Die droom liep al in de jaren 1980 op de klippen…

PS. Er zijn chatbots die echt werken. In een domein dat uiterst eenvoudig is, kun je een zinvolle en effectieve interactie hebben. Bijv. een chatbot waar je een plaats in een afsprakenkalender kunt reserveren (heel eenvoudig domein, hoeft alleen data en tijden te begrijpen en een kalender). In sommige landen kun je abonnementen opzeggen via je creditcard, gewoon de terugkerende betaling annuleren. Er bestaat dus een service die je creditcardafschriften scant op terugkerende items, deze markeert als abonnementen en u deze laat opzeggen door ‘annuleren’ te typen. Dergelijke chatbots lijken ‘chat’-gebaseerd, maar ze lijken meer op ietwat vage’ commando’-interfaces. Het is niet wat een mens ‘chatten’ zou noemen.