Aan de tand gevoeld
ChatGPT is een moeilijk geval. Het maakt indruk. Toch op het eerste gezicht… Maar is het wel betrouwbaar? Ik doe nog eens een test.
In online artikelen lees ik regelmatig foutieve zinnen als deze: "dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen". Deze specifieke zin staat in een artikel in Trends, maar ook andere bronnen produceren vrij vlot dergelijke 'onzinnen'. Als je ze leest wringt er ergens iets, maar het is niet zo simpel om dat simpel uit te leggen. Bijgevolg vroeg ik mij af wat ChatGPT hiervan zou zeggen; zou het mij een goede probleemomschrijving geven, of zou het de mist in gaan? Tot mijn verrassing: beide. Lees even mee.
Vraag
Wat is er fout aan de zin "Dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen."?
Antwoord
De zin "Dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen" bevat een fout in de zinsconstructie. Aha? Dat gaat de goede kant uit. De twee zinsdelen staan in een verkeerde samenhang. Zou kunnen. Het eerste deel ("Dat is eigenlijk logisch") is een mededeling, terwijl het tweede deel ("mogen we de partij niet kwalijk nemen") een vraagachtige constructie lijkt te suggereren ("lijkt te suggereren" is behoorlijk vaag, maar wel een handige uitdrukking) door het gebruik van inversie (omkering van onderwerp en werkwoord). Ik heb geen idee waar dit op slaat. Wat is het onderwerp in die tweede deelzin? Ik zou denken "we". Wat is het werkwoord? Oeps, er zijn er twee. En waar zit die inversie? Ik ben niet mee. Dit leidt tot verwarring, omdat er geen vraag gesteld wordt. Aha. ChatGPT suggereert dat onderwerp en werkwoord zijn omgekeerd ("mogen we" i.p.v. "we mogen"), wat normaal gezien duidt op een vraag, maar er wordt geen vraag gesteld (er is geen vraagteken), dus dat veroorzaakt verwarring.
Om de zin correct te maken, moet de structuur worden aangepast, bijvoorbeeld door de delen gelijkwaardig te maken of de inversie te vermijden. Mogelijke correcties zijn:
1. "Dat is eigenlijk logisch, en we mogen de partij niet kwalijk nemen."
– Beide delen zijn nu gelijkwaardig als mededelingen. Hier is inderdaad "mogen we" vervangen door "we mogen", conform de hypothese van de foutieve omkering. En met wat goede wil geeft dat inderdaad twee mededelingen. Maar dat maakt de zin niet beter. De twee deelzin heeft nog steeds geen verband met de eerste, en erger nog: heeft geen betekenis. Deze oplossing is waardeloos.
2. "Dat is eigenlijk logisch, dus mogen we de partij niet kwalijk nemen."
– Dit maakt de redenatie duidelijker en geeft een logische volgorde aan. De 'dus' lijkt inderdaad een logische volgorde te geven. Maar van een verduidelijking van Joost weet welke redenatie is absoluut geen sprake, en aan een logische volgorde hebben we niks als de tweede deelzin betekenisloos blijft. Volgens de Grote Van Dale heeft 'redenatie' overigens een negatieve gevoelswaarde; vreemd dat niet 'redenering' gebruikt werd.
Kortom, het probleem ligt in de onjuiste inversie in de tweede helft van de zin. Een groot probleem ligt in ChatGPT, als je het mij vraagt.
______________
Nieuwe vraag
Beschouw de zin "Dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen". In de eerste deelzin is "dat" het onderwerp, in de tweede zin is de weggelaten "dat" het lijdend voorwerp. Is dat goed of fout? Ik geef ChatGPT deze keer de pap in de mond.
Nieuw antwoord
De constructie in de zin "Dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen" is inderdaad problematisch omdat het weglaten van "dat" voor verwarring zorgt. Aha!? Tweede keer, goeie keer? In het eerste deel van de zin ("Dat is eigenlijk logisch") is "dat" het onderwerp. Inderdaad. In het tweede deel van de zin ("mogen we de partij niet kwalijk nemen") lijkt "dat" het lijdend voorwerp te moeten zijn, maar het is weggelaten, wat leidt tot een onduidelijke en incorrecte constructie. Voilà. Meer moet dat niet zijn.
De zin combineert twee verschillende functies van "dat" op een onjuiste manier. In de tweede deelzin moet "dat" expliciet vermeld worden, omdat het daar als lijdend voorwerp functioneert. Zonder die vermelding is de zin grammaticaal fout. Ik heb mijn twijfels omtrent de bevoegdheid van ChatGPT om iets "grammaticaal fout" te noemen, maar ik ben het wel eens met de conclusie.
Een correcte versie van de zin zou bijvoorbeeld zijn:
– "Dat is eigenlijk logisch, en dat mogen we de partij niet kwalijk nemen."
Hier is "dat" in de tweede deelzin expliciet en fungeert het als lijdend voorwerp, wat de zin grammaticaal correct maakt.
Dus ja, het weglaten van "dat" in de tweede deelzin is fout. Alstublieft, dank u wel. Je zou het ook als volgt kunnen verwoorden: door het weglaten van "dat" in de tweede deelzin wordt de betekenis van "dat" uit de eerste deelzin impliciet overgenomen naar de tweede, maar in de eerste deelzin is "dat" het onderwerp, en in de tweede is "dat" het lijdend voorwerp, en niet het onderwerp, en dát verschil veroorzaakt de verwarring.
______________
Bijvraag
Dit tweede antwoord is correct. Welke bronnen zijn hierbij gebruikt?
Antwoord
Voor dit antwoord heb ik geen specifieke externe bronnen gebruikt. Jammer; die had ik nochtans graag gezien, om ze door te geven aan veelplegende kranten. Het is gebaseerd op algemene kennis van de Nederlandse grammatica en taalkundige regels, zoals het onderscheid tussen zinsdelen (onderwerp, lijdend voorwerp) en de regels omtrent het gebruik van "dat" in samengestelde zinnen. Zou het?
Als je meer wilt weten over specifieke taalregels, kan ik verwijzen naar bekende Nederlandse taalbronnen zoals de Taalunie of Onze Taal, maar in dit geval was de uitleg gebaseerd op fundamentele grammaticaregels. Die ChatGPT op één of andere manier zou verworven hebben? Vanwaar kwam dan de onzin in het eerste antwoord? Gaan we er ons vanaf maken met een eenvoudige "ChatGPT hallucineert soms"?
Het probleem
ChatGPT beweert dat het een antwoord geeft dat gebaseerd is op algemene kennis van de Nederlandse grammatica en taalkundige regels, maar slaat niettemin de bal volledig mis bij de eerste vraag. Bekijk dit nu even in een groter kader, bv. dat van iemand die Nederlands als vreemde taal wil leren. Dan moet je toch stellen dat, ondanks het goede antwoord op de tweede vraag, ChatGPT niet betrouwbaar is. Wie de taalkundige regels niet kent, kan toch niet weten wanneer ChatGPT hallucineert, en wanneer niet. Een willekeurige taalcursist die de eerste vraag stelt, en het eerste antwoord krijgt, wordt bedrogen. Dit is toch niet aanvaardbaar?
Afhankelijk van de vraag krijg je al dan niet een correct antwoord. Het antwoord op de eerste vraag was fout, dat op de tweede was correct. Om ChatGPT verder te testen (ik dacht eerst 'pesten', maar dat zal het ding allicht niet raken), stel ik de vraag opnieuw, weer anders geformuleerd.
Vraag
Is de zin "Dat is eigenlijk logisch en mogen we de partij niet kwalijk nemen" correct?
Antwoord
De zin is bijna correct, maar er is een kleine aanpassing nodig. Interessante verwoording; ik ben benieuwd. Het woord "mogen" kan verwarrend zijn in deze context. Huh?? Een betere formulering zou zijn: "Dat is eigenlijk logisch, en we mogen de partij dat niet kwalijk nemen." Het gebruik van "dat" maakt de zin duidelijker. Min of meer…
Het antwoord is nu niet duidelijk fout, zoals bij de eerste vraag, maar ook veel minder duidelijk correct zoals bij de tweede. Het essentiële feit dat 'dat' niet mocht weggelaten worden, omdat de functie ervan in de eerste en tweede deelzin verschilt, ontbreekt nu helemaal. De positie van 'dat' in de gecorrigeerde zin is bovendien alles behalve optimaal, wat ook hier weer de indruk wekt dat ChatGPT er met de klak naar gooit. Maar als je weet dat ChatGPT louter op statistische basis werkt, en geen begrip heeft van zijn eigen antwoorden, is dat ook weer begrijpelijk.
En toch wordt ChatGPT veel gebruikt. Zegt men… Wat zou ChatGPT daar zelf van zeggen?
Vraag
Wordt ChatGPT veel gebruikt?
Antwoord
Ja, ChatGPT wordt veel gebruikt door mensen over de hele wereld voor verschillende doeleinden, zoals het beantwoorden van vragen, het genereren van teksten, het helpen met leren, en zelfs voor creatieve schrijfprojecten. De populariteit blijft groeien naarmate meer mensen de voordelen ervan ontdekken!
Dit is pure promotie van ChatGPT, als je het mij vraagt. Geen woord over de nadelen. Nu zal je zeggen dat dat ook niet gevraagd was, maar ik had evenmin gevraagd om deze reclame. Ik kan mij niet voorstellen dat dit antwoord statistisch is afgeleid uit onafhankelijke bronnen, dus ik vrees dat het op één of andere manier in ChatGPT voorgeprogrammeerd is. En wat zit daar dan nog allemaal voorgeprogrammeerd…?
Uit een onverdachte bron, VRT, december 2023 (alhoewel; welke bronnen zijn nog onverdacht als het over Big Tech gaat…): De balans na 1 jaar ChatGPT: meer dan 100 miljoen gebruikers, maar ook veel critici. De kritiek slaat dan vooral op het gigantische energieverbruik, niet op de zogenaamde hallucinaties.
Dus, veel mensen gebruiken ChatGPT. Je kan er donder op zeggen dat die niet allemaal voldoende kritisch of taalkundig onderlegd zijn om de kwaliteit van de antwoorden te beoordelen. Stel je ook eens de gemiddelde werknemer voor die ChatGPT gebruikt om een probleem op te lossen. Met de huidige neoliberale nadruk op individuele prestaties is het voor werknemers veel belangrijker een probleem af te handelen dan permanent op te lossen, want ze worden betaald voor het afhandelen van een probleem (wat dankzij digitalisering eenvoudig te constateren is), en niet voor de kwaliteit van de oplossing. Dit is de eeuwige strijd waarin efficiëntie het doorgaans wint van effectiviteit.
Een antwoord van ChatGPT wordt altijd aanvaard als dat helpt om een probleem af te handelen, ongeacht de kwaliteit van de oplossing. ChatGPT is een zegen voor efficiëntie, maar een vloek voor effectiviteit.
En op het vlak van taal zit er nog een adder onder het gras. ChatGPT heeft het lef om te verwijzen naar de Taalunie en Onze Taal, maar de Taalunie zelf laat taalregels los (!)(zie Normen en taalevolutie). Als ChatGPT dat gebrek moet opvangen, is de ondergang van het Standaardnederlands niet meer af te wenden.
Basale fouten?
Ik maak het mijzelf moeilijk door die vraag te stellen, omdat ik voor dit artikel niet van een specifieke basale fout vertrokken ben, maar basale fouten zijn nu eenmaal de basis van deze blog, dus doe ik een poging.
Gebrekkige aspectscheiding? – Het verschil tussen een probleem afhandelen (waar ChatGPT goed kan bij helpen) en een probleem oplossen (waarvoor ChatGPT niet betrouwbaar genoeg is) mag wel eens scherper belicht worden.
Overbodige complexiteit? – Dit is minder duidelijk. Big Tech zal generatieve A.I.-tools allicht niet overbodig vinden, want ze verstevigen de greep van Big Tech op de maatschappij. Als je ziet welke bedragen er omgaan bij de verspreiding van A.I., dan moet het om grote belangen gaan. Voor veel gebruikers is ChatGPT een zegen, omwille van de efficiëntie, dus die zullen het ook niet overbodig vinden. Complex is het zeker, maar een systeem is pas overbodig als het geen verbetering teweegbrengt, maar dat is moeilijk te bepalen. Dus: onzeker.
Parallelle processen? – Ik vrees van wel, als je ChatGPT zet naast het alternatief: opzoeken via een browser. Als ChatGPT je geen bruikbaar antwoord levert (gesteld dat je dat kan en wil ontdekken), dan kan je via een zoekmachine zelf op zoek gaan naar bronnen. Mijn ervaring met bronnen die door ChatGPT worden vermeld, is overigens dat die zeer beperkt zijn; dus ook ChatGPT lijkt een vraag eerder af te handelen dan zo goed mogelijk te beantwoorden, mogelijk ook weer omwille van de efficiëntie. Bijgevolg kan een eigen opzoeking wel eens heel andere bronnen en dan ook een heel ander antwoord opleveren. Het feit dat zoekmachines nog altijd beschikbaar zijn vergoelijkt een tolerantie voor fouten van ChatGPT, die daardoor meer toelaatbaar lijken. Maar het omgekeerde geldt evenzeer. Als je zelf geen bruikbare bronnen vindt, kan ChatGPT wel helpen, al is het met een hallucinatie. En wie maalt dan nog om fouten in een zoekmachine?
Systeem van het 7e knoopsgat? – Dat zeker, op twee manieren zelfs.
– In mijn testen bewijst ChatGPT keer op keer zijn onbetrouwbaarheid; om die reden (en nog een paar andere, zoals energieverbruik en groei van de ongelijkheid) zou de maatschappij het gebruik van generatieve A.I. beter niet toelaten. Omdat we echter Big Tech achternalopen (bv. omdat Big Tech belooft om de klimaatcrisis op te lossen) geloven we in de kracht van de menselijke geest om de nadelen te omzeilen, waarmee we echter geen rekening houden met het gemak van diezelfde geest om zich te laten vangen.
– Erger nog: door ChatGPT antwoorden te laten bedenken op onze vragen, verleren we zelf (1) de informatie te vergaren en (2) de antwoorden te formuleren. Een niet te onderschatten nadeel. Of Big Tech dat ook als een nadeel ziet, of eerder als een voordeel voor de neoliberale economie en voor het managerialisme, zal m.i. in het komende decennium duidelijker worden.
Voorbarige extrapolatie? – Onduidelijk. In de uitdrukking "De populariteit blijft groeien naarmate meer mensen de voordelen ervan ontdekken!", een beetje hoger, wordt wel geëxtrapoleerd; gezien de onbetrouwbaarheid van generatieve A.I. kan ik alleen maar hopen dat die extrapolatie ook voorbarig is…
Vlag- en ladingprobleem? – Niet opvallend. Deze basale fout komt zodanig veel voor dat je zou denken dat ze overal een rol speelt. Veel voorbeelden heb je niet nodig om in te zien dat intelligentie bij generatieve A.I. ver te zoeken is, maar een duidelijk vlag-en-ladingprobleem is dit niet op het eerste gezicht. Maar, zoals gewoonlijk, na dit zeven keer herlezen te hebben, maak ik toch een bedenking: mogen we generatieve A.I. wel 'intelligentie' noemen? Een tool als ChatGPT verwerkt emotieloze gegevens op basis van statistiek. Als hier al intelligentie mee gemoeid is, dan zit die in het bedenken van vernuftige wiskundige processen, maar niet in de antwoorden van dat domme systeem op de vragen van gebruikers die er ook niet slimmer van worden. Misschien hebben we het dan beter over Statistische Hulp bij InformatieTracering, afgekort tot… juist, ja.
