| dc.description.abstract | Artificiële Intelligentie (AI) is niet meer weg te denken uit de samenleving. Sinds de opkomst van ChatGPT heeft een groot deel van de wereldbevolking toegang tot een krachtig AI-model. ChatGPT onderscheidt zich van andere AI-modellen in het genereren van natuurlijk klinkende taal. Er is al veel anekdotisch bewijs over de capaciteiten van de chatbot als tekstschrijver, maar er ontbreekt nog serieus wetenschappelijk onderbouwd onderzoek. In mijn onderzoek stond de volgende vraag centraal: hoe herschrijven professionele redacteurs een functionele tekst en geeft een herschrijving van een functionele tekst door ChatGPT een vergelijkbaar resultaat? Ik heb deze vragen geoperationaliseerdin drie deelvragen:
• Deelvraag 1a: Hoe herschrijven professionele redacteurs een functionele tekst?
• Deelvraag 1b: Tot welk resultaat leidt een herschrijving door professionele redacteurs?
• Deelvraag 2: Tot welk resultaat leidt een herschrijving door ChatGPT, en is dit resultaat vergelijkbaar met professionele redacteurs?
Om deelvraag 1a te beantwoorden, heb ik een stimulated-recall-onderzoek uitgevoerd waarin drie professionele redacteurs van communicatiebureau Hendrikx van der Spek ieder vier brieven hebben herschreven. Om deelvraag 1b te beantwoorden, heb ik de herschrijvingen handmatig en via LiNT vergeleken met elkaar. LiNT is het leesbaarheidsinstrument van de Universiteit Utrecht. Ik heb de tekstkenmerkenscores die LiNT berekent, gebruikt om de teksten te vergelijken. Vervolgens heb ik ChatGPT dezelfde brieven laten herschrijven en de herschrijvingen wederom beoordeeld via LiNT. Ik heb de herschrijvingen van ChatGPT vergeleken met de originele brieven en de herschrijvingen van de redacteurs.
Mijn onderzoek wees uit dat professionele redacteurs werken volgens een tamelijk vaste structuur wanneer ze een tekst herschrijven. De herschrijvingen leidden bij alle redacteurs tot een verbetering van de originele tekst. Deze verbetering betreft meerdere tekstuele aspecten zoals structuur, stijl, inhoud en lezersgerichtheid. De teksten die ChatGPT herschreef, bleken in twee van de drie testcondities vergelijkbaar met de teksten van de redacteurs.
Het onderzoek kent een aantal beperkingen. Het stimulated-recall-onderzoek wijkt op een aantal punten af van het gebruikelijke proces dat redacteurs doorlopen, wanneer ze een tekst voor een opdrachtgever herschrijven. Zo was het voor schrijvers niet mogelijk om te overleggen met de opdrachtgever of hun eindproduct later nog te herschrijven. Verder is een stimulated-recall-methode afhankelijk van de geheugencapaciteit van de participant. Dit maakt dat de data die via deze methode zijn verkregen, altijd onderhevig zijn aan verkleuring, wat de validiteit aantast. Daarnaast is ChatGPT een complex onderzoeksobject. Het programma ontwikkelt zich zo snel dat de resultaten van mijn onderzoek mogelijk snel gedateerd zijn. Ook is het zo dat het non-deterministische algoritme varieert in response op identieke vragen. Dit maakt onderzoek zoals dit lastig repliceerbaar.
Mijn aanbeveling voor HVdS is om gebruik te maken van ChatGPT. Uit mijn onderzoek blijkt dat de redacteurs met een simpele prompt al veel tijd kunnen besparen. Dit kan het redactionele werk van HVdS een stuk efficiënter maken. Door verder te experimenteren met het model kan veel handmatig werk op termijn worden vervangen door AI. | |
