Wordt het effect van generatieve AI op de productiviteit overschat?

In mijn dagelijks werk merk ik dat een toepassing als ChatGPT mij best wat werk uit handen neemt. Dit is echter anekdotisch bewijsmateriaal. In Is GenAI’s Impact on Productivity Overblown? plaatsen Ben Waber en Nathanael J. Fast kanttekeningen bij de opvatting dat generatieve AI zal leiden tot een hogere productiviteit.

An image depicting a researcher analyzing the effectiveness of AI and video on educational outcomes.
DALL-E: An image depicting a researcher analyzing the effectiveness of AI and video on educational outcomes.

Adviesbureaus als McKinsey en Nielsen hebben volgens Waber en Fast hoge verwachtingen van deze technologie. Zij voorspellen aanzienlijke winsttoenames en verbeteringen in werknemersproductiviteit. Waber en Fast stellen echter dat je voorzichtig moet zijn met het organisatiebreed integreren van large language models (LLM’s) in bedrijfsprocessen, maar eerst moet experimenteren. De impact van deze technologie heeft namelijk vooral betrekking op taakniveau en niet op prestaties van de organisatie.

Onderzoek bij een callcenter liet bijvoorbeeld zien dat LLM’s de gemiddelde tijd voor voltooiing van een gesprek met 14% verbeterden. Toch was er een daling in prestaties bij hun beste medewerkers. Ander onderzoek toonde aan dat sprake was van grotere productiviteitswinst bij taken die goed afgedekt werden door bestaande modellen, maar dat sprake was van productiviteitsverlies bij taken waarbij LLM’s zwakke datadekking hadden of complexe redenering vereisten.

De auteurs stellen dat we nog weinig weten van mogelijke gevolgen van het introduceren van nieuwe producten, of de mogelijkheid dat er verloop ontstaat onder experts wiens werk wordt gebruikt om deze systemen te trainen. Zonder een meer diepgaande en langetermijnanalyse, stellen zij, biedt het bekijken van specifieke taakgegevens weinig inzicht de werkelijke impact van een dergelijke nieuwe technologie op de algehele prestaties van een bedrijf.

Het artikel belicht ook de problemen met betrekking tot de productie van overtuigende onwaarheden door LLM’s en de mogelijke negatieve langetermijneffecten op werknemers en interne processen. Een ander punt van zorg is de versterking van vooroordelen door LLM’s. Dit kan ook economische effecten en een gebrek aan diversiteit en inclusie binnen organisaties tot gevolg hebben. Denk aan  hogere personeelsverloop en beperkingen in ideeënvorming.

LLM’s kunnen volgens de auteurs ook teveel op zichzelf gaan vertrouwen en kunnen daardoor in kwaliteit afnemen (‘model collapse‘). Bovendien is er een grens aan de hoeveelheid tekst die gebruikt kan worden voor training, wat verdere verbeteringen in de prestaties van deze modellen belemmert.

Waber en Fast pleiten voor een langetermijnperspectief op de effecten van LLM’s, waarbij rekening wordt gehouden met de gevolgen van onnauwkeurige output op systeemniveau. Ze benadrukken het belang van een holistische en longitudinale evaluatie om de ware impact van LLM’s op de prestaties van een bedrijf te begrijpen.

LLM’s kunnen nuttig zijn voor bepaalde taken. Toch zouden organisaties voorzichtig moeten zijn met het integreren van deze technologie in elke taak en functie. De organisatieleiding zou zich volgens de auteurs bewust moeten zijn van de specifieke toepassingen waar LLM’s effectief en betrouwbaar zijn. Dit vereist volgens hen een duidelijk begrip van de beperkingen en risico’s van LLM’s en een strategische benadering van hun implementatie om potentiële productiviteitsverliezen te vermijden.

Mijn opmerkingen

Mijn persoonlijke ervaring, dat generatieve AI, mij werk uit handen neemt, heeft ook vooral betrekking op taakniveau. Bovendien laat eerder onderzoek zien dat generatieve AI sterk is in het uitvoeren van bepaalde taken (zoals brainstormen), maar niet in andere taken (synthese maken van verschillende teksten). Bovendien is deze technologische ontwikkeling sterk aan verandering onderhevig, waarbij we nog veel niet weten. Dat pleit ook voor een prudente aanpak.

Andere bronnen over generatieve AI

Ik wil ook een aantal links van bijdragen met jullie delen die ik niet ga bespreken. De lancering van GPT Teams en GPT Store spelen daarbij een prominente rol.:

  1. AI Scholen
  2. Powerpoint presentatie maken met AI?
  3. Introducing ChatGPT Team
  4. Introducing the GPT Store
  5. 10 Ways Artificial Intelligence Is Transforming Instructional Design
  6. Looks as Though 2024 Will Continue at Plan B
  7. New Animated Video We Did On Using Artificial Intelligence In Education
  8. GPT Store and Teams Released: Amazing
  9. The Luddites of AI
  10. Top Tech News: ChatGPT Rules, AI Captures 60% of Traffic
  11. Thoughts on West Virginia’s AI Guidance
  12. Experts Zien Door AI Gegenereerde Desinformatie Als Grootste Risico Van 2024
  13. Open Source ChatGPT Alternatives
  14. Kunstmatige Intelligentie, OpenAI, IMF Georgieva: Ongelijkheid en Werkgelegenheid
  15. Generative AI and the Future of Jobs
  16. The IMF Report on AI and Jobs is Revealing
  17. 5 Unexpected Ways Generative AI May Change Your Daily Life
  18. Anthropomorphism of AI in Learning Environments: Risks of Humanizing the Machine
  19. Survey: GenAI is Making Companies More Data-Oriented
  20. Speech with ChatGPT: Honestly, It is…
  21. I Actually Chatted with ChatGPT
  22. How OpenAI is Approaching 2024 Worldwide Elections
  23. What OpenAI’s New GPT Store Means for Educators

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Delen

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.