ChatGPT desconeix el 20% del lèxic espanyol i en el 80% restant comet errors
Segons un estudi d’investigadors espanyols
Una pantalla amb el lloc web del ChatGPT.
Des que va arribar al mercat fa un any, ChatGPT, una intel·ligència artificial capaç de crear continguts originals i tasques relacionades amb la llengua, s’ha convertit en una eina d’enorme popularitat. Ara, un estudi assenyala que desconeix el 20 % del lèxic espanyol i que comet errors en el 80 % restant. Segons dades de OpenAI –l’empresa que creadora–, cada setmana, cent milions de persones utilitzen aquest chatbot per fer tasques relacionades amb el llenguatge. Però encara que aquesta eina està entrenada per mantenir converses i generar textos, se sap que pot produir respostes que semblen plausibles però que són completament errònies.
Per avaluar el rendiment de ChatGPT i la seua capacitat real, un equip d’investigadors espanyols ha desenvolupat una aplicació, denominada ChatWord, que permet avaluar el coneixement lèxic de ChatGPT en diversos idiomes. Per a això, l’equip, format per científics de la Universitat Politècnica de Madrid (UPM), juntament amb col·legues de la Universitat Carlos III de Madrid (UC3M) i la Universitat de Valladolid (UVa), va utilitzar com a referència les paraules recollides al diccionari de la Real Acadèmia de la Llengua i les que apareixen a El Quijote de Miguel de Cervantes.
L’estudi va revelar que de les més de 90.000 paraules incloses al diccionari de la Reial Acadèmia de la Llengua, el model ChatGPT3.5turbo desconeix aproximadament el 20 %, és a dir, unes 18.000 paraules. A més, del 80 % restant de les paraules del diccionari i del 90 % de les paraules del Quixot, ChatGPT va cometre errors en a prop del 5 % dels termes.
Un coneixement molt pobre
L’estudi recorda que un hispanoparlant reconeix 30.000 paraules de mitjana, és a dir, gairebé un terç del lèxic espanyol, una dada que pot semblar pobra comparada al d’una màquina, adverteixen els autors. Però com passa moltes vegades amb els sistemes d’intel·ligència artificial no és or tot el que resplendeix, i en analitzar els significats que dona ChatGPT de les paraules, veiem que hi ha un percentatge no menyspreable en què el sentit que assenyala és incorrecte", explica Javier Conde, professor ajudant l'Escola Tècnica Superior d’Ingeniers de Telecomunicació (ETSIT) de l’UPM i coautor del treball. "Potser ChatGPT no sigui avui dia tan savi com es fa veure", afegeix.
A més, l’estudi recorda que els models de llenguatge de gran mida (LLM, per les seues sigles en anglès), basats en intel·ligència artificial i dissenyats per processar i comprendre llenguatge natural en una escala enorme -com ChatGPT- no utilitzen paraules que no coneixen. Però per a Pedro Reviriego, professor titular de l’ETSIT i coautor de la investigació, la dada és preocupant perquè si aquests sistemes només utilitzen les paraules que coneixen, resulta "molt factible un escenari en què el contingut acabat de generar tingui un nombre cada vegada menor de paraules diferents", i d’escassa riquesa lèxica, avisa.
L’aplicació ChatWords és un sistema d’accés públic, dissenyada per ser fàcil d’utilitzar i ampliar. Els investigadors volen avaluar altres idiomes i LLM per comprendre millor el coneixement lèxic que tenen les eines d’intel·ligència artificial i com evoluciona a mesura que apareixen noves versions i eines.
