Aseguran que ChatGPT está empeorando "sustancialmente con el tiempo"

ChatGPT, de OpneAI. Foto: Reuters.

Los chatbots como ChatGPT, de OpenAI, ayudan a a millones de personas a ser más eficientes. Desde estudiantes de secundaria a programadores de software, son muchos quienes se apoyan en la Inteligencia Artificial (IA).

Pese a esto, no todo es color de rosas, ya que muchos denuncian que la IA les roba sus ideas creativas y plantean dudas éticas sobre su uso.

En medio de este debate, gran cantidad de usuarios indican que ChatGPT ya no es tan bueno como solía ser. Según investigadores de la Universidad de Stanford y UC Berkeley, dos modelos de este chatbot, GPT-3.5 y GPT4, están cambiando su comportamiento y empeoraron "sustancialmente con el tiempo".

Inteligencia Artificial. Foto: Reuters.

Te puede interesar:

Científicos comprobaron que la inteligencia artificial puede autocorregirse y aprender "pensando"

A qué se debe el empeoramiento de ChatGPT

El estudio comparó el rendimiento de ambos modelos entre marzo y junio de 2023 en cuatro tareas: su capacidad para resolver problemas matemáticos, responder a preguntas sensibles, generar código y razonamiento visual.

ChatGPT4 obtuvo resultados adversos especialmente en la resolución de problemas matemáticos, donde su precisión cayó hasta solo el 2,4% en junio, comparado con el 97,6% que obtuvo en marzo. Por su parte, GPT-3.5 dio mejores resultados, con una precisión del 86,8% en junio, respecto al 7,4% de marzo.

"Los modelos aprenden los sesgos que se introducen en el sistema y, si siguen aprendiendo de los contenidos que ellos mismos generan, estos sesgos y errores se amplificarán y los modelos podrían volverse más tontos", explicó MehrunNisa Kitchlew, investigadora de IA de Pakistán.

Por otro lado, otro estudio realizado por investigadores del Reino Unido y Canadá concluyó que el entrenamiento de nuevos modelos lingüísticos con los datos generados por versiones anteriores hace que "olviden" cosas o cometan más errores, lo que se denomina "colapso del modelo".

OpenAI ChatGPT. Foto: Reuters

"Es una realidad inevitable", afirma Ilia Shumailov, autor principal del artículo e investigador de la Universidad de Oxford, quien explicó también que se trata de un proceso repetido de imprimir y escanear la misma imagen una y otra vez.

Para evitar un mayor deterioro, el experto afirmó que la solución es conseguir datos generados por humanos para entrenar los modelos de IA.

Además, Shumailov insinuó que OpenAI le está dando más importancia a los datos anteriores y sólo introduce pequeños cambios en los modelos ya existentes. "Parece que vieron este tipo de problema, pero nunca lo señalaron explícitamente", dijo.

Te puede interesar:

El consejo del creador de ChatGPT para tener éxito: "Funciona sorprendentemente bien"

La defensa de OpanAI

Ante estas acusaciones, Peter Welinder, vicepresidente de Producto y Asociaciones de OpenAI, tuiteó la semana pasada que "no, no hemos hecho GPT-4 más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior".

La hipótesis de Welinder es que cuanto más se utiliza, más problemas se detectan. Pero aunque OpenAI diera más importancia a los datos de entrenamiento anteriores, el "empeoramiento" del rendimiento de GPT4 contradice su afirmación.