Revelan las limitaciones de los modelos de IA en un estudio

La inteligencia artificial (IA) avanza cada vez más rápido gracias al desarrollo tecnológico. Sin embargo, todavía presenta algunas limitaciones, según un estudio realizado por una investigadora del Grupo de Investigación en Lengua y Lingüística de la URV.

En la investigación se analizaron siete modelos de IA en su capacidad para comprender el lenguaje y se compararon sus resultados con los de los humanos. Los resultados muestran que, a pesar de su éxito en ciertas tareas específicas, los modelos no alcanzan un nivel de comprensión comparable al de las personas en pruebas sencillas de comprensión de textos.

De acuerdo con The Conversation, los modelos extensos de lenguaje (MEL) son redes neuronales diseñadas para generar textos de forma autónoma a partir de un requerimiento del usuario.

Estos modelos están especializados en tareas como responder consultas generales, traducir textos, resolver problemas o sintetizar contenidos. A menudo se afirma que poseen capacidades similares a las humanas en términos de comprensión y razonamiento.

Sin embargo, los resultados de esta investigación evidencian que los MEL tienen importantes limitaciones. Una de las principales es que no comprenden realmente el lenguaje, sino que se limitan a aprovechar los patrones estadísticos presentes en los datos con los que fueron entrenados.

Para llevar a cabo el estudio, los expertos formularon 40 preguntas a siete modelos de IA: Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 y Mixtral.

Las preguntas se diseñaron con estructuras gramaticales simples y verbos de uso frecuente.

Paralelamente, se plantearon las mismas preguntas a un grupo de 400 personas, todos hablantes nativos de inglés. Las respuestas de ambos grupos se compararon en términos de precisión, repitiendo cada pregunta tres veces para evaluar la consistencia.

La investigadora concluyó que, aunque los MEL pueden generar textos gramaticalmente correctos y aparentemente coherentes, los resultados del estudio sugieren que no comprenden el significado del lenguaje como lo hace un humano.

Además, detalló que estos modelos no interpretan el significado de manera integral, es decir, integrando elementos semánticos, gramaticales, pragmáticos y contextuales. En cambio, funcionan identificando patrones en los textos y utilizando algoritmos predictivos basados en estadística para generar sus respuestas.