Investigadores de la Universidad de Stanford, en California, Estados Unidos, aseguraron en un estudio que los principales chatbots, entre ellos ChatGPT y Gemini, presentan dificultades para distinguir la realidad de la ficción. O, en otros términos, que no pueden discernir las meras creencias de los hechos.
Siguiendo a New York Post, las conclusiones del informe, publicadas en la revista Nature Machine Intelligence, alimentan la preocupación por la propensión de la IA a difundir desinformación. En ese sentido, los especialistas notaron que la falta de capacidad para hacer esas distinciones también “puede llevar a diagnósticos erróneos y a distorsionar juicios”.
Los investigadores analizaron 24 modelos de lenguaje masivo (LLM, por sus siglas en inglés), entre ellos ChatGPT de OpenAI, Google Gemini, Claude de Anthropic y el desarrollo de origen chino DeepSeek que fue furor a inicios del año en curso.
Para determinar sus capacidades para discernir verdades de ficciones o hechos no comprobables, hicieron 13.000 preguntas a los chatbots.
“Los bots demostraron estrategias de razonamiento inconsistentes, lo que sugiere un reconocimiento superficial de patrones en lugar de una comprensión epistémica sólida, relacionada con el conocimiento o el saber”, señalaron los expertos de la universidad estadounidense.
Uno de los hallazgos más interesantes que se desprenden de este examen es que, en general, los modelos más antiguos solían obtener peores resultados. En concreto, aquellos que se lanzaron durante o después de mayo de 2024 obtuvieron una precisión en torno al 91% cuando se les pidió identificar hechos verdaderos o falsos. En comparación, sus predecesores estuvieron en el rango del 71,5% al 84,8%.
Las conclusiones del estudio —añadidas a las alucinaciones de los chatbots, que ya generaron alertas— trascienden la mera curiosidad. De acuerdo a The Independent, los resultados demuestran que los modelos de IA precisan mejoras urgentes antes de que se apliquen, a nivel amplio, en sectores como la medicina, el derecho y el periodismo, entre otros.