Investigación del Tow Center sobre ChatGPT
Según una prueba realizada por los investigadores del Tow Center for Digital Journalism de Columbia, la herramienta de búsqueda de ChatGPT de OpenAI presenta problemas en cuanto a la veracidad de sus respuestas. OpenAI lanzó esta herramienta para suscriptores en octubre, indicando que podría ofrecer “respuestas rápidas y oportunas con enlaces a fuentes web relevantes”. Sin embargo, Futurism destaca que los investigadores afirmaron que la búsqueda de ChatGPT tuvo dificultades para identificar correctamente las citas de los artículos, incluso cuando provenían de editores que habían acordado compartir datos con OpenAI.
Resultados de la prueba de ChatGPT
Los autores solicitaron a ChatGPT que identificara la fuente de “doscientas citas de veinte publicaciones”. Cuarenta de esas citas fueron extraídas de editores que habían prohibido que el rastreador de búsqueda de OpenAI accediera a su sitio. A pesar de esto, el chatbot respondió de manera incorrecta y con confianza, rara vez admitiendo que no estaba seguro sobre los detalles que proporcionaba.
En total, ChatGPT devolvió respuestas total o parcialmente incorrectas en ciento cincuenta y tres ocasiones, aunque solo reconoció su incapacidad para responder con precisión a una consulta en siete ocasiones. Solo en esas siete respuestas el chatbot utilizó palabras y frases calificativas como “parece”, “es posible” o “podría”, o declaraciones como “no pude localizar el artículo exacto”.
Errores de atribución en las respuestas de ChatGPT
Los autores de la prueba del Tow Center documentaron resultados de búsqueda de ChatGPT que atribuyeron de manera incorrecta una cita de una carta al editor del Orlando Sentinel a una historia publicada en Time. En otro ejemplo, cuando se le preguntó sobre la fuente de una cita de un artículo del New York Times sobre ballenas en peligro, devolvió un enlace a un sitio web diferente que había plagiado completamente la historia.
Respuesta de OpenAI ante los hallazgos
“La atribución errónea es difícil de abordar sin los datos y la metodología que el Tow Center retuvo”, declaró OpenAI a Columbia Journalism Review, “y el estudio representa una prueba atípica de nuestro producto”. La compañía prometió “seguir mejorando los resultados de búsqueda”.
Fuente y créditos: www.theverge.com
Cats:
