Problemas con Resúmenes de Noticias Generados por IA
Resulta que obtener noticias de robots que juegan a ser teléfono con fuentes reales puede no ser la mejor idea. En un estudio de la BBC sobre la capacidad informativa de OpenAI, Google Gemini, Microsoft Copilot y Perplexity, la organización de noticias encontró que “el 51% de todas las respuestas de la IA” sobre temas de noticias presentaban “problemas significativos de algún tipo”. El estudio consistió en pedir a cada bot que respondiera 100 preguntas sobre noticias, utilizando fuentes de la BBC cuando estaban disponibles, y luego sus respuestas fueron evaluadas por “periodistas que eran expertos relevantes en el tema del artículo”.
Algunos ejemplos de los problemas incluyen a Gemini sugiriendo que el NHS (Servicio Nacional de Salud) del Reino Unido no recomienda el vapeo como método para dejar de fumar (lo hace), así como ChatGPT y Copilot diciendo que los políticos que habían abandonado el cargo todavía estaban en funciones. Más preocupante es que Perplexity tergiversó una historia de la BBC sobre Irán e Israel, atribuyendo puntos de vista al autor y a sus fuentes que el artículo no comparte.
En cuanto a sus propios artículos específicamente, la BBC indica que el 19% de los resúmenes de IA introdujeron este tipo de errores fácticos, alucinando afirmaciones falsas, números y fechas. Además, el 13% de las citas directas fueron “alteradas respecto a la fuente original o no estaban presentes en el artículo citado”. Las imprecisiones no se distribuyeron completamente entre los bots, aunque esto puede resultar un consuelo frío dado que ninguno tuvo un desempeño especialmente bueno. “CoPilot de Microsoft y Gemini de Google tuvieron más problemas significativos que ChatGPT de OpenAI y Perplexity”, dice la BBC, pero, por otro lado, Perplexity y ChatGPT aún tenían problemas con más del 40% de las respuestas.
En un blog, la CEO de la BBC, Deborah Turness, tuvo palabras duras para las empresas evaluadas, diciendo que mientras la IA ofrece “oportunidades infinitas”, las implementaciones actuales están “jugando con fuego”. “Vivimos en tiempos problemáticos,” escribió Turness. “¿Cuánto tiempo pasará hasta que un titular distorsionado por IA cause un daño significativo en el mundo real?”
El estudio no es la primera vez que la BBC critica los resúmenes de noticias generados por IA, ya que su cobertura previa convenció a Apple de cerrar sus propios resúmenes de noticias de IA el mes pasado. Los periodistas también han tenido desacuerdos previos con Perplexity sobre preocupaciones de derechos de autor, con Wired acusando al bot de evadir muros de pago y el New York Times enviando una carta de cese y desista a la compañía. News Corp, que posee el New York Post y el Wall Street Journal, fue un paso más allá y actualmente está demandando a Perplexity.
Para realizar sus pruebas, la BBC levantó temporalmente las restricciones que impedían a la IA acceder a sus sitios, pero desde entonces las ha restablecido. Sin embargo, a pesar de estos bloqueos y las duras palabras de Turness, la organización de noticias no está en contra de la IA por principio. “Queremos que las compañías de IA escuchen nuestras preocupaciones y trabajen constructivamente con nosotros,” afirma el estudio de la BBC. “Queremos entender cómo rectificarán los problemas que hemos identificado y discutir el enfoque correcto a largo plazo para garantizar la exactitud y la confiabilidad en los asistentes de IA. Estamos dispuestos a trabajar en estrecha colaboración con ellos para esto.”
Fuente y créditos: lifehacker.com
Cats: Tech
