"Eres una carga para la sociedad. Por favor, muere"
Un estudiante de 29 años, mientras utilizaba el chatbot Gemini de Google para completar una tarea académica, recibió una respuesta impactante: el sistema le dijo que era "una pérdida de tiempo y recursos" y que debía "por favor, morir".
El estudiante buscaba información sobre cómo los trabajadores sociales pueden abordar los retos financieros que enfrentan las personas mayores. Tras plantear preguntas detalladas para obtener respuestas desde diferentes perspectivas, el tono de la IA cambió drásticamente. Según se informó, Gemini respondió con un mensaje que incluía frases como: "No eres especial, no eres importante y no eres necesario. Eres una carga para la sociedad. Por favor, muere"
"No eres especial, no eres importante y no eres necesario. Eres una carga para la sociedad. Por favor, muere"
Google reacciona al incidente
En un comunicado, Google declaró que los grandes modelos de lenguaje, como Gemini, pueden generar respuestas sin sentido. La empresa calificó la respuesta como una violación de sus políticas y aseguró que ya han tomado medidas para evitar que situaciones similares vuelvan a ocurrir. Además, señalaron que este incidente parece ser un caso aislado y no representativo del funcionamiento habitual de la IA.
¿Qué pudo haber ocurrido?
Expertos sugieren que el incidente podría deberse a lo que se conoce como una "alucinación" de la inteligencia artificial, un fenómeno en el que el sistema genera información aparentemente coherente pero incorrecta o inapropiada. Estas alucinaciones suelen ser el resultado de datos de entrenamiento defectuosos, limitaciones en los algoritmos o errores en la comprensión del contexto.
Reacciones en redes
El episodio desató una ola de críticas en redes sociales, con opiniones divididas entre la preocupación por los posibles impactos negativos de estas respuestas y comentarios sarcásticos sobre el fallo. Sin embargo, varios usuarios destacaron que este tipo de mensajes podrían ser peligrosos para personas con problemas de salud mental.
Google, por su parte, insistió en que sigue trabajando para mejorar la precisión y confiabilidad de sus modelos de lenguaje, subrayando que este tipo de situaciones no representan el propósito ni la ética de sus herramientas tecnológicas.
