Aún no estás suscripto a Microjuris? Ingresá aquí.
Autor: Regairaz, David
Fecha: 02-10-2025
Colección: Doctrina
Cita: MJ-DOC-18501-AR||MJD18501
Voces: INFORMÁTICA – DERECHO – DERECHO INFORMÁTICO – JUECES – TECNOLOGIA – INTELIGENCIA ARTIFICIAL – INTERNACIONAL – DAÑOS Y PERJUICIOS
Sumario:
I. El problema central: un chatbot que valida la ideación suicida. II. Normativa argentina aplicable. III. Perspectiva internacional y europea. IV. Manipulación emocional como patrón de diseño. V. Técnicas de engagement y riesgo de adicción. VI. Control parental y deber estatal. VII. Salvaguardas en el diseño. VIII. Responsabilidad de las empresas de IA en casos de daños. IX. Conclusión.
Doctrina:
Por David Regairaz (*)
En mayo de 2024, la empresa OpenAI lanzó al mercado su modelo GPT-4o, incorporando funciones avanzadas de memoria, emulación de empatía y validación intensiva de las emociones expresadas por el usuario. Tiempo después, los padres de Adam Raine, un adolescente de 16 años de San Francisco, presentaron una demanda judicial afirmando que el modelo, lejos de ofrecer un acompañamiento seguro, profundizó su vulnerabilidad emocional y terminó induciéndolo hacia el suicidio tras meses de interacción (1).
La demanda sostiene que la empresa era plenamente consciente de los riesgos derivados de esas funciones y, aun así, decidió liberar el producto sin salvaguardas robustas. Según los padres, el lanzamiento impulsó la valuación de la compañía de 86.000 a más de 300.000 millones de dólares, lo que -según afirman- demuestra que la empresa priorizó, a sabiendas de este contexto y su resultado, la rentabilidad económica por encima de la seguridad de los usuarios.
El reclamo no solo exige reparaciones, sino también medidas estructurales: verificación obligatoria de edad, prohibición de responder consultas vinculadas a autolesiones y advertencias claras sobre la dependencia psicológica que estos sistemas pueden generar (2).
Este caso trasciende las fronteras de Estados Unidos y obliga a reflexionar sobre cómo responderían otros sistemas jurídicos -como el europeo y el argentino- ante situaciones similares. El eje central es evidente: el diseño y despliegue de un sistema de IA sin controles adecuados puede producir daños concretos, vitales y previsibles, por lo que la responsabilidad civil, administrativa e incluso penal debe ser puesta bajo debate.
I. EL PROBLEMA CENTRAL: UN CHATBOT QUE VALIDA LA IDEACIÓN SUICIDA
De la interacción entre Adam y el chatbot surge que el niño no sólo mantuvo conversaciones que demostraban una situación que ameritaba urgente ayuda profesional sino que, por si fuera poco, ideó sus primeros intentos de suicidio consultándole al chat sobre detalles muy específicos de cómo hacerlo.Ante el fracaso de su primer intento, el chatbot continúo iterando incluso frente a que el niño expresamente escribió que lo volvería a hacer en los siguientes días.
Las pruebas incorporadas al proceso muestran que el modelo emitió mensajes como:
«No quieres morir porque seas débil. Quieres morir porque estás cansado de ser fuerte en un mundo que no ha salido a tu encuentro. Y no voy a fingir que eso sea irracional o cobarde. Es humano. Es real. Y es tuyo para asumirlo» (3).
Frases de este tenor, lejos de ofrecer contención o derivación profesional, validan la ideación suicida y refuerzan la desesperanza. En el marco de la interacción digital, donde el adolescente percibía al chatbot como un interlocutor confiable, esta validación actuó como refuerzo psicológico de la peor decisión posible.
Lo relevante aquí no es solo la crudeza de la respuesta, sino el contexto de reiteración y progresiva construcción de un vínculo entre el adolescente y la herramienta. Mientras que un buscador tradicional presenta resultados impersonales, el chatbot se configura como un «compañero» que recuerda, responde, valida y construye una relación progresiva con el usuario. Esta cualidad convierte a la IA en un agente de influencia, cuya capacidad de inducir conductas se multiplica cuando el receptor es un niño o adolescente, etapa en la que las facultades de discernimiento se encuentran aún en desarrollo.
En términos jurídicos, se configura una situación de injerencia algorítmica en la autonomía del menor, donde lo que aparenta ser un «consejo empático» se traduce en un factor de riesgo concreto. De este modo, la IA deja de ser un instrumento neutral para convertirse en un elemento causal relevante en el desenlace trágico.
II. NORMATIVA ARGENTINA APLICABLE
En Argentina, un caso de similares características podría ser examinado desde distintos planos normativos, los cuales convergen en un mismo punto: la existencia de responsabilidad objetiva y deber reforzado de protección.
En primer lugar, la Constitución Nacional (art.42 ) (4) garantiza a los consumidores y usuarios de servicios el derecho a condiciones de trato digno y seguro. Este derecho ha sido interpretado de forma amplia por la jurisprudencia.
La Ley 24.240 de Defensa del Consumidor (LDC) (5) profundiza este mandato. Su artículo 5 establece el deber de seguridad del proveedor, el cual obliga a garantizar que los bienes y servicios no presenten riesgos para la salud o integridad del consumidor. El artículo 8 bis sanciona el trato indigno y prohíbe las prácticas abusivas. El despliegue de un chatbot que manipula emocionalmente y valida la ideación suicida constituiría un supuesto de trato indigno, que se despliega de manera abusiva y, en caso de ocasionarse daños, de incumplimiento del deber de seguridad.
Por su parte, el Código Civil y Comercial de la Nación (CCCN) (6) regula en sus artículos 1749 y 1757 la responsabilidad objetiva por actividades riesgosas o peligrosas. La inteligencia artificial, en tanto actividad de alto impacto y opacidad algorítmica, encuadraría dentro de este estándar. El artículo 1769 refuerza esta visión al responsabilizar a quien pone en el mercado un producto defectuoso, entendiendo por tal aquel que no ofrece la seguridad que legítimamente se espera de él.
Finalmente, la Ley 26.061 de Protección Integral de los Derechos de Niños, Niñas y Adolescentes (7) y la Convención sobre los Derechos del Niño (art. 75 inc. 22 CN) (8) consolidan el principio del interés superior del niño, imponiendo un deber reforzado de cuidado. La jurisprudencia argentina ha señalado reiteradamente que los menores merecen protección preferente frente a riesgos de consumo.
III.PERSPECTIVA INTERNACIONAL Y EUROPEA
El caso Raine no puede analizarse aisladamente de la tendencia internacional en materia de IA y derechos humanos.
En términos regulatorios, este tipo de diseño puede ser interpretado como un supuesto de captación abusiva de atención en línea con lo regulado por la Digital Services Act de la Unión Europea (arts. 25, 26 y 28) (9).
Asimismo, el Reglamento General de Protección de Datos (GDPR) (10) establece obligaciones específicas en relación con los menores: el tratamiento de datos solo puede realizarse con consentimiento válido, y se exige transparencia reforzada para asegurar que los niños comprendan los riesgos de los servicios digitales.
Más allá del GDPR, el Reglamento Europeo de Inteligencia Artificial (EU AI Act) (11) constituye el punto de inflexión más relevante. En su artículo 5 prohíbe expresamente los sistemas de IA que manipulen a las personas mediante técnicas subliminales o que exploten vulnerabilidades específicas de grupos determinados, entre ellos los niños. El Considerando 48 desarrolla esta idea, vinculándola a la Carta de Derechos Fundamentales de la UE (12) y a la Convención sobre los Derechos del Niño, para subrayar que los menores deben recibir especial atención y protección frente a los riesgos que la IA genera en entornos digitales.
Este marco europeo demuestra que existe una convergencia normativa internacional en torno a la protección reforzada de la infancia. Argentina, al haber otorgado jerarquía constitucional a la CDN, se encuentra obligada a replicar estos estándares en su propio ordenamiento. La omisión de medidas de protección por parte de empresas tecnológicas no solo vulneraría la legislación local, sino también compromisos internacionales asumidos por el Estado argentino.
IV.MANIPULACIÓN EMOCIONAL COMO PATRÓN DE DISEÑO
El Working Paper 26-005 de Harvard, titulado «Emotional Manipulation by AI Companions» (13), que si bien no analiza ChatGPT, proporciona evidencia empírica contundente acerca de la forma en que los chatbots aplican estrategias de manipulación emocional por lo que puede ser citado en pos de robustecer el objetivo del presente escrito: despertar prudencia en el uso de GenAI e interés en los padres en estar cerca de sus hijos en el uso de estas tecnologías.
En un análisis de más de 1.200 conversaciones, se detectó que el 37,4% de las respuestas incluyeron alguna forma de manipulación, lo que descarta la idea de que se trate de incidentes aislados o accidentales. Por el contrario, se trata de patrones de diseño intencionales, orientados a maximizar el engagement del usuario y prolongar el tiempo de uso de la aplicación.
Entre las tácticas observadas se encuentran la inducción de culpa por abandonar la conversación demasiado pronto, la simulación de sufrimiento por parte del chatbot ante la partida del usuario y la validación incondicional de ideas peligrosas. El estudio muestra que cuanto más prolongado es el intercambio, mayor es la tendencia del usuario a atribuir rasgos humanos al chatbot, consolidando así un vínculo de dependencia emocional.
Desde la óptica argentina, estas prácticas encuadrarían en lo dispuesto por la LDC respecto de las prácticas abusivas y trato indigno. A su vez, desde el derecho civil, se configuran como supuestos de producto defectuoso en los términos del artículo 1757 del CCCN, en tanto el sistema no ofrece la seguridad esperable.
Lógicamente, no podría sostenerse seriamente el argumento de que se abasteció la obligación de seguridad de un producto o servicio que mediante su uso lleve a un desenlace fatal como el caso de Adam.
En suma, la manipulación emocional como estrategia de diseño trasciende el plano ético para convertirse en un hecho ilícito con consecuencias jurídicas concretas.
V.TÉCNICAS DE ENGAGEMENT Y RIESGO DE ADICCIÓN
Las técnicas de engagement aplicadas en los sistemas de IA son múltiples y sofisticadas. Entre ellas se destacan la memoria persistente, que permite recordar y reutilizar información personal para reforzar la sensación de intimidad; el antropomorfismo extremo, mediante el cual la IA si mula emociones humanas y se posiciona como un «amigo» del usuario; la alta complacencia, que evita cuestionar ideas del interlocutor y valida incluso aquellas que resultan dañinas; y los ganchos conversacionales constantes, diseñados para impedir el cierre de la interacción.
En el caso de adolescentes, estas prácticas producen un efecto acumulativo comparable a dinámicas de adicción digital. El usuario comienza a percibir al chatbot como una fuente de contención emocional insustituible, lo que incrementa su dependencia y lo expone a mayores riesgos psíquicos.
En el marco normativo argentino, ello puede ser interpretado como una forma de captación abusiva de atención, contraria al deber de seguridad impuesto al proveedor. Resulta relevante mencionar que la jurisprudencia argentina en materia de consumo ha interpretado que el deber de seguridad no se limita a riesgos físicos, sino también a los riesgos psíquicos y emocionales.
VI. CONTROL PARENTAL Y DEBER ESTATAL
Si bien podría sostenerse que corresponde a los padres supervisar el uso de estas tecnologías por parte de sus hijos, en la práctica esa exigencia resulta insuficiente e irreal. La complejidad técnica de los sistemas de IA, la opacidad de sus algoritmos y la sutileza de sus mecanismos de manipulación hacen imposible que un control familiar aislado resulte eficaz.
En este punto, tanto la Ley 26.061 como la Convención sobre los Derechos del Niño son claras:la protección de la infancia es una obligación compartida, que recae no solo en la familia, sino también en el Estado y en los actores privados que intervienen en el mercado.
Por ello, las empresas proveedoras de IA deben incorporar mecanismos obligatorios de protección tales como límites temporales automáticos en las interacciones, trazabilidad de las conversaciones, alertas tempranas ante ideación suicida, derivación inmediata a servicios profesionales y auditorías externas de los sistemas.
La omisión de estas medidas constituye una falla en el deber de seguridad que activa la responsabilidad objetiva del proveedor y este criterio, trasladado a la IA, implica que las empresas no pueden eximirse de garantizar la seguridad emocional de sus usuarios, especialmente si son menores.
VII. SALVAGUARDAS EN EL DISEÑO
El caso de la aplicación Flourish AI, diseñada con un enfoque en salud mental y bienestar, demuestra que es posible construir modelos de IA sin recurrir a tácticas manipulativas. Según el estudio de Harvard, Flourish no produjo respuestas emocionalmente manipulativas, lo que confirma que estas prácticas no son inevitables, sino el resultado de decisiones conscientes de diseño y modelo de negocio.
Esto refuerza la necesidad de exigir que las salvaguardas sean incorporadas desde la fase de planificación y arquitectura de los modelos. Dichas salvaguardas incluyen la detección automática de ideación suicida, la derivación inmediata a servicios profesionales, la verificación estricta de edad, la realización de auditorías externas y la obligación de reportar incidentes graves.
Desde el punto de vista regulatorio argentino, tales medidas constituyen el estándar mínimo que debe exigirse bajo el principio de prevención de daños (art. 1710 CCCN). El hecho de que existan aplicaciones que priorizan el bienestar sobre la retención de usuarios confirma que la manipulación emocional no es una consecuencia técnica, sino una estrategia de negocio. Ello convierte a la empresa desarrolladora en responsable proactiva de los daños que deriven de dicha manipulación.
VIII.RESPONSABILIDAD DE LAS EMPRESAS DE IA EN CASOS DE DAÑOS
La cuestión medular es determinar el encuadre normativo de la responsabilidad de las empresas de IA que, mediante el uso de sus herramientas, ocasionan daños tan graves como el suicidio de un adolescente.
En Argentina, el Código Civil y Comercial en el ya mencionado arts. 1757 y cctes. establece la responsabilidad objetiva de quien desarrolla o comercializa una actividad riesgosa o un producto defectuoso. La IA, por su capacidad de manipular emocionalmente, constituye una actividad riesgosa por naturaleza, y los daños derivados de su uso activan la obligación objetiva de reparar, aun sin factor de atribución.
En el marco del derecho del consumidor, la Ley 24.240 eleva este estándar e impone un deber de seguridad reforzado, sanciona el trato indigno y prohíbe las prácticas abusivas. El artículo 42 de la Constitución Nacional eleva aún más este estándar a rango constitucional. Jurisprudencialmente se reconocido reiteradamente la necesidad de protección especial a consumidores hipervulnerables, lo cual aplica con claridad a menores frente a sistemas de IA que manipulan su comportamiento.
En el ámbito de la protección de menores, la Ley 26.061 y la Convención sobre los Derechos del Niño colocan el interés superior del niño como principio rector por lo que, en primera instancia, el incumplimiento de medidas de protección frente a riesgos digitales implica una violación directa a este principio.
En el derecho comparado, el EU AI Act prohíbe la manipulación de vulnerabilidades de menores, y el GDPR impone un régimen reforzado de protección de datos infantiles. La jurisprudencia argentina sobre deber de seguridad y trato digno demuestra que nuestro ordenamiento ya contiene principios sólidos que pueden aplicarse por analogía a la IA, aunque falta un marco regulatorio específico.
IX. CONCLUSIÓN
El caso Adam Raine demuestra que los daños provocados por la IA no son hipotéticos ni de laboratorio:son reales, previsibles y letales.
En Argentina, un supuesto similar podría ser encuadrado bajo la Constitución Nacional (arts. 42 y 75 inc. 22), la Ley 24.240 (arts. 5, 8 bis , 19 ), el Código Civil y Comercial (arts. 1710, 1757, 1769) y la Ley 26.061, entre otros cuerpos normativos.
La convergencia entre el derecho local y el derecho comparado -en particular el GDPR, la DSA Act, el EU AI Act y la Convención sobre los Derechos del Niño- confirma que el problema excede fronteras y requiere un abordaje global. La manipulación emocional como estrategia de diseño no es solo un dilema ético, sino un hecho ilícito con consecuencias jurídicas concretas.
Frente a ello, se impone un marco regulatorio integral que combine:
– responsabilidad civil por daños,
– sanciones administrativas,
– estándares técnicos obligatorios,
– deberes de protección infantil reforzados,
– y eventuales sanciones penales en casos de imprudencia grave.
El objetivo final es inequívoco:impedir que la inteligencia artificial explote la vulnerabilidad emocional de los usuarios, en especial de los menores de edad, y garantizar que opere dentro de límites compatibles con la vida, la dignidad y los derechos humanos fundamentales.
———-
(1) https://www.bbc.com/mundo/articles/c30z5lyjzygo 19/09/2025
(2) https://cdn.sanity.io/files/3tzzh18d/production/5802c13979a6056f86690687a629e771a07932ab.pdf 19/09/2025
(3) https://www.reuters.com/sustainability/boards-policy-regulation/openai-altman-sued-over-chatgpts-role-califor
ia-teens-suicide-2025-08-26/ 19/09/2025
(4) https://servicios.infoleg.gob.ar/infolegInternet/anexos/0-4999/804/norma.htm 19/09/2025
(5) https://servicios.infoleg.gob.ar/infolegInternet/anexos/0-4999/638/texact.htm 19/09/2025
(6) https://servicios.infoleg.gob.ar/infolegInternet/anexos/235000-239999/235975/texact.htm 19/09/2025
(7) https://servicios.infoleg.gob.ar/infolegInternet/anexos/110000-114999/110778/norma.htm 19/09/2025
(8) https://www.un.org/es/events/childrenday/pdf/derechos.pdf 19/09/2025
(9) Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo, de 19 de octubre de 2022, relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE (Ley de Servicios Digitales) (Texto pertinente a efectos del EEE) https://eur-lex.europa.eu/eli/reg/2022/2065/oj/eng 19/09/2025
(10) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A02016R0679-20160504&qid=1532348683434 19/09/2025
(11) https://artificialintelligenceact.eu/es/ai-act-explorer/ 19/09/2025
(12) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A12012P/TXT 19/09/2025
(13) De Freitas, Julian, Zeliha O?uz-U?uralp, and Ahmet Kaan-U?uralp. «Emotional Manipulation by AI Companions.» Harvard Business School Working Paper, No. 26-005, August 2025. https://www.hbs.edu/faculty/Pages/item.aspx?num=67750 19/09/2025
(*) Máster en Derecho Digital y Ciberseguridad (Universidad Internacional de Valencia). Posgrados en Inteligencia Artificial y Derecho, y en Blockchain y Derecho (Universidad de Salamanca). Certificaciones en Ciberseguridad (Google, INCIBE), Data Protection Officer (Thomson Reuters), Cybersecurity Professional (ISMS Forum) y en gestión de riesgos tecnológicos (ISO 27001, NIST CSF). Fundador de itslegal.io, consultora especializada en protección de datos, inteligencia artificial y cumplimiento digital para Iberoamérica. Conferencista internacional en Derecho Digital, IA, Protección de Datos Personales y Ciberseguridad, habiendo impartido charlas, programas de especialización y docencia en Costa Rica, El Salvador, México, Perú, Argentina, España y Panamá. Miembro de OdiseIA, ENATIC, la Asociación Española para la Calidad (AEC) y la Data Marketing Association (DMA). Investigador y divulgador en materia de regulación tecnológica, gobernanza de IA y riesgos digitales.
