Aún no estás suscripto a Microjuris? Ingresá aquí.
Autor: Roibon, M. Candelaria – Roibon, M. Milagros
Fecha: 03-02-2025
Colección: Doctrina
Cita: MJ-DOC-18140-AR||MJD18140
Voces: INTELIGENCIA ARTIFICIAL – TECNOLOGIA – DEBIDO PROCESO – GARANTIAS CONSTITUCIONALES – JUECES – PODER JUDICIAL
Sumario:
I. Introducción. II. Los riesgos del uso de la Inteligencia Artificial. III. Errores y alucinaciones generados por los sistemas de Inteligencia Artificial en el Derecho comparado. IV. Posibles soluciones para la justicia argentina con relación a la utilización de la Inteligencia Artificial. V. Relación de la implementación de la Inteligencia Artificial en la justicia argentina con el marco normativo nacional e internacional. VI. Conclusiones.
Doctrina:
Por M. Candelaria Roibon (*) y M. Milagros Roibon (**)
I. INTRODUCCIÓN
El avance de la inteligencia artificial (IA) en diversos ámbitos ha transformado la manera en que procesamos la información y tomamos decisiones. En el sistema judicial, la incorporación de los sistemas de la IA promete mejorar la eficiencia y reducir la carga laboral en tareas como el análisis de documentos o la identificación de patrones delictivos. La (IA) ha emergido como una herramienta prometedora para transformar la administración de justicia. Desde el análisis de jurisprudencia hasta la predicción de fallos, la IA busca optimizar procesos y reducir tiempos. Sin embargo, en nuestro país, no existe un marco normativo integral para regular el uso de la IA en la justicia. Aunque la Ley 25.326 de Protección de Datos Personales establece principios relevantes, como la calidad de los datos y la necesidad de consentimiento, resulta insuficiente para abordar los problemas complejos asociados a la IA, ya que no contempla las particularidades relacionadas con algoritmos de aprendizaje automático, dejando un importante vacío legal.
Igualmente, la aplicación indiscriminada de la inteligencia artificial en la justicia argentina plantea desafíos éticos, jurídicos y técnicos que no pueden ser ignorados.Su utilización también presenta riesgos significativos que afectan los principios fundamentales de la Carta Magna de nuestro país, como la igualdad ante la ley, el debido proceso y la seguridad jurídica.
Para abordar esta cuestión, utilizamos, por considerarlo uno de los protocolos más avanzados en la materia, el Acuerdo PCSJA24-12243 del Consejo Superior de la Judicatura de Colombia del 16 de diciembre de 2024, mediante el cual se adoptan lineamientos para el uso y aprovechamiento respetuoso, responsable, seguro y ético de la inteligencia artificial en la Rama Judicial (1). Este protocolo explica que el «uso de herramientas de inteligencia artificial generativa como chatbots de uso general o herramientas no especializadas de acceso e interacción abierta o sistemas que operan a partir de modelos de lenguaje a gran escala implican potenciales riesgos en relación con el desarrollo de tareas que pueden impactar los procesos de adopción y emisión de decisiones de fondo; la eventual exposición de datos personales o información confidencial a terceros; opacidades de sus algoritmos o de su funcionamiento; la manera en que se utilizan los textos generados por las herramientas y; la probabilidad de que las respuestas generadas por estas herramientas contengan errores, imprecisiones, falsedades, prejuicios o sesgos discriminatorios, todo lo cual puede derivar en vulneraciones a derechos fundamentales y garantías».
El Acuerdo, también, explica que «algunas de las limitaciones de este tipo de herramientas podrían ser parcial o totalmente superadas si se especializan a partir de una base de conocimiento especifica o institucional, se integran con otro tipo de herramientas que desarrollen funcionalidades complementarias y se mantiene un control y supervisión humana y/o institucional».
Por todo ello, este artículo examina los riesgos inherentes al uso indiscriminado de la IA en la justicia argentina, abordando algunos casos de fallos algorítmicos, sesgos sistémicos y problemas actuales. Además, se analizan soluciones y propuestas concretas para armonizar la tecnología con los principios consagrados en la Constitución argentina, en las leyes nacionales y en los tratados internacionales de derechos humanos.
II.LOS RIESGOS DEL USO DE LA INTELIGENCIA ARTIFICIAL
1.- Alucinaciones y la desinformación: El Acuerdo PCSJA24-12243 del Consejo Superior de la Judicatura de Colombia, del 16 de diciembre de 2024, define cuales son los riegos del uso de estas herramientas en el poder judicial. En primer lugar, el Acuerdo se refiere a las alucinaciones y la desinformación como los resultados «imprecisos o inexactos que pueden generar los sistemas de la IA generativa, especialmente los basados en modelos de lenguaje de gran tamaño».
En concreto, las alucinaciones se producen cuando un sistema genera información ficticia que parece verídica, es decir, que se trata de los resultados generados por estos sistemas que, aunque parecen verídicos, carecen de fundamento en los datos de entrenamiento o en la realidad. En el ámbito judicial, una alucinación podría exteriorizarse a través de una cita jurisprudencial inexistente o de un análisis erróneo de alguna norma. Estas situaciones no solo comprometen la calidad de la función o de la tarea judicial, sino que pueden llevar a decisiones judiciales erróneas, con graves implicancias para las partes involucradas en el proceso, como fiscales, defensores, imputados, querellas, victimas, actores, demandados, recurrentes, etc.
El riesgo de las alucinaciones aumenta cuando los operadores del sistema confían ciegamente en las recomendaciones de la IA, sin verificar su exactitud. Por lo tanto, resulta imprescindible que los funcionarios y los empleados judiciales mantengan un rol activo en la supervisión y validación de las herramientas tecnológicas, en cuanto a la confección de proveídos, dictámenes, resoluciones, decretos, etc.
Un caso emblemático es el conocido como Mata v. Avianca Airlines (2023) (2), en el que un abogado presentó referencias a casos inexistentes creados por una IA. Este error no solo comprometió la credibilidad del abogado, sino que también demostró los peligros de confiar absolutamente en las tecnologías no verificadas. Imaginemos, por ejemplo, los graves problemas que podrían suscitarse en el dictado de una sentencia condenatoria, para el condenado, las víctimas, la querella, etc.
2.- Sesgos algorítmicos y la persistencia de desigualdades:El Acuerdo PCSJA24-12243 del Consejo Superior de la Judicatura de Colombia del 16 de diciembre de 2024 explica que los sesgos de la IA son una «una diferencia sistemática en el tratamiento de ciertos objetos, personas o grupos (por ejemplo, estereotipos, prejuicios o favoritismos) en comparación con otros mediante algoritmos de IA. Este tipo de sesgos resultan de los datos usados para entender el algoritmo, lo que puede reforzar prejuicios de raza, genero, sexualidad, etnia o discapacidad».
Las herramientas de IA aprenden a partir de los datos históricos, lo que puede consolidar o perpetuar patrones de discriminación preexistentes o estructurales. Un caso paradigmático es el algoritmo COMPAS (3), utilizado en Estados Unidos para evaluar el riesgo de reincidencia penal. Estudios demostraron que COMPAS calificaba arbitrariamente a personas afroamericanas como de «alto riesgo», manteniendo, así, desigualdades raciales.
En la esfera judicial, esto significa que, si los datos con los que se entrenan las herramientas de IA contienen sesgos históricos, como discriminación por género, edad, nacionalidad, clase social, existencia de antecedes penales, ausencia de trabajo estable, etc., la IA replicará y amplificará estos prejuicios. Por ejemplo, un sistema utilizado para evaluar el riesgo de reincidencia podría considerar, injustamente, a ciertos grupos como de «alto riesgo», debido a patrones históricos de sobre criminalización: debido a los datos con los que fue entrenada esa tecnología.
Por lo cual, esto podría manifestarse en algoritmos que perpetúen sesgos de género, clase social, nacionalidad, ideología política, etc., violando el principio de igualdad y no discriminación garantizada por el artículo 16 de la Constitución Nacional (CN) y por los tratados internacionales, como la Convención Americana sobre Derechos Humanos (CADH); erosionando -de esta manera- la confianza pública en los sistemas judiciales de la República Argentina.
3.- IA explicable y la falta de transparencia:El Acuerdo PCSJA24-12243 del Consejo Superior de la Judicatura de Colombia define a la IA explicable como sistemas, algoritmos y modelos con capacidad de explicar su justificación para las decisiones, caracterizar las fortalezas y debilidades de su proceso de toma de decisiones y transmitir una comprensión de cómo se comportarán en el futuro. Muchos sistemas funcionan como verdaderas «cajas negras»: los operadores del sistema, e incluso sus desarrolladores, pueden no entender completamente cómo la IA llega a una conclusión específica; dificultando la comprensión de cómo se generan sus decisiones.
No obstante, los ciudadanos tenemos derecho a entender y a impugnar o cuestionar las decisiones que afectan nuestras vidas, incluso si estas son, en parte, producto de un algoritmo matemático.
Por lo tanto, en un sistema de justicia que debe ser accesible y comprensible para las partes y para todos los ciudadanos, la oscuridad de las decisiones automatizadas pone en riesgo el derecho a una tutela judicial efectiva y a un debido proceso (art. 18 CN), ya que las partes no podrán cuestionar adecuadamente las resoluciones basadas en algoritmos, cuyo funcionamiento desconocen o son ignorados por la mayoría.
III. ERRORES Y ALUCINACIONES GENERADOS POR LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL EN EL DERECHO COMPARADO
En 2023, se denunció que un sistema de IA utilizado en Estados Unidos para elaborar escritos legales incluyó referencias a casos inexistentes, una situación conocida como «alucinaciones». En el caso Mata v. Avianca Airlines, los abogados presentaron argumentos basados en precedentes ficticios generados por ChatGPT, lo que derivó en sanciones disciplinarias para los responsables. Este episodio ilustra el riesgo de confiar en herramientas que carecen de mecanismos robustos de verificación, y que no son supervisadas correctamente por las personas.
En España, un abogado utilizó ChatGPT para elaborar un escrito procesal, pero cometió un error crítico:citó un artículo del Código Penal de Colombia en lugar del Código Penal español (4). La IA fue responsable de generar la referencia incorrecta, pero el Tribunal Superior de Justicia de Navarra (TSJN) subrayó que la r esponsabilidad recae en el letrado, por no revisar ni validar la información. El error en cuestión se trató de una «alucinación jurídica» de los modelos de IA. Si bien el TSJN decidió no sancionar al abogado, considerando que se trataba de una materia novedosa y que el letrado se disculpó de inmediato. La Sala remarcó que el uso de IA no exime a los abogados de su deber de verificación y control, advirtiendo además sobre los riesgos del uso negligente de la IA en el ámbito judicial.
Estos ejemplos ponen en evidencia cómo las herramientas de IA, lejos de ser neutrales, pueden generar resultados ficticios o sesgados, comprometiendo la administración de justicia y violando los derechos humanos, como los principios de igualdad y no discriminación, etc.
IV. POSIBLES SOLUCIONES PARA LA JUSTICIA ARGENTINA CON RELACIÓN A LA UTILIZACIÓN DE LA INTELIGENCIA ARTIFICIAL
1.- Certificación y auditoría de algoritmos: Es fundamental implementar mecanismos de auditoría para detectar y corregir sesgos. Estos procesos deben ser llevados a cabo por organismos independientes y transparentes, asegurando la participación de expertos en derecho, tecnología y ética. Estas auditorías deben incluir pruebas de impacto en los derechos humanos, conforme a lo establecido en los Principios Rectores sobre Empresas y Derechos Humanos de la ONU (5).
2.- Explicabilidad obligatoria: El artículo 12 del Reglamento General de Protección de Datos (GDPR) de la Unión Europea (6) establece el derecho a obtener explicaciones claras sobre las decisiones automatizadas. Este principio podría incorporarse a la legislación argentina, garantizando que las partes comprendan el razonamiento de los sistemas de IA utilizados en sus casos.
3.- Supervisión humana obligatoria: La decisión final en cualquier proceso judicial debe recaer en una persona, no en un algoritmo. Este principio coincide con el art.8.1 de la CADH (7), que garantiza el derecho a un juicio justo por un juez imparcial. Asimismo, la Law Society como el Consejo de la Abogacía Europea (CCBE) exigen supervisión humana en el uso de la IA en la abogacía. En síntesis, la supervisión humana obligatoria tiene que ser un principio rector, asegurándose así que las decisiones finales judiciales serán revisadas por magistrados y funcionarios altamente capacitados.
4.- Creación de un marco regulatorio específico: La Argentina, por ejemplo, debería sancionar una ley completa e integral sobre el uso de la inteligencia artificial en la justicia federal, basada en los siguientes principios: a) proporcionalidad: el uso de la IA debe ser adecuado a la finalidad perseguida, b) no discriminación: prohibición de algoritmos que perpetúen las desigualdades, y c) responsabilidad: establecer mecanismos para identificar y sancionar los errores o los abusos. Esta ley nacional podría ser replicada por las jurisdicciones locales, adaptándose a las características de cada jurisdicción.
5. Capacitar a los operadores judiciales: Es indispensable formar a los jueces, a los fiscales, a los abogados y a los otros actores del sistema, en los aspectos técnicos y éticos de la IA, promoviendo un uso informado y crítico de estas herramientas.
V. RELACIÓN DE LA IMPLEMENTACIÓN DE LA INTELIGENCIA ARTIFICIAL EN LA JUSTICIA ARGENTINA CON EL MARCO NORMATIVO NACIONAL E INTERNACIONAL
La Constitución Nacional y los tratados internacionales de derechos humanos tienen un rol central en la regulación del uso de la IA en la justicia argentina. Entre las normas más relevantes se encuentran: 1) el artículo 18 de la CN, el cual garantiza el derecho al debido proceso y a un juicio justo, y 2) el artículo 75 inc.22 de la CN, mediante el que se otorga jerarquía constitucional a tratados como la CADH y el Pacto Internacional de Derechos Civiles y Políticos (PIDCP) (8), que consagran los principios de igualdad y no discriminación.
En cuanto a las leyes, que se vinculan con la implementación de la IA en las decisiones judiciales argentinas, tenemos la Ley 25.326 (9), la que establece derechos vinculados a la protección de los datos personales, aplicables al tratamiento de la información en los sistemas de IA. Al respecto, la norma mencionada regula la protección de los datos personales y establece el derecho de los ciudadanos a acceder, corregir y eliminar información personal. También, la Ley 27.275 (10) garantiza el acceso a la información pública, principio clave para la transparencia en la utilización de la IA por parte del Estado argentino.
VI. CONCLUSIONES
El uso de la inteligencia artificial en la justicia argentina representa una oportunidad y un desafío, por lo cual, su implementación debe ser cuidadosa y responsable. Si bien estas herramientas pueden mejorar la eficiencia y accesibilidad al sistema judicial, también plantean riesgos significativos para los derechos humanos. Los peligros asociados con las alucinaciones, los sesgos y la falta de transparencia no son meros inconvenientes técnicos, sino amenazas reales a los derechos humanos, y a la confianza en el sistema judicial.
En consecuencia, nuestro país debería sancionar una ley integral y exhaustiva para la justicia federal y las provincias para las justicias locales que garanticen la transparencia, la explicabilidad y la no discriminación en el uso de la IA, armonizando los avances tecnológicos con los principios consagrados en la Constitución Nacional y en los tratados internacionales.Solo, así, se podrá construir un sistema judicial que utilice la tecnología como aliada, sin comprometer su función esencial de garantizar la justicia para todos.
El desafío para los legisladores, los jueces, los funcionarios judiciales y los abogados no solo consiste en adoptar estas tecnologías, sino también en regularlas de manera que sirvan como herramientas para fortalecer la justicia, y no como obstáculos para ella. Únicamente, de esta forma, se podrá asegurar que la inteligencia artificial se convierta en una aliada del sistema judicial, y no en un nuevo factor de desigualdad o injusticia.
Por último, los Dres. Mariano Borinsky, Presidente de la Cámara Federal de Casación Penal, y Juan Manuel Garay, Prosecretario de Cámara de ese tribunal, sostienen que «la máquina no puede sustituir el juicio humano. La deliberación judicial no es un ejercicio mecánico ni algorítmico, ni puede ser suplido por este. La justicia es un proceso profundamente humano que involucra la ponderación de derechos, valores y contextos específicos. La participación del juicio humano en la toma de decisiones judiciales es imprescindible para garantizar principios esenciales como la imparcialidad, la equidad y la preservación de derechos fundamentales.La IA puede ser una aliada poderosa para mejorar la eficiencia del sistema, pero su implementación debe realizarse con cautela y supervisión» (11).
———-
(1) http://www.diariojudicial.com/news-99498-la-ia-judicial-con-aval-superior
(2) abogados.com.ar/estados-unidos-nuevo-caso-de-suspension-por-utilizar-falsa-jurisprudencia-del-chatgpt/34175/>
(3) http://www.unesco.org/es/articles/la-historia-del-algoritmo-los-fallos-de-la-inteligencia-artificial
(4) confilegal.com/20241115-el-tsj-de-navarra-decide-no-sancionar-a-un-abogado-que-presento-una-querella-con-la-l
y-colombiana-al-usar-chatgpt/
br/>(6) europa.eu/youreurope/business/dealing-with-customers/data-protection/data-protection-gdpr/index_es.htm
/>(7) servicios.infoleg.gob.ar/infolegInternet/anexos/25000-29999/28152/norma.htm
(8) http://www.ohchr.org/es/instruments-mechanisms/instruments/international-covenant-civil-and-political-rights
>(9) http://www.argentina.gob.ar/normativa/nacional/ley-25326-64790/actualizacion
(10) servicios.infoleg.gob.ar/infolegInternet/anexos/265000-269999/265949/norma.htm
(*) Secretaria en el Juzgado Federal Nro. 2 de la ciudad de Rosario (Provincia de Santa Fe).
(**) Prosecretaria del Área No Penal de la Unidad Fiscal Rosario (Provincia de Santa Fe).
N. de la R.: Artículo publicado en Juris, Jurisprudencia Rosarina Online.
