viernes, 30 de agosto de 2019

INTELIGENCIA ARTIFICIAL Y TRANSFORMACIÓN DEL DERECHO. Síntesis de Investigación.



PRESENTACIÓN

El cinco de julio de este año, la Misión de Investigación Derecho y Justicia de Francia, terminó una investigación iniciada en mayo de 2017, bajo el Programa Derecho, justicia y digital 2016, acerca de "Cómo la tecnología digital transforma el derecho y la justicia hacia nuevos usos y altera la toma de decisiones", la misma que ha publicado en francés, bajo dos formatos: un Informe integral, y una Síntesis de la Investigación, de 179 y 12 páginas respectivamente. Aquellos lectores que desean profundizar en el tema pueden optar por la lectura integral de la investigación en lengua francesa, en los enlaces arriba señalados.

Es la síntesis que me he permitido traducir del francés al castellano, la misma que integra  cuatro secciones: La primera, presenta el funcionamiento de las herramientas digitales existentes del análisis matemático del derecho, aplicando una metodología rigurosa, sobre la cual pueden presentarse un abanico de decisiones tomadas de una jurisdicción determinada sobre un expediente caracterizado por una docena de criterios. Esta cuantificación fina del alea judicial, va más allá de las simples estadísticas y permite comprender y analizar las prácticas y, si es necesario, hacerlas evolucionar.

La segunda sección, está dedicada al marco legal de los Modos Algorítmicos de Análisis de Decisión (MAAD). Su ámbito de competencia identifica - sobre los contenciosos jurídicamente análogos -  y articula alrededor de su  marco jurídico, cinco puntos principales:

- el perímetro o alcance de los contenciosos,
- el objeto, y su sustento en los volúmenes de datos judiciales,
- la finalidad, en la integración de los MAAD en procedimientos desmaterializados para la solución judicial y extrajudicial de los litigios y la reutilización de los datos judiciales,
- las responsabilidades, sobre el hecho generador del litigio constituido por una supuesta falla o proveniente de la autonomía del algoritmo,
- la ética, como principio de transparencia aplicable a los métodos y resultados.

En la tercera, se da cuenta de la encuesta realizada a los Presidentes de los Tribunales de Primera Instancia y los Tribunales de Apelación de Francia continental y en el extranjero y el Tribunal de Casación, con el objeto de conocer sus percepciones sobre estas herramientas, sus expectativas y sugerencias para su empleo. La encuesta permitió reunir opiniones de los magistrados interesados en estas herramientas y el énfasis de ellos en la necesidad de regular su diseño y apoyar sus usos.

Finalmente, la cuarta sección, constituye una reflexión sociológica que muestra las dinámicas internas del ámbito jurídico, traducidas por la "apropiación de las nuevas herramientas por parte de los actores legales", las que serían determinantes en el proceso de cambio expresándose por un aumento de los algoritmos en la institución judicial. Si importantes fuerzas de cambio están operando ya sobre este tema, ellas se reposan sobre la movilización de actores de características específicas más bien "subalternas" en el ámbito jurídico o, en el caso de start up, claramente periféricas. Estas últimas resultan atípicas por su trayectoria,  profesional o profana, y por su actitud reformadora más o menos "radical" hacia el mundo del derecho y de la justicia.
  

Resumiendo: esta investigación contiene algunos aspectos relacionados con el uso de la inteligencia artificial para la cuantificación del riesgo aleatorio judicial, pergeñándose ya en algunos argumentos esbozados en un artículo de hace dos semanas, sobre Desprotección de Derechos Personales de Magistrados o Transparencia y Acceso a la Información Pública - Ley 30934, acerca de algunos algoritmos que permiten realizar procesamiento estadístico y perfilamiento de los magistrados, amenazando o violando sus derechos personales.


Otro aspecto contemplado en la síntesis de la investigación aludida, es la reutilización de los datos, tema que no ha sido aun legislado en el Perú, pero que evocáramos en un artículo, de mayo de 2017, a propósito de la aprobación del D.S. N° 016-2017-PCM sobre la "Estrategia Nacional de Datos Abiertos Gubernamentales 2017-2021 y la creación del nuevo Portal Nacional de Datos Abiertos, requiriéndose que la entidades del sector público realicen el registro del conjunto de datos o recursos de información en el Portal Nacional, acorde con una programación de apertura y publicación.  La Reutilización de Datos Públicos, decíamos en la época, es una etapa superior a esta propuesta, y aun no ha sido realizada.

Una tercera idea retenida en la síntesis, pero que quiero subrayar, corresponde a la manera de cómo los jueces logran sus decisiones. Para hacer esto, se crean modelos lógicos y matemáticos, a la ayuda del lenguaje, que permiten crear sistemas de ayuda a la decisión o sistemas expertos, guiando los ordenadores a tomar decisiones aparentemente similares a las de los magistrados. Apoyados en una cantidad significativa de jurisprudencia sobre criterios previamente definidos, se utilizan diversas técnicas, prestadas en particular del sub-ámbito de la  inteligencia artificial llamadas: aprendizaje automático. Precisamente un estudio sobre la automatización de determinados procesos, y en particular, sobre la automatización de la instrucción penal ordinaria en el Perú, pude llevarla a cabo en Francia en 1991.

Todos estos aspectos delinean una tendencia en las ciencias jurídicas: su recurso cada vez más a las ciencias matemáticas, informática, telecomunicaciones, lógica, lenguaje, inteligencia artificial en la toma de decisiones jurisdiccionales, legales, contractuales; pero de otro lado, en una cada vez más flagrante desespecialización profesional. Es decir, el recurso a herramientas, modelos, programas, aplicativos capaces de realizar funciones de razonamiento, memorización, asociación lógica, comunicación, mas normalizados, rápidas y pertinentes pero también de desplazar a los especialistas. Esta constatación debiera interrogarnos en varios planos: la evolución y el futuro de los profesionales, pero también sobre la responsabilidad, empleabilidad, jurisdiccionalidad, virtualidad, formalidad de los actos, contratos, contenciosos; regímenes de fiscalización, de pensiones…  de los conceptores y usuarios de estas herramientas, modelos, ...

Asistimos con estas herramientas , modelos, ...ciertamente a nuevas formas de organización, producción y toma de decisiones como ninguna otra sociedad humana se había visto confrontada antes. Lo dramático, es que estos rápidos y complejos cambios son desconocidos del gran público, de la gran mayoría de iletrados numéricos o analfabetos digitales que no disponen de información, de medios, de formación adecuada.

Germina entonces un nuevo orden global vinculado a la información y al conocimiento, basado en la investigación, innovación, creación, apropiación, uso de las tecnologías y medios digitales? Si es así, cuál es el comportamiento a adoptar por los responsables de nuestras Regiones, Estados, autoridades? Cuál es la moneda de cambio en esos mercados - de seguir existiendo estos - y cuáles son las nuevas reglas? Cuál debiera ser el comportamiento de los países o regiones que no poseen estas herramientas o modelos, ...o las materias primas sobre las cuáles ella se desarrolla?

Dr. Carlos FERREYROS
Montpellier, verano 2019

INVESTIGACIÓN



ANTICIPAR LAS EVOLUCIONES PARA ACOMPAÑARLAS Y DOMINARLAS


Bajo la dirección de :

Lemy Godefroy, profesora HDR en derecho, GREDEG, Universidad de Niza Sophia Antipolis
Frédéric Lebaron, profesor de sociología, IDHES, ENS Paris-Saclay
Jacques Lévy-Vehel, Director de Investigación, INRIA, Presidente de Case Law Analytics
También contribuyeron a este informe de investigación:
Tom Balteau, estudiante del Departamento de Ciencias Sociales, ENS Paris-Saclay


Primera sección
Presentación del funcionamiento de las herramientas digitales existentes del análisis matemático de la ley
por Jacques LEVY-VEHEL

El propósito de esta sección es informar al lector sobre las posibilidades, limitaciones y desafíos asociados con el uso de las herramientas matemáticas en derecho. Nosotros nos hemos concentrado en una tecnología particular y un ámbito específico, a saber, el uso de inteligencia artificial para la cuantificación del riesgo aleatorio  judicial.
Para la institución judicial y los magistrados, la gestión de la congestión en los tribunales, es sin duda un problema importante que amerita encontremos soluciones que permitan favorecer métodos alternativos de resolución de diferendos, incluyendo, cuando sea necesario, el uso de herramientas digitales. Para los profesionales del derecho, como abogados o responsables legales, saber cómo anticipar el riesgo y prevenir  adecuadamente éste es crucial.

Las explicaciones siguientes del enfoque científico utilizado para cuantificar el riesgo aleatorio  judicial permitirán, esperemos, de poner fin con los fantasmas de la llamada "justicia predictiva", perjudicial para un análisis sereno de los juristas en base a las contribuciones actuales y futuras de la inteligencia artificial al derecho. Una comprensión mínima es de hecho una cuestión previa, para que pueda iniciarse un diálogo necesario con la comunidad de matemáticos sobre bases sólidas que puedan asegurar que la irrupción de estas nuevas herramientas se traduzca lo más rápidamente posible en un mejor funcionamiento de nuestro sistema judicial y no por una degradación del mismo.
"Predecir justicia" significa que uno podría, a través de un algoritmo, "adivinar" la decisión que será tomado por un juez en un expediente dado. Es importante entender que el concepto de justicia predictiva no solo no tiene sentido, sino que además es peligroso.
No tiene sentido porque no hay nada que predecir. De hecho, como se demuestra por ejemplo en un estudio publicado en Cahiers de la Justice (ver Jueces bajo influencia, Cahiers de la Justice, 2015/4 ), no solo dos jueces diferentes pueden tomar decisiones diferentes sobre el mismo expediente, sino también un solo juez puede adoptar soluciones divergentes en casos que presentan las mismas características. La duración de la audiencia, la naturaleza del expediente tratado justo antes y otros parámetros pueden tener un fuerte efecto en el solución dada. Más aun, si dos casos son aparentemente similares, las diferencias sutiles y no cuantificables hacen que la toma de decisiones diferentes sea perfectamente comprensible: es toda la dificultad y el arte de administrar justicia el tentar de tratar a todos por igual, teniendo en cuenta las particularidades intrínsecas de cada situación. El proyecto mismo de predecir la justicia es fundamentalmente erróneo.

Es, además, peligroso, porque es engañoso: de hecho, si imaginamos que un día un ordenador podrá predecir una decisión, un instante de reflexión es suficiente para entender que en realidad el dispondrá esta decisión: es la máquina la que dirá el derecho. La sociedad  no está aun lista para delegar ese tipo de poder a un ordenador, y eso es bueno.

Todos los actores, juristas, matemáticos, ciudadanos comunes, deben movilizarse contra tal proyecto. De hecho, nosotros estamos preparados para aceptar la sentencia de un juez porque es un experto y un ser humano imparcial: puede aprehender los hechos y organizarlos de acuerdo con las normas de derechos adecuados, pero también es capaz de entrar en empatía con los sentimientos de cada una de las dos partes al tomar una decisión, buscando más allá de las reglas de derecho una solución justa, lo que una máquina no puede hacer hasta ahora.

Modelizar el razonamiento jurídico no pareciera alcanzable en este momento; aun cuando fuera el caso, un enfoque determinista (sobre el cual sería ingenuo creer que reposa realmente sobre un silogismo, el mismo que se utiliza principalmente con fines de justificación jurídica de la decisión) no sería deseable ya que no podría tener en cuenta variaciones no cuantificables entre expedientes muy similares, que se traducen por lo que aparece como una incertidumbre irreducible sobre el resultado de un proceso. Las situaciones que comportan un peligro inherente son comunes en diversos ámbitos, como meteorología, medicina o finanzas. El enfoque científico que ponemos comúnmente en obra para tratar este tipo de casos se llama modelización probabilística.

La idea básica es repensar la jurisprudencia como un dato a tratar, en el espíritu de la corriente del realismo jurídico.

Técnicamente, debemos comenzar por elegir un proceso contencioso bien definido, por ejemplo el pago de una indemnización compensatoria. Se sigue una fase de expertise jurídico, durante la cual se trata de determinar, con la ayuda de especialistas en el campo, los principales criterios de derecho y de hecho, sobre los cuales se apoya, de manera conscientemente o no, un juez para tomar su decisión en este tipo de casos.

Luego buscamos de explicar la manera de cómo los jueces logran sus decisiones. Para hacer esto, se crean modelos matemáticos enseñando a las máquinas a tomar decisiones similares a las de los jueces humanos. Es en este estadio que nos apoyamos sobre el análisis de una cantidad significativa de jurisprudencia a la luz de criterios previamente definidos Se utilizan diversas técnicas, en particular prestadas  del sub-ámbito de la  inteligencia artificial llamado aprendizaje automático.

Para tener en cuenta los riesgos  mencionados en los párrafos anteriores, es necesario reproducir no una sola respuesta, sino una gama de posibles "juzgamientos": los modelos matemáticos son entonces afinados con la consigna de que todos estos juicios virtuales coinciden, de manera probada y global, con los que serian rendidos en un expediente dado ante una jurisdicción dada: en otras palabras, la modelización tiene por virtud garantizar que, por ejemplo, las decisiones dictadas por el Tribunal de Apelación de París sobre una muestra de cien expedientes caracterizados por criterios decididos son exactamente los cien resultados calculados por la máquina cuando se le preguntó con estos criterios.

Es importante comprender que no es posible hacerlo mejor: debido al hecho que ningún conjunto de criterios puede describir completamente una situación, y que dos jueces diferentes pueden tomar decisiones diferentes, el único objetivo científicamente fundado es dar cuenta de la diversidad de decisiones que serian tomadas en cuenta, en vista de la información incompleta disponible: el riesgo aleatorio residual refleja tanto la variabilidad inherente al juicio humano y el hecho de que no hay un conjunto de criterios, no importa cuán ricos sean, que puede agotar la infinita diversidad de casos individuales.

Este enfoque hace intervenir tanto el expertise judicial humano que la modelización. Sobre todo, ello no se puede lograr sino a través de una estrecha colaboración y un diálogo continuo entre juristas y matemáticos. Este enfoque es también muy diferente del simple uso de las estadísticas.


Segunda sección

Marco jurídico de los Modos
                                   Algorítmicos de Análisis de las Decisiones
                                                            (MAAD)
por Lemy GODEFROY

La segunda parte está dedicada al marco jurídico de los MAAD en, perspectiva, del interés de la justicia que reside en su calidad (celeridad, previsibilidad, aceptación de decisiones, condiciones de trabajo satisfactorias para los jueces), aquella de los litigantes que pasa por una justicia más rápida que garantice la seguridad jurídica y ésta de sus recomendaciones que se sitúa en su capacidad para determinar la mejor defensa para sus clientes. En esencia, es posible, hasta la fecha, distinguir dos tipos de algoritmos de análisis de las decisiones:

- aquellos que realizan cálculos estadísticos para analizar masas de datos, extraer correlaciones y asignar tendencias promedio
- aquellos que detectan iteraciones dentro de los datos para construir modelos transposables (transponibles) a otras situaciones

Estos algoritmos no son predictivos ni prescriptivos. No tienen por vocación reemplazar el libre arbitrio del juez. Ellos no reducen la acción de decidir a un juego de mecanismo estandarizado. Ellos ofrecen formas de pronunciarse de una manera lúcida.

Estas definiciones y objetivos así formulados, proponen un marco jurídico. Este se organiza principalmente alrededor de cinco cuestiones: el perímetro de estas herramientas (I), su propósito (II), su finalidad (III), las responsabilidades (IV) y la ética (V).

I- El perímetro

Los MAAD no abarcan todos los contenciosos. Su competencia depende de la singularidad. o, por el contrario, de la analogía jurídica de los litigios.

Un caso jurídicamente singular destaca por:

- su complejidad: las reglas jurídica son imprecisas, oscuras o silentes (muettes); incluso varias de ellas pueden serle aplicadas. En estos casos "el juez debe decir más de lo que las solo reglas implican (...) para resolver el difícil caso que se le presenta"[1]

- su especificidad: el diferendo merece un examen exhaustivo debido a la novedad del problema jurídico o el carácter inédito de los hechos. El juez aclara las modalidades de ejecución de las reglas que no han sido hasta ahora, o poco solicitadas, o que se enfrentan a hechos atípicos.

A diferencia de los contenciosos jurídicamente singulares que exigen principalmente "un trato individual"[2], aquellos que son jurídicamente similares caen dentro de la esfera de MAAD sin por lo tanto llevar a una decisión inmediata, elemental y automática.

II- El objeto

Los MAAD se basan sobre volúmenes de datos a diferencia de los baremos y de los sistemas expertos:

- los baremos se refieren a tablas de correspondencia que emanan de combinaciones simples de parámetros, en particular para estimar las indemnizaciones por lesiones[3]

- los sistemas expertos, por ejemplo PilotePC[4] , reposan  sobre una re-escritura de las reglas de derecho en lenguaje informático estructurándolos bajo la forma de un árbol de decisión asociado a una lógica condicional que retranscribe un razonamiento legal[5], los MAAD analizan las decisiones relativas a una problemática jurídica similar para extraer de ellas las referencias[6]. El tratamiento del lenguaje natural y el aprendizaje maquina subentienden técnicamente estas herramientas

Los MAAD explotan así los datos judiciales cuya reutilización es posible para el open data (datos abiertos). Sin embargo, estos datos, aun cuando hayan sido despersonalizados (anonimizados), son susceptibles  de re-identificación por verificación cruzada. Las obligaciones incumben a sus proveedores y a sus reutilizadores.

El proveedor de datos judiciales está obligado a ocultar los elementos de identificación de las personas mencionadas en la decisión. Artículo 33 de la ley de 23 de marzo de 2019 de programación 2018-2022 y de reforma para la justicia modificada por  el artículo L111-13 del Código de la Organización Judicial. Esta instaura un sistema de pseudonimización en dos etapas para prevenir la re-identificación. Se privilegia primero una pseudonimización clásica.

Ella se refuerza en presencia de un riesgo para la privacidad de las partes, terceros, magistrados y miembros de los juzgados y tribunales (Greffe)[7].

Con respecto a los usuarios, la provisión de datos opera sin restricciones. Pero es necesario fijar los límites de la reutilización[8]. Ellas serían inscritas en licencias gratuitas otorgadas a los reutilizadores por el proveedor de datos. Sin embargo, "el espíritu de reutilización de los datos públicos es de ser lo más libre posible para multiplicar los nuevos (...) usos de estos datos"[9]. En consecuencia, independientemente del tipo de licencia, el principio central es que sus condiciones solo pueden restringir la reutilización por razones de interés general y de manera proporcional[10].

III- La finalidad

Queda por especificar la finalidad de la reutilización de los datos judiciales. El "Big Data" de la justicia"[11] serviría a " conocer cada composición de un tribunal con el propósito de rendir una decisión jurisdiccional. La jurisprudencia responderá plenamente a otra definición que se le aplica, a saber: "la tendencia habitual de una jurisdicción o de una categoría de jurisdicciones a juzgar en ese sentido"[12], [13].

Las nuevas tecnologías deben, en consecuencia, generar herramientas cuya función esencial es mejorar la administración de justicia[14].

En cumplimiento de las garantías contenidas en el artículo 6 del CEDH - acceso a la justicia, imparcialidad, independencia del juez, equidad y plazos razonables de procedimientos - los MAAD acompañarían al juez por los "contenciosos (...) que consumen el tiempo y la energía de la justicia, [y que] podrían encontrar una resolución más rápida y más ciudadana si fuera más clara la norma efectivamente aplicada. La norma [reenvía aquí] a las consecuencias concretas y, frecuentemente cuantificadas de una decisión judicial que establece una falta, declara un estado o constata un daño"[15].

Sin embargo, un efecto de rendimiento negativo, a menudo temido, debe ser minimizado. La visualización de los resultados algorítmicos contribuiría a atenuarlos: si su visualización bajo los rasgos de un valor promedio incitarían simplemente a diferirlos en un caso pendiente, su alcance indicativo se impondría si ellos son expuestos bajo la forma de distribuciones de probabilidad, un trabajo de apreciación e interpretación resulta indispensable para extraer información de ellos.

Produciendo un efecto de rendimiento positivo, los MAAD, manejados con discernimiento por terceros responsables de arreglos  amistosos de litigios, facilitan "la toma de una posición informada (...) con el objeto de encontrar un terreno de arreglo y conducir a un resultado transaccional... "[16].

Percibidos como auxiliares en el proceso de toma de decisiones, reforzarían el poder soberano de apreciación del juez, libre éste de abundar en el sentido mayoritario o apartarse de el.

Asociados a formas desmaterializadas de resolución de litigios, los MAAD intervendrían en tres niveles: para guiar a los litigantes hacia la vía amistosa o judicial; para socorrer al mediador en reunir a las partes y el juez o el conciliador en la toma de decisiones; y para orientar procesalmente el ejercicio de la apelación de acuerdo a la singularidad jurídica del  litigio tal como resulta del enunciado sobre las decisiones a las demandas presentadas.

IV- Responsabilidades

Sería cuestionable reconocer alguna responsabilidad a las "máquinas" que contienen un algoritmo. Esto equivaldría a admitir que los objetos técnicos poseen una personalidad jurídica. Sin embargo, aunque el algoritmo tiene una parcela de autonomía, la decisión es tomada por un ser humano. Debe rastrearse la "cadena de comandos humanos"[17]  para que cada cual asuma su responsabilidad.

La ley de responsabilidad por productos defectuosos resultante de la Directiva del 25 de julio 1985[18] sería desestimada. Un programa de computadora no parece ser un producto en el sentido de ese texto no más que el software (logiciel) que lo integra[19]. No estando reunidas las condiciones para implementar este régimen jurídico[20],  la víctima invocaría fundamentos de derecho común.

Concerniente a la responsabilidad por el hecho de las cosas, "la aprehensión física de una cosa no se limita a una relación táctil con ésta (...) para admitir su existencia física"[21], el algoritmo se rige por el artículo 1242, párrafo 1er del Código Civil que requiere la prueba de su rol activo. Según la jurisprudencia, este rol se comprueba si la cosa acusa un estado, una posición o un funcionamiento anormal al momento del daño. Esto podría traducirse por resultados algorítmicos inconsistentes.

La designación del guarda es más delicado. La jurisprudencia supone que el propietario de la cosa (conceptor o cliente  solicitante) tiene la calidad de guarda porque tiene el poder de uso, de control y de dirección, a menos que este poder haya sido transferido. Esta transferencia, si es voluntaria y va acompañada de instrucciones para evitar daños[22], sería susceptible de comprometer la responsabilidad del usuario MAAD.

Sin embargo, ¿el propietario, el conceptor y el usuario detentan un verdadero poder sobre el algoritmo? Ellos son incapaces de anticipar todas las evoluciones de un algoritmo que ejecuta un modelo que se ajusta continuamente. La responsabilidad por el hecho de las cosas que tenemos bajo nuestra guarda pareciera entonces no ser  una base adecuada.

En definitiva, si el hecho que da lugar al daño está constituido por una culpa, podría ser invocada la responsabilidad por el hecho personal a que se refieren los artículos 1240 y 1241 del Código Civil. Una simple presunción de culpa pesaría sobre su autor, por ejemplo, el conceptor que habría reeditado por medios irregulares las entradas o desviado el uso convenido del MAAD.

Cuando el daño proviene de la autonomía del algoritmo de aprendizaje, la ausencia de causalidad humana en el disfuncionamiento de una herramienta algorítmica que ha generado incoherencias de naturaleza a alterar la evaluación de una situación por parte del usuario se compensa por un principio de responsabilidad de pleno derecho del propietario (conceptor o cliente solicitante) implicado en la ocurrencia del riesgo.

V- Ética

Tales consideraciones gravitan en torno al principio de transparencia necesario para poner a prueba la ética del sistema. Pero los meandros de las tecnologías de la inteligencia artificial reducen, y en ocasiones, impiden la comprensión. Esta opacidad es una fuente de desconfianza de los usuarios que no pueden comprender lo que hacen estos sistemas y de desconfianza de los justiciables por temor a una alteración de sus derechos.

La difusión de la fórmula matemática o del código informático contravendría los intereses económicos del conceptor sin por lo tanto esclarecer a los usuarios y litigantes.

La transparencia se aplicaría a los métodos y a los resultados.

En el plano de los métodos:

- Con algoritmos estadísticos o de modelización que aspiran datos sin procesar, el sesgo proviene tanto de un volumen limitado que abundante de datos.

En el primer caso, estos datos son heterogéneos y fragmentarios, lo que afecta la fiabilidad. de las previsiones debido a la insuficiencia de ocurrencias comparables.

En el segundo, a pesar de la abundancia de datos, las previsiones serán falseadas por algunos de ellas que son inexactos, no son pertinentes o engañosos para el algoritmo. De otro lado, cuanto más vasta es la base de datos, el porcentaje de errores sería más alto[23].

- Con algoritmos de modelización en aprendizaje supervisado, algunos ejemplos de juego de datos son seleccionados por el conceptor o el instructor. Ellos son etiquetados para que el algoritmo pueda modelizarlos. En esta tarea, el volumen restringido de datos no es un obstáculo para la fiabilidad de los pronósticos. Por el contrario, su selección debe ser representativa de la diversidad de casos[24] y la realidad judicial (toma en cuenta de solo las decisiones definitivas) y su etiquetado debe ser apropiado para que el aprendizaje no sea una fuente de sesgo que corrompa el modelo[25].

Los conceptores deben comunicar sobre el proceso algorítmico (el aprendizaje seguido por el programa, los modalidades de selección de los inputs (entrants), las pruebas de fiabilidad).

En términos de resultados, estos deben ser inteligibles[26]. La reconstitución del encaminamiento que conduce a ellos es indispensable para atribuirles un efecto jurídico[27].

Los algoritmos estadísticos muestran correlaciones que pueden interpretarse desde un contexto o un plano histórico. Para los algoritmos de modelización, a veces es "imposible de relacionar valores o características con el resultado de la decisión, en particular en caso de un modelo no lineal o con interacciones. Tan alto valor de una variable puede conducir a una decisión en un sentido o en otro según el valor tomado por una otra variable no identificable, incluso una combinación compleja de otras variables"[28]. Sin embargo, esta complejidad es necesaria para el desempeño de los algoritmos. Con este tipo de algoritmos, una explicación del resultado debe poder construirse a posteriori a partir de una explicación de la influencia de cada criterio para que su uso sea oportuno en el ámbito de la justicia y el derecho.

Una autoridad multidisciplinaria que reúna a expertos en algoritmos y juristas seria competente para redactar los términos de referencia (cahier de charges) que detallen estas exigencias éticas mínimos de inteligibilidad, de lealtad y de igualdad de tratamiento.



Apropiación de los Modos
de Análisis Algorítmico de las Decisiones
por los magistrados

por Lemy GODEFROY

Encuesta de campo


Se llevó a cabo una encuesta entre los Presidentes de los Tribunales de primera instancia y los Tribunales de apelación de la metrópoli y de ultamar de Francia, así como de la Corte de Casación con el objeto de conocer sus percepciones sobre estas herramientas, sus expectativas y sus sugerencias sobre su empleo.

El protocolo observado consistió en enviar a cada magistrado una síntesis del estudio del estudio realizado en la segunda sección de este informe, adjuntando a éste un cuestionario validado por la Misión de investigación Derecho y Justicia.

Los jueces de cada nivel jurisdiccional fueron repartidos en cuatro grupos, de forma aleatoria. Se envió un cuestionario distinto a cada uno de estos grupos.

La encuesta se realizó durante 9 meses. Comenzó el 23 de junio de 2018 y finalizó el 31 de marzo 2019.

Se envió una primera solicitud a cada destinatario entre el 19 y el 23 de julio 2018. Un primer relanzamiento fue enviado del 16 de septiembre de 2018, un segundo el 7 Diciembre de 2018. La última respuesta se recibió el 2 de enero de 2019.

El análisis de las respuestas se completó el 31 de marzo de 2019.


La realización de esta encuesta permitió de recopilar las opiniones de los magistrados interesados en estas herramientas. Los magistrados subrayaron además la necesidad de regular su concepción y de acompañar sus usos.


Cuarta sección

Reflexión sociológica
sobre las herramientas digitales de análisis matemático del derecho

por Frédéric LEBARON


El enfoque principal de esta parte del informe se centra sobre la manera en cómo el campo jurídico se transforma actualmente (o no) bajo el efecto de una "innovación" (o de un conjunto de innovaciones) que pueden aparecer a la vez externas (ella proviene de las matemáticas, informática y, en general, de las innovaciones tecnológicas relacionadas con el mundo digital aplicado al derecho), portada y sostenida por relevos políticos centrales que promueven la IA y la innovación; e interna (puesto que el surgimiento de los algoritmos dentro de diferentes grupos ocupacionales son "compatibles" («prise en charge») por algunos de ellos, como algunas estudios de abogados, por ejemplo).

La encuesta permitió así de probar una primera hipótesis: las dinámicas internas del ámbito jurídico, que pueden traducirse por lo que puede resumirse simplemente por la "apropiación de nuevas herramientas por parte de los actores del derecho", son y serán determinantes en el proceso de cambio que debería lógicamente traducirse, en el futuro, por un potente aumento de algoritmos en la institución de la Justicia, cualquiera sea su forma.

También ha podido explorarse una segunda hipótesis: sí significativas fuerzas de cambio ya están obrando, ellas reposan más bien sobre la movilización de actores de características relativamente específicas, generalmente más bien "subalternas" en el campo jurídico, ver, en el caso de ejecutivos de start-up, claramente periféricos. Estos últimos se revelan en particular atípicos por su trayectoria, ya sea profesional o profana, y su actitud reformadora más o menos "radical" relativa al mundo del derecho y de la justicia.

Las innovaciones en torno a algoritmos encuentran múltiples fuerzas de resistencia para el cambio, que hemos  estudiado en sus expresiones más visibles y en ciertos casos, de sus manifestaciones, aunque muchas son subterráneas e implícitas y se refieren a la inercia de las prácticas profesionales.

La encuesta, consecuentemente, se centró especialmente en el reto particular de toma de posición sobre algoritmos "predictivos", de registros discursivos movilizados para hablar de ellos, y de sus determinantes sociales, entendidos en sentido amplio: posiciones y trayectorias en el mundo del derecho, características socio-demográficas como la edad o sexo, etc. Por supuesto, los principales "promotores" están buscando del lado del legaltech y de las start-up orientadas en la "justicia predictiva" que son un "ecosistema" muy específico, por su juventud, su pequeño tamaño, así como por la conjunción de fuerte visibilidad, apoyo institucional en el mundo de la innovación, sin mencionar la fuerte resistencia  dentro de diversos grupos profesionales  potencialmente "impactados"

El desafío de los algoritmos y de la predicción no puede ser separado de aquel de los datos jurídicos, por ejemplo, del conjunto de las informaciones resultantes de las decisiones de justicia que constituye la materia de base de toda modelización y de toda estadística. Por lo tanto, podemos considerar que la cuestión de la numerización y de las decisiones y la accesibilidad de las bases de dato, resulta en sentido fuerte de la sociología de la cuantificación.










[1] J. ALLARD, « Ronald Dworkin ou le roman du droit », La Vie des idées, 7 janvier 2014, http://www.laviedesidees.fr/Ronald-Dworkin-ou-le-roman-du-droit.html 
[2] A. GARAPON, S. PERDRIOLLE, B. BERNANE, C. KADRI, La prudence et l’autorité. L’office du juge au XXIe siècle, rapport de l’IHEJ, mai 2013. 
[3] V. le référentiel indicatif de l’indemnisation du préjudice corporel des Cours d’appel, B. MORNET (dir.), École nationale de la magistrature, octobre 2016, https://frama.link/referentiel-2016 
[4] J.-C. BARDOUT, I. LORTHIOS, « Nouvelle méthode de calcul de la prestation compensatoire ! », AJ famille, 2013, 693. 
[5] V. D. BOURCIER, « L’acte de juger est-il modélisable ? » in De la logique à la justice, Archives de philosophie du droit, Paris, t.54, 2011, p.37 et s. 
[6] T. CLAY (dir.), L’arbitrage en ligne, http://www.leclubdesjuristes.com/wp-content/uploads/2019/04/Rapport-arbitrage-en-ligne-Club-des-juristes-avril-2019.pdf, avril 2019. 
[7] Véase el punto 1.2.7 del informe adjunto al texto de la Ley 2019-222 de 23 de marzo de 2019 de programmation 2018-2022 et de réforme pour la justice, JORF n°0071 du 24 mars 2019. 
[8] Por ejemplo, el último párrafo del nuevo artículo L111-13 del Código del Poder Judicial prohíbe y sanciona el perfilamiento de los profesionales de la justicia.
[9] Ver Comunicación de la Comisión Europea, « L’ouverture des données publiques : un moteur pour l’innovation, la croissance et une gouvernance transparente », n° COM/2011/0882, 12 décembre 2011. 
[10] CNIL et CADA, Guide pratique de la publication en ligne et de la réutilisation des données publiques (open data), https://www.cnil.fr/sites/default/files/atoms/files/guide_open_data.pdf, 2019. 
[11] B. LOUVEL, « Comment sauver le soldat Justice ? », interview par L. NEUER, Le Point, 06 avril 2016. 
[12] Vocabulaire juridique de l’association Henri Capitant. 
[13] B. LOUVEL, Discurso en la apertura del coloquio « La jurisprudence dans le mouvement de l’open data », 14 octobre 2016, JCP éd. G, supplément au n°9, 27 février 2017. 
[14] Avis n°14 (2011) du CCJE « Justice et technologies de l’information (TI) », CEPEJ, p.35. 
[15]  A. GARAPON, S. PERDRIOLLE, B. BERNANE, C. KADRI, ibid.. 
[16] « Méthodes de calcul de la prestation compensatoire. CA Bourges 29 janvier 2015 », AJ famille, 2015, 286. 
[17]  C. VILLANI, OPECST 16 novembre 2017, http://videos.assemblee-nationale.fr/commissions 
[18] Directive 85/374/CEE du 25 juillet 1985 en matière de responsabilité du fait des produits défectueux, transposée aux articles 1245 à 1245-17 du Code civil. 
[19] O. SABARD, « Les produits » in La responsabilité du fait des produits défectueux, GRERCA, IRJS Éditions, 2013. 
[20] CJUE le 25 avril 2002, EU : C : 2002 : 252, points 21 à 23 
[21] N. BINCTIN, « Les biens intellectuels : contribution à l’étude des choses », Communication commerce électronique n° 6, Juin 2006, étude 14. 
[22] Cass.civ.2e, 12 octobre 2000, n°99-10734. 
[23] V. C. CALLUDE et G. LONGO, « The deluge of spurious correlations in big data », Foundations of science, mars 2016, http://www.di.ens.fr/users/longo  
[24]  CERNA collectif, Éthique de la recherche en apprentissage machine, rapport de recherche, Allistène, avril 2017, https://hal.inria.fr/hal-01643281/document : « 2-[dON-2] les données comme miroir de la diversité ». 
[25] V. Rapport C. VILLANI, Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, La Documentation française, mars 2018, p.27. 
[26] CERNA collectif, ibid. : « [exp-1] explicabilité ». 
[27] E. POINAS, Le tribunal des algorithmes. Juger à l’ère des nouvelles technologies, Berger-Levrault, janvier 2019, p.118. 
[28] P. BESSE, C. CASTETS-RENARD, A. GARIVIER, « Loyauté des décisions algorithmiques : contribution au débat public initié par la CNIL », Éthique et numérique, 2017, https://hal.archives-ouvertes.fr/hal-01544701, pp.20-21.  


No hay comentarios:

Publicar un comentario