PRESENTACIÓN
El
cinco de julio de este año, la Misión de
Investigación Derecho y Justicia de Francia, terminó una
investigación iniciada en mayo de 2017, bajo el Programa Derecho, justicia y
digital 2016, acerca de "Cómo la
tecnología digital transforma el derecho y la justicia hacia nuevos usos y
altera la toma de decisiones", la misma que ha publicado en francés, bajo
dos formatos: un Informe integral, y una Síntesis de la
Investigación, de 179 y 12 páginas respectivamente.
Es
la síntesis que me he permitido traducir del francés al castellano, la misma que integra cuatro secciones: La primera, presenta
el funcionamiento de las herramientas digitales existentes del análisis
matemático del derecho, aplicando una metodología rigurosa, sobre la cual
pueden presentarse un abanico de decisiones tomadas de una jurisdicción
determinada sobre un expediente caracterizado por una docena de criterios. Esta
cuantificación fina del alea judicial, va más allá de las simples estadísticas
y permite comprender y analizar las prácticas y, si es necesario, hacerlas
evolucionar.
La
segunda sección, está dedicada al marco legal de los Modos Algorítmicos de Análisis
de Decisión (MAAD). Su ámbito de competencia identifica - sobre los contenciosos
jurídicamente análogos - y articula
alrededor de su marco jurídico, cinco
puntos principales:
- el perímetro
o alcance de los contenciosos,
- el objeto,
y su sustento en los volúmenes de datos judiciales,
- la finalidad, en la integración de los
MAAD en procedimientos desmaterializados para la solución judicial y
extrajudicial de los litigios y la reutilización de los datos judiciales,
- las responsabilidades, sobre el hecho
generador del litigio constituido por una supuesta falla o proveniente de la
autonomía del algoritmo,
- la ética,
como principio de transparencia aplicable a los métodos y resultados.
En
la tercera, se da cuenta de la encuesta realizada a los Presidentes de
los Tribunales de Primera Instancia y los Tribunales de Apelación de Francia
continental y en el extranjero y el Tribunal de Casación, con el objeto de
conocer sus percepciones sobre estas herramientas, sus expectativas y
sugerencias para su empleo. La encuesta permitió reunir opiniones de los
magistrados interesados en estas herramientas y el énfasis de ellos en la
necesidad de regular su diseño y apoyar sus usos.
Finalmente,
la cuarta sección, constituye una reflexión sociológica que muestra las
dinámicas internas del ámbito jurídico, traducidas por la "apropiación de las nuevas herramientas por
parte de los actores legales", las que serían determinantes en el
proceso de cambio expresándose por un aumento de los algoritmos en la
institución judicial. Si importantes fuerzas de cambio están operando ya sobre
este tema, ellas se reposan sobre la movilización de actores de características
específicas más bien "subalternas" en el ámbito jurídico o, en el
caso de start up, claramente
periféricas. Estas últimas resultan atípicas por su trayectoria, profesional o profana, y por su actitud
reformadora más o menos "radical" hacia el mundo del derecho y de la
justicia.
Resumiendo:
esta investigación contiene algunos aspectos relacionados con el uso de la
inteligencia artificial para la cuantificación del riesgo aleatorio judicial, pergeñándose
ya en algunos argumentos esbozados en un artículo de hace dos semanas, sobre Desprotección
de Derechos Personales de Magistrados o Transparencia y Acceso a la Información
Pública - Ley 30934, acerca de algunos algoritmos
que permiten realizar procesamiento estadístico y perfilamiento de los
magistrados, amenazando o violando sus derechos personales.
Otro aspecto contemplado en la síntesis de la investigación
aludida, es la reutilización
de los datos, tema que no ha sido aun legislado en el Perú, pero que evocáramos
en un artículo, de mayo de 2017, a propósito de la aprobación del D.S. N°
016-2017-PCM sobre la "Estrategia Nacional de Datos Abiertos
Gubernamentales 2017-2021 y la creación del nuevo Portal Nacional de Datos Abiertos, requiriéndose que la entidades del sector público realicen el
registro del conjunto de datos o recursos de información en el Portal Nacional,
acorde con una programación de apertura y publicación. La Reutilización
de Datos Públicos, decíamos en la época, es una etapa superior a esta
propuesta, y aun no ha sido realizada.
Una tercera idea retenida en la síntesis, pero
que quiero subrayar, corresponde a la manera de cómo los jueces
logran sus decisiones. Para hacer esto, se crean modelos lógicos y matemáticos,
a la ayuda del lenguaje, que permiten crear sistemas de ayuda a la decisión o
sistemas expertos, guiando los ordenadores a tomar decisiones aparentemente similares
a las de los magistrados. Apoyados en una cantidad significativa de
jurisprudencia sobre criterios previamente definidos, se utilizan diversas
técnicas, prestadas en particular del sub-ámbito de la inteligencia artificial llamadas: aprendizaje automático. Precisamente un
estudio sobre la automatización de determinados procesos, y en particular, sobre
la automatización
de la instrucción penal ordinaria en el Perú, pude llevarla a cabo en Francia
en 1991.
Todos estos aspectos delinean una tendencia en
las ciencias jurídicas: su recurso cada vez más a las ciencias matemáticas, informática,
telecomunicaciones, lógica, lenguaje, inteligencia artificial en la toma de
decisiones jurisdiccionales, legales, contractuales; pero de otro lado, en una
cada vez más flagrante desespecialización profesional. Es decir, el recurso a herramientas, modelos, programas, aplicativos capaces de realizar funciones de razonamiento, memorización,
asociación lógica, comunicación, mas normalizados, rápidas y pertinentes pero también de desplazar a los especialistas. Esta constatación debiera interrogarnos en varios planos: la evolución y el futuro de los profesionales, pero también
sobre la responsabilidad, empleabilidad, jurisdiccionalidad, virtualidad, formalidad
de los actos, contratos, contenciosos; regímenes de fiscalización, de pensiones… de los conceptores y usuarios de estas
herramientas, modelos, ...
Asistimos con estas herramientas , modelos, ...ciertamente a nuevas
formas de organización, producción y toma de decisiones como ninguna otra
sociedad humana se había visto confrontada antes. Lo dramático,
es que estos rápidos y complejos cambios son desconocidos del gran público, de la gran mayoría de iletrados numéricos
o analfabetos digitales que no disponen de información, de medios, de formación
adecuada.
Germina entonces un nuevo orden global vinculado a la información y al conocimiento, basado en la investigación, innovación,
creación, apropiación, uso de las tecnologías y medios digitales? Si es así,
cuál es el comportamiento a adoptar por los responsables de nuestras Regiones, Estados, autoridades? Cuál es la moneda
de cambio en esos mercados - de seguir existiendo estos - y cuáles son las nuevas reglas? Cuál debiera ser el
comportamiento de los países o regiones que no poseen estas herramientas o modelos, ...o las materias
primas sobre las cuáles ella se desarrolla?
Dr. Carlos FERREYROS
Montpellier, verano 2019
INVESTIGACIÓN
|
ANTICIPAR LAS
EVOLUCIONES PARA ACOMPAÑARLAS Y DOMINARLAS
|
Bajo
la dirección de :
Lemy Godefroy, profesora HDR en derecho, GREDEG, Universidad de Niza
Sophia Antipolis
Frédéric
Lebaron, profesor de sociología,
IDHES, ENS Paris-Saclay
Jacques Lévy-Vehel, Director de Investigación,
INRIA, Presidente de Case Law Analytics
También contribuyeron a
este informe de investigación:
Tom Balteau, estudiante del Departamento de Ciencias Sociales, ENS
Paris-Saclay
Primera sección
Presentación del funcionamiento de las herramientas digitales existentes del análisis
matemático de la ley
por Jacques LEVY-VEHEL
|
El
propósito de esta sección es informar al lector sobre las posibilidades,
limitaciones y desafíos asociados con el uso de las herramientas matemáticas en
derecho. Nosotros nos hemos concentrado en una tecnología particular y un
ámbito específico, a saber, el
uso de inteligencia artificial para la cuantificación del riesgo aleatorio judicial.
Para
la institución judicial y los magistrados, la gestión de la congestión en los
tribunales, es sin duda un problema importante que amerita encontremos
soluciones que permitan favorecer métodos alternativos de resolución de
diferendos, incluyendo, cuando sea necesario, el uso de herramientas digitales.
Para los profesionales del derecho, como abogados o responsables legales, saber
cómo anticipar el riesgo y prevenir
adecuadamente éste es crucial.
Las
explicaciones siguientes del enfoque científico utilizado para cuantificar el riesgo aleatorio
judicial permitirán, esperemos, de poner fin con los
fantasmas de la llamada "justicia predictiva", perjudicial para un análisis
sereno de los juristas en base a las contribuciones actuales y futuras de la
inteligencia artificial al derecho. Una comprensión mínima es de hecho una
cuestión previa, para que pueda iniciarse un diálogo necesario con la comunidad
de matemáticos sobre bases sólidas que puedan asegurar que la irrupción de
estas nuevas herramientas se traduzca lo más rápidamente posible en un mejor
funcionamiento de nuestro sistema judicial y no por una degradación del mismo.
"Predecir
justicia" significa que uno podría, a través de un algoritmo,
"adivinar" la decisión que será tomado por un juez en un expediente
dado. Es importante entender que el concepto de justicia predictiva no solo no
tiene sentido, sino que además es peligroso.
No
tiene sentido porque no hay nada que predecir. De hecho, como se demuestra por
ejemplo en un estudio publicado en Cahiers
de la Justice (ver Jueces
bajo influencia, Cahiers de la Justice, 2015/4 ), no solo dos
jueces diferentes pueden tomar decisiones diferentes sobre el mismo expediente,
sino también un solo juez puede adoptar soluciones divergentes en casos que
presentan las mismas características. La duración de la audiencia, la
naturaleza del expediente tratado justo antes y otros parámetros pueden tener
un fuerte efecto en el solución dada. Más aun, si dos casos son aparentemente
similares, las diferencias sutiles y no cuantificables hacen que la toma de
decisiones diferentes sea perfectamente comprensible: es toda la dificultad y
el arte de administrar justicia el tentar de tratar a todos por igual, teniendo
en cuenta las particularidades intrínsecas de cada situación. El proyecto mismo
de predecir la justicia es fundamentalmente erróneo.
Es,
además, peligroso, porque es engañoso: de hecho, si imaginamos que un día un
ordenador podrá predecir una
decisión, un instante de reflexión es suficiente para entender que en realidad
el dispondrá esta
decisión: es la máquina la que dirá el derecho. La sociedad no está aun lista para delegar ese tipo de
poder a un ordenador, y eso es bueno.
Todos
los actores, juristas, matemáticos, ciudadanos comunes, deben movilizarse
contra tal proyecto. De hecho, nosotros estamos preparados para aceptar la
sentencia de un juez porque es un experto y un ser humano imparcial: puede
aprehender los hechos y organizarlos de acuerdo con las normas de derechos
adecuados, pero también es capaz de entrar en empatía con los sentimientos de
cada una de las dos partes al tomar una decisión, buscando más allá de las
reglas de derecho una solución justa, lo que una máquina no puede hacer hasta
ahora.
Modelizar
el razonamiento jurídico no pareciera alcanzable en este momento; aun cuando
fuera el caso, un enfoque determinista (sobre el cual sería ingenuo creer que
reposa realmente sobre un silogismo, el mismo que se utiliza principalmente con
fines de justificación jurídica de la decisión) no sería deseable ya que no
podría tener en cuenta variaciones no cuantificables entre expedientes muy
similares, que se traducen por lo que aparece como una incertidumbre
irreducible sobre el resultado de un proceso. Las situaciones que comportan un
peligro inherente son comunes en diversos ámbitos, como meteorología, medicina
o finanzas. El enfoque científico que ponemos comúnmente en obra para tratar
este tipo de casos se llama modelización
probabilística.
La
idea básica es repensar la jurisprudencia como un dato a tratar, en el espíritu
de la corriente del realismo jurídico.
Técnicamente,
debemos comenzar por elegir un proceso contencioso bien definido, por ejemplo
el pago de una indemnización compensatoria. Se sigue una fase de expertise jurídico, durante la cual se
trata de determinar, con la ayuda de especialistas en el campo, los principales
criterios de derecho y de hecho, sobre los cuales se apoya, de manera
conscientemente o no, un juez para tomar su decisión en este tipo de casos.
Luego
buscamos de explicar la manera de cómo los jueces logran sus decisiones. Para
hacer esto, se crean modelos matemáticos enseñando a las máquinas a tomar
decisiones similares a las de los jueces humanos. Es en este estadio que nos
apoyamos sobre el análisis de una cantidad significativa de jurisprudencia a la
luz de criterios previamente definidos Se utilizan diversas técnicas, en
particular prestadas del sub-ámbito de
la inteligencia artificial llamado aprendizaje automático.
Para
tener en cuenta los riesgos mencionados
en los párrafos anteriores, es necesario reproducir no una sola respuesta, sino
una gama de posibles "juzgamientos": los modelos matemáticos son
entonces afinados con la consigna de que todos estos juicios virtuales
coinciden, de manera probada y global, con los que serian rendidos en un
expediente dado ante una jurisdicción dada: en otras palabras, la modelización
tiene por virtud garantizar que, por ejemplo, las decisiones dictadas por el
Tribunal de Apelación de París sobre una muestra de cien expedientes
caracterizados por criterios decididos son exactamente los cien resultados
calculados por la máquina cuando se le preguntó con estos criterios.
Es
importante comprender que no es posible hacerlo mejor: debido al hecho que
ningún conjunto de criterios puede describir completamente una situación, y que
dos jueces diferentes pueden tomar decisiones diferentes, el único objetivo
científicamente fundado es dar cuenta de la diversidad de decisiones que serian
tomadas en cuenta, en vista de la información incompleta disponible: el riesgo
aleatorio residual refleja tanto la variabilidad inherente al juicio humano y
el hecho de que no hay un conjunto de criterios, no importa cuán ricos sean, que
puede agotar la infinita diversidad de casos individuales.
Este
enfoque hace intervenir tanto el expertise
judicial humano que la modelización. Sobre todo, ello no se puede lograr sino a
través de una estrecha colaboración y un diálogo continuo entre juristas y
matemáticos. Este enfoque es también muy diferente del simple uso de las
estadísticas.
Segunda sección
Marco jurídico de los Modos
Algorítmicos de Análisis de las
Decisiones
(MAAD)
por
Lemy GODEFROY
|
La
segunda parte está dedicada al marco jurídico de los MAAD en, perspectiva, del
interés de la justicia que reside en su calidad (celeridad, previsibilidad,
aceptación de decisiones, condiciones de trabajo satisfactorias para los
jueces), aquella de los litigantes que pasa por una justicia más rápida que
garantice la seguridad jurídica y ésta de sus recomendaciones que se sitúa en
su capacidad para determinar la mejor defensa para sus clientes. En esencia, es
posible, hasta la fecha, distinguir dos tipos de algoritmos de análisis de las
decisiones:
- aquellos que realizan
cálculos estadísticos para analizar masas de datos, extraer correlaciones y
asignar tendencias promedio
- aquellos que detectan
iteraciones dentro de los datos para construir modelos transposables (transponibles) a otras situaciones
Estos
algoritmos no son predictivos ni prescriptivos. No
tienen por vocación reemplazar el libre arbitrio del juez. Ellos no reducen la
acción de decidir a un juego de mecanismo estandarizado. Ellos ofrecen formas
de pronunciarse de una manera lúcida.
Estas
definiciones y objetivos así formulados, proponen un marco jurídico. Este se
organiza principalmente alrededor de cinco cuestiones: el perímetro de estas
herramientas (I), su propósito (II), su finalidad (III), las responsabilidades
(IV) y la ética (V).
I- El
perímetro
Los
MAAD no abarcan todos los contenciosos. Su competencia depende de la
singularidad. o, por el contrario,
de la analogía jurídica de los litigios.
Un
caso jurídicamente singular destaca por:
- su
complejidad: las reglas jurídica son imprecisas, oscuras o silentes (muettes); incluso varias de ellas pueden
serle aplicadas. En estos casos "el juez debe decir más de lo que las solo
reglas implican (...) para resolver el difícil caso que se le presenta"[1]
- su
especificidad: el diferendo merece un examen exhaustivo debido a la novedad del
problema jurídico o el carácter inédito de los hechos. El juez aclara las
modalidades de ejecución de las reglas que no han sido hasta ahora, o poco
solicitadas, o que se enfrentan a hechos atípicos.
A
diferencia de los contenciosos jurídicamente singulares que exigen
principalmente "un trato individual"[2],
aquellos que son jurídicamente similares caen dentro de la esfera de MAAD sin
por lo tanto llevar a una decisión inmediata, elemental y automática.
II- El
objeto
Los
MAAD se basan sobre volúmenes de datos a diferencia de los baremos y de los
sistemas expertos:
- los
baremos se refieren a tablas de correspondencia que emanan de combinaciones
simples de parámetros, en particular para estimar las indemnizaciones por
lesiones[3]
- los
sistemas expertos, por ejemplo PilotePC[4]
, reposan sobre una re-escritura de las
reglas de derecho en lenguaje informático estructurándolos bajo la forma de un
árbol de decisión asociado a una lógica condicional que retranscribe un
razonamiento legal[5], los MAAD
analizan las decisiones relativas a una problemática jurídica similar para extraer
de ellas las referencias[6].
El tratamiento del lenguaje natural y el aprendizaje maquina subentienden
técnicamente estas herramientas
Los
MAAD explotan así los datos judiciales cuya reutilización es posible para el open data (datos abiertos). Sin embargo,
estos datos, aun cuando hayan sido despersonalizados (anonimizados), son
susceptibles de re-identificación por
verificación cruzada. Las obligaciones incumben a sus proveedores y a sus
reutilizadores.
El
proveedor de datos judiciales está obligado a ocultar los elementos de
identificación de las personas mencionadas en la decisión. Artículo 33 de la
ley de 23 de marzo de 2019 de programación 2018-2022 y de reforma para la
justicia modificada por el artículo
L111-13 del Código de la Organización Judicial. Esta instaura un sistema de
pseudonimización en dos etapas para prevenir la re-identificación. Se privilegia
primero una pseudonimización clásica.
Ella
se refuerza en presencia de un riesgo para la privacidad de las partes,
terceros, magistrados y miembros de los juzgados y tribunales (Greffe)[7].
Con
respecto a los usuarios, la provisión de datos opera sin restricciones. Pero es
necesario fijar los límites de la reutilización[8]. Ellas serían inscritas en licencias gratuitas
otorgadas a los reutilizadores por el proveedor de datos. Sin embargo, "el
espíritu de reutilización de los datos públicos es de ser lo más libre posible
para multiplicar los nuevos (...) usos de estos datos"[9]. En consecuencia, independientemente del
tipo de licencia, el principio central es que sus condiciones solo pueden
restringir la reutilización por razones de interés general y de manera
proporcional[10].
III- La
finalidad
Queda
por especificar la finalidad de la reutilización de los datos judiciales. El
"Big Data" de la justicia"[11]
serviría a " conocer cada composición de un tribunal con el propósito de
rendir una decisión jurisdiccional. La jurisprudencia responderá plenamente a
otra definición que se le aplica, a saber: "la tendencia habitual de una
jurisdicción o de una categoría de jurisdicciones a juzgar en ese sentido"[12],
[13].
Las
nuevas tecnologías deben, en consecuencia, generar herramientas cuya función
esencial es mejorar la administración de justicia[14].
En
cumplimiento de las garantías contenidas en el artículo 6 del CEDH - acceso a
la justicia, imparcialidad, independencia del juez, equidad y plazos razonables
de procedimientos - los MAAD acompañarían al juez por los "contenciosos
(...) que consumen el tiempo y la energía de la justicia, [y que] podrían
encontrar una resolución más rápida y más ciudadana si fuera más clara la norma
efectivamente aplicada. La norma [reenvía aquí] a las consecuencias concretas
y, frecuentemente cuantificadas de una decisión judicial que establece una
falta, declara un estado o constata un daño"[15].
Sin
embargo, un efecto de rendimiento negativo, a menudo temido, debe ser
minimizado. La visualización de los resultados algorítmicos contribuiría a
atenuarlos: si su visualización bajo los rasgos de un valor promedio incitarían
simplemente a diferirlos en un caso pendiente, su alcance indicativo se
impondría si ellos son expuestos bajo la forma de distribuciones de
probabilidad, un trabajo de apreciación e interpretación resulta indispensable
para extraer información de ellos.
Produciendo
un efecto de rendimiento positivo, los MAAD, manejados con discernimiento por
terceros responsables de arreglos
amistosos de litigios, facilitan "la toma de una posición informada
(...) con el objeto de encontrar un terreno de arreglo y conducir a un resultado
transaccional... "[16].
Percibidos
como auxiliares en el proceso de toma de decisiones, reforzarían el poder soberano
de apreciación del juez, libre éste de abundar en el sentido mayoritario o
apartarse de el.
Asociados
a formas desmaterializadas de resolución de litigios, los MAAD intervendrían en
tres niveles: para guiar a los litigantes hacia la vía amistosa o judicial;
para socorrer al mediador en reunir a las partes y el juez o el conciliador en
la toma de decisiones; y para orientar procesalmente el ejercicio de la
apelación de acuerdo a la singularidad jurídica del litigio tal como resulta del enunciado sobre
las decisiones a las demandas presentadas.
IV- Responsabilidades
Sería
cuestionable reconocer alguna responsabilidad a las "máquinas" que
contienen un algoritmo. Esto equivaldría a admitir que los objetos técnicos
poseen una personalidad jurídica. Sin embargo, aunque el algoritmo tiene una
parcela de autonomía, la decisión es tomada por un ser humano. Debe rastrearse
la "cadena de comandos humanos"[17] para
que cada cual asuma su responsabilidad.
La
ley de responsabilidad por productos defectuosos resultante de la Directiva del
25 de julio 1985[18] sería
desestimada. Un programa de computadora no parece ser un producto en el sentido
de ese texto no más que el software (logiciel)
que lo integra[19]. No estando reunidas las condiciones para
implementar este régimen jurídico[20],
la víctima invocaría fundamentos
de derecho común.
Concerniente
a la responsabilidad por el hecho de las cosas, "la aprehensión física de
una cosa no se limita a una relación táctil con ésta (...) para admitir su
existencia física"[21],
el algoritmo se rige por el artículo 1242, párrafo 1er del Código
Civil que requiere la prueba de su rol activo. Según la jurisprudencia, este
rol se comprueba si la cosa acusa un estado, una posición o un funcionamiento
anormal al momento del daño. Esto podría traducirse por resultados algorítmicos
inconsistentes.
La
designación del guarda es más delicado. La jurisprudencia supone que el
propietario de la cosa (conceptor o cliente
solicitante) tiene la calidad de guarda porque tiene el poder de uso, de
control y de dirección, a menos que este poder haya sido transferido. Esta transferencia,
si es voluntaria y va acompañada de instrucciones para evitar daños[22],
sería susceptible de comprometer la responsabilidad del usuario MAAD.
Sin embargo, ¿el propietario, el conceptor y
el usuario detentan un verdadero poder sobre el algoritmo? Ellos son incapaces
de anticipar todas las evoluciones de un algoritmo que ejecuta un modelo que se
ajusta continuamente. La responsabilidad por el hecho de las cosas que tenemos
bajo nuestra guarda pareciera entonces no ser
una base adecuada.
En
definitiva, si el hecho que da lugar al daño está constituido por una culpa,
podría ser invocada la responsabilidad por el hecho personal a que se refieren
los artículos 1240 y 1241 del Código Civil. Una simple presunción de culpa
pesaría sobre su autor, por ejemplo, el conceptor que habría reeditado por
medios irregulares las entradas o desviado el uso convenido del MAAD.
Cuando
el daño proviene de la autonomía del algoritmo de aprendizaje, la ausencia de
causalidad humana en el disfuncionamiento de una herramienta algorítmica que ha
generado incoherencias de naturaleza a alterar la evaluación de una situación
por parte del usuario se compensa por un principio de responsabilidad de pleno
derecho del propietario (conceptor o cliente solicitante) implicado en la
ocurrencia del riesgo.
V- Ética
Tales
consideraciones gravitan en torno al principio de transparencia necesario para
poner a prueba la ética del sistema. Pero los meandros de las tecnologías de la
inteligencia artificial reducen, y en ocasiones, impiden la comprensión. Esta
opacidad es una fuente de desconfianza de los usuarios que no pueden comprender
lo que hacen estos sistemas y de desconfianza de los justiciables por temor a
una alteración de sus derechos.
La
difusión de la fórmula matemática o del código informático contravendría los
intereses económicos del conceptor sin por lo tanto esclarecer a los usuarios y
litigantes.
La
transparencia se aplicaría a los métodos
y a los resultados.
En
el plano de los métodos:
- Con
algoritmos estadísticos o de modelización que aspiran datos sin procesar, el
sesgo proviene tanto de un volumen limitado que abundante de datos.
En
el primer caso, estos datos son heterogéneos y
fragmentarios, lo que afecta la fiabilidad. de las previsiones debido a la
insuficiencia de ocurrencias comparables.
En
el segundo, a pesar de la abundancia de datos, las previsiones serán falseadas
por algunos de ellas que son inexactos, no son pertinentes o engañosos para el
algoritmo. De otro lado, cuanto más vasta es la base de datos, el porcentaje de
errores sería más alto[23].
- Con
algoritmos de modelización en aprendizaje supervisado, algunos ejemplos de
juego de datos son seleccionados por el conceptor o el instructor. Ellos son
etiquetados para que el algoritmo pueda modelizarlos. En esta tarea, el volumen
restringido de datos no es un obstáculo para la fiabilidad de los pronósticos.
Por el contrario, su selección debe ser representativa de la diversidad de
casos[24]
y la realidad judicial (toma en cuenta de solo las decisiones definitivas) y su
etiquetado debe ser apropiado para que el aprendizaje no sea una fuente de
sesgo que corrompa el modelo[25].
Los
conceptores deben comunicar sobre el proceso algorítmico (el aprendizaje
seguido por el programa, los modalidades de selección de los inputs (entrants), las pruebas de
fiabilidad).
En
términos de resultados, estos deben
ser inteligibles[26]. La
reconstitución del encaminamiento que conduce a ellos es indispensable para
atribuirles un efecto jurídico[27].
Los
algoritmos estadísticos muestran correlaciones que pueden interpretarse desde
un contexto o un plano histórico. Para los algoritmos de modelización, a veces
es "imposible de relacionar valores o características con el resultado de
la decisión, en particular en caso de un modelo no lineal o con interacciones.
Tan alto valor de una variable puede conducir a una decisión en un sentido o en
otro según el valor tomado por una otra variable no identificable, incluso una
combinación compleja de otras variables"[28].
Sin embargo, esta complejidad es necesaria para el desempeño de los algoritmos.
Con este tipo de algoritmos, una explicación del resultado debe poder construirse
a posteriori a partir de una explicación de la influencia
de cada criterio para que su uso sea oportuno en el ámbito de la justicia y el
derecho.
Una
autoridad multidisciplinaria que reúna a expertos en algoritmos y juristas
seria competente para redactar los términos de referencia (cahier de charges) que detallen estas exigencias éticas mínimos de
inteligibilidad, de lealtad y de igualdad de tratamiento.
|
Apropiación de
los Modos
de Análisis Algorítmico de las Decisiones
por los magistrados
por
Lemy GODEFROY
Encuesta de
campo
|
Se
llevó a cabo una encuesta entre los Presidentes de los Tribunales de primera
instancia y los Tribunales de apelación de la metrópoli y de ultamar de
Francia, así como de la Corte de Casación con el objeto de conocer sus
percepciones sobre estas herramientas, sus expectativas y sus sugerencias sobre
su empleo.
El
protocolo observado consistió en enviar a cada magistrado una síntesis del
estudio del estudio realizado en la segunda sección de este informe, adjuntando
a éste un cuestionario validado por la Misión de investigación Derecho y
Justicia.
Los
jueces de cada nivel jurisdiccional fueron repartidos en cuatro grupos, de
forma aleatoria. Se envió un cuestionario distinto a cada uno de estos grupos.
La
encuesta se realizó durante 9 meses. Comenzó el 23 de junio de 2018 y finalizó
el 31 de marzo 2019.
Se
envió una primera solicitud a cada destinatario entre el 19 y el 23 de julio 2018.
Un primer relanzamiento fue enviado del 16 de septiembre de 2018, un segundo el
7 Diciembre de 2018. La última respuesta se recibió el 2 de enero de 2019.
El
análisis de las respuestas se completó el 31 de marzo de 2019.
La
realización de esta encuesta permitió de recopilar las opiniones de los
magistrados interesados en estas herramientas. Los magistrados subrayaron además
la necesidad de regular su concepción y de acompañar sus usos.
Cuarta
Reflexión sociológica
sobre las herramientas digitales
de análisis matemático del derecho
por Frédéric
LEBARON
|
El
enfoque principal de esta parte del informe se centra sobre la manera en cómo
el campo jurídico se transforma actualmente (o no) bajo el efecto de una
"innovación" (o de un conjunto de innovaciones) que pueden aparecer a
la vez externas (ella proviene de las matemáticas, informática y, en general,
de las innovaciones tecnológicas relacionadas con el mundo digital aplicado al
derecho), portada y sostenida por relevos políticos centrales que promueven la
IA y la innovación; e interna (puesto que el surgimiento de los algoritmos
dentro de diferentes grupos ocupacionales son "compatibles" («prise
en charge») por algunos de ellos, como algunas estudios de abogados, por
ejemplo).
La
encuesta permitió así de probar una primera hipótesis: las dinámicas internas
del ámbito jurídico, que pueden traducirse por lo que puede resumirse
simplemente por la "apropiación de nuevas herramientas por parte de los
actores del derecho", son y serán determinantes en el proceso de cambio
que debería lógicamente traducirse, en el futuro, por un potente aumento de
algoritmos en la institución de la Justicia, cualquiera sea su forma.
También
ha podido explorarse una segunda hipótesis: sí significativas fuerzas de cambio
ya están obrando, ellas reposan más bien sobre la movilización de actores de
características relativamente específicas, generalmente más bien
"subalternas" en el campo jurídico, ver, en el caso de ejecutivos de start-up, claramente periféricos. Estos
últimos se revelan en particular atípicos por su trayectoria, ya sea
profesional o profana, y su actitud reformadora más o menos "radical"
relativa al mundo del derecho y de la justicia.
Las
innovaciones en torno a algoritmos encuentran múltiples fuerzas de resistencia
para el cambio, que hemos estudiado en
sus expresiones más visibles y en ciertos casos, de sus manifestaciones, aunque
muchas son subterráneas e implícitas y se refieren a la inercia de las
prácticas profesionales.
La
encuesta, consecuentemente, se centró especialmente en el reto particular de
toma de posición sobre algoritmos "predictivos", de registros
discursivos movilizados para hablar de ellos, y de sus determinantes sociales,
entendidos en sentido amplio: posiciones y trayectorias en el mundo del
derecho, características socio-demográficas como la edad o sexo, etc. Por
supuesto, los principales "promotores" están buscando del lado del legaltech y de las start-up orientadas en la "justicia predictiva" que son
un "ecosistema" muy específico, por su juventud, su pequeño tamaño,
así como por la conjunción de fuerte visibilidad, apoyo institucional en el
mundo de la innovación, sin mencionar la fuerte resistencia dentro de diversos grupos profesionales potencialmente "impactados"
El desafío
de los algoritmos y de la predicción no puede ser separado de aquel de los
datos jurídicos, por ejemplo, del conjunto de las informaciones resultantes de
las decisiones de justicia que constituye la materia
de base de toda modelización y de toda estadística. Por lo tanto, podemos
considerar que la cuestión de la numerización y de las decisiones y la
accesibilidad de las bases de dato, resulta en sentido fuerte de la sociología
de la cuantificación.
[1] J. ALLARD, « Ronald Dworkin ou le roman du droit », La
Vie des idées, 7 janvier 2014,
http://www.laviedesidees.fr/Ronald-Dworkin-ou-le-roman-du-droit.html
[2] A. GARAPON, S. PERDRIOLLE, B. BERNANE, C. KADRI, La prudence et l’autorité. L’office
du juge au XXIe siècle, rapport de l’IHEJ,
mai 2013.
[3] V. le
référentiel indicatif de l’indemnisation du préjudice corporel des Cours
d’appel, B. MORNET (dir.), École nationale de la magistrature, octobre 2016,
https://frama.link/referentiel-2016
[4] J.-C.
BARDOUT, I. LORTHIOS, « Nouvelle méthode de calcul de la prestation
compensatoire ! », AJ famille, 2013, 693.
[5] V. D.
BOURCIER, « L’acte de juger est-il modélisable ? » in De la logique à la
justice, Archives de philosophie du droit, Paris, t.54, 2011, p.37 et
s.
[6] T. CLAY
(dir.), L’arbitrage en ligne, http://www.leclubdesjuristes.com/wp-content/uploads/2019/04/Rapport-arbitrage-en-ligne-Club-des-juristes-avril-2019.pdf, avril 2019.
[7] Véase el
punto 1.2.7 del informe adjunto al texto de la Ley 2019-222 de 23 de marzo de
2019 de programmation 2018-2022 et de réforme pour la justice, JORF n°0071
du 24 mars 2019.
[8] Por ejemplo, el último
párrafo del nuevo artículo L111-13 del Código del Poder Judicial prohíbe y
sanciona el perfilamiento de los profesionales de la justicia.
[9] Ver
Comunicación de la Comisión Europea, « L’ouverture des données publiques : un
moteur pour l’innovation, la croissance et une gouvernance transparente », n°
COM/2011/0882, 12 décembre 2011.
[10] CNIL et CADA, Guide pratique de la publication en ligne et de la
réutilisation des données publiques (open data), https://www.cnil.fr/sites/default/files/atoms/files/guide_open_data.pdf, 2019.
[11] B. LOUVEL, « Comment sauver le soldat Justice ? », interview par L. NEUER,
Le Point, 06 avril 2016.
[12] Vocabulaire juridique de l’association Henri Capitant.
[13] B. LOUVEL, Discurso en la apertura del coloquio « La jurisprudence dans le
mouvement de l’open data », 14 octobre 2016, JCP éd. G, supplément au
n°9, 27 février 2017.
[14] Avis n°14 (2011) du CCJE « Justice et technologies de l’information (TI)
», CEPEJ, p.35.
[15] A. GARAPON, S. PERDRIOLLE, B.
BERNANE, C. KADRI, ibid..
[16] « Méthodes de calcul de la prestation compensatoire. CA Bourges 29 janvier
2015 », AJ famille, 2015, 286.
[17] C. VILLANI, OPECST 16 novembre
2017, http://videos.assemblee-nationale.fr/commissions
[18] Directive 85/374/CEE du 25 juillet
1985 en matière de responsabilité du fait des produits défectueux, transposée
aux articles 1245 à 1245-17 du Code civil.
[19] O. SABARD, « Les produits » in La responsabilité du fait des produits
défectueux, GRERCA, IRJS Éditions, 2013.
[20] CJUE le 25 avril 2002, EU : C : 2002 : 252, points 21 à 23
[21] N. BINCTIN, « Les biens intellectuels : contribution à l’étude des choses
», Communication commerce électronique n° 6, Juin 2006, étude 14.
[22] Cass.civ.2e, 12 octobre 2000, n°99-10734.
[23] V. C. CALLUDE et G. LONGO, « The deluge of spurious correlations in big
data », Foundations of science, mars 2016, http://www.di.ens.fr/users/longo
[24] CERNA collectif, Éthique de la
recherche en apprentissage machine, rapport de recherche, Allistène, avril
2017, https://hal.inria.fr/hal-01643281/document : « 2-[dON-2] les données comme miroir de la diversité ».
[25] V. Rapport C. VILLANI, Donner un sens à l’intelligence artificielle.
Pour une stratégie nationale et européenne, La Documentation française, mars
2018, p.27.
[26] CERNA collectif, ibid. : « [exp-1] explicabilité ».
[27] E. POINAS, Le tribunal des algorithmes. Juger à l’ère des nouvelles
technologies, Berger-Levrault, janvier 2019, p.118.
[28] P. BESSE, C. CASTETS-RENARD, A. GARIVIER, « Loyauté des décisions
algorithmiques : contribution au débat public initié par la CNIL », Éthique et
numérique, 2017, https://hal.archives-ouvertes.fr/hal-01544701, pp.20-21.
No hay comentarios:
Publicar un comentario