Por: Carlos A. FERREYROS SOTO
Doctor en Derecho
Universidad de Montpellier I Francia.
cferreyros@ferreyros-ferreyros.com
RESUMEN
En
abril 2022, la Comisión Nacional de Informática y Libertades de Francia, CNIL propuso el documento: “IA: Cómo cumplir
con el Reglamento General de Protección de Datos Personales, RGPD”. Su enfoque
no prohíbe el uso de la IA, sino que exige integrar la privacidad desde el
diseño, documentar las decisiones clave y garantizar los derechos de las
personas.
La
CNIL parte de una idea simple: si un sistema de IA recoge o usa datos
personales, se aplican los principios del RGPD, incluidos licitud, minimización,
transparencia, seguridad y respeto de los derechos. Para ello, propone fichas
prácticas que cubren todo el ciclo de vida del sistema, desde la definición de
la finalidad, entrenamiento hasta la puesta en producción.
Ante ello, la
IA antes debe definir una finalidad clara y un régimen jurídico aplicable,
incluyendo la determinación de sí el proveedor actúa como responsable,
co-responsable o encargado. La CNIL señala que la base jurídica del interés
legítimo será con frecuencia la más utilizada para desarrollar sistemas de IA,
pero solo si se supera el análisis en tres pasos y se aplican garantías
suficientes. En el caso del web scraping, la recogida de datos accesibles en
línea debe ir acompañada de medidas específicas para proteger los derechos de
las personas. También recuerda que debe informarse a los interesados y
facilitar el ejercicio efectivo de sus derechos.
En
síntesis, la CNIL exige una IA conforme a los principios de privacidad e
intimidad, desde el diseño, definición clara de la finalidad, una base legal
sólida, control de riesgos, transparencia, seguridad y trazabilidad documental
durante todo el ciclo de vida del sistema.
El documento original en francés fue traducido por el suscrito con la ayuda del aplicativo Google Translator se encuentra en el siguiente enlace:https://www.cnil.fr/fr/intelligence-artificielle/ia-comment-etre-en-conformite-avec-le-rgpd
A fin de acceder a normas similares y estándares europeos,
las empresas, organizaciones públicas y privadas interesadas en asesorías,
consultorías, capacitaciones, estudios, evaluaciones, auditorías sobre el tema,
sírvanse comunicar al correo electrónico:cferreyros@ferreyros-ferreyros.com
________________________________________________________
IA: ¿Cómo cumplir con el RGPD?
5
de abril de 2022
La
inteligencia artificial plantea cuestiones cruciales e
innovadoras, especialmente en lo que respecta a la protección de datos. La CNIL
(Autoridad Nacional de Informática y Libertades de Francia) reitera los
principios fundamentales de la Ley francesa de Protección de Datos y del RGPD europeo
que deben respetarse, así como sus posturas sobre ciertos aspectos más
específicos.
·
Aumentar el tamaño de la fuente
Definir una finalidad
El principio
Para cumplir con el RGPD, un sistema de inteligencia artificial
(IA) basada en la explotación de datos personales siempre debe desarrollarse,
entrenarse e implementarse con una finalidad (objetivo) bien
definido.
Este objetivo debe estar determinado, es decir,
establecido desde el inicio del proyecto. Además, debe ser legítimo y, por lo
tanto, compatible con la misión de la organización. Finalmente, debe ser
explícito, es decir, conocido y comprensible.
Más información: Definir
una finalidad
En la práctica
Como ocurre con cualquier tratamiento de datos, pero
aún más con aquellos que implican grandes cantidades de datos personales, como
suele suceder con los sistemas de IA, es necesario garantizar que se respete
este principio.
En particular, porque es precisamente esa finalidad la
que garantiza que solo se utilicen los datos pertinentes y que el período de conservación
elegido sea el adecuado.
Aprendizaje frente a producción: el caso especial de
los sistemas de IA
La implementación de un sistema de IA basado en el
aprendizaje automático requiere la sucesión de dos fases:
1.
La fase de aprendizaje
La fase de aprendizaje consiste en diseñar,
desarrollar y conducir un sistema de IA y, en particular, un modelo, es decir,
una representación de lo que el sistema de IA habrá aprendido a partir de los
datos de entrenamiento.
2.
La fase de producción
La fase de producción consiste en el despliegue
operativo del sistema de IA obtenido en el paso 1.
Desde la perspectiva de la protección de datos, estos
dos pasos no cumplen el mismo objetivo y, en consecuencia, deben ser separados.
En ambos casos, la finalidad del tratamiento de datos
personales realizado durante cada una de estas fases debe ser determinada,
legítima y explícita.
Establecer una base legal
El principio
Como cualquier tratamiento, sistema de IA. El tratamiento de datos personales solo
puede llevarse a cabo si corresponde a una justificación prevista por la ley.
Existen seis de dichas justificaciones en el RGPD: consentimiento, cumplimiento
de una obligación legal, ejecución de un contrato, cumplimiento de una misión
realizada en interés público, protección de intereses vitales y persecución de
un interés legítimo. En términos prácticos, la base legal l es
lo que otorga a una organización el derecho a procesar datos personales. Por lo
tanto, elegir esta base legal es un primer paso esencial para garantizar el
cumplimiento de la normativa sobre protección de datos. Dependiendo de la base
elegida, las obligaciones de la organización y los derechos de las personas
pueden variar.
Esta elección de la base jurídica debe realizarse
antes de la puesta en marcha del tratamiento de datos.
Más información: La base legal
Si bien la implementación de un sistema de IA no
difiere fundamentalmente de otras formas de tratamiento de datos personales,
ciertas particularidades requieren atención. Por ejemplo, los sistemas de IA —y
en particular los basados en aprendizaje
automático (machine learning) — necesitan utilizar
datos durante la fase de entrenamiento antes de aplicarse a otros sistemas en
la fase operativa.
En cualquier caso, un sistema de IA no puede
implementarse con datos personales recopilados ilegalmente, ni durante la fase
de entrenamiento ni durante la fase operativa. La siguiente sección, «Creación
de una base de datos», ofrece más detalles.
Además, cuando los datos se recopilaron bajo otro
régimen (como la Directiva de Policía y Justicia, por ejemplo), tratamiento de datos personales con
fines didácticos queda, salvo en casos específicos, sujeto al RGPD siempre que:
·
Esta fase de aprendizaje sea bastante
distinta de la fase de implementación operativa del sistema de IA (véase el
recuadro "Aprendizaje VS producción: el caso especial de los sistemas de
IA" en la sección anterior "Definir una finalidad");
·
Su único propósito es desarrollar o
mejorar el rendimiento de un sistema de IA.
Nota: el
objetivo de "investigación científica" no
puede, por sí solo, constituir una base legal para el tratamiento de datos.
Solo las bases legales enumeradas en el RGPD permiten el tratamiento de datos
personales.
Constituir una base de datos
Los sistemas de IA, y en particular los basados en aprendizaje
automático, requieren el uso de grandes volúmenes de datos. Estos
datos son esenciales tanto para el entrenamiento de los sistemas como para su
evaluación, comparación (benchmarking) y validación. La
creación de bases de datos siempre ha sido un desafío para la investigación en
informática y representa un esfuerzo considerable, ya que se trata de acompañar
con anotaciones que
describan los datos y realizar tareas de categorización, limpieza, normalización
y otras relacionadas. Por lo tanto, es un aspecto crucial para el tratamiento...inteligencia
artificial.
En la práctica
Existen dos posibilidades principales para la creación
de bases de datos: la recopilación específica de datos personales para ese fin
y la reutilización de datos ya recopilados para otra finalidad. En este último
caso, surge la cuestión de la compatibilidad entre los fines para los que se
recopilaron inicialmente los datos y las condiciones bajo las cuales se creó la
base de datos inicial.
En todos los casos, la creación de bases de datos
personales, que a menudo requieren largos periodos de conservación de datos, no puede realizarse a expensas de
los derechos de las personas afectadas. En particular, debe ir acompañada de
medidas informativas:
·
ya sea antes de la recogida;
·
ya sea dentro del plazo de un mes a partir
de la recepción de las bases de datos por parte de los terceros.
Esta información es esencial para poder ejercer otros
derechos (acceso, rectificación, supresión, oposición).
Ejemplos
·
En el sector sanitario, la CNIL (Autoridad
Francesa de Protección de Datos) ha tenido la oportunidad de emitir un dictamen
sobre la creación de almacenes de datos sanitarios. En una guía publicada recientemente , aclara el
marco en el que se pueden recopilarse y almacenarse datos en una única base de
datos durante periodos prolongados, en el contexto de misiones de interés
público y para futuras investigaciones.
·
En respuesta a una solicitud de
asesoramiento, la CNIL (Autoridad Francesa de Protección de Datos) pudo aceptar
la reutilización de imágenes de video protección en un contexto específico para
la investigación científica sobre la comprensión de los movimientos de
multitudes, una tarea en el campo de la visión por computadora. Sin embargo, se
especificó que, para ello, la recopilación de datos debía cumplir con lo
siguiente:
§
que tenga lugar dentro del período legal
de conservación de imágenes de
videovigilancia (1 mes); y
§
Debe ir acompañada de información
destinada a las personas interesadas.
Minimizar datos
El principio
Los datos personales recogidos y utilizados deben
ser adecuados, pertinentes y limitados
a lo necesario para la finalidad definida: este es el principio
de minimización de
datos . Se debe prestar especial atención a la naturaleza de
los datos, y este principio debe aplicarse con especial rigor cuando los datos
tratados sean sensibles (Artículo 9 del RGPD).
Los sistemas de IA más destacados y discutidos
actualmente se basan en métodos de aprendizaje automático particularmente potentes. La
mejora de estos métodos ha sido posible gracias a los efectos combinados de:
·
investigación y desarrollo de nuevos
enfoques;
·
del aumento de la potencia informática
disponible que permite operaciones más complejas; y
·
debido al aumento en el volumen de datos
disponibles.
Si bien el uso de grandes cantidades de datos es fundamental
para el desarrollo y uso de los sistemas de IA, el principio de minimización, no es sin
embargo, un obstáculo para llevar a cabo dichos tratamientos.
En la práctica
Es necesario determinar los tipos de datos
requeridos para el entrenamiento y funcionamiento de un sistema de IA. Por
ejemplo, mediante experimentos y pruebas realizadas con datos ficticios, es
decir, datos con la misma estructura que los datos reales pero que no están
vinculados a ninguna persona. En consecuencia, estos datos no son datos
personales.
También es necesario estimar con precisión la cantidad
de datos necesarios para entrenar el sistema y puesta en consideración con la
finalidad del tratamiento, de acuerdo con el principio de proporcionalidad.
En efecto, la fase de aprendizaje (o entrenamiento) apunta
a desarrollar un sistema de IA y, por lo tanto, explorar las posibilidades que
ofrece el aprendizaje automático y puede requerir una gran cantidad de datos,
algunos de los cuales resultarán inútiles durante la fase de implementación.
Por lo tanto, los datos deben utilizarse con criterio.
En la práctica, se recomienda lo siguiente, aunque esta lista no es exhaustiva:
·
evaluar críticamente la naturaleza y la
cantidad de datos que se utilizarán;
·
verificar el rendimiento del sistema al
alimentarlo con nuevos datos;
·
distinguir claramente los datos utilizados
durante las fases de aprendizaje y producción;
·
utilizar mecanismos de seudonimización o
filtrado/ofuscación de datos;
·
establecer y mantener disponible la
documentación relativa a los métodos de construcción del conjunto de datos
utilizado y sus propiedades (fuente de datos, muestreo de datos, verificación
de su integridad, operaciones de limpieza realizadas, etc.);
·
reevaluar periódicamente los riesgos para
las personas afectadas (privacidad, riesgo de discriminación/prejuicios, etc.);
·
garantizar la seguridad de los datos y, en
particular, para definir con precisión las autorizaciones de acceso y limitar
los riesgos.
Ejemplo
En el contexto de un estudio clínico destinado a
identificar las variables explicativas del cáncer de próstata, la CNIL denegó a
un laboratorio farmacéutico la autorización para procesar los datos de la
totalidad de los expedientes de pacientes activos de los distintos centros
participantes en el estudio.
De hecho, esta base de datos activa contenía
cientos de millones de registros de personas que no padecían la afección en
estudio (P ej. incluso
registros de mujeres!). El deseo de procesar estos datos, justificado
científicamente por la necesidad de obtener "verdaderos negativos"
para entrenar eficazmente un clasificador, parecía en efecto desproporcionado
con respecto a la finalidad del tratamiento e innecesario para
desarrollar un sistema de IA de alto rendimiento.
Aprendizaje frente a producción: el caso especial de
los sistemas de IA.
Durante la fase de aprendizaje, es posible una
supervisión relativamente flexible concerniente al acceso a un volumen y
diversidad de datos suficientes, sujeta a una compensación proporcional a los
riesgos que implica el tratamiento (deben tenerse en cuenta la naturaleza de
los datos, su volumen y la finalidad del sistema de IA). Estas medidas pueden
incluir:
·
Acceso limitado a un número restringido de
personas autorizadas;
·
un tratamiento con límite de tiempo,
la pseudonimización de datos ;
·
la aplicación de medidas técnicas y
organizativas apropiadas;
·
etc.
Solo después de la fase de aprendizaje se puede
implementar el sistema de IA en un entorno de producción. Para esta segunda
fase, que va más allá del entorno de laboratorio, será necesario implementar
restricciones más estrictas para controlar el tratamiento.
Por ejemplo, será necesario reducir la
tipología de datos personales a solo aquellos que hayan demostrado ser
esenciales al final de la fase de aprendizaje y desarrollar
medidas apropiadas, ya que las limitaciones de producción difieren de las
limitaciones de diseño y desarrollo, siempre que esta primera fase no presente
ningún riesgo particular para las personas.
Ejemplos
·
En el marco de un proyecto presentado por
un organismo gubernamental, la CNIL (Comisión Nacional de Informática y
Libertades de Francia) tuvo la oportunidad de pronunciarse sobre la diferencia
entre la fase de aprendizaje (o desarrollo) y la fase operativa (o de
producción) de un sistema de IA. Dentro de este proyecto, se preveía que la
primera fase (aprendizaje) se autorizaría mediante decreto. Si esta fase
resultaba satisfactoria, se emitiría un segundo decreto para regular la
implementación práctica de este marco para profesionales y el público en general.
·
En el sector sanitario, se establece una
clara distinción entre las fases de investigación, que requieren formalidades
con la CNIL (autorización, cumplimiento de una metodología de referencia,
etc.), y las fases de explotación dentro de una vía asistencial, que no
requieren formalidades con la CNIL.
Definir una duración de conservación
El principio
Los datos personales no pueden ser conservados
indefinidamente. El RGPD exige que se defina un período de conservación tras el cual los datos deben eliminarse o, en
algunos casos, archivarse. Este período de conservación debe ser determinado por el responsable del
tratamiento de los datos dependiendo del objetivo que motivó la recopilación de
estos datos.
Más información: Duración de conservación de datos
La implementación de un sistema de IA en muchos casos,
puede requerir la conservación de datos
personales durante un período más prolongado que para otras actividades de tratamiento.
Esto puede ocurrir, por ejemplo, al crear conjuntos de datos para la formación
y el desarrollo de nuevos sistemas, pero también para cumplir con los
requisitos de trazabilidad y la medición del rendimiento a lo largo del tiempo
una vez que el sistema esté en producción.
La necesidad de definir un periodo de conservación para los datos utilizados en el tratamiento no
impide la implementación del tratamiento mediante IA. Este periodo debe ser
siempre proporcional a la finalidad prevista: por ejemplo, la finalidad de la
medición del rendimiento debe indicarse explícitamente, y los datos que se
retengan durante periodos más prolongados para este fin deben seleccionarse
adecuadamente. El mero propósito de medir el rendimiento a lo largo del tiempo
no justifica, a priori, la conservación
a largo plazo de todos los datos.
Además, en el tratamiento mediante IA implementado con
fines de investigación científica, es posible de conservar los datos durante períodos más
prolongados .
Enmarcar la mejora continúa
La distinción entre las fases de aprendizaje y
producción no siempre es clara para todos los sistemas de IA. Esto es
especialmente cierto en el caso de los sistemas de "aprendizaje
continuo", donde los datos utilizados durante la fase de producción
también se emplean para mejorar el sistema, creando así un ciclo de
retroalimentación completo. El proceso de reaprendizaje puede implementarse a
intervalos diferentes, como después de unas horas, días o meses, según el
objetivo.
Preguntas a plantearse
Además de los riesgos inherentes de sesgo en el
aprendizaje continuo (introducción de sesgos discriminatorios, degradación del
rendimiento, etc.), dicho uso de datos para dos propósitos distintos (aquel
para el cual el sistema de IA (se pone en producción y la mejora intrínseca del
sistema) plantea interrogantes desde el punto de vista de la protección de
datos:
·
¿Hasta qué punto son inseparables estas
dos finalidades?
·
¿Es posible separar las fases de
aprendizaje y producción en todos los casos?
·
¿Si el algoritmo es proporcionado por un
editor y utilizado por un responsable tercero del tratamiento de datos, cómo
deben distribuirse las responsabilidades relacionadas con las dos fases del
tratamiento?
Ejemplos
·
En los casos sobre los que ha tenido que
pronunciarse, la CNIL siempre ha considerado posible separar las fases de
aprendizaje y producción, incluso cuando estas fases están interrelacionadas.
Por ejemplo, en su libro blanco sobre asistentes vocales, la CNIL
analiza el caso de uso de la reutilización de datos recopilados por un
asistente de voz para mejorar el servicio. El ejemplo de anotar nuevos ejemplos
de entrenamiento para mejorar el rendimiento de los sistemas de inteligencia
artificial, se menciona específicamente y se establece una clara distinción
entre este tratamiento y el implementado para la ejecución del servicio
esperado por el usuario del asistente vocal.
·
En lo que respecta a la distribución de
responsabilidades entre las partes interesadas, la CNIL (Autoridad Nacional de
Informática y Libertades de Francia) emitió recientemente una resolución sobre
la reutilización de datos por parte de un subcontratista,
cuando un responsable del tratamiento le confía dichos datos .
En el caso de los sistemas de IA, la reutilización por parte del proveedor del
sistema es legalmente admisible si se cumplen varias condiciones: autorización
del responsable del tratamiento, pruebas de compatibilidad, información y
respeto de los derechos de las personas, y conformidad con el nuevo tratamiento
implementado.
Se premunir contra los riesgos asociados a los modelos
de IA
Los principales riesgos
El aprendizaje automático se basa en la creación de
modelos. Estos modelos representan lo que los sistemas de IA han aprendido a
partir de datos de entrenamiento. Desde aproximadamente 2010, ha surgido un
campo de investigación en informática centrado en la seguridad de los modelos
de IA y, en particular, en las posibilidades de extracción de información, lo
que puede tener implicaciones significativas para la confidencialidad de los
datos personales.
Con frecuencia hablamos de ataques de
inferencia de pertenencia, ataques de ex filtración de modelos o
de ataques de inversión de modelos (véase el artículo de LINC
"Una pequeña taxonomía de ataques a sistemas de IA").
Por ejemplo, numerosos estudios han demostrado que los
grandes modelos de lenguaje (GPT-3, BERT, XLM-R, etc.) tienden a
"memorizar" ciertos elementos textuales con los que fueron entrenados
(nombre, apellido, dirección, número de teléfono, número de tarjeta de crédito,
etc.). La posibilidad de realizar tales ataques y extraer información de ellos
pone en entredicho la naturaleza misma de estos nuevos objetos introducidos por
la inteligencia artificial. Por lo tanto, es necesario implementar medidas
tanto técnicas como organizativas para minimizar los riesgos ( véanse las publicaciones de LINC dedicadas a la seguridad
de los sistemas de IA ).
Además, un modelo de IA entrenado con datos personales
no puede considerarse, por defecto, como datos personales (o, más precisamente,
como un conjunto de datos personales). Sin embargo, su creación debe basarse en
el tratamiento lícito de datos, tal como lo define el RGPD. Por ello, algunas
autoridades reguladoras han podido exigir la eliminación de modelos de IA
creados a partir de datos obtenidos ilegalmente (por ejemplo, la Federal
Trade Commission aux Etats-Unis Comisión Federal
de Comercio de Estados Unidos ).
Finalmente, si un modelo de IA es objeto de un ataque
de privacidad exitoso (como inferencia de pertenencia, ex filtración o
inversión), esto puede constituir una violación de datos .
En ese caso, es necesario eliminar el modelo en cuestión lo antes posible y
notificar a las autoridades competentes la violación de datos con la autoridad
competente en materia de protección de datos si es probable que la violación de
seguridad suponga un riesgo para los derechos y libertades de las personas
afectadas.
Ejemplos
La CNIL ha tenido la oportunidad de dialogar con
diversas organizaciones sobre la situación de los modelos de IA en virtud del
RGPD. Hasta la fecha, la CNIL no considera que un modelo de IA entrenado con
datos personales contenga necesariamente datos personales.
No obstante, dados los riesgos reales para la
privacidad, la CNIL recomienda que se implementen medidas adecuadas para
minimizarlos. Así, en el contexto del apoyo a uno de los proyectos ganadores
del concurso de "sandbox" de datos personales ,
surgió la cuestión relativa a la naturaleza de los modelos de IA aprendidos
localmente y retroalimentados a un centro de orquestación durante la
implementación de métodos de aprendizaje federado.
Garantizar la información y la explicabilidad
El principio:
El principio de transparencia del RGPD exige que
cualquier información o comunicación relacionada con el tratamiento de datos
personales sea conciso, transparente, comprensible y fácilmente
accesible, en términos sencillos y claros.
Más información: ¿Cómo informar a las personas y garantizar la
transparencia?
En la práctica
Si bien los principios fundamentales del RGPD y de la
Ley francesa de protección de datos se aplican a los sistemas de IA, la
información que se debe proporcionar a las personas puede variar:
·
cuando los datos no han sido recopilados
directamente por el responsable que implementa el sistema de IA y que es
difícil volver a ponerse en contacto con las personas afectadas. Este problema
no es específico del tratamiento de IA, pero se encuentra con frecuencia en él,
particularmente con el uso de conjuntos de datos de entrenamiento;
·
Para el ejercicio de ciertos derechos (en
particular, los contemplados en el artículo 22 del RGPD)[1],
es fundamental proporcionar al interesado explicaciones claras de los motivos
de la decisión en cuestión. La complejidad y la opacidad de algunos sistemas de
IA pueden dificultar la facilitación de esta información.
En ciertos casos, es posible desviarse del derecho a
la información cuando los datos no se han obtenido directamente de las personas
interesadas, especialmente si se demuestra que informar a estas personas
resulta imposible o requiere un esfuerzo desproporcionado, por ejemplo, para el
tratamiento mediante IA con fines de investigación científica. En publicaciones
recientes de la CNIL sobre investigación científica (excluida la salud), una de
las fichas informativas detalla específicamente los procedimientos para desviarse del derecho a la
información de las personas .
Ejemplo
Tras una auditoría de una plataforma que permite la
preinscripción para el primer año de formación post bachillerato, la CNIL constató
una falta de información sobre el uso de un algoritmo y su funcionamiento para
clasificar y asignar personas dentro de las instituciones de educación
superior, lo que dio lugar a la emisión de una notificación formal a la administración
que gestiona esta plataforma .
Estos hechos constituyeron una infracción del artículo
39.I.5 de la Ley de Protección de Datos: « Toda persona física
que pueda acreditar su identidad tiene derecho a interrogar al responsable del
tratamiento de datos personales para obtener información que le permita comprender
y cuestionar la lógica subyacente al tratamiento automatizado en caso de que se
haya adoptado una decisión basada en dicho tratamiento que produzca efectos
jurídicos para la persona interesada».
Por consiguiente, la CNIL solicitó que se suspendieran
las decisiones que produjeran efectos jurídicos sobre las personas físicas
basadas únicamente en el tratamiento automatizado de datos. En concreto, la
CNIL solicitó la intervención humana para tener en cuenta las observaciones de
las personas.
Implementar el ejercicio de los derechos
El principio:
Las personas cuyos datos se procesan tienen derecho a
mantener el control sobre sus datos. El responsable del archivo de tratamiento
de datos debe explicar cómo ejercer estos derechos (¿con quién?, ¿de qué
forma?, etc.). Al ejercer sus derechos, las personas deberían, en principio,
recibir una respuesta en el plazo de un mes.
Más información: Respeto a los derechos de las personas
Cuando el sistema de IA implica el tratamiento de
datos personales es necesario garantizar que se respeten plenamente los
principios que rigen el ejercicio de los derechos de las personas, tal como se
establecen en el RGPD: acceso (artículo 15), rectificación (artículo 16),
supresión (artículo 17), limitación del tratamiento (artículo 18), portabilidad
de los datos (artículo 20) y oposición (artículo 21). Estos derechos constituyen
una protección esencial para las personas, permitiéndoles evitar sufrir las
consecuencias de un sistema automatizado sin la capacidad de comprender y, en
su caso, oponerse al tratamiento de sus datos personales. En la práctica, estos
derechos se aplican a lo largo de todo el ciclo de vida del sistema de IA y,
por lo tanto, abarcan los datos personales.
·
contenidos en las bases de datos
utilizadas para el aprendizaje;
·
procesados en
la fase de producción
(que puede incluir los productos generados por el sistema).
Por lo tanto, los responsables del tratamiento de
datos deben tener en cuenta, desde la fase de diseño del sistema, que deben
incluir mecanismos y procedimientos adecuados para responder a las solicitudes
que puedan recibir. Se podrán invocar excepciones al ejercicio de ciertos derechos en
el caso del tratamiento de datos mediante inteligencia artificial con fines de
investigación científica.
Además, es probable que los modelos de IA aprendidos
también contengan datos personales:
·
por construcción, como es el caso de ciertos algoritmos
particulares que pueden contener fracciones de datos de entrenamiento (por
ejemplo, SVM o ciertos algoritmos de agrupamiento);
·
por accidente, como se indica en la sección "Protección
contra los riesgos asociados a los modelos de IA".
En el primer caso, dependiendo de las posibilidades
técnicas ofrecidas y la capacidad del controlador de datos Al (re)identificar a
la persona interesada, se puede llevar a cabo el ejercicio de los derechos de
las personas.
En el segundo caso, los derechos de las personas
afectadas pueden ser difíciles o incluso imposibles de ejercer y satisfacer.
El responsable del tratamiento no debe recopilar ni
almacenar información adicional para identificar al interesado únicamente con
el fin de cumplir con el RGPD (Artículo 11). Por lo tanto, en algunos casos, la
identificación de las personas puede resultar compleja. Si el responsable del
tratamiento demuestra que no puede hacerlo, podrá denegar los derechos sin
perjuicio del derecho del interesado a proporcionar información adicional que
permita su reidentificación durante el tratamiento. Esto ocurrirá, en
particular, cuando una persona considere que un sistema de IA la está tratando
de una manera específica.
El cumplimiento de una solicitud para rectificar o
eliminar datos de entrenamiento no implica necesariamente la rectificación o
eliminación del/los modelo(s) de IA producido(s) a partir de esos datos.
Enmarcar la toma de decisiones automatizada
El principio
Las personas tienen derecho a no ser objeto de una
decisión basada únicamente en el tratamiento automatizado (artículo 22 del
RGPD) — a menudo basado en la elaboración de perfiles — que tenga efectos
jurídicos sobre ellas o les afecte significativamente. Sin embargo, una
organización puede automatizar este tipo de decisiones si:
·
La persona dio su consentimiento
explícito;
·
La decisión es necesaria para un contrato
celebrado con la organización; o
·
La toma de decisiones automatizada está
autorizada por disposiciones legales específicas.
En estos casos, debe ser posible para la persona:
·
ser informado de que se ha tomado una
decisión totalmente automatizada en su contra;
·
preguntar para conocer la lógica y los
criterios utilizados para tomar la decisión;
·
impugnar la decisión y expresar su punto
de vista;
·
solicitar la intervención de un ser humano
que pueda revisar la decisión.
Más información: Elaboración de perfiles y toma de decisiones totalmente
automatizadas.
En la práctica
Los sistemas de IA suelen formar parte de procesos que
pueden implementar mecanismos automatizados de toma de decisiones.
Por lo tanto, el responsable del tratamiento de datos
debe prever la posibilidad, en su caso, de intervención humana para que el
interesado pueda solicitar una revisión de su situación, expresar su punto de
vista, obtener una explicación de la decisión adoptada e impugnarla. En los
casos en que se preste asistencia para la toma de decisiones, también son
necesarias garantías, en particular en lo que respecta a la información.
Ejemplos
Surge entonces la cuestión del alcance de la
definición de lo que constituye una decisión individual automatizada y el grado
de intervención humana deseable en el caso de los sistemas de IA.
En su borrador de Guía sobre reclutamiento, la CNIL (Autoridad
Francesa de Protección de Datos) analiza el uso de ciertas herramientas
automatizadas de clasificación e incluso de evaluación de solicitudes. Estas
soluciones pueden llevar a que, por diseño, se tome una decisión basada
exclusivamente en el tratamiento automatizado cuando se rechazan
solicitudes o cuando, por limitaciones de tiempo, se relegan a una fase
secundaria no controlada. Debido a los riesgos asociados con este método de
toma de decisiones, que a menudo resulta opaco para los candidatos, estos
procesos están generalmente prohibidos por el RGPD. Su uso solo se permite en
circunstancias excepcionales y está sujeto a la implementación de salvaguardas
específicas diseñadas para garantizar los derechos e intereses de los
candidatos.
La CNIL (Autoridad Francesa de Protección de Datos)
tuvo la oportunidad de emitir un Dictamen sobre el tratamiento de datos
realizado por un organismo gubernamental. Este tratamiento tenía como objetivo
utilizar experimentalmente contenido en línea de libre acceso en plataformas
que conectan a múltiples partes con el fin de vender bienes, prestar servicios
o intercambiar o compartir contenido, bienes o servicios. En su dictamen, la
CNIL aclaró que los datos tratados no deben, bajo ninguna circunstancia, dar
lugar a la programación automatizada de auditorías fiscales, ni mucho menos a
decisiones directamente ejecutables contra los contribuyentes.
Evaluar el sistema
Los ángulos de evaluación
La evaluación de los sistemas de IA es una cuestión
crucial y fundamental para el Proyecto de reglamento de la Comisión Europea .
Desde la perspectiva de la protección de datos, esta evaluación es esencial
para:
·
Validar el enfoque
probado durante la fase de diseño y desarrollo del sistema (conocida como "fase de aprendizaje").
Esto implica verificar, de la manera más científica y honesta posible, que el
sistema funciona según las expectativas de los diseñadores y, si corresponde,
que es apto para su implementación en la fase de producción.
·
Minimizar los riesgos de
desviación del sistema que puedan observarse con el tiempo. Por ejemplo, porque está dirigido a personas con
perfiles diferentes a aquellos cuyos datos constituyen la base del
entrenamiento, o porque el sistema se reentrena periódicamente, lo que puede
provocar una degradación del rendimiento, potencialmente perjudicial para las
personas afectadas.
·
Es fundamental
garantizar que, una vez implementado en producción, el sistema satisfaga
plenamente las necesidades operativas para las que fue diseñado. De hecho, es necesario distinguir entre el
rendimiento alcanzado durante la fase de aprendizaje y el rendimiento del
sistema una vez en producción, ya que la calidad del primero no garantiza la
calidad del segundo.
Ejemplo
Como parte de la experimentación de una tecnología de
reconocimiento facial La CNIL (Autoridad Francesa de Protección de Datos)
exigió que el informe presentado también fuera acompañado de un protocolo de evaluación
riguroso que permitiera una medición precisa de la contribución de esta
tecnología. En la práctica, solicitó específicamente lo siguiente:
·
métricas de rendimiento objetivas
comúnmente utilizadas por la comunidad científica;
·
un análisis sistemático de los errores del
sistema y sus implicaciones operativas;
·
elementos relacionados con las condiciones
experimentales (por ejemplo, para un sistema de visión por computadora:
día/noche, condiciones climáticas, calidad de las imágenes utilizadas,
resistencia a posibles elementos que puedan obstruir la visión, etc.);
·
puntos a considerar con respecto a los
riesgos potenciales de discriminación que implica el despliegue de este sistema
de IA específicamente;
·
elementos relacionados con las
implicaciones de este sistema si se implementa en un entorno operativo teniendo
en cuenta la realidad sobre el terreno (por ejemplo, una tasa de falsos
positivos del 10 % en 10 alertas no tiene la misma implicación operativa que el
10 % para 1000 alertas).
Evitar la discriminación algorítmica
Los desafíos
El uso de sistemas de IA también puede conllevar
riesgos de discriminación. Las razones son numerosas y pueden deberse a:
·
datos utilizados para la formación, por
ejemplo, porque no son representativos o porque, incluso si son representativos
del "mundo real", reflejan un carácter discriminatorio (por ejemplo,
la reproducción de las brechas salariales entre mujeres y hombres); o
·
del propio algoritmo, que puede tener
fallos de diseño. Esta dimensión, también muy presente en el Proyecto de reglamento de la Comisión Europea ,
requiere una consideración específica por parte de la responsable del
tratamiento de datos.
Ejemplos
Durante una auditoría realizada a una organización que
implementaba un sistema automatizado para evaluar los currículos en vídeo
grabados por los candidatos durante una campaña de reclutamiento, la CNIL
(Autoridad Francesa de Protección de Datos) detectó sesgos discriminatorios. En
concreto, el sistema, diseñado para evaluar las habilidades blandas (social skills) de los individuos, no
tuvo en cuenta la diversidad de sus acentos.
La CNIL (Autoridad Francesa de Protección de Datos)
tuvo la oportunidad de colaborar con el Defensor de los Derechos (DDD) en la
publicación del informe « Algoritmos: Prevención de la automatización de la
discriminación ». Este informe hace un llamamiento especial a
la concienciación colectiva e insta a las autoridades públicas y a las partes
interesadas a adoptar medidas tangibles y prácticas para evitar que la
discriminación se reproduzca y se amplifique mediante estas tecnologías.
¿Te gustaría contribuir?
Escribe a ia[@]cnil.fr
·
#Inteligencia Artificial (IA) #Algoritmos
No hay comentarios:
Publicar un comentario