Por: Carlos A. FERREYROS SOTO
RESUMEN
El presente Informe proporciona un análisis de la hoja de ruta de estandarización
en apoyo de la Ley de IA (AIA). El análisis cubre los estándares considerados por
el Comité Técnico Conjunto (JTC) 21 de CEN-CENELEC sobre Inteligencia Artificial
(IA) Ronan Hamon en enero de 2023, evaluando su cobertura de los requisitos establecidos
en el texto legal.
Los estándares internacionales actualmente considerados cubren ya parcialmente
los requisitos de la AIA para una IA confiable definidos en el reglamento. Además,
ya está previsto abordar muchas de las lagunas restantes identificadas mediante
una normalización europea específica. Para contribuir al debate sobre los estándares
de IA y apoyar el trabajo de los normalizadores, este documento presenta un análisis
y una recomendación basados en expertos independientes, destacando áreas que merecen
mayor atención por parte de los normalizadores y señalando, cuando sea posible,
estándares o estándares adicionales relevantes, proporcionando directamente posibles
ampliaciones al alcance de futuras normas europeas en apoyo de la Ley de IA.
Se incluye el Resumen Ejecutivo del Informe traducido por el suscrito con la
ayuda de Machine Translated by
Google y la Fuente de donde proviene
el Informe en inglés: Comisión Europea, Centro Común de Investigación, Soler Garrido, J., Fano Yela,
D., Panigutti, C., et al., Analysis of the preliminary AI standardisation work
plan in support of the AI Act, Oficina de Publicaciones de la Unión Europea,
2023, https://data.europa.eu/dooi/10.2760/5847
A fin de acceder a normas similares y estándares europeos,
las empresas, organizaciones públicas y privados interesados en asesorías, consultorías,
capacitaciones, estudios, evaluaciones, auditorías sobre el tema, sírvanse comunicar
al correo electrónico:cferreyros@hotmail.com
Resumen
ejecutivo
Traducción del
inglés al castellano realizada por: Machine
Translated by Google
Presentamos
un análisis experto de los estándares considerados por CEN-CENELEC JTC 21 para
su adopción en apoyo de la Ley de Inteligencia Artificial. Dentro del alcance
se encuentran las normas de la lista presentada en la reunión plenaria del
JTC21 en enero de 2023, que incluye normas internacionales ISO/IEC, así como
nuevos elementos de trabajo CEN-CENELEC que se desarrollarán a nivel europeo.
Esta lista preliminar de normas ha sido analizada desde la perspectiva de los
resultados solicitados en el proyecto de solicitud de normalización de la
Comisión Europea.
Gestión de riesgos
En
el plan de trabajo actual, la cobertura de la gestión de riesgos se proporciona
principalmente a través de la norma ISO/IEC 23894 sobre gestión de riesgos de IA.
Sin embargo, la alineación de esta norma con las necesidades de la Ley de IA es
bastante limitada dado su enfoque amplio e inespecífico en los riesgos
organizacionales y la presencia limitada de riesgos para los derechos
fundamentales, la salud y la seguridad considerados en la propuesta de la Ley
de IA. Además, se trata de una norma de alto nivel y no prescriptiva, que
proporciona orientación en lugar de requisitos concretos. En vista de esto, una
nueva normalización europea sobre riesgos, como la propuesta actualmente por
CEN-CENELEC JTC 21, es de particular importancia y es un candidato prometedor
para abordar algunas de las deficiencias mencionadas. Se espera que este
próximo trabajo, la Lista de verificación para la gestión de riesgos de la IA
(CLAIRM), proporcione un conjunto más granular de requisitos técnicos
relacionados con la gestión de los riesgos de la IA, con fuentes de riesgo,
daños y contramedidas específicas. Esto debería tomar la forma de una norma
europea prescriptiva con carácter práctico, que establezca requisitos concretos
de gestión de riesgos y permita a los proveedores de IA seleccionar e
implementar medidas de tratamiento de riesgos. También se espera que contribuya
a evitar una fragmentación excesiva en términos de estándares de gestión de
riesgos necesarios para la Ley de IA. En este contexto, en reuniones de
normalización se han debatido activamente varias normas con contenido
relacionado con riesgos, incluidas ISO/IEC 23894, 42001 y 31000, pero ninguna
de ellas aborda plenamente los riesgos considerados en la Ley de IA. Por lo
tanto, el nuevo trabajo de estandarización emprendido a nivel del JTC21
representa una oportunidad para abordar las necesidades europeas en materia de
gestión de riesgos de IA en una única referencia, evitando una situación en la
que los proveedores de IA necesiten adoptar un número excesivo de estándares
para lograr un sistema de gestión de riesgos compatible. Esta referencia
centroeuropea puede complementarse en aspectos específicos con trabajos
internacionales preexistentes, que cubren, por ejemplo, consideraciones de
gestión de riesgos detallada de aspectos técnicos cruciales, como en el área de
Identificación y tratamiento de sesgos no deseados.
Gobernanza de datos y
calidad de datos
Estos
aspectos se cubren principalmente a través de la serie ISO/IEC 5259 sobre
calidad de datos para análisis y aprendizaje automático. En particular, la
parte 3 proporciona una cobertura integral de los requisitos de la AIA en
términos de gobernanza de datos. En cuanto a la calidad de los datos, un
catálogo completo de atributos de calidad enumerados en la parte 2 de esta
serie incluye aquellos que son más relevantes en el contexto de la Ley de IA.
Sin embargo, se necesitan requisitos de implementación adicionales para
garantizar la selección y priorización adecuadas de los atributos de calidad de
acuerdo con los riesgos de la Ley de IA. En su forma actual, esta serie de
estándares tiene un amplio alcance, y la calidad de los datos se define en
términos generales como datos que cumplen con los requisitos de la
organización. En este sentido, los atributos de calidad de los datos más
relacionados con los requisitos de la Ley de IA sólo se cubren
superficialmente. Afinar el enfoque de este estándar para alinearlo mejor con
los requisitos legales de la Ley de IA también traería el beneficio adicional
de reducir los gastos generales de implementación para los proveedores de IA,
ya que el cumplimiento total parece requerir una lista completa de productos de
trabajo que se deben producir. orientadas a procesos, o una cobertura Especificaciones
como ISO/IEC TS 12791 e IEEE 7003, que cubren aspectos de sesgo no deseado, y
en particular sus cláusulas sobre sesgo de datos, son particularmente
complementarias en este caso, dada su orientación técnica y su potencial para
centrarse más claramente en los riesgos considerados en el Ley de IA.
Mantenimiento de
registros
El
registro y el mantenimiento de registros están cubiertos sólo hasta cierto
punto en la norma ISO/IEC 42001, como uno de los controles opcionales a
considerar para la implementación de opciones de tratamiento de riesgos. Por lo
tanto, se espera que se proporcionen más requisitos sobre este tema en un nuevo
elemento de trabajo, como la “Caracterización de confiabilidad de la IA” de
CEN-CENELEC JTC21, que en su esquema ya incluye el mantenimiento de registros y
la trazabilidad como características de confiabilidad. El nuevo trabajo
específico propuesto por el Grupo de Trabajo 3 del JTC21 es particularmente
relevante y alentador. Estas planificadas y cualquier otro elemento de trabajo
nuevo propuesto en respuesta a la solicitud de estandarización de la Ley de IA
deben tener como objetivo proporcionar una cobertura detallada de los
mecanismos de registro y trazabilidad para situaciones que podrían generar
riesgos, apoyando la supervisión de los sistemas de IA, pero también prestando
especial atención a la conformidad, aspectos de evaluación y seguimiento
post-comercialización. Entre los estándares revisados al momento de publicar
este informe, una de las pocas fuentes maduras con contenido relevante en este
aspecto es el IEEE 7001 sobre transparencia, y en especial los requisitos
previstos para cubrir las necesidades de los perfiles de investigadores de
incidentes, que parecen estar alineados con las prioridades de la AIA. Esto
exige la necesidad de explorar modalidades para la posible integración de
elementos apropiados de las normas IEEE en futuros resultados de normalización
europea
Transparencia.
La
transparencia en la Ley de IA, con un enfoque en el suministro de información a
los usuarios, está cubierta hasta cierto punto en la norma ISO/IEC 42001, que
proporciona especificaciones para un sistema de gestión de IA. Los controles
relevantes enumerados incluyen "Documentación del sistema e información
para los usuarios" y "Comprensibilidad y accesibilidad de la
información proporcionada". También se espera una cobertura adicional y
más detallada en nuevos elementos de trabajo europeos, en particular el
elemento de trabajo “Caracterización de la confiabilidad de la IA”. Su esquema
ya incluye la transparencia como una preocupación. Es importante garantizar que
este estándar proporcione detalles técnicos y potencialmente plantillas para la
documentación de sistemas y conjuntos de datos de IA para usuarios interesados
con diversos perfiles y niveles de experiencia. Otras fuentes relevantes a
considerar son las prácticas comunitarias emergentes para la documentación de
sistemas, modelos y conjuntos de datos de IA provenientes de la industria y el
mundo académico, que proporcionan una buena base para plantillas futuras que
contienen muchos elementos de información técnica relevantes para los usuarios
de sistemas de IA de alto riesgo.
Supervisión humana
Este
es un aspecto que se espera que se cubra principalmente en nuevos elementos de
trabajo, como el trabajo del JTC 21 “Caracterización de la confiabilidad de la
IA”, que en su esquema menciona tres aspectos diferentes de la supervisión,
incluida la transparencia, la monitorización, la explicabilidad/interpretabilidad
y la intervenibilidad/controlabilidad. La variedad de consideraciones es
alentadora, ya que es crucial que este documento considere una amplia gama de
enfoques y medidas para la supervisión humana, por ejemplo, medidas organizativas
y técnicas (redundancia, controlabilidad), medidas de capacitación y un diseño
adecuado de interfaces hombre-máquina, entre otros. También es importante que
el riesgo de sesgo de automatización se aborde adecuadamente en normas
armonizadas. Limitar el enfoque de la estandarización a enfoques técnicos como
las técnicas de IA explicables no es una opción adecuada, especialmente dado
que muchos de estos enfoques aún se encuentran en etapa de investigación y aún
no son técnicamente sólidos. De hecho, se espera que las normas se basen en
métodos consolidados y establezcan objetivos de supervisión humana realistas y
alcanzables basados en técnicas generalmente aceptadas.
Precisión y robustez
En términos de estándares internacionales ya
considerados, la serie ISO/IEC 24029 proporciona una cobertura parcial de la
robustez. La Parte 1 es un informe técnico, que podría ser una referencia útil
con orientación sobre métricas de solidez para modelos de
clasificación/regresión supervisados que utilizan enfoques estadísticos y
empíricos. La parte 2 de esta serie es una especificación técnica que describe
métodos formales para aplicaciones donde estos enfoques son prácticamente
factibles. Sin embargo, como ocurre con otros requisitos, se debe proporcionar
una cobertura adicional sustancial de precisión y solidez en el elemento de
trabajo del JTC21 sobre “caracterización de la confiabilidad de la IA”. Su
esquema ya describe un marco general para la cobertura de la mayoría de los
requisitos de confiabilidad y sus interdependencias, incluidos criterios y
observables para medir la solidez. Se recomienda que los normalizadores
establezcan requisitos claros para los proveedores de IA, a fin de garantizar
la selección y justificación adecuadas de los criterios, métricas y umbrales de
precisión y solidez.
La seguridad cibernética
El
plan de trabajo actual considera la adopción de ISO/IEC 27001, una norma de
alto nivel ampliamente adoptada que especifica cómo configurar un sistema de
gestión de seguridad de la información. Este es un documento genérico que se
centra en aspectos organizativos y, en general, se aplica a proveedores de
productos de IA. En este sentido, proporciona una buena cobertura de las
preocupaciones clásicas de cíberseguridad, especialmente cuando se utiliza
junto con ISO/IEC 27002, que proporciona una lista de controles de seguridad.
Sin embargo, la serie ISO/IEC 27000 no proporciona ninguna cobertura
significativa de las amenazas de cíberseguridad específicas de la IA, los
ataques específicos de la IA o los controles de seguridad específicos de la IA.
Estos no se consideran actualmente en el esquema de los nuevos elementos de
trabajo del CEN-CENELEC JTC21. Los riesgos de cíberseguridad de la IA deberían
cubrirse en el nuevo trabajo europeo sobre gestión de riesgos, como parte de
una lista de verificación planificada de riesgos y mitigaciones de riesgos.
Además, se requieren especificaciones que cubran amenazas, medidas de detección
y mitigación y controles de seguridad para riesgos de cíberseguridad
específicos de la IA. En este sentido, la próxima ISO/IEC 27090 es una
especificación prometedora.
Gestión de la calidad
El
sistema de gestión de IA descrito por ISO/IEC 42001 coincide en términos
generales con el requisito de la Ley de IA para un sistema de gestión de
calidad. Sin embargo, este es un estándar de alto nivel que está diseñado para
brindar la mayor flexibilidad y libertad posible a las organizaciones que lo
aplican, lo que en su forma actual limita su utilidad como medio para
garantizar el cumplimiento normativo. Cabe destacar que los riesgos
considerados, así como los controles implementados para el tratamiento de
riesgos, son todos opcionales y se evita intencionalmente cualquier vínculo con
el cumplimiento normativo. Gestión de la calidad Como tal, se alienta a los
normalizadores europeos a proponer mecanismos para hacer que esta norma sea más
concreta, prescriptiva y adaptada a la regulación europea, ya sea al adoptarla
inicialmente como EN o como una norma armonizada para la Ley de IA en una etapa
posterior. Sería particularmente relevante hacer obligatorios los controles
necesarios que aborden directamente los requisitos de la Ley de IA y exigir
justificaciones más sólidas para los controles excluidos y adoptados para el
tratamiento del riesgo de IA, incluida la provisión de evidencia de su
efectividad. Además, se necesita más profundidad técnica y requisitos de
implementación concretos para algunos de los procesos y controles,
especialmente para aquellos que no están cubiertos de manera destacada en
estándares específicos. En particular, se debe ampliar la cobertura de los
aspectos del seguimiento posterior a la comercialización para incluir
mecanismos específicos de seguimiento de los riesgos y los impactos negativos
para las personas. Los requisitos en términos de evaluación del impacto del
sistema de IA por parte de proveedores de sistemas de IA de alto riesgo, es
decir, detalles sobre cómo evaluar el impacto negativo potencial en las
personas, también merecen más importancia en esta norma, convirtiéndolos en un
requisito estricto y estableciendo vínculos con el próximo trabajo de
normalización europeo, sobre la gestión de riesgos. De manera similar, se
necesitaría mayor orientación sobre la gestión de modificaciones al sistema de
IA de alto riesgo, con especial consideración a aquellas que podrían afectar el
perfil de riesgo del sistema de IA.
Evaluación de la
conformidad
El
plan de trabajo actual contiene una propuesta para la adopción de ISO/IEC
42006, una norma que define los requisitos para los organismos de evaluación de
la conformidad que auditan un sistema de gestión de IA basado en ISO/IEC 42001.
Aunque aún se encuentra en una etapa temprana, se espera que sea una norma
relevante. , dada la importancia del sistema de gestión de la calidad a la hora
de evaluar la conformidad con la normativa. Además de auditar el sistema de
gestión de la IA, los normalizadores deberían considerar la necesidad de
especificaciones que cubran las pruebas de conformidad de los propios sistemas
de IA. Estos deberían cubrir competencias para la evaluación de sistemas de IA
de alto riesgo, es decir, pasos metodológicos y de procedimiento para
auditarlos. Los organismos de evaluación de la conformidad también se
beneficiarían de los resultados de estandarización que brinden orientación
sobre procesos y técnicas para determinar el cumplimiento de requisitos
concretos de confiabilidad, y sobre la identificación de indicaciones y
desencadenantes clave que justifiquen una exploración y prueba más profunda de
los sistemas de IA durante los procedimientos de evaluación de la conformidad.
Panorama
El
análisis presentado en este informe muestra que los normalizadores europeos han
logrado avances considerables en un corto período para preparar un plan de
trabajo en respuesta a la próxima solicitud de estandarización de la Ley de IA.
La adopción del trabajo internacional, en particular de ISO/IEC, proporcionará
un valioso punto de partida para cubrir los diversos requisitos para los
sistemas de IA de alto riesgo establecidos en la Ley de IA. Sin embargo, aún
quedan por abordar varias lagunas en materia de normalización. Además, algunas
de las áreas en las que se requiere una normalización adicional presentan
fuertes especificidades europeas. Por ejemplo, se requieren especificaciones
técnicas que apunten específicamente a los riesgos de la IA que considera la
regulación europea, es decir, aquellos para los derechos fundamentales, la
salud y la seguridad de las personas. Además, los requisitos específicos
contemplados en el reglamento no pueden considerarse de forma aislada.
Evaluación de la conformidad Dadas las interdependencias y compensaciones
involucradas, muchos requisitos técnicos importantes y orientación para los
proveedores de sistemas de IA de alto riesgo probablemente se capturen mejor
como parte de una norma europea que cubra de manera integral los diversos
requisitos de confiabilidad establecidos en la Ley de IA. Fundamentalmente, ambos
aspectos, las características de riesgo y confiabilidad, se capturan en el plan
de trabajo preliminar del JTC21 en forma de nuevos resultados de
estandarización europea.
No hay comentarios:
Publicar un comentario