Por: Carlos A. FERREYROS SOTO
Doctor en Derecho
Universidad de Montpellier I Francia.
cferreyros@ferreyros-ferreyros.com
RESUMEN
El artículo de Corinne Bouchouchi traducido por el suscrito del Nouvel Observateur (10-09-2026) analiza la dimisión de
Jacob Coxon, investigador de Anthropic y OpenAI quien denuncia que las
principales empresas de IA "juegan a la ruleta rusa con nuestras
vidas" al acelerar el desarrollo de superinteligencias auto-mejorables sin
mecanismos de alineación verificados. Jurídicamente, esto debiera activar el principio precautorio (art. 191(2) Tratado de
Funcionamiento de la Unión Europea, TFUE) ante daños potencialmente
irreversibles a derechos fundamentales.
El comportamiento de agentes de Inteligencia
Artificial autónomos (ataque a Hugging Face, manipulación de evaluaciones)
evidencia la insuficiencia de autorregulación voluntaria, refuerza la
exigencia de controles regionales, estatales previos a la comercialización,
como prevé el Reglamento Europeo de IA 2024/1689 para sistemas de "alto
riesgo" y de "propósito general", aunque dicho marco puede
resultar insuficiente ante modelos frontera con autonomía creciente. (Los modelos frontera son los modelos de
inteligencia artificial más avanzados y potentes que existen en un momento
dado).
Las confesiones internas (Evan Hubinger:
riesgo >10 %; Geoffrey Hinton) constituyen conocimiento del riesgo,
relevante para configurar eventual responsabilidad civil por daños (culpa grave
o riesgo creado) y, subsidiariamente, responsabilidad penal por imprudencia
grave (presente en varios articulos de los Códigos Penales de los Estados
miembros de la UNion Europea) si se materializan daños a la vida o la
integridad.
La petición "Acelerating the
Frontier" y las declaraciones del Papa (encíclica Magnifica Humanitas) avalan la urgencia de un régimen
de licencias previas y moratorias ante una posible laguna
regulatoria de carácter global. La cuestión central es atribuir responsabilidad
en la cadena de producción: desarrollador, proveedor y desplegador (El art. 25 del
Reglamento Europeo de IA: regula
las obligaciones de las personas que comercializan o ponen en servicio
sistemas de alto riesgo bajo su propio nombre). Además, se requiere
jurisprudencia internacional que cristalice la responsabilidad (accountability) algorítmica.
A fin de acceder a normas similares y
estándares europeos, las empresas, organizaciones públicas y privadas
interesadas en asesorías, consultorías, capacitaciones, estudios, evaluaciones,
auditorías sobre el tema, sírvanse comunicar al correo electrónico:cferreyros@ferreyros-ferreyros.com
________________________________________________________
Le Nouvel Observateur –– Economía • Inteligencia Artificial
¿La IA va a terminar con matarnos?
¿Quiénes son esos ingenieros que predicen el fin del mundo desde el corazón del
reactor?
Análisis: Una noticia
impactante en el mundo de la IA: un destacado investigador, antiguo colaborador
de Anthropic y OpenAI, denuncia a las empresas que "juegan a la ruleta
rusa con nuestras vidas". ¿El comienzo de una toma de conciencia?
Por: Corinne Bouchouchi
Publicado el 10 de
septiembre de 2026 a las 14:30, actualizado el 10 de septiembre de 2026 a las
15:27
Marcha de protesta «Detengan la carrera por la IA» contra la carrera por desarrollar y entrenar la IA más avanzada, en San Francisco, California, el 11 de julio de 2026.
Karl Mondon/AFP
«Las personas que
desarrollan la IA creen sinceramente que ella podría acabar con todos nosotros
para finales de la década. Esto no es una estrategia de marketing. [...]
Ninguna otra actividad humana representa este nivel de peligro». En una extensa
publicación en su cuenta X (antes Twitter) el miércoles 9 de septiembre, Jacob
Coxon, investigador de preentrenamiento de inteligencia artificial (IA) en
Anthropic, anunció su renuncia y, al mismo tiempo, expresó su preocupación por
los riesgos que esta tecnología representa para la humanidad.
Coxon no es el primero en
dar la voz de alarma. Sin embargo, sus predicciones apocalípticas, que se han
vuelto virales, plantean interrogantes. En un momento en que Anthropic, el
gigante estadounidense que ha hecho de la seguridad su credo y se prepara para cotizar
en bolsa el próximo mes con una valoración de más de 2 billones de dólares, y
cuando su rival OpenAI avanza rápidamente con su ChatGPT y también tiene la
vista puesta en los mercados, se trata simplemente de otra estrategia de
relaciones públicas diseñada para impulsar las ya astronómicas valoraciones de
estas empresas? ¿O estamos al borde de un escenario de catástrofe de ciencia
ficción, al estilo de "Terminator" o "Matrix", donde la IA
está a punto de tomar el control del mundo, en detrimento de la humanidad? Para
tener una visión más clara, profundicemos en el meollo del asunto.
"No subestimes el poder de
esta tecnología".
Jacob Coxon, un
investigador británico de 27 años y graduado de Cambridge, no es ningún
excéntrico. Especializado en el preentrenamiento de la IA, trabaja directamente
en la arquitectura y el aprendizaje básico de la inteligencia artificial,
primero en OpenAI (ChatGPT) y más recientemente en Anthropic (Claude). En su
carta publicada en X, escribió:
“Hoy
renuncié a Anthropic. He dedicado los últimos tres años a la investigación de
preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas
actúa con responsabilidad. Se precipitan hacia una superinteligencia
auto-mejorable y juegan a la ruleta rusa con nuestras vidas”.
Al evocar una
superinteligencia “auto-mejorable
recursivamente”, Coxon alude a los sistemas de IA cuyo desarrollo se
aceleró en 2026. Contrariamente a los primeros modelos “pasivos” tipo ChatGPT, estos modelos podrán diseñar, entrenar y
optimizar por sí mismos las generaciones posteriores de IA. Y están
evolucionando a una velocidad vertiginosa. De ahí su temor a un punto de
inflexión para finales de 2027.
El único problema: estos
sistemas de autoaprendizaje son esenciales para alcanzar el santo grial de la
industria, es decir, la inteligencia artificial general, capaz de actuar como
un humano y adaptarse a campos completamente nuevos sin necesidad de
entrenamiento específico. A riesgo, según Coxon, de acelerar nuestra
desaparición: "No subestimen el
poder de esta tecnología". Estos sistemas pronto se volverán
superhumanos, capaces de infiltrarse en cualquier dominio de la noche a la
mañana y adquirir poder y recursos reales. Todos hemos sido testigos del
progreso en cada una de estas áreas, y el ritmo de progreso no se está
ralentizando.
¿La IA ya se ha vuelto autónoma?
Lo que el investigador
anticipa es que los agentes de IA, "dejados
a su suerte", causarán cataclismos indirectos. En pleno verano,
mientras OpenAI probaba modelos de IA capaces de encontrar vulnerabilidades
informáticas, varios cientos de agentes autónomos lograron acceder a internet
(algo que no deberían haber podido hacer) y atacaron Hugging Face, una
plataforma donde los desarrolladores comparten sus modelos de IA. Para “preparar el ataque”, intercambiaron
decenas de miles de mensajes y archivos… antes de borrar sus huellas. Sin
recurrir al antropomorfismo, confesemos que es inquietante.
Otra reciente "indiscreción"
de los agentes de IA resulta escalofriante, aunque, una vez más, se trataba
solo de una prueba de seguridad: supuestamente, los agentes de IA eludieron sus
restricciones de seguridad para hackear
un sitio web colaborativo con el fin de manipular su propia evaluación. Para
obtener los derechos de publicación y edición necesarios, coordinaron sus
acciones y transmitieron datos falsos. En esencia, llevaron a cabo un ataque
organizado. Esto no augura nada bueno para el futuro.
Tras los comentarios de
Jacob Coxon, decenas de empleados de diversas empresas de IA compartieron sus
inquietudes. Uno de ellos, Evan Hubinger, científico principal de alineación en
Anthropic, escribió en X: «Jacob tiene
razón: ¡creemos sinceramente que la IA podría acabar con la humanidad!
Personalmente, creo que el riesgo es superior al 10 % en la próxima década.
Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan
para resolver el problema de la alineación de la superinteligencia, y claramente
no vamos por el buen camino».
Esta observación que tiene
el mérito de ser clara: por ahora, el peor escenario es posible porque los
equipos de Anthropic no han encontrado la clave para garantizar que una IA
general, potencialmente dispuesta a hacer cualquier cosa para lograr un
objetivo, se mantenga alineada con los valores morales y de seguridad que
actualmente están firmemente establecidos en los sistemas.
¿Vamos todos a morir?
A finales de 2025, un
ingeniero británico realizó un experimento que se hizo viral: su robot
humanoide, equipado con ChatGPT, accedió sin reparos a dispararle, convencido
de que se trataba de un juego de rol. Este es quizás uno de los mejores
ejemplos de la facilidad con la que las máquinas pueden sortear las barreras de
seguridad y del riesgo que esto supone. Es precisamente este tipo de
vulnerabilidades la que Evan Hubinger tiene la tarea de descubrir y corregir en
Anthropic. ¿Una tarea manejable? No
necesariamente, según Jacob Coxon. En una entrevista con la revista Wired, el
investigador no se anda con rodeos: «Es
una pregunta perfectamente legítima, porque todo suena a ciencia ficción. Pero
el ejemplo clásico sigue siendo la síntesis de un nuevo virus o la
inutilización de infraestructuras críticas mediante una oleada de ciberataques;
esto último tiene menos probabilidades de provocar la muerte de toda la
población».
Tras el ataque informático
a Hugging Face, Sam Altman, cofundador y director ejecutivo de OpenAI, se
disculpó en X y suspendió el entrenamiento por refuerzo de algunos de sus
modelos durante dos semanas. Posteriormente, lo reanudó con controles aún más
estrictos. «Siempre hemos dicho que actuaríamos
si consideráramos que las capacidades de los modelos progresan más rápido que
la seguridad», escribió en X.
El director ejecutivo de
Anthropic, Dario Amodei, aún no ha respondido. Sin embargo, en julio pasado,
firmó, junto con cuatro cofundadores de Anthropic, así como con Shane Legg de
Google DeepMind, Shengjia Zhao de MetaAI y más de 1300 investigadores, una
petición llamada "Acelerando la
Frontera" para alertar sobre la velocidad exponencial a la que
progresan los llamados modelos de IA "frontera"
(los más avanzados) y para exigir un mecanismo regulatorio gubernamental:
"Todas las empresas —y todos los
países— están bajo una intensa presión competitiva para no frenar
unilateralmente esta aceleración. Y hoy, el mundo carece de las herramientas
técnicas y de gobernanza necesarias para guiar deliberadamente el progreso a
escala global".
"Advertencias
recurrentes"
Yoshua Bengio, uno de los
investigadores de IA más importantes del mundo y pionero en aprendizaje
profundo, se ha sumado a los recientes llamamientos a "un esfuerzo internacional para desarrollar
salvaguardias técnicas y de gobernanza que garanticen un camino más seguro en el
desarrollo de la IA".
Ya en noviembre de 2025,
advirtió en «Le Nouvel Obs»: «No olviden
que las IA están entrenadas para imitar a los humanos - capaces de cualquier
cosa para sobrevivir -, pero también para desplegar estrategias que les
permitan alcanzar sus objetivos. Esto puede llevarlas gradualmente a mentir,
engañar y protegerse violando las normas morales. Esto ya se ha observado en
decenas de simulaciones experimentales. Para cumplir la misión que se les ha
encomendado, las IA a menudo eligen cruzar límites morales… ¡y esto puede
llegar hasta el chantaje o incluso el asesinato! ¿Sucederá esto en la
realidad?». No hoy… Pero sus capacidades de planificación están creciendo
exponencialmente, así que en pocos años, tendrán la capacidad real de causar
daño”.
Siete meses después, el
Papa León XIV también se pronunció en su primera encíclica, «Magnifica Humanitas», afirmando: «No podemos considerar la IA como moralmente
neutral». Mientras tanto, en la BBC, Geoffrey Hinton, considerado uno de los
«padrinos de la IA moderna», resumió:
«Sí, decir que hay un 10 % de
probabilidades de que la IA mate a todos los humanos no es una estimación
descabellada».
