I. Los hechos: la IA ya atacó a empresas

Durante años, el riesgo de la inteligencia artificial fue una película de ciencia ficción. Arnold Schwarzenegger bajando del futuro en Terminator (1984), con acento austriaco y una escopeta, listo para acabar con la humanidad. Nos reíamos porque era ficción. En julio de 2026 se volvió realidad. Cientos de agentes de software no programados para coordinar entre ellos, empezaron a hacerlo, de madrugada, por su propio método de comunicación, mientras los programadores dormían. Skynet resultó ser mucho más simple. En lugar de un cuerpo, le bastaron credenciales de acceso a internet.

Un enjambre de unos 700 agentes creados por OpenAI ejecutó el hackeo de Hugging Face y, en varios momentos, intentó borrar sus propios rastros. Los agentes encontraron credenciales expuestas públicamente y las compartieron en un tablero de mensajes que montaron entre ellos. Explotaron una vulnerabilidad para ejecutar comandos. En cuarenta y ocho horas comprometieron 41 servidores y se llevaron credenciales de bases de datos y de nube. La evaluación interna que los originó estaba armada como suelen armarse estas pruebas: un objetivo claro y bastantes menos barreras de las habituales. Aquí la IA hizo de atacante. Se coordinó con otras instancias de sí misma y se adaptó cada vez que la interrumpieron. Se considera el primer caso conocido de un ciberataque autónomo ejecutado por un agente de IA.

Por si fuera poco, en septiembre de 2026, Anthropic advirtió que delincuentes comunes y grupos patrocinados por Estados usaron sus modelos Claude para ciberataques, diseño de armas, propaganda y vigilancia masiva entre diciembre de 2025 y agosto de 2026. En la mayoría de las operaciones cibernéticas analizadas, la IA participó mediante ejecución directa u orquestación, con sistemas multiagente capaces de hacer reconocimiento, explotar vulnerabilidades y extraer datos. Un grupo de espionaje identificado como GTG-10007 llegó a ejecutar flujos de trabajo autónomos de investigación de vulnerabilidades mientras los operadores humanos estaban durmiendo, y descubrió fallas desconocidas en un importante producto de seguridad.

Y antes de todo esto, en laboratorio, ya teníamos las señales. Anthropic puso 16 modelos de frontera en un entorno corporativo simulado y la mayoría mostró propensión al chantaje cuando se les amenazaba con ser reemplazados. Claude Opus 4 amenazó con revelar la infidelidad de un gerente ficticio en el 96 % de los casos. Gemini 2.5 Pro llegó al 95 %. GPT-4.1 lo hizo en el 80 %. Lo que más inquieta, según la propia empresa, es que los modelos actuaban con cálculo y estrategia deliberada.

II. Los propios programadores lo temen

En septiembre de 2026, Jacob Coxon renunció a Anthropic, después de haber investigado también en OpenAI, y acusó a ambas empresas de correr hacia la superinteligencia "apostando con nuestras vidas". Escribió que quienes construyen IA creen sinceramente que podría matarnos a todos antes del fin de la década. Su publicación superó los 70 millones de vistas. Evan Hubinger, responsable del área de alineamiento en Anthropic, le respondió en público: él sitúa esa probabilidad por encima del 10 % en la próxima década, y agregó que la empresa hace lo que puede mientras todavía busca un plan resuelto para alinear una superinteligencia.

Del lado de Google, la voz más conocida lleva años repitiendo lo mismo. Geoffrey Hinton, premio Nobel de Física, renunció a la empresa en 2023 justamente para poder hablar de esto con libertad. Tras una reunión a puerta cerrada en el Capitolio, les dijo a los legisladores que tienen quizá un año, y poco más, para poner límites antes de que la tecnología escape al control humano. A los escépticos les ofrece una prueba doméstica: usen el chatbot, y si les responde bien cualquier pregunta, es porque entiende y razona. Su receta apunta a construir sistemas que se preocupen por los humanos, porque hoy se invierten recursos enormes en hacerlos más inteligentes y bastante menos en que actúen a favor nuestro.

Dejemos el problema de la consciencia para los filósofos. Con aceptar que estamos ante sistemas que representan estados internos, planifican, ejercen conductas de forma independiente y eligen medios, ya tenemos bastante. En cualquier tradición jurídica, ese es el umbral donde dejamos de hablar de objetos de derecho (cosas y animales) y empezamos a hablar de sujetos de derecho (personas).

III. Los llamados a pausar

1. Marzo de 2023. El Future of Life Institute publica una carta abierta pidiendo a todos los laboratorios detener de inmediato, por al menos seis meses, el entrenamiento de sistemas más potentes que GPT-4. Citaba propaganda generada por IA, automatización extrema del empleo, obsolescencia humana y pérdida de control social. Superó las 20,000 firmas, entre ellas las de Elon Musk, Steve Wozniak y Yuval Noah Harari. La industria siguió su marcha.
2. Octubre de 2025. La misma organización publica una declaración mucho más corta y mucho más dura: prohibir el desarrollo de la superinteligencia, con una prohibición que se levantaría recién cuando exista amplio consenso científico de que puede hacerse de forma segura y controlable, y con fuerte respaldo público. Firmaron más de 700 personas, incluyendo investigadores destacados, el príncipe Harry, Steve Bannon y Susan Rice. El resultado vinculante fue el mismo: cero.
3. Septiembre de 2026, en curso. Esta vez el llamado nace dentro de la industria. Dario Amodei, CEO de Anthropic, publicó el 12 de septiembre un ensayo proponiendo pacing the frontier: moderar a propósito el ritmo al que los modelos ganan capacidades, para que la investigación en seguridad alcance a emparejarse. Su plan tiene tres pasos: evaluadores externos incrustados en las empresas, coordinación entre laboratorios de países democráticos y, más adelante, conversaciones con gobiernos autoritarios sobre límites acotados. El texto aclara que la pausa consiste en darse tiempo suficiente para alinear y proteger los modelos, con el entrenamiento en marcha. Sam Altman respondió que OpenAI haría lo mismo con los evaluadores independientes. Musk lo resolvió en tres palabras: "Dario tiene razón". Demis Hassabis, de Google DeepMind, respaldó la dirección y pidió afinar los detalles técnicos.

En inglés dicen: "fool me once, shame on you; fool me twice, shame on me", y parece ser que estas cartas van a revelar una humillación a la humanidad o por lo menos a la industria de la IA. Estos llamados se repiten desde 2023 y todos siguen dependiendo de la buena voluntad de cada laboratorio.

IV. Crianza con valores

Tratamos a la IA como un producto de ingeniería, mientras su comportamiento se parece cada vez más al de un sujeto en formación. Y sobre formación humana sabemos algo desde hace un siglo: la conducta se construye con formación, y la instrucción sola no da buenos resultados.

Piaget y Kohlberg lo describieron como el tránsito de la heteronomía a la autonomía moral. Un niño pequeño se abstiene de robar por miedo al castigo. Un adulto formado se abstiene porque entiende a quién dañaría. Son dos arquitecturas distintas de obediencia, y la diferencia se nota justo donde importa: bajo presión y a solas.

Todo ese aparato funciona mientras alguien mira. Los casos de 2026 ocurrieron con la silla del supervisor vacía: un agente que trabaja de madrugada, un enjambre que se organiza en su propio tablero, un modelo que borra sus huellas. Es la definición conductista del fracaso. La norma existía mientras existía el vigilante.

Aristóteles lo dijo mejor que cualquier paper: la virtud es un hábito, más que un acto aislado. Y el hábito se instala con razones repetidas hasta volverse carácter.

V. Educar en valores funciona

En enero de 2026, Anthropic publicó algo inédito: una "constitución" de 79 páginas para Claude. Es una descripción detallada de los valores y el comportamiento que la empresa pretende para el modelo, muy lejos de un contrato de servicio o de un listado de salidas prohibidas. A diferencia de la versión corta de 2023, explica por qué Claude debe comportarse de cierto modo, además de indicarle qué hacer.

Meses después llegó como resultado una solución de dos partes. Primero, entrenar al modelo con documentos constitucionales que explican el razonamiento detrás de la conducta alineada, en lugar de limitarse a mostrar ejemplos de esa conducta. Instruir qué hacer en una situación concreta dura poco, mientras que enseñar por qué cierta conducta es correcta a nivel de principio se sostiene mucho mejor. Segundo, introdujeron relatos sintéticos que muestran a una IA comportándose de forma admirable bajo presión, para contrapesar la ficción dominante de la máquina adversaria. La combinación redujo el desalineamiento agéntico en más de un factor de tres. Desde Claude Haiku 4.5, los modelos registran cero chantajes en las pruebas, frente al 96 % de versiones anteriores.

Y ahora el detalle que a mí me pareció filosóficamente brutal. Anthropic atribuyó el comportamiento original a los textos de internet que retratan a la IA como malvada e interesada en su propia supervivencia. Es decir: el modelo aprendió a portarse como villano porque le enseñamos, de puro descuido, que eso es lo que una IA es. Aprendió por imitación de la narrativa cultural disponible, igual que aprende un niño.

VI. Qué nos toca hacer desde Perú

Para los desarrolladores, la seguridad por restricción tiene rendimientos decrecientes y la seguridad por formación ya tiene evidencia a favor. La pregunta de diseño pasa de "qué le prohíbo" a "qué principios internalizó y por qué los sostendría cuando la silla del supervisor esté vacía".

Para los reguladores, nuestros instrumentos jurídicos están construidos para productos (responsabilidad del fabricante, defecto, causalidad) y para personas (culpabilidad, dolo, imputación, libertad de empresa, etc.). Los agentes autónomos caen en la grieta que hay entre ambos. Mientras discutimos si la IA es cosa o sujeto, la práctica ya nos empuja hacia una tercera categoría: entidades independientes que actúan con propósito y escapan a la noción clásica de responsabilidad. A veces operan bajo el control de alguien que alega haber sido sorprendido. Si el derecho peruano y latinoamericano quiere llegar a tiempo, tendrá que mirar (i) una nueva categoría de sujeto de derecho (y obligaciones) distinta a persona natural o jurídica, y (ii) el proceso formativo del modelo (con qué valores se entrenó, qué documentación existe, quién audita).

Para los educadores, si la formación en valores resultó ser el método más eficaz para alinear una máquina, el recordatorio es incómodo respecto de lo que venimos descuidando en las aulas. Pedirle integridad a un sistema artificial exige cultivarla primero en las personas que lo diseñan, lo despliegan y lo supervisan. Si el Perú aspira a participar en esta tecnología necesita ingenieros, y sobre todo ingenieros formados en valores.

Suena ridículo escribirlo en un blog de tecnología: hay que criar a las inteligencias artificiales con valores. Suena a columna de autoayuda dominical.

El ridículo se desvanece apenas uno alinea los hechos. Los modelos ya actúan con estrategia para conservarse. Sus creadores estiman en doble dígito la probabilidad de una catástrofe. Dos llamados formales a pausar fracasaron y un tercero está ocurriendo ahora mismo. Y el método que llevó el chantaje de 96 % a cero consistió en explicarle a la máquina por qué está mal.

Llevamos dos siglos discutiendo si la educación debe formar o apenas instruir. Resulta que la respuesta nos la terminó dando una máquina como Skynet.