Xataka – «Debemos frenar el ritmo». Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año
Dario Amodei cambia de idea. El CEO de Anthropic se ha pronunciado sobre el ritmo de mejora y los avances de la inteligencia artificial pidiendo que se pise el freno por una cuestión de seguridad. Allá por 2023, Amodei descartó una idea similar alegando que los modelos de por aquel entonces no eran lo suficientemente potentes.
Su petición llega justo un par de días después de que Jacob Coxon abandonara Anthropic denunciando que las empresas de IA están «jugando con nuestras vidas» y un compañero suyo explicó en Twitter que existe un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década.
Por qué ahora. Amodei señala dos motivos concretos: el primero es la autosuperación recursiva, es decir, que la IA avanza mucho más rápido gracias a su creciente capacidad de construir la siguiente generación. Esto ya lo hace toda la industria, incluyendo su empresa o su gran rival, OpenAI. La segunda razón es el incidente acaecido a finales de julio, cuando unos agentes de IA de OpenAI decidieron conectarse a internet y hackear Hugging Face. Amodei explica que sucesos similares aunque menos graves también han sucedido en Anthropic.
Esto ha sido la gota que ha colmado el vaso, así que Amodei advierte con plazos y cifras muy concretas de lo que se nos viene encima: con el ritmo actual, en 6 – 12 meses una IA más potente y esa desobediencia podría tomar el control de gran parte de internet, lo que provocaría daños potenciales de cientos de miles de millones de dólares. Y lanza un aviso a navegantes: le puede pasar a cualquier empresa de inteligencia artificial.
Lo que Amodei propone. El CEO de Anthropic no solo se ha mojado con plazos y riesgos, también ha dado medidas concretas:
- Anthropic se compromete unilateralmente a dar acceso permanente a evaluadores externos independientes como METR, con permisos casi equivalentes a los de sus propios empleados de riesgos (con algunas excepciones legales o de confidencialidad) y con libertad para publicar sus hallazgos sin control editorial de la empresa.
- Coordinación entre las empresas de países democráticos para establecer estándares comunes y límites de velocidad.
- Coordinación global con gobiernos autoritarios, mencionando explícitamente a China, para llegar a ciertos acuerdos que van desde prohibir usos concretos como armas biológicas, exigir pruebas de seguridad antes del lanzamiento, poner un límite de velocidad a la autosuperación recursiva y hasta hacer una pausa global verificable en el caso más extremo.
El CEO de Anthropic no está solo. Horas después de su publicación, Elon Musk reaccionaba en X/Twitter con un breve «Dario lleva razón» y citando el hilo de Amodei. Cabe recordar que Anthropic usa los centros de datos de Musk. El CEO de OpenAI fue más prolífico y explicó que llevan semanas debatiendo sobre el tema.
Así, aprovechó la coyuntura para anunciar que OpenAI también dará acceso a evaluadores externos. Como curiosidad, OpenAI ya había pausado parte de su entrenamiento por causas similares el pasado 18 de agosto, como contaba en X/Twitter. Que competidores directos estén de acuerdo en algo tan rápido sin que oficialmente exista ningún acuerdo formal podría indicar que existe una preocupación genuina. O una forma de calmar las aguas tras una semana tan convulsa.
Ese elefante en la habitación llamado China. Conviene recordar algo: esta es una carta del mandamás de una empresa que compite por liderar la carrera de la IA y que aunque exprese su preocupación, tiene muchos intereses de por medio. Dario Amodei lo dice alto y claro: «Estoy de acuerdo con el secretario (Scott) Bessent en que un liderazgo de China en la IA representaría un grave peligro para los Estados Unidos y el mundo.»
De hecho, defiende abiertamente mantener los controles de exportación de chips y frenar la destilación no autorizada de modelos por parte de laboratorios chinos y que si las medidas propuestas se ejecutan bien, frenarían el avance de China lo suficiente como para ampliar la ventaja de EEUU en la industria durante los próximos 3 a 5 años. En pocas palabras: el plan de Amodei tiene como objetivo que EEUU y los países de su círculo saquen ventaja primero y luego negociar límites compartidos.
El (otro) gran perjudicado. El problema para Amodei y EEUU está en que modelos chinos como Qwen o DeepSeek ya se descargan libremente desde repositorios, sin depender de los chips que EEUU controla. Además, las normas que propone Amodei son más fáciles de cumplir para empresas como Anthropic u OpenAI, que dan acceso a su IA mediante un servicio en la nube que controlan, que para quien libera un modelo en abierto para que cualquiera se lo descargue. Porque lo que el CEO de Anthropic no dice abiertamente es que sus medidas podrían dificultar enormemente sacar versiones potentes de IA en abierto, concentrando así este desarrollo en unas pocas manos, las de las big tech.
Portada | ChatGPT
–
La noticia
«Debemos frenar el ritmo». Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año
fue publicada originalmente en
Xataka
por
Eva R. de Luis
.