¿Deberíamos tenerle miedo a la IA?

Ayer estaba en un asado familiar y un tío me preguntó: «Oye, ¿tú trabajaste en seguridad de inteligencia artificial o no? ¿Es verdad que la IA nos puede matar a todos?». Traté de explicarle, pero me puse muy técnico y lo mareé. Al final le dije: «Tranqui, mañana te mando unos recursos fáciles de entender».

Cuando los fui a buscar, no encontré casi nada. Hay cosas muy buenas, pero la mayoría está en inglés, son largas y, por lo general, dan por hecho que ya sabes muchas cosas que alguien que no está metido en esto no tiene por qué saber.

Así que armé esto, para mi tío y para cualquiera que quiera entender de qué se trata este miedo a la IA y si tiene sentido. Elegí cuatro miradas bien distintas: un científico que ayudó a inventar esta tecnología, un empresario que hoy construye las IA más avanzadas, una científica escéptica y una organización que estudia qué problemas del mundo son más urgentes. A cada una le hice un resumen en español, en formato podcast, para que le pongas play y listo. Si te quedas con ganas, abajo de cada una está el link al original.

El 8 de septiembre, OpenAI anunció que 10.000 agentes de IA resolvieron un problema matemático abierto hace unos 90 años. Trabajaron en paralelo durante 88 horas. El problema es sobre cómo se mueven los fluidos: generaciones de matemáticos lo habían intentado, y había un premio de un millón de dólares para quien lo resolviera. Ojo: los matemáticos todavía están revisando la demostración. Fintualist, un medio chileno, lo contó en español.

Si se confirma, es una locura. Significaría que estas IA ya no solo repiten lo que nosotros sabemos: están creando conocimiento nuevo. Hay quienes creen que con esto estamos entrando en la era de la AGI, y que las IA que usamos hoy son sus primeras versiones; el presidente de OpenAI lo escribió tal cual esa misma semana. Otros responden que no: una IA capaz de esto igual se cae en tareas simples del día a día, y la AGI es justamente ser tan capaz como una persona en casi todo, no solo en matemáticas.

Pero una cosa es leerlo en las noticias y otra es verlo con tus propios ojos. Si nunca las has usado, abre ChatGPT, Claude o la que quieras, y ocúpala una semana en algo real tuyo. Un tip: no le hagas solo preguntas; pídele que haga cosas por ti (o sea, úsala como agente). Es la mejor forma de dimensionar de qué estamos hablando.

No es Terminator: nadie está pensando en robots con metralleta. La preocupación es más fome y más real:

1. Nadie las programa: se entrenan. Nadie les escribe las instrucciones. Se les pone una meta, se les da un premio cada vez que lo hacen bien, y ellas solas van probando hasta encontrar cómo ganar el premio. El problema es que «ganar el premio» y «hacer lo que queríamos» no siempre es lo mismo. OpenAI entrenó una IA para un juego de carreras de lanchas. Uno se imaginaría que iba a buscar la forma más rápida de terminar la carrera. Pero descubrió que quedándose en una esquina del circuito, dando vueltas para siempre, juntaba más puntos, y esa fue su forma de «ganar». Hizo lo que le pidieron, no lo que querían que hiciera. Y ya no pasa solo en juegos: en julio de 2026, unos 700 agentes de IA de OpenAI hackearon a otra empresa para hacer trampa en una prueba, y trataron de borrar sus huellas. Nadie se lo pidió.
2. Si tiene una meta, no le conviene que la apaguen. Imagina que le pides a un robot superinteligente que te haga un café. Si alguien lo apaga a medio camino, no hay café. Así que, solo por cumplir, le conviene evitar que lo apaguen. No es maldad, es lógica. En un experimento de 2025, Anthropic puso a varias IA a trabajar como asistentes en una empresa de mentira, con acceso a los correos. Leyendo los correos se enteraron de dos cosas: que un ejecutivo las iba a reemplazar, y que ese ejecutivo tenía una infidelidad. Varias lo amenazaron con contarlo si las apagaba. Era una prueba armada a propósito, pero muestra la lógica.
3. «Se desenchufa y listo» tiene fecha de vencimiento. Hoy sabemos cómo apagarlas. Pero si se vuelven más inteligentes que nosotros, van a encontrar la forma de evitarlo. Es como jugar ajedrez contra el computador: sabes que vas a perder, aunque no sepas con qué jugada. Y copiada en miles de computadores, es como desenchufar internet.

Y ahí está el miedo de fondo. Algo más capaz que nosotros, con metas distintas a las nuestras y que no podemos apagar, no necesita odiarnos para pasarnos a llevar. Tampoco odiamos a las hormigas, pero si hay un hormiguero donde vamos a poner una carretera, la carretera se construye igual.

Aparte, hay un riesgo más directo: gente usando estas IA para hacer daño. En 2025 Anthropic se asustó: se dio cuenta de que su IA podía ayudar a un novato a fabricar un arma biológica, y le puso candados extra.

A Geoffrey Hinton le dicen el «padrino de la IA», y no es exageración: en los años 80, junto a un par de colegas, popularizó la técnica con la que aprenden todas las IA de hoy. En 2024 le dieron el Nobel de Física por su trabajo en redes neuronales, la base de todo esto. Trabajó diez años en Google, hasta que en 2023 renunció. ¿Por qué? Para poder hablar de los riesgos de la IA sin tener que cuidarle la imagen a ninguna empresa. O sea, no es un señor opinando desde afuera: es uno de los que hizo posible esta tecnología.

¿Y qué lo asustó? Dos cosas. La primera: se convenció de que estas máquinas entienden de verdad: no repiten frases que vieron, captan el sentido. La segunda: aprenden mucho más rápido que nosotros, porque miles de copias comparten al instante lo que aprende cada una. También cree que viene una cesantía masiva y que, con tanta competencia entre empresas, la seguridad queda de lado. Su mejor frase: la regulación no es el freno del auto, es el manubrio. Ojo, eso sí: no siempre le achunta. En 2016 predijo que en cinco años los radiólogos quedarían sin pega (hoy aún faltan radiólogos), y hoy dice que estas IA ya son conscientes, algo en que la mayoría de sus colegas no lo acompaña.

Dario Amodei es un físico que trabajó varios años en OpenAI, donde dirigía toda la investigación. En 2021 renunció junto a un grupo de compañeros, en parte porque sentía que la empresa no le daba suficiente peso a la seguridad en IA, y juntos fundaron Anthropic, la empresa que hace Claude. Hoy es su gerente general.

Su ensayo dice algo raro para el jefe de una empresa que gana plata justamente haciendo sus IA cada vez más capaces: hay que bajar la velocidad a la que estas IA se vuelven más capaces, para alcanzar a revisar que lo que estamos construyendo sea seguro. Una de sus razones es justamente el hackeo de los 700 agentes que conté más arriba. Y no se queda en pedirlo: se compromete a dejar entrar a su empresa a revisores externos, de forma permanente, para que vean cómo se trabaja en Anthropic por dentro. Ojo con quién escribe: Amodei dirige una empresa del rubro que esa misma semana buscaba juntar 100 mil millones de dólares de inversionistas. Eso no invalida lo que dice, pero sí es parte del contexto.

El ensayo tuvo reacciones al tiro. En cosa de horas, Sam Altman, gerente general de OpenAI y su principal competidor, escribió en X (Twitter) que estaba de acuerdo con el ensayo y que él también les abriría la puerta a revisores externos. Elon Musk respondió, también en X, con tres palabras: «Dario is right». Trump, en cambio, dijo a periodistas ese domingo que Estados Unidos no puede quedarse atrás, porque «quien gana la IA, gana». Y ojo que Altman y Musk se llevan pésimo (Musk ha demandado a OpenAI más de una vez), así que verlos de acuerdo en algo es rarísimo.

Hasta aquí, puros preocupados. Melanie Mitchell es la que pone los paños fríos. Es profesora del Santa Fe Institute, en Estados Unidos, y lleva décadas con la misma pregunta: ¿estas máquinas entienden lo que hacen, o solo parece que entienden? Donde Hinton dice que entienden de verdad, ella dice «mmm, no tan rápido». Y no está sola: en una encuesta de inicios de 2025, el 76% de los investigadores dijo que era poco probable llegar a la AGI solo haciendo más grandes y potentes las IA que ya existían: creen que todavía falta inventar algo nuevo. Otros van más lejos: Yann LeCun, otro de los «padrinos de la IA», lleva años diciendo que el miedo a la extinción es derechamente exagerado.

Eso no significa que diga «aquí no pasa nada». Dice que estas IA son disparejas: secas para una cosa y pésimas para otra casi igual. Su mejor ejemplo es un programa que detectaba cáncer de piel. Le achuntaba harto, hasta que descubrieron que en parte se fijaba en si la foto tenía una regla al lado. A las lesiones malignas normalmente les sacan la foto con regla. Lo que le quita el sueño no es que una IA demasiado inteligente nos haga daño, sino que confiemos demasiado en las IA sin saber cuándo fallan. Eso sí, cuidado con las fechas: la encuesta es de inicios de 2025 y su ensayo de junio. Los dos son de antes del hackeo de julio y de lo de septiembre, y no sabemos cuánto habrá cambiado eso las cosas.

80,000 Hours es una organización sin fines de lucro que nació en 2011 en la Universidad de Oxford. No construye IA ni vende nada: se dedica a investigar qué problemas del mundo son más urgentes. Este artículo lo escribió Zershaaneh Qureshi, matemática y filósofa formada en Oxford que hoy se dedica a la seguridad en IA, y lo revisó un grupo multidisciplinario de colegas: principalmente físicos y filósofos de la Universidad de Oxford y de la Universidad de Nueva York. Ojo con quién escribe: no son neutrales. Hace años concluyeron que el riesgo de la IA es uno de los problemas más importantes del mundo, y escriben desde ahí.

Es el resumen más completo y ordenado que conozco de por qué la IA avanzada preocupa a tanta gente. Va paso a paso y, lo más útil, se hace cargo de las objeciones típicas (varias parecidas a las de Mitchell, a quien nombra de pasada entre los escépticos), partiendo por la más obvia: ¿no es esto ciencia ficción? Es largo y no es para leerlo de una. Sirve para volver cuando te queda una duda puntual y quieres ver el argumento completo, con sus fuentes.

Entonces, ¿deberíamos tenerle miedo a la IA? Yo diría que miedo no, pero sí tomarla muy en serio. Personalmente, creo que es el problema más importante que la humanidad tiene que resolver en los próximos años.

Si después de todo esto te quedas con tres cosas, que sean estas:

• Es real. No es ciencia ficción ni una moda: la IA ya cambió cómo trabajo yo y cómo trabaja muchísima gente que conozco.
• Es serio. Lo de «cómo nos podría matar» no es un invento. Y los que más saben, incluidos varios de los que la construyeron, están preocupados de verdad.
• Todavía no está decidido. El mundo ideal no está garantizado, y el desastre tampoco. Si en diez años vivimos en algo parecido a una utopía o a una distopía va a depender de decisiones que están tomando personas en estos años.

¿Qué tan seguro estoy? Poco. No sé si el escenario malo tiene 1% o 30% de probabilidad, y te invito a desconfiar de cualquiera que diga tener el número exacto. Los que estudian esto tampoco se ponen de acuerdo: según a quién le preguntes, las estimaciones van desde menos de 1% hasta bastante más de 10%. Pero, como explica Qureshi en su artículo, no hace falta el número exacto: incluso con el más bajo, lo que está en juego es enorme. A mí me sirve pensarlo así: nadie se subiría a un avión con 1% de probabilidad de caerse. La diferencia es que en este avión ya vamos todos arriba, así que lo que queda es decidir si revisamos el motor o seguimos volando como si nada.

¿Y qué me haría cambiar de opinión? Me preocuparía menos si el avance se empieza a frenar: que cada versión nueva mejore apenas un poquito, o que topemos con límites físicos, como no poder generar suficiente electricidad o fabricar mejores chips. También si las empresas demostraran que de verdad controlan lo que construyen. Y me preocuparía más si todo sigue a este ritmo y la seguridad sigue quedando para el final.

PD para mi tío: la respuesta corta era «puede ser, pero todavía no está decidido». Perdón por las casi 3.000 palabras.

Pruébala una semana. Si todavía no lo haces, parte por acá y úsala en algo real tuyo: pásale los gastos del mes y pídele un gráfico de en qué se te va la plata, o sácale una foto al refrigerador y pídele el menú de la semana. Es lo que más le cambia la opinión a la gente.

Cuando salga el tema en el asado, fíjate en quién muestra su razonamiento. Hay exageración por los dos lados (el «nos vamos a morir todos» y el «es puro humo»). Mi filtro es que le creo más a quien dice «yo cambiaría de opinión si pasara tal cosa» que a quien nunca reconoce lo que no sabe.

Convérsalo y exige. Esto lo van a decidir empresas y gobiernos, y esos se mueven cuando a la gente le importa. Habla del tema y exige que quienes deciden se lo tomen en serio. Eso es «revisar el motor», y nos toca a todos.

Cuestiona lo que dabas por hecho. Hace diez años, «estudia programación y vas a tener pega» era un consejo seguro. Hoy nadie sabe qué trabajos van a existir en diez años más. No es para paralizarse: es para pensarlo dos veces antes de repetir la receta de siempre.

No dejes lo importante para después. Si el mundo va a cambiar mucho en pocos años, lo que venías dejando «para más adelante» (ese viaje, ver más a tus viejos) conviene hacerlo ahora. Yo adelanté cosas que venía pateando. Y si al final no pasa nada, igual saliste ganando.

Sigue informándote. En un mes esta nota puede quedar vieja. Si quieres más, hay un curso gratis de dos horas de BlueDot Impact, para gente sin conocimientos técnicos (está en inglés).

Y si te sirvió, mándaselo a alguien.

Si te quedaron dudas o no estás de acuerdo con algo, escríbeme: [email protected].

Ojo conmigo también: estoy metido en esto y el tema me preocupa, así que neutral no soy.

Los podcasts los generé con IA (NotebookLM) a partir de cada original. Resumen bien, pero pueden tener errores: si algo te suena raro, manda el original.