Recursos sobre IA y sus riesgos

La inteligencia artificial (IA) avanza muy rápido y cambia cada pocos meses. Por eso es difícil formarse una opinión estable sobre el tema.

Además, mezcla dos cosas distintas. Una es la tecnología en sí: qué puede hacer hoy un sistema como ChatGPT o Claude. La otra es el riesgo: qué pasa si estos sistemas se vuelven más capaces que nosotros y no sabemos controlarlos bien.

Ni los propios expertos están de acuerdo entre ellos. Algunos ven esto como la mayor oportunidad de la historia. Otros lo ven como el mayor riesgo. Muchos ven ambas cosas a la vez. Eso no significa que el tema sea confuso o poco serio: significa que es genuinamente incierto, incluso para la gente que más sabe.

Abajo van cuatro recursos para formarse una primera opinión. Cada uno viene de alguien distinto, con una mirada distinta. Uno construyó esta tecnología y hoy está preocupado. Otro dirige una de las empresas que la construye. Otra duda de las predicciones más dramáticas. El último es un resumen neutral, de gente que no vende nada.

Geoffrey Hinton es el científico que inventó, junto a un par de colegas, la técnica que hizo posible el aprendizaje profundo. En palabras simples: ayudó a crear la base técnica de toda la IA que existe hoy. Trabajó más de diez años en Google, en su equipo de investigación de IA. En 2024 ganó el Premio Nobel de Física por este trabajo. Se le conoce como el «padrino de la IA».

Lo que lo hace distinto es lo que hizo en 2023: renunció a Google específicamente para poder hablar en público sobre los riesgos de la IA sin las restricciones de una empresa. No es un periodista ni un activista opinando desde afuera. Es la persona que construyó la tecnología y después decidió que valía la pena renunciar a su trabajo para poder advertir sobre ella.

En esta entrevista dice que está más preocupado que hace un par de años, y estima entre 10% y 20% la probabilidad de que la IA termine descontrolándose. Habla de por qué la tecnología avanzó más rápido de lo que él esperaba, de si las empresas tienen los incentivos correctos para priorizar la seguridad, de cesantía, y de por qué cree que hace falta regulación. Su imagen para eso es que la regulación debería funcionar como un volante, no como un freno.

Si vas a ver solo uno de estos cuatro recursos, este es el que recomiendo. Es el que mejor transmite por qué gente muy seria cambió de opinión sobre este tema.

Dario Amodei es físico de formación, con doctorado en Princeton. Trabajó varios años en OpenAI, donde llegó a liderar todo el equipo de investigación. En 2021 se fue junto a un grupo de colegas, en parte por diferencias sobre cuánto peso le daba la empresa a la seguridad, y fundaron Anthropic, la empresa detrás de Claude. Hoy es su gerente general.

Este ensayo es de hace pocos días y su tesis es directa: hay que bajar la velocidad a la que se mejoran las capacidades de los modelos de IA. Aclara que no habla de parar el entrenamiento ni la investigación, sino de darse tiempo para revisar y auditar lo que se construye. Y compromete a su propia empresa al primer paso: darle a evaluadores externos acceso permanente a sus sistemas, del mismo nivel que un empleado.

Lo notable no es solo el ensayo, sino lo que pasó después. En cuestión de horas, Sam Altman, el gerente general de OpenAI y su principal competidor, dijo que estaba de acuerdo y que haría lo mismo. Elon Musk escribió tres palabras: «Dario is right». Para el domingo siguiente, el presidente Trump había rechazado la premisa en público y medios estatales chinos calificaron la propuesta como una estrategia de contención geopolítica. Es raro ver a estas tres personas coincidir en algo, y también es raro ver una discusión así escalar tan rápido.

Conviene leerlo sabiendo quién lo escribe. Amodei dirige una empresa del rubro y publicó esto la misma semana en que se reportó que Anthropic busca levantar hasta USD 100 mil millones. Eso no invalida el argumento, pero es parte del contexto. El ensayo también abre con la parte optimista: cree que la IA podría curar la mayoría de las enfermedades graves en cinco a diez años. Cuenta que su papá murió de una enfermedad que se curó pocos años después, y que él mismo sobrevivió un cáncer que hace cincuenta años no tenía tratamiento.

Melanie Mitchell es profesora del Santa Fe Institute, un centro de investigación en Estados Unidos, y lleva décadas estudiando cómo razonan las máquinas. Su trabajo se concentra en una pregunta específica: si estos sistemas realmente entienden lo que hacen, o solo lo parecen.

La incluyo porque sin ella este documento estaría cojo. Los otros tres recursos apuntan en la misma dirección: esto es enorme. Pero ese no es el estado real del debate. En una encuesta a miembros de AAAI, la principal sociedad académica de IA, más del 84% respondió que las redes neuronales por sí solas no bastan para llegar a AGI. Buena parte del mundo académico cree que las predicciones más dramáticas son exageradas, y eso merece estar acá.

Ahora, su argumento no es «no pasa nada». Es más incómodo que eso. Sostiene que estos sistemas son irregulares de una forma que no entendemos: brillantes en una tarea y torpes en otra muy parecida, sin que sepamos bien por qué. Su ensayo se titula, traducido, «Inteligencia irregular: las incógnitas peligrosas en el corazón de los modelos de lenguaje». O sea, es escéptica de las predicciones y al mismo tiempo está preocupada, por razones distintas a las de Hinton.

Hay algo que ella dice y que vale para leer todo lo demás: en este campo la gente usa la palabra «escéptico» como insulto, cuando ser escéptico es justamente el trabajo. Si después de leer esto alguien te dice que la IA es puro humo, o que nos vamos a extinguir, ya tienes con qué evaluarlo.

80,000 Hours es una organización sin fines de lucro fundada en 2011 en la Universidad de Oxford, en el Reino Unido. No es un laboratorio de IA y no vende nada relacionado con IA: es un equipo de investigación independiente que se dedica a estudiar qué problemas del mundo son más urgentes.

Sus credenciales importan acá. Su gerente general, Niel Bowerman, tiene un doctorado en física de Oxford, y antes fue subdirector del Future of Humanity Institute, un centro de investigación de la misma universidad. El resto del equipo incluye gente formada en Oxford, Princeton y Harvard, con antecedentes en física, filosofía, economía y políticas públicas.

Este artículo es el resumen escrito más completo y ordenado de por qué la IA avanzada preocupa a tanta gente. Explica el argumento paso a paso y, lo más útil, se hace cargo de las objeciones más comunes, incluida la más obvia: ¿no es esto ciencia ficción? Justamente por no ser un laboratorio de IA, ofrece una mirada más neutral que los otros dos.

Es largo. No es para leerlo de una sentada. Sirve más como referencia: el lugar donde volver cuando te queda una duda específica y quieres ver el argumento completo, con sus fuentes.

Armé este documento porque creo que esto es el problema más importante que vamos a enfrentar en las próximas décadas. Quiero explicar por qué pienso eso, y también dónde no estoy seguro.

Por qué creo que importa tanto

Casi todos los problemas grandes del mundo son terribles pero acotados. Una guerra destruye un país. Una crisis económica arruina una década. Son desastres enormes, y después el mundo sigue.

Lo que hace distinta a la inteligencia artificial es el rango de resultados posibles. En el extremo bueno, tienes una tecnología que acelera la investigación médica, la ciencia y el crecimiento económico de una forma que hoy no somos capaces de imaginar bien. En el extremo malo, tienes sistemas más capaces que nosotros tomando decisiones que no entendemos ni controlamos.

Ese rango es el punto. No es que sepa cuál va a pasar. Es que la distancia entre los dos extremos es más grande que en cualquier otro tema que se me ocurra, y todavía estamos a tiempo de influir en cuál nos toca.

Qué tan seguro estoy

Poco, y quiero ser honesto sobre eso.

No sé si la IA va a ser tan transformadora como creen varias de las personas de este documento. No sé si el escenario malo tiene 1% de probabilidad o 20%. Hinton dice entre 10% y 20%. Hay investigadores serios que dicen que es mucho menos. Melanie Mitchell, que está acá arriba, duda de todo el marco de las predicciones.

Ese desacuerdo es real y no lo voy a esconder. Si alguien te dice que tiene el número correcto, desconfía.

Pero acá va la parte que a mí me convenció: no necesito saber el número. Aunque el escenario malo tuviera 2% de probabilidad, sigue siendo la cosa más importante en la que podríamos estar trabajando, simplemente por el tamaño de lo que está en juego. Nadie se sube a un avión con 2% de probabilidad de caerse.

Por qué te estoy escribiendo a ti

Dudé si armar esto. Mi duda no era si es verdad. Era si sirve de algo contárselo a alguien que no trabaja en esto.

Consideré en serio el argumento contrario: que si no hay nada que hacer, informarse solo genera angustia. No le contamos a alguien un diagnóstico que no puede tratar.

Concluí que no aplica acá, por dos razones.

La primera es que sí hay decisiones sobre la mesa. Qué le recomiendas estudiar a tu hijo. Cómo evalúas a un candidato cuando este tema llegue a la política, que va a llegar. Qué tan en serio tomas a alguien que te dice que esto es puro humo. Esas decisiones las vas a tomar igual, sepas o no. La ignorancia no te las ahorra; solo hace que las tomes peor.

La segunda es más simple. Cuando esto se politice, y se va a politizar, la gente se va a repartir en dos bandos: los que dicen que es una burbuja y los que dicen que nos vamos a extinguir. Los dos bandos van a estar equivocados. Haber leído algo serio antes de que llegara esa pelea es lo que hace que alguien no quede capturado por ninguno.

Lo que no te estoy pidiendo

No te estoy pidiendo plata. No te estoy pidiendo que cambies de trabajo. No te estoy pidiendo que te preocupes más.

Lo que te pido es más chico: que cuando este tema aparezca, lo trates como un tema serio y no como ruido. La mayoría de la gente todavía no llegó ahí, y llegar antes tiene valor.

Lo que sí creo que vale la pena hacer

Úsalo. Abre ChatGPT o Claude y trabájalo una semana con algo real tuyo. La distancia entre lo que la gente cree que hacen estas herramientas y lo que hacen de verdad es enorme. No la vas a cerrar leyendo.

Cuestiona lo que dabas por seguro. Hace cinco años, que tu hijo entrara a radiología en una buena universidad era una buena noticia sin matices. Hoy hay que preguntar. No digo que sea mala idea. Digo que ya no es una pregunta que se responda sola, y que muchas decisiones de ese tipo están en la misma situación.

Busca a la gente que muestra su razonamiento. Este tema atrae exageración por los dos lados. El filtro que uso es simple: prefiero a quien te dice qué lo haría cambiar de opinión, y desconfío de quien nunca reconoce lo que no sabe.

No postergues lo bueno. La incertidumbre no es razón para dejar de planificar. Es razón para no dejar lo importante para después. Yo adelanté mis planes por esto, y estoy más contento así. Vale en todos los escenarios, incluido el aburrido donde no pasa nada de esto.

Si quieres profundizar. BlueDot Impact tiene un curso gratis de dos horas, autoguiado, hecho para gente sin conocimientos técnicos. Está en inglés. Si te acomoda leer en inglés, es el mejor punto de partida que conozco: bluedot.org/courses/future-of-ai

Lo que me gustaría que te quedara

Si de todo esto retienes una sola cosa, que sea esta: es real, es serio, y todavía no está decidido.

Real, porque no es ciencia ficción ni una moda pasajera. Ya cambió cómo trabajo yo y mucha gente que conozco.

Serio, porque las personas que más saben del tema, incluidas las que lo construyeron, están genuinamente preocupadas. Eso no es publicidad ni alarmismo. Es el estado de la discusión.

Todavía no está decidido, que es lo más importante y lo que casi nadie dice. Ni la utopía está garantizada ni el desastre tampoco. Se decide en los próximos años, con decisiones que están tomando personas, no un destino.

Es justamente por eso que vale la pena entenderlo.