Josep Curto, experto en IA: «Anthropic y OpenAI están haciendo la vista gorda a la seguridad debido a la carrera endiablada para salir a bolsa»

Los sistemas de inteligencia artificial de última generación han dado en los últimos meses todo tipo de titulares que apuntan a un escenario cada vez más sensible. Agentes virtuales que se saltan las normas impuestas o que engañan para conseguir su objetivo; resoluciones de problemas matemáticos que usan investigaciones de dudosa y poco transparente procedencia, o hasta alertas apocalípticas de ingenieros sobre los peligros de la IA. Para Josep Curto (Reus, 1977), profesor de los Estudios de Informática, Multimedia y Telecomunicación de la Universidad Oberta de Catalunya, la concatenación de todos estos episodios no son casualidad, sino el resultado de la deficiente autorregulación y de una carrera in extremis de OpenAI y Anthropic de cara a su inminente salida a bolsa. 

—Durante estos últimos meses ha habido episodios con agentes de IA cada vez más preocupantes.

—Creo que se corresponde con lo que en mi trabajo yo llamo cumplimiento simbólico frente a control operativo real. Sobre el papel, parece que tanto OpenAI como Anthropic tienen mecanismos de gobierno de la IA, pero lo que parece inicialmente impecable sobre el papel, como son las políticas de atribución, de procedencia de los datos, de ética de investigación, no son tal, como hemos visto todo este verano. Se han podido ver detalles que ya podíamos intuir antes, porque esto viene de largo. Y esto está vinculado a que, en realidad, esta gobernanza es más supeditada a la presión competitiva que un control real. 

Leer más: Vota y opina: ¿Estás preocupado por el avance sin freno de la IA?

La Voz

—El último caso más polémico es el de los investigadores que denuncian que OpenAI robó su trabajo para solucionar el problema del siglo.

—En este asunto, y en general en todos los incidentes del verano, hay que enmarcarlo en las dos salidas a bolsa que están a punto de llegar. La pregunta que se hacen es quién captará el dinero del mercado, que no es infinito. Y aquí llega un dato: Anthropic iba a ligar su salida a bolsa a un anuncio previo de un gran avance científico. Era lo que corría en los mentideros, y OpenAI tenía que hacer algo. Esto se combina con el detalle de que el matemático  Tristan Buckmaster y el investigador de Anthropic Levent Alpöge habían hecho avances en la resolución del problema del milenio Navier-Stokes, para lo que se habían apoyado en sistemas de IA generativa. Y justo entonces sale la resolución por parte de OpenAI. Pero aquí viene el detalle que lo enturbia todo, porque, aunque OpenAI ha negado el acceso indebido a los datos, también ha reconocido que no se puede descartar por completo. Esto pone de manifiesto el poco claro sistema de control.

Además, las investigaciones de los científicos se basaban en el trabajo previo de dos científicos españoles, Diego Córdoba y Luis Martínez, que inicialmente no estaban referenciados en el trabajo publicado por OpenAI, y sospechosamente unas horas después sí que han sido incluidos.

Mientras, otro matemático, Andreas Thom, también comenta que sus investigaciones, no publicadas, han sido capturadas por OpenAI.

—¿Hay que pensar mal?

—Desafortunadamente sí. Porque, ¿cuál es el origen de muchos de los conjuntos de datos que han usado para entrenar los modelos de guía generativo? ¿Los han adquirido legalmente? ¿O simplemente han decidido que el conocimiento de la humanidad es un bien común? Se abre la puerta así lo hayan decidido, tenga o no tenga propiedad intelectual, lo que les daría derecho a usarlo, consolidarlo o revenderlo. Y si el principio de construcción de los conjuntos de datos que forman el pilar fundamental luego para hacer los modelos no se ha fundamentado por el respeto de la propiedad intelectual, ¿qué se va a respetar?

En este sentido hay la sentencia de Anthropic, que protege la propiedad intelectual y obliga a compensaciones. Lo que sucede es que el resto de proveedores hace lo mismo. Pero todos los indicios apuntan a que todo responde a la presión competitiva.

—Ha habido también muchos incidentes de seguridad, con sistemas que se han saltado las normas impuestas.

—Los sistemas buscan la solución de la forma más rápida. De forma natural, lo que hacen es intentar conseguirla fuera. No es muy diferente de lo que harían mis estudiantes. ¿Qué es lo más fácil? Copiar. Pero el problema es que, y es importante puntualizarlo, el entorno de pruebas estaba mal configurado. No había suficientes capas de seguridad. Ante la carrera por llegar antes, hay que sacrificar algo, y quien paga el pato es el control. 

—Es decir, la apuesta por el todo vale.

—Eso es lo que está pasando. Están haciendo la vista gorda, porque ahora mismo les interesa de cara a su salida a bolsa.

—¿Y hay algo de márketing en esos problemas tan mediáticos?

—En parte sí, porque venden las capacidades del modelo, para que veas que encuentra las soluciones cueste lo que cueste. Pero al mismo tiempo muestra problemas de gobernanza en la IA.

—¿Por qué no se ha hecho nada ante estos riesgos?

—Por las dimensiones económicas y geopolíticas. Si se cierran estos laboratorios, la economía estadounidense se resiente y otros países, como China, aprovecharían para erigirse como alternativa.

—¿Y qué respuesta dan las empresas ante estos problemas registrados?

—No lo venden como un problema de seguridad, que llevaría consigo tomar medidas para que no vuelva a pasar, una auditoría o paralizar la investigación hasta que no se solucione, como pasaría en un laboratorio de bioquímica si hay un problema de contención. Lo explican como un error de alineamiento. Es decir, no ha fallado el control, sino que el propio modelo se ha saltado sus normas y ha actuado autónomamente.

—Es decir, es como si estuvieran diciendo: «Es el niño, que me ha salido rebelde».

—Exactamente eso. Lo que hacen es transferir la responsabilidad al modelo, cuando recae sobre las personas que lo crean. Pero dices algo importante en esa frase: se humaniza a la IA para hacer ver que quien la lía parda es el sistema y que ellos son los padres que le dieron forma. Cuando ellos y sus equipos son los responsables.

—Precisamente ha habido una dimisión de un investigador de Anthropic, que denunció que están jugando con nuestras vidas.

—En esto hay varias cosas a tener en cuenta. Para empezar, las dos empresas tienen posturas diferentes. Anthropic se vende como una organización que, aunque llegue primero, dice que lo hará de forma responsable, mientras que OpenAI nunca se ha comprometido a eso. Así que en este sentido es como hay que entender la dimisión de Jacob Coxon, que, por cierto, es solo una más de las que se han dado en los últimos años. Es un patrón que viene de largo y que tiene que ver con la tensión derivada de lo que en la jerga llamamos solución de compromiso (trade-off en inglés). Es decir, que para ganar algo o cumplir un objetivo, hay que renunciar o sacrificar algunas de nuestras otras cualidades. Es algo que ha sucedido históricamente en todas las tecnológicas, y en una endiablada carrera armamentística como es la IA, lo que sucede es que esa perspectiva responsable es lo primero que se pierde, porque requiere tiempo, paciencia y un apoyo recurrente de los directivos, que están muy presionados por los inversores.

Hay que entender, además, que estos sistemas están subvencionados, sustentados por inversores que confían en que en el futuro serán rentables. Pero lo que pagamos es demasiado barato. No se puede sostener esa construcción de arquitectura, el mantenimiento, la evolución, los datos, los empleados o los litigios con cuotas de apenas 20 euros. Necesitan inversión, porque alguien tiene que pagar la fiesta. Ahora es el momento de crear una dependencia colosal para que sustituyan a nuestras capacidades cognitivas hasta que ya no podamos vivir sin ellas.

—Hay alertas sobre la sustitución de trabajos cognitivos a través de tecnología IA. E incluso Bill Gates ha comentado la necesidad de reservar puestos para humanos.

—Lo importante en este aspecto es ver cómo la IA ya nos está atrofiando. El último informe PISA nos da unas pistas de lo que sucede con las capacidades cognitivas. Estamos haciendo que la máquina piense por nosotros. Ya no decidimos nosotros, sino el sistema. Es lo que llamamos rendición cognitiva. Volcamos todo en el sistema y en un momento dado no sabremos trabajar sin ella, sino que seremos parte de sus sistemas. Y, además, con sus sistemas de valores concretos. OpenAI tiene los suyos, Anthropic otros, y también son diferentes los de las tecnologías chinas. Valores morales que ya no van a ser nuestros, sino de quienes hayan codificado el modelo.

En cuanto a la propuesta de Gates, no es tanto reservar una cuota para humanos, sino más bien que hay ciertas funciones que necesariamente tienen que ser desarrolladas por humanos. Tareas de supervisión, de revisión. Si algo nos habría llevado 3 semanas de investigación o en producirse y ahora lo hacemos en 90 segundos gracias a la IA, quizás sí que necesitemos esas tres semanas para hacer las revisiones pertinentes. Pero tendemos a dedicarle poca atención.

—¿Qué se puede hacer? Pedro Duque pide una regulación estricta.

—Y está muy bien. Pero de nada sirve si no se ponen recursos a las agencias de supervisión. Podemos tener el mejor marco regulatorio del mundo, que si no hay capacidad para hacerlo obligatorio y auditarlo, no sirve de nada. Pero ahora el regulador europeo está más preocupado en bajar el marco, para ayudar a las empresas a que desarrollen sistemas útiles. La idea es que cada país tenga su agencia de supervisión, pero estamos viendo que las agencias locales o nacionales tienen muy pocas capacidades, y se centran más en la divulgación o en la parte política más que en la auditoría real. Hace falta mucha gente para supervisarlo todo.

---

---

---