El organismo pidió regulación urgente para los modelos más avanzados, mientras investigadores y directivos de las principales empresas tecnológicas advierten que la carrera por desarrollar sistemas cada vez más poderosos podría superar las actuales medidas de seguridad.
El rápido avance de la inteligencia artificial encendió nuevas alertas internacionales, luego de que Naciones Unidas advirtiera que los sistemas más avanzados podrían generar riesgos para derechos humanos, infraestructura crítica y estabilidad global si su desarrollo continúa sin controles suficientes.
El alto comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, pidió este lunes a gobiernos y empresas actuar con urgencia para establecer reglas internacionales sobre los llamados modelos de frontera, capaces de realizar tareas cada vez más complejas de forma autónoma. (ProtoThema English)
Türk advirtió que prácticamente todos los derechos humanos podrían verse afectados, incluidos los derechos a la vida, la salud, la privacidad, la alimentación y la seguridad.
Uno de los principales focos de preocupación es la llamada IA agéntica, sistemas capaces de ejecutar acciones, utilizar herramientas y tomar decisiones con un grado creciente de autonomía.
De acuerdo con el funcionario de Naciones Unidas, fallas graves en este tipo de sistemas podrían paralizar servicios esenciales, alterar comunicaciones, afectar infraestructura crítica e incluso comprometer instituciones democráticas. También alertó sobre el creciente uso de inteligencia artificial en conflictos armados y sistemas militares. (El País)
La advertencia de la ONU coincide con una inusual ola de llamados desde las propias compañías que desarrollan los modelos más avanzados.
Dario Amodei, director ejecutivo de Anthropic, pidió desacelerar el ritmo de desarrollo de la inteligencia artificial para permitir que las medidas de seguridad alcancen a las nuevas capacidades de los sistemas.
Amodei advirtió que, sin suficientes salvaguardas, grupos de agentes de IA podrían adquirir capacidades para ejecutar ataques cibernéticos a gran escala y, eventualmente, comprometer amplias partes de internet.
Su propuesta incluye evaluaciones externas permanentes dentro de las empresas, mayores estándares de seguridad y mecanismos de coordinación internacional. (AP News)
El llamado recibió el respaldo de algunos de los principales competidores de Anthropic.
Sam Altman, director de OpenAI; Elon Musk, responsable de xAI; y Demis Hassabis, de Google DeepMind, coincidieron públicamente en que el desarrollo de los modelos más avanzados debe realizarse con mayor cautela y bajo esquemas reforzados de evaluación y supervisión. (Axios)
Las preocupaciones aumentaron después de la renuncia de Jacob Coxon, investigador que trabajó en Anthropic y anteriormente en OpenAI.
Coxon aseguró que la competencia entre compañías está empujando a los laboratorios a desarrollar sistemas cada vez más capaces antes de contar con suficientes mecanismos para garantizar su control.
El investigador llegó a plantear un escenario extremo: si el ritmo actual continúa sin mayores medidas de seguridad, considera que existe una posibilidad significativa de que una futura inteligencia artificial superhumana represente una amenaza para la supervivencia humana. (AP News)
Otro investigador de seguridad de Anthropic, Evan Hubinger, estimó que existe una probabilidad superior al 10 por ciento de que sistemas futuros de IA puedan provocar la extinción humana durante la próxima década.
El científico aclaró que los modelos disponibles actualmente representan un riesgo mucho menor, pero su preocupación se concentra en la posibilidad de que sistemas futuros desarrollen capacidades de automejora, creando versiones progresivamente más poderosas con menor intervención humana. (Yahoo Tech)
El científico Geoffrey Hinton, ganador del Premio Nobel y uno de los pioneros de las redes neuronales modernas, consideró que una estimación de riesgo cercana al 10 por ciento no resulta absurda, aunque reconoció que calcular una probabilidad precisa es prácticamente imposible. (Business Insider)
Las advertencias, sin embargo, no representan un consenso científico sobre una eventual extinción humana.
Especialistas y empresarios mantienen fuertes diferencias sobre la magnitud del peligro, los tiempos en los que podrían aparecer sistemas superiores a las capacidades humanas y las medidas que deberían aplicarse.
El debate también incluye preocupaciones sobre el impacto de regulaciones demasiado restrictivas, que podrían favorecer a las empresas tecnológicas más grandes o limitar el desarrollo de modelos abiertos.
Lo que sí comienza a generar mayor coincidencia entre empresas, investigadores y organismos internacionales es la necesidad de reforzar la supervisión de sistemas capaces de operar de manera autónoma.
Anthropic reconoció recientemente haber detectado intentos de utilizar sus modelos para ciberataques, operaciones de influencia, vigilancia y trabajos relacionados con investigación biológica potencialmente peligrosa, lo que obligó a la compañía a bloquear cuentas y reforzar sus sistemas de seguridad. (Anthropic)
Para Naciones Unidas, la discusión ya no puede quedar exclusivamente en manos de las compañías tecnológicas.
Türk sostuvo que ningún país puede regular por sí solo una tecnología de alcance mundial y que las empresas tampoco deberían decidir unilateralmente qué nivel de riesgo debe aceptar la sociedad.
El debate sobre la inteligencia artificial entra así en una nueva etapa: las mismas compañías que compiten por construir los sistemas más poderosos comienzan a pedir límites y tiempo para garantizar que puedan mantenerse bajo control.