Las principales empresas de IA aceptaron un nuevo conjunto de compromisos voluntarios de seguridad, anunciados por los gobiernos del Reino Unido y Corea del Sur antes de una cumbre de IA de dos días en Seúl.
16 empresas de tecnología optaron por participar en el marco, incluidas AmazonasGoogle, Meta, Microsoft, Abierto AIxAI y Zhipu AI.
Es el primer marco acordado por empresas de América del Norte, Europa, Medio Oriente (Instituto de Innovación Tecnológica) y Asia, incluida China (Zhipu AI).
Entre los compromisos, las empresas se comprometen a “no desarrollar ni implementar ningún modelo” si no se pueden gestionar riesgos graves.
Las empresas también acordaron publicar cómo medirán y mitigarán los riesgos asociados con los modelos de IA.
Los nuevos compromisos se producen después de que eminentes investigadores de IA, incluidos Yoshua Bengio, Geoffrey Hinton, Andrew Yao y Yuval Noah Harari, publicaran un papel en ciencia llamado Gestionar riesgos extremos de IA en medio de rápidos avances.
Ese documento hizo varias recomendaciones que ayudaron a guiar el nuevo marco de seguridad:
- Supervisión y honestidad: Desarrollar métodos para garantizar que los sistemas de IA sean transparentes y produzcan resultados confiables.
- Robustez: Garantizar que los sistemas de IA se comporten de forma predecible en situaciones nuevas.
- Interpretabilidad y transparencia: Comprender los procesos de toma de decisiones de la IA.
- Desarrollo inclusivo de IA: Mitigar sesgos e integrar valores diversos.
- Evaluación de acciones peligrosas.: Desarrollar métodos rigurosos para evaluar las capacidades de la IA y predecir riesgos antes de su implementación.
- Evaluación de la alineación de la IA: Garantizar que los sistemas de IA se alineen con los objetivos previstos y no persigan objetivos dañinos.
- Evaluaciones de riesgos: Evaluación integral de los riesgos sociales asociados con el despliegue de la IA.
- Resiliencia: Crear defensas contra amenazas habilitadas por IA, como ataques cibernéticos y manipulación social.
Anna Makanju, vicepresidenta de asuntos globales de la Abierto AIafirmó sobre las nuevas recomendaciones: “El campo de la seguridad de la IA está evolucionando rápidamente y estamos especialmente contentos de respaldar el énfasis de los compromisos en perfeccionar los enfoques junto con la ciencia. Seguimos comprometidos a colaborar con otros laboratorios de investigación, empresas y gobiernos para garantizar que la IA sea segura y beneficie a toda la humanidad”.
Michael Sellitto, Jefe de Asuntos Globales de antrópicocomentó de manera similar: “Los compromisos de seguridad de Frontier AI subrayan la importancia del desarrollo de un modelo de frontera seguro y responsable. Como organización centrada en la seguridad, hemos convertido en una prioridad la implementación de políticas rigurosas, la realización de equipos rojos exhaustivos y la colaboración con expertos externos para garantizar que nuestros modelos sean seguros. Estos compromisos son un importante paso adelante para fomentar el desarrollo y la implementación responsable de la IA”.
Otro marco voluntario
Esto refleja los “compromisos voluntarios” asumidos en el Casa Blanca en julio del año pasado. por Amazonas, antrópicoGoogle, Inflexión AI, Meta, Microsoft y Abierto AI Fomentar el desarrollo seguro, protegido y transparente de la tecnología de IA.
Estas nuevas reglas establecen que las 16 empresas “brindarán transparencia pública” en sus implementaciones de seguridad, excepto cuando hacerlo pueda aumentar los riesgos o divulgar información comercial sensible de manera desproporcionada a los beneficios sociales.
El Primer Ministro del Reino Unido, Rishi Sunak, dijo: “Es una novedad mundial que tantas empresas líderes en IA de tantas partes diferentes del mundo acuerden los mismos compromisos en materia de seguridad de la IA”.
Es una primicia mundial porque empresas más allá de Europa y América del Norte, como la de China Zhipu.ai, se unió.
Sin embargo, los compromisos voluntarios con la seguridad de la IA llevan un tiempo de moda.
Las empresas de IA corren poco riesgo de aceptarlas, ya que no hay medios para hacerlas cumplir. Eso también indica cuán contundente son como instrumento cuando las cosas se ponen difíciles.
Dan Hendrycks, asesor de seguridad de la startup xAI de Elon Musk, señaló que los compromisos voluntarios ayudarían a “sentar las bases para una regulación nacional concreta”.
Es un comentario justo, pero, como él mismo admite, todavía tenemos que “sentar las bases” cuando riesgos extremos están llamando a la puerta, según algunos investigadores destacados.
No todos están de acuerdo en lo peligrosa que es realmente la IApero el punto sigue siendo que el sentimiento detrás de estos marcos aún no se alinea con las acciones.
Las naciones forman una red de seguridad de IA
A medida que esta cumbre más pequeña sobre seguridad de la IA comienza en Seúl, Corea del Sur, diez naciones y la Unión Europea (UE) acordaron establecer una red internacional de “Institutos de Seguridad de la IA” con respaldo público.
El “Declaración de intenciones de Seúl hacia la cooperación internacional en ciencia de seguridad de la IAEl acuerdo involucra a países como el Reino Unido, Estados Unidos, Australia, Canadá, Francia, Alemania, Italia, Japón, Corea del Sur, Singapur y la UE.
China estuvo notablemente ausente del acuerdo. Sin embargo, el gobierno chino participó y la empresa china Zhipu.ai se adhirió al marco descrito anteriormente.
China ha expresado anteriormente su voluntad de cooperar en materia de seguridad de la IA y ha estado en conversaciones “secretas” con el A NOSOTROS.
Este cumbre provisional más pequeña llegó con menos fanfarria que el primero, celebrado en Bletchley Park, Reino Unido, el pasado mes de noviembre.
Sin embargo, se unieron varias figuras tecnológicas conocidas, entre ellas Elon Musk, el ex director ejecutivo de Google, Eric Schmidt, y mente profunda fundador Sir Demis Hassabis.
En los próximos días saldrán a la luz más compromisos y debates.
