Escuchamos mucho sobre la seguridad de la IA, pero ¿eso significa que ocupa un lugar destacado en la investigación?
un nuevo estudiar del Observatorio de Tecnologías Emergentes de la Universidad de Georgetown sugiere que, a pesar del ruido, la investigación sobre seguridad de la IA ocupa sólo una pequeña minoría del foco de investigación de la industria.
Los investigadores analizaron más de 260 millones de publicaciones académicas y descubrieron que solo el 2% de los artículos relacionados con la IA publicados entre 2017 y 2022 abordaron directamente temas relacionados con la seguridad, la ética, la solidez o la gobernanza de la IA.
Si bien el número de publicaciones sobre seguridad de la IA creció un impresionante 315% durante ese período, de alrededor de 1.800 a más de 7.000 por año, sigue siendo una cuestión secundaria.
Estos son los hallazgos clave:
- Solo el 2% de la investigación sobre IA entre 2017 y 2022 se centró en la seguridad de la IA
- La investigación sobre seguridad de la IA creció un 315 % en ese período, pero queda eclipsada por la investigación general de la IA.
- Estados Unidos lidera la investigación sobre seguridad de la IA, mientras que China se queda atrás
- Los desafíos clave incluyen solidez, equidad, transparencia y mantenimiento del control humano.
Muchos destacados investigadores y especialistas en ética de la IA han advertido sobre los riesgos existenciales si la inteligencia artificial general (AGI) se desarrolla sin suficientes salvaguardias y precauciones.
Imagine un sistema AGI que sea capaz de mejorarse a sí mismo de forma recursiva, superando rápidamente la inteligencia humana mientras persigue objetivos no alineados con nuestros valores. Es un escenario que, según algunos, podría salirse de nuestro control.
Sin embargo, no es tráfico en un solo sentido. De hecho, un gran número de investigadores de IA creen La seguridad de la IA está sobrevalorada.
Más allá de eso, algunos incluso piensan que el revuelo se ha fabricado para ayudar a las grandes tecnológicas a hacer cumplir las regulaciones y eliminar a las organizaciones de base y competidores de código abierto.
Sin embargo, incluso los limitados sistemas de inteligencia artificial actuales, entrenados con datos del pasado, pueden exhibir sesgos, producir contenido dañino, violar la privacidad y usarse de manera maliciosa.
Entonces, si bien la seguridad de la IA debe mirar hacia el futuro, también debe abordar los riesgos aquí y ahora, lo que podría decirse que es insuficiente ya que las falsificaciones profundas, los sesgos y otros problemas siguen cobrando importancia.
Una investigación eficaz sobre la seguridad de la IA debe abordar los desafíos a corto plazo, así como los riesgos especulativos a más largo plazo.
Estados Unidos lidera la investigación sobre seguridad de la IA
Si profundizamos en los datos, Estados Unidos es el líder indiscutible en la investigación de seguridad de la IA, con el 40% de las publicaciones relacionadas, en comparación con el 12% de China.
Sin embargo, la producción de seguridad de China está muy por detrás de su investigación general sobre IA: mientras que el 5% de la investigación estadounidense sobre IA se refirió a la seguridad, sólo el 1% de la de China lo hizo.
Se podría especular que investigar la investigación china es una tarea totalmente difícil. Además, China ha sido proactivo sobre la regulación (posiblemente más que Estados Unidos), por lo que estos datos podrían no brindarle a la industria de IA del país una audiencia justa.
A nivel institucional, la Universidad Carnegie Mellon, Google, el MIT y Stanford lideran el grupo.
Pero a nivel mundial, ninguna organización produjo más del 2% del total de publicaciones relacionadas con la seguridad, lo que destaca la necesidad de un esfuerzo mayor y más concertado.
Desequilibrios de seguridad
Entonces, ¿qué se puede hacer para corregir este desequilibrio?
Eso depende de si uno piensa que la seguridad de la IA es un riesgo apremiante a la par de la guerra nuclear, las pandemias, etc. No hay una respuesta clara a esta pregunta, lo que hace que la seguridad de la IA sea un tema altamente especulativo con poco mutuo. acuerdo entre investigadores.
La investigación y la ética en materia de seguridad también son un dominio algo tangencial al aprendizaje automático, que requiere diferentes conjuntos de habilidades, antecedentes académicos, etc., que pueden no estar bien financiados.
Cerrar la brecha de seguridad de la IA también requerirá enfrentar preguntas sobre la apertura y el secreto en el desarrollo de la IA.
Las empresas de tecnología más grandes llevan a cabo extensas investigaciones de seguridad internas que nunca se han publicado. A medida que la comercialización de la IA se intensifica, las corporaciones se vuelven más protectoras de sus avances en materia de IA.
OpenAI, por ejemplo, fue una potencia de investigación en sus inicios.
La empresa solía realizar auditorías independientes en profundidad de sus productos, sesgos en el etiquetado y riesgos, como Sesgo sexista en su proyecto CLIP.
Anthropic todavía participa activamente en la investigación pública de la seguridad de la IA y publica con frecuencia estudios sobre inclinación y jailbreak.
DeepMind también documentó la posibilidad de que los modelos de IA establezcan “objetivos emergentes” y contradigan activamente sus instrucciones o se conviertan en adversarios de sus creadores.
Sin embargo, en general, la seguridad ha pasado a un segundo plano frente al progreso, ya que Silicon Valley vive según su lema de “moverse rápido y romper cosas”.
En última instancia, el estudio de Georgetown destaca que las universidades, los gobiernos, las empresas de tecnología y los financiadores de investigación deben invertir más esfuerzo y dinero en la seguridad de la IA.
Algunos también han pedido una organismo internacional para la seguridad de la IAsimilar a la Agencia Internacional de Energía Atómica (OIEA), que se estableció después de una serie de incidentes nucleares que hicieron obligatoria una cooperación internacional profunda.
¿Necesitará la IA su propio desastre para lograr ese nivel de cooperación estatal y empresarial? Esperemos que no.