Ilya Sutskever y Jan Leike de Abierto AIEl equipo de “superalineación” renunció esta semana, lo que ensombrece el compromiso de la compañía con el desarrollo responsable de la IA bajo la dirección del CEO Sam. altman.
Leike, en particular, no se anduvo con rodeos. “En los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”, declaró en su despedida, confirmando el malestar de quienes observaban Abierto AILa búsqueda de una IA avanzada.
Ayer fue mi último día como jefe de alineación, líder de superalineación y ejecutivo. Abierto AI?ref_src=twsrc%5Etfw”>@Abierto AI.
– Jan Leike (@janleike) 17 de mayo de 2024
Sutskever y Leike son la última entrada en una lista cada vez más larga de reestructuraciones de alto perfil en Abierto AI.
Desde noviembre de 2023, cuando altman Sobrevivieron por poco a un intento de golpe de estado en la sala de juntas, al menos otros cinco miembros clave del equipo de superalineación renunciaron o fueron obligados a hacerlo:
- Daniel Kokotajlo, quien se unió Abierto AI en 2022, con la esperanza de dirigir la empresa hacia el desarrollo responsable de la inteligencia artificial general (AGI), una IA altamente capaz que iguala o supera nuestra propia cognición, renunció en abril de 2024 después de perder la fe en la capacidad del liderazgo para “manejar responsablemente la AGI”.
- Leopold Aschenbrenner y Pavel Izmailov, miembros del equipo de superalineación, fueron presuntamente despedidos el mes pasado por “filtrar” información. Abierto AI no ha aportado pruebas de irregularidades. Los conocedores especulan que fueron atacados por ser aliados de Sutskever.
- Cullen O’Keefe, otro investigador de seguridad, partió en abril.
- Guillermo Saunders renunció en febrero pero aparentemente está obligado por un acuerdo de no menosprecio a discutir sus razones.
En medio de estos acontecimientos, Abierto AI supuestamente ha amenazado con eliminar los derechos de capital de los empleados si critican a la empresa o altman sí mismo, según Vox.
Eso ha hecho que sea difícil entender verdaderamente el problema en Abierto AIpero La evidencia sugiere que las iniciativas de seguridad y alineación están fracasando, si es que alguna vez fueron sinceras en primer lugar.
Abierto AILa controvertida trama se complica
Abierto AIfundada en 2015 por Elon Musk y Sam altmanestaba completamente comprometido con la investigación de código abierto y el desarrollo responsable de la IA.
Sin embargo, a medida que la visión de la empresa se ha ampliado en los últimos años, se ha visto recluida a puertas cerradas. En 2019, Abierto AI pasó oficialmente de un laboratorio de investigación sin fines de lucro a una entidad con “beneficios limitados”, lo que generó preocupaciones sobre un cambio hacia la comercialización sobre la transparencia.
Desde entonces, Abierto AI ha protegido sus investigaciones y modelos con férreos acuerdos de confidencialidad y la amenaza de acciones legales contra cualquier empleado que se atreva a hablar.
Otras controversias clave en la corta historia de la startup incluyen:
- En 2019, Abierto AI sorprendió a la comunidad de IA al pasar de un laboratorio de investigación sin fines de lucro a una empresa con “beneficios limitados”, lo que marcó un alejamiento afirmativo de sus principios fundacionales.
- El año pasado surgieron informes de reuniones a puertas cerradas entre Abierto AI y organizaciones militares y de defensa.
- altmanLos erráticos tuits de Trump han llamado la atención, desde reflexiones sobre la gobernanza global impulsada por la IA hasta admitir riesgos a nivel existencial de una manera que se presenta a sí mismo como el piloto de un barco que ya no puede dirigir.
- En el golpe más grave a altmanDurante el liderazgo de Sutskever hasta la fecha, el propio Sutskever fue parte de un fallido golpe de estado en la sala de juntas en noviembre de 2023 que buscaba derrocar al director ejecutivo. altman logró aferrarse al poder, demostrando que está verdaderamente vinculado a la empresa de tal manera que es difícil separarlo, incluso para la propia junta directiva.
Si bien los dramas en las juntas directivas y las crisis de los fundadores no son infrecuentes en Silicon Valley, Abierto AIEl trabajo de, según ellos mismos admiten, podría ser fundamental para la sociedad global.
El público, los reguladores y los gobiernos quieren una gobernanza coherente y libre de controversias a nivel mundial. Abierto AIpero la breve y turbulenta historia de la startup sugiere todo lo contrario.
Abierto AI se está convirtiendo en el antihéroe de la IA generativa
Mientras que el diagnóstico de salón y la difamación de altman son irresponsables, su historia de manipulación y búsqueda de visiones personales a costa de los colaboradores y la confianza pública plantea preguntas incómodas.
Como reflejo de esto, las conversaciones sobre altman y su empresa se han vuelto cada vez más crueles en X, Reddit y el foro Y Combinator.
Si bien los jefes tecnológicos suelen ser polarizadores, por lo general ganan seguidores, como lo demuestra Elon Musk entre los tipos más provocativos. Otros, como Satya Nadella, director ejecutivo de Microsoftganarse el respeto por su estrategia corporativa y su estilo de liderazgo maduro y controlado.
Reconozcamos también cómo otras empresas emergentes de IA, como antrópicologran mantener un perfil bastante bajo a pesar de sus grandes logros en la industria de la IA generativa. Abierto AIpor otro lado, mantiene una gravedad intensa y controvertida que lo mantiene en el ojo público, sin beneficiar su imagen ni la imagen de la IA generativa en su conjunto.
Al final, deberíamos decirlo como es. Abierto AIEl patrón de secretismo ha contribuido a la sensación de que ya no es un actor de buena fe en la IA.
IEsto deja al público preguntándose si la IA generativa podría erosionar la sociedad en lugar de ayudarla. Envía el mensaje de que perseguir la AGI es un asunto a puerta cerrada, un juego jugado por las elites tecnológicas sin tener en cuenta las implicaciones más amplias.
La concesión de licencias morales a la industria tecnológica
Las licencias morales han plagado durante mucho tiempo a la industria tecnológica, donde la nobleza propuesta por la actual misión corporativa se utiliza para justificar compromisos éticos.
Desde el mantra de “muévete rápido y rompe cosas” de Facebook hasta el eslogan de “no seas malvado” de Google, los gigantes tecnológicos han invocado repetidamente el lenguaje del progreso y el bien social al tiempo que participan en prácticas cuestionables.
Abierto AILa misión de investigar y desarrollar AGI “para beneficio de toda la humanidad” invita quizás a la forma definitiva de concesión de licencias morales.
La promesa de una tecnología que podría resolver los mayores desafíos del mundo y marcar el comienzo de una era de prosperidad sin precedentes es seductora. Apela a nuestras esperanzas y sueños más profundos, aprovechando el deseo de dejar un impacto positivo y duradero en el mundo.
Pero ahí reside el peligro. Cuando hay tanto en juego y las recompensas potenciales son tan grandes, resulta demasiado fácil justificar tomar atajos, eludir límites éticos y descartar la crítica en nombre de un “bien mayor” que ningún individuo o grupo pequeño puede definir, ni siquiera con toda la financiación y la investigación del mundo.
Esta es la trampa que Abierto AI riesgos de caer. Al posicionarse como creadora de una tecnología que beneficiará a toda la humanidad, la empresa esencialmente se ha otorgado un cheque en blanco para perseguir su visión por cualquier medio necesario.
Entonces, ¿qué podemos hacer al respecto? Bueno, hablar es barato. Una gobernanza sólida, un diálogo progresivo continuo y una presión sostenida para mejorar las prácticas de la industria son clave.
Para Abierto AI misma, como presión pública y crítica mediática de Abierto AI crecer, altmanLa posición de Trump podría volverse menos sostenible.
Si se fuera o fuera derrocado, tendríamos que esperar que algo positivo llene el inmenso vacío que dejaría atrás.