Copia del personal de OpenAI responsable de la seguridad están saltando del barco
La startup de IA de Sam Altman perdió recientemente a varios miembros clave de su equipo de Superalineación, que se suponía debía garantizar que la IA no se volviera deshonesta.

OpenAI lanzó su Equipo de superalineación Hace casi un año con el objetivo final de controlar hipotéticos sistemas de IA superinteligentes y evitar que se vuelvan contra los humanos. Naturalmente, muchos La gente estaba preocupada: ¿por qué era necesario que existiera un equipo como este en primer lugar? Ahora, ha ocurrido algo más preocupante: líderes del equipo, Ilya Sutskever y Jan Leike, simplemente salga de OpenAI.
La renuncia del liderazgo de Superalignment es la última de una serie de salidas notables de la compañía, algunas de las cuales provinieron dentro de Sutskever y El equipo centrado en la seguridad de Leike. En noviembre de 2023, Sutskever y la junta directiva de OpenAI lideraron un esfuerzo fallido para destituir al director ejecutivo Sam Altman. Seis Meses después, varios miembros del personal de OpenAI abandonaron la empresa y hablaron abiertamente sobre la seguridad de la IA o trabajaron en equipos clave de seguridad.Sutskever terminó disculpándose por el golpe (¡mi mal amigo!) y firmó una carta junto a 738 empleados de OpenAI (de un total de 770) pidiendo reinstalar a Altman y al presidente Greg Brockman. Sin embargo, según un copia de la carta obtenida por The New York Times con firmas 702
(la copia pública más completa que Gizmodo pudo encontrar), varios miembros del personal que ahora han renunciado o no firmaron la muestra de apoyo a El liderazgo de OpenAI o se quedaron rezagados en hacerlo.Los nombres de los miembros del equipo Superalignment Jan Leike, Leopold Aschenbrenner y William Saunders, quienes desde entonces renunciaron, no aparecen junto a más de 700 otros miembros del personal de OpenAI que muestran su apoyo a Altman y Brockman en el Veces
‘copia. El investigador de IA de renombre mundial Andrej Karpathy y los ex empleados de OpenAI Daniel Kokotajlo y Cullen O’Keefe tampoco aparecen en esta versión de la carta y desde entonces abandonaron OpenAI. Estas personas pueden haber firmado la versión posterior de la carta para señalar apoyo, pero Si es así, parecen haber sido los últimos en hacerlo.Gizmodo se ha puesto en contacto con OpenAI para comentar quién liderará el equipo de Superalineación de ahora en adelante, pero no lo hicimos de inmediato. escuchar de nuevo.En términos más generales, la seguridad en OpenAI siempre ha sido un tema divisivo. Eso es lo que provocó que Dario y Daniela Amodei en 2021
para iniciar su propia empresa de IA
, Anthropic, junto con otros nueve ex miembros del personal de OpenAI. Las preocupaciones por la seguridad también fueron lo que supuestamente llevó a los miembros de la junta directiva sin fines de lucro de OpenAI a destituir a Altman y Brockman. Estos miembros de la junta fueron reemplazados por algunos empresarios infames de Silicon Valley.OpenAI todavía tiene mucha gente trabajando en seguridad en la empresa. Después de todo, la misión declarada de la startup es crear AGI de forma segura ¡eso beneficia a la humanidad! Dicho esto, aquí está la lista actualizada de Gizmodo de notables defensores de la seguridad de la IA que han abandonado OpenAI desde el derrocamiento de Altman. en el escritorio o simplemente sigue desplazándote en el móvil. Ilya Sutskever y Jan Leike
Imágenes Getty
2 / 8
Imágenes Getty

Andrej Karpathy
Imágenes Getty
3 / 8
Karpathy, miembro fundador de OpenAI, dejó la empresa por segunda vez en febrero de 2024. Comentó en ese momento que “nada “sucedió", aunque su partida se produce aproximadamente un año después de que dejó Tesla para unirse nuevamente a OpenAI. Karpathy es ampliamente considerado como uno de los mentes más influyentes y respetadas en la inteligencia artificial. Trabajó bajo la “madrina de la IA” Fei-Fei Li en Stanford, otra IA abierta defensor de la seguridad.

Imágenes Getty
4 / 8
Helen Toner y Tasha McCauley fueron las primeras víctimas del regreso de Sam Altman al poder. Cuando Altman regresó, estos dos estaban fuera.

Leopold Aschenbrenner y Pavel Izmailov
Aschenbrennar era un conocido aliado de Sutskever y miembro del equipo de Superalineación. Fue despedido en abril de 2024 por supuestamente filtrar información a periodistas, según
5 / 8
La información

. También tiene vínculos con el movimiento de altruismo eficaz.Izmailov fue otro miembro del personal despedido por filtrar información a periodistas en abril de 2024. Trabajó en el equipo de razonamiento pero también pasó tiempo en el lado de seguridad de las cosas.William Saunders
Imágenes Getty
6 / 8
Saunders, miembro del personal de OpenAI en Sutskever y el equipo de Superalineación de Leike, renunció en febrero de 2024, según
7 / 8
Kokotajlo renunció a OpenAI en abril de 2024, después de trabajar en el equipo de gobierno de la empresa, según informó también Business Insider.

, escribe que “dejó OpenAI debido a que perdió la confianza en que se comportaría de manera responsable en la época de AGI”.Cullen O’KeefeO’Keefe parece haber dimitido de OpenAI en abril de 2024 después de más de cuatro años en el equipo de gobierno de la empresa, según su LinkedIn. O’Keefe bloguea con frecuencia sobre la seguridad de la IA y lo dice en una publicación
8 / 8
él sigue persiguiendo

“AGI segura y beneficiosa, pero ahora en una función independiente”.he continues to pursue “safe and beneficial AGI, but now in an independent role.”