Payload Logo

Copia del personal de OpenAI responsable de la seguridad están saltando del barco

La startup de IA de Sam Altman perdió recientemente a varios miembros clave de su equipo de Superalineación, que se suponía debía garantizar que la IA no se volviera deshonesta.

OpenAI lanzó su Equipo de superalineación Hace casi un año con el objetivo final de controlar hipotéticos sistemas de IA superinteligentes y evitar que se vuelvan contra los humanos. Naturalmente, muchos La gente estaba preocupada: ¿por qué era necesario que existiera un equipo como este en primer lugar? Ahora, ha ocurrido algo más preocupante: líderes del equipo, Ilya Sutskever y Jan Leike, simplemente salga de OpenAI.


La renuncia del liderazgo de Superalignment es la última de una serie de salidas notables de la compañía, algunas de las cuales provinieron dentro de Sutskever y El equipo centrado en la seguridad de Leike. En noviembre de 2023, Sutskever y la junta directiva de OpenAI lideraron un esfuerzo fallido para destituir al director ejecutivo Sam Altman. Seis Meses después, varios miembros del personal de OpenAI abandonaron la empresa y hablaron abiertamente sobre la seguridad de la IA o trabajaron en equipos clave de seguridad.Sutskever terminó disculpándose por el golpe (¡mi mal amigo!) y firmó una carta junto a 738 empleados de OpenAI (de un total de 770) pidiendo reinstalar a Altman y al presidente Greg Brockman. Sin embargo, según un copia de la carta obtenida por The New York Times con firmas 702

(la copia pública más completa que Gizmodo pudo encontrar), varios miembros del personal que ahora han renunciado o no firmaron la muestra de apoyo a El liderazgo de OpenAI o se quedaron rezagados en hacerlo.Los nombres de los miembros del equipo Superalignment Jan Leike, Leopold Aschenbrenner y William Saunders, quienes desde entonces renunciaron, no aparecen junto a más de 700 otros miembros del personal de OpenAI que muestran su apoyo a Altman y Brockman en el Veces

‘copia. El investigador de IA de renombre mundial Andrej Karpathy y los ex empleados de OpenAI Daniel Kokotajlo y Cullen O’Keefe tampoco aparecen en esta versión de la carta y desde entonces abandonaron OpenAI. Estas personas pueden haber firmado la versión posterior de la carta para señalar apoyo, pero Si es así, parecen haber sido los últimos en hacerlo.Gizmodo se ha puesto en contacto con OpenAI para comentar quién liderará el equipo de Superalineación de ahora en adelante, pero no lo hicimos de inmediato. escuchar de nuevo.En términos más generales, la seguridad en OpenAI siempre ha sido un tema divisivo. Eso es lo que provocó que Dario y Daniela Amodei en 2021

para iniciar su propia empresa de IA

, Anthropic, junto con otros nueve ex miembros del personal de OpenAI. Las preocupaciones por la seguridad también fueron lo que supuestamente llevó a los miembros de la junta directiva sin fines de lucro de OpenAI a destituir a Altman y Brockman. Estos miembros de la junta fueron reemplazados por algunos empresarios infames de Silicon Valley.OpenAI todavía tiene mucha gente trabajando en seguridad en la empresa. Después de todo, la misión declarada de la startup es crear AGI de forma segura ¡eso beneficia a la humanidad! Dicho esto, aquí está la lista actualizada de Gizmodo de notables defensores de la seguridad de la IA que han abandonado OpenAI desde el derrocamiento de Altman. en el escritorio o simplemente sigue desplazándote en el móvil. Ilya Sutskever y Jan Leike

Imágenes Getty

2 / 8

Imágenes Getty

Andrej Karpathy

Imágenes Getty

3 / 8

Karpathy, miembro fundador de OpenAI, dejó la empresa por segunda vez en febrero de 2024. Comentó en ese momento que “nada “sucedió", aunque su partida se produce aproximadamente un año después de que dejó Tesla para unirse nuevamente a OpenAI. Karpathy es ampliamente considerado como uno de los mentes más influyentes y respetadas en la inteligencia artificial. Trabajó bajo la “madrina de la IA” Fei-Fei Li en Stanford, otra IA abierta defensor de la seguridad.

Imágenes Getty

4 / 8

Helen Toner y Tasha McCauley fueron las primeras víctimas del regreso de Sam Altman al poder. Cuando Altman regresó, estos dos estaban fuera.

Leopold Aschenbrenner y Pavel Izmailov

Aschenbrennar era un conocido aliado de Sutskever y miembro del equipo de Superalineación. Fue despedido en abril de 2024 por supuestamente filtrar información a periodistas, según

5 / 8

La información

6 / 8

Saunders, miembro del personal de OpenAI en Sutskever y el equipo de Superalineación de Leike, renunció en febrero de 2024, según

. No está claro por qué renunció exactamente.Daniel KokotajloImágenes Getty


7 / 8

Kokotajlo renunció a OpenAI en abril de 2024, después de trabajar en el equipo de gobierno de la empresa, según informó también Business Insider.

, escribe que “dejó OpenAI debido a que perdió la confianza en que se comportaría de manera responsable en la época de AGI”.Cullen O’KeefeO’Keefe parece haber dimitido de OpenAI en abril de 2024 después de más de cuatro años en el equipo de gobierno de la empresa, según su LinkedIn. O’Keefe bloguea con frecuencia sobre la seguridad de la IA y lo dice en una publicación

8 / 8

él sigue persiguiendo

“AGI segura y beneficiosa, pero ahora en una función independiente”.he continues to pursue “safe and beneficial AGI, but now in an independent role.”

A version of this article originally appeared on Gizmodo.