Gobernando la IA & Evaluando sus riesgos - S49

Puede que tengamos que cerrarlo todo, la gobernanza de la IA parece más importante que nunca y la investigación técnica se pone en entredicho ¡Bienvenido a la actualización de esta semana! Hemos renovado nuestro boletín con el nombre de AI Safety Digest (AISD) y realizaremos algunos cambios durante las próximas semanas, así que prepárese para ellos.

Puede ver o escuchar el espisodio de esta semana en YouTube o en nuestro podcast.

Parón al desarrollo de Inteligencia Artificial General (AGI)

“Tenemos que pararlo todo". Así se articula el nuevo artículo de la revista Time en el que Eliezer Yudkowsky nos insta a detener por completo el desarrollo de la inteligencia artificial general antes de que sea demasiado tarde.

El autor hace referencia a una reciente carta pública firmada por más de 1800 investigadores y expertos en IA en la que se recomienda al mundo detener el entrenamiento de modelos más avanzados que GPT-4 durante al menos 6 meses. Dicha proclama está recibiendo muchas críticas desde distintos puntos de vista, bien por no tomarse suficientemente en serio los riesgos existenciales, bien por ser alarmista sin motivo.

La percepción de la carta se ha visto afectada negativamente por la controvertida inclusión de Elon Musk, y parece que mucha gente ni siquiera la ha leído, dando por hecho que trata de prohibir toda investigación sobre IA, cuando claramente, como hemos mencionado anteriormente, no es así,

Además, la crítica de que no se centra lo suficiente en el riesgo existencial parece pasar por alto que este acontecimiento ha tenido un impacto positivo pues se eleva esta preocupación a la esfera pública. Casi todo el mundo en el campo de la investigación ha sido entrevistado acerca de esta carta, y ello representa un gran avance para la conversación sobre la seguridad de la IA.

Como parte de la publicación de la carta, el Centro para la IA y la Política Digital (CAIDP) presentó una queja sobre la publicación de GPT-4 por parte de OpenAI ante la FTC. Si esto conduce a una investigación de la FTC, podríamos terminar con un mejor control gubernamental sobre los lanzamientos de grandes sistemas de inteligencia artificial que se esperan en los próximos sistemas

Ideathon sobre Gobernanza de IA

En el contexto de esta carta, el pasado fin de semana celebramos el ideathon sobre gobernanza de la IA. Participaron más de 120 personas de los 7 continentes, con sedes locales en 6 de ellos. Las propuestas fueron increíbles y aquí resumiremos rápidamente algunas de ellas.

• El primer premio se lo llevó una propuesta para gravar los datos. Presenta una fórmula que consigna grandes ejecuciones de entrenamiento de modelos, como GPT-4, sin que suponga coste alguno para los modelos de IA más pequeños y limitados. Además, el método es resistente a la mayoría de los esquemas de evasión fiscal.

• Otra propuesta profundizaba en la importancia de la gobernanza de la IA en los países en desarrollo y en por qué debemos asegurarnos de que evolucione correctamente, sobre todo teniendo en cuenta la influencia de China, especialmente en África y el Sudeste Asiático.

• También vimos un esquema de coordinación global para frenar la IAG mediante la construcción de un organismo de supervisión internacional que colabore y regule a países y empresas hacia una IA más segura.

• Un proyecto técnico utilizó la GPT-4 para evaluar las propuestas de proyectos de IA. A pesar de los limitados resultados, presenta los primeros pasos hacia la creación de una auditoría automatizada de los proyectos de IA.

• La propuesta NAIRA presenta un plan detallado para crear un departamento estadounidense como la Administración de Alimentos y Medicamentos (FDA) para controlar el desarrollo de la IA.

• Una propuesta de dinámica de mercado quiere crear vigilantes basados en la IA que proporcionen las mejores bases para una competencia sana entre las IA y ofrezcan una buena visión general de la economía y la seguridad de la IA.

• Otra propuesta plantea clasificar a las empresas en función de lo centradas que estén sus actividades en la seguridad, algo que podría ser útil en el contexto de los contratos públicos y para establecer una mejor perspectiva pública de las organizaciones en el desarrollo de la IA.

• Un equipo canadiense realizó una simulación de diferentes avatares utilizando GPT-4 que dio lugar a un gran debate sobre la seguridad de la IA protagonizado por Margrethe Vestager, Jack Sparrow y otras identidades simuladas.

• Mientras se desarrollan las evaluaciones ARC, una propuesta se centra en la legislación para garantizar que se conviertan en requisitos antes de publicar grandes modelos.

• En 1985, las evaluaciones de impacto ambiental garantizaban que los proyectos de desarrollo europeos no afectaran demasiado negativamente al medio ambiente. Con la propuesta de evaluaciones de impacto de la IA, se pone en práctica el mismo proceso para los escenarios de formación de grandes modelos.

Puedes echarle un vistazo a todos los proyectos mencionados en la  página de Ideathon o ver la ceremonia de entrega de premios en nuestro  canal de YouTube.

¿Investigación sobre la Seguridad de la IA?

Con lanzamientos como LangChain, la API (interfaz de programación avanzada) de acciones en lenguaje natural Zapier y  los ChatGPT Plugins, vemos cómo surgen mayores riesgos al conectar de diversas maneras los grandes sistemas lingüísticos con Internet ¡Ahora incluso puedes hablar con tu reloj para pedirle a GPT-4 que programe en Github  por ti!

Con tales niveles de progreso, parece que los principales avances que actualmente necesitamos abordar en la seguridad de la IA están relacionados con la evaluación de los riesgos que traen consigo los futuros modelos y con la creación de técnicas que sean específicamente aplicables a sistemas como los grandes modelos de lenguaje.

Un buen ejemplo de ello son las evaluaciones del Alignment Research Center sobre modelos de lenguaje, por su capacidad para salir de sus confines digitales. En un artículo reciente, amplían su trabajo presentado en la tarjeta del sistema GPT-4

Comenta que GPT-4 recibió instrucciones sobre cómo utilizar herramientas de Internet y contó con la ayuda de un científico como enlace con la web, se ejecutó en una instancia en la nube y acabó contratando a un trabajador de TaskRabbit para resolver Captchas e incluso disuadió al trabajador de TaskRabbit de pensar que era un robot diciéndole que tenía mala vista.

Por suerte, no fue lo suficientemente capaz como para hacer una buena planificación a largo plazo para escapar, aunque debemos recordar que esto ocurrió sin hacer uso de más herramientas (por ejemplo, Pinecone) y todavía estamos a la espera de GPT-5 y -6. ¡Es un momento emocionante y aterrador a la vez!

Oportunidades

A la vista de estos rápidos avances, como de costumbre, señalamos las oportunidades que se abren en el sector. Únase a nosotros:

• Puedes formar parte, en un par de semanas, de otro hackathon de interpretabilidad en el que te daremos directrices claras sobre cómo desbloquear habilidades interesantes con la interpretabilidad de redes neuronales, ¡junto con 48 horas y una fecha límite! Acompáñanos, ya sea virtualmente o como anfitrión. Únete a nuestro Discord  para estar al día.

• Acompáñanos en el evento de lanzamiento de la recién fundada Red Europea para la Seguridad de la IA, una organización descentralizada para su coordinación en toda Europa.

• El concurso de redacción Stanford AI100 sigue en marcha y  te invita a escribir cómo crees que la IA afectará a nuestras vidas en el futuro.

• Finalmente, si eres muy rápido, puedes apuntarte a un curso de seguridad de la información con un antiguo responsable de seguridad de la información de Google. El plazo termina mañana.

¡Gracias por seguirnos y esperamos verte la próxima semana!