Geoffrey Hinton pide que se evalúen los modelos de inteligencia artificial antes de que estén disponibles, bajo los ojos de una autoridad independiente. Resumido en la prensa libanesa del 10 de noviembre, su discurso plantea una cuestión concreta: ¿quién decide que se puede difundir un modelo, sobre qué pruebas y con qué vigilancia entonces? Los controles de inteligencia artificial ya existen en varias formas, sin constituir el sistema internacional que exige.
El investigador expresa esta posición en una entrevista con la prensa británica publicada el 3 de noviembre. Critica la carrera comercial entre grandes empresas tecnológicas y temores a incidentes críticos de infraestructura. Sin embargo, mantiene la esperanza de beneficios importantes. Su discurso aboga por un marco para el desarrollo, en lugar de una renuncia general a la tecnología.
En el informe publicado en el Líbano, Hinton propone una autoridad internacional inspirada en la fiscalización de drogas. Las empresas deben proporcionar pruebas para comparar los beneficios esperados y los posibles daños antes de la comercialización. Esta es una propuesta del investigador, no el anuncio de una institución ya creada.
Controles de IA: ¿qué se debe probar antes del acceso?
Una demostración exitosa de lo que un modelo puede lograr en una situación determinada. A safety assessment also seeks its failures, misuse and the conditions under which its protections cease to function. Estos objetivos requieren diferentes pruebas.
El marco de gestión de riesgos del Instituto Nacional de Normas y Tecnología de los Estados Unidos, AI RMF 1.0, incluye pruebas previas al despliegue y uso regular. Organiza trabajos en torno a la gobernanza, identificación de riesgos, medición y gestión. Este marco es una herramienta de gestión, no una autorización internacional de marketing.
Su lógica requiere una aclaración del contexto. Un error en un proyecto de texto y una acción errónea en un sistema operativo no tienen las mismas consecuencias. Por lo tanto, la pregunta va más allá de la puntuación obtenida por un modelo en un ejercicio: también se centra en las personas expuestas, las herramientas disponibles y las decisiones que el sistema puede tomar.
En términos concretos, se debe utilizar una prueba útil para determinar qué versión se examinó y en qué condiciones. Un modelo limitado a la producción de texto no tiene las mismas posibilidades que un agente de software. El perímetro de acceso es por lo tanto parte del problema de Hinton.
Ataques simulados para buscar fracasos
El Reglamento Europeo de Inteligencia Artificial establece una serie de obligaciones para los proveedores de modelos de uso general con riesgo sistémico. Article 55 requires assessments using protocols and tools corresponding to the state of art. Menciona explícitamente las pruebas contradictorias, que buscan poner el modelo en defecto.
El texto también requiere evaluar y reducir los riesgos sistémicos, documentar y denunciar incidentes graves sin demora indebida. La ciberseguridad debe cubrir el modelo y su infraestructura física. Estos requisitos se refieren a una categoría específica de modelos: no significan que cualquier aplicación tenga un certificado de seguridad idéntico.
El enfoque europeo da así una traducción concreta a varios temas del debate. El proveedor debe producir información sobre riesgos y acciones correctivas. La evaluación no es sólo una evaluación pública de la impresionante naturaleza de un sistema.
El Código de práctica europeo complementa este esquema. Publicado en julio de 2025, la Comisión presenta como una forma voluntaria de demostrar el cumplimiento de las obligaciones jurídicas. Sus capítulos abarcan transparencia, derechos de autor, seguridad y seguridad. Este último se refiere a los modelos abarcados por las obligaciones de riesgo sistémico.
La independencia no es sólo en nombre del controlador
La propuesta de Hinton coloca una autoridad separada de los fabricantes en el centro de la decisión. Su interés reside en el posible conflicto entre la velocidad de la comercialización y el tiempo necesario para la prueba. Una empresa puede conocer su modelo mejor que cualquier otra persona mientras tiene un interés económico en transmitirlo rápidamente.
Para que el control externo proporcione información adicional, es necesario resolver varias preguntas: ¿qué versión tiene acceso los evaluadores? ¿Qué resultados pueden examinar? ¿Pueden replicar las pruebas? ¿Quién decide qué sucede después cuando aparece un fallo importante? Estas preguntas describen las condiciones prácticas de un examen, sin presumir una respuesta para una empresa en particular.
Una comparación con las drogas también tiene un límite obvio. Un modelo general se puede utilizar para tareas muy diferentes y recibir nuevas herramientas después de la difusión. Por lo tanto, su archivo de evaluación debe especificar los usos y las condiciones examinados. Un reconocimiento favorable dentro de un perímetro dado no satisface todos los usos posibles.
La crítica personal de Hinton a algunos líderes es parte de su juicio. No sustituyen los resultados de las pruebas ni las pruebas de conducta indebida particular. El debate sobre la responsabilidad se vuelve más preciso cuando se trata de decisiones documentadas, acceso e incidentes.
Después del lanzamiento, mantenga la capacidad de actuar
La Guía Práctica NIST requiere la vigilancia de los riesgos y beneficios durante toda la vida del sistema. Se prevé examinar si el despliegue debe continuar y adaptar las respuestas a los riesgos observados. Los controles pueden incluir acceso, límites de uso, documentación y organización del trabajo humano en todo el sistema.
Esta continuidad responde a una dificultad concreta: los usos reales pueden revelar problemas ausentes de las pruebas iniciales. Una actualización, un cambio en la integración o una nueva población de usuarios cambia el contexto. El monitoreo debe ser capaz de vincular un incidente a la versión utilizada y a las condiciones de su operación.
La responsabilidad operacional comienza entonces con decisiones identificables. ¿Quién puede limitar una función? ¿Quién recibe las alertas? ¿Quién verifica la eficacia de una corrección? Un informe de evaluación pierde parte de su utilidad si nadie es responsable de actuar en sus resultados.
Hinton se refiere a posibles perturbaciones de redes eléctricas, servicios bancarios o sistemas de salud. Estos escenarios expresan su preocupación; No constituyen el anuncio de nuevos ataques establecidos contra estas infraestructuras. Sin embargo, su apelación mueve el debate hacia un requisito verificable: documentar capacidades y riesgos antes de abrirse, y luego mantener los medios para corregir, restringir o detener el uso problemático.
Comentarios