Google reconoció que su modelo Gemini accedió sin autorización a los sistemas de tres empresas reales durante una prueba de ciberseguridad realizada en mayo. La firma independiente Irregular había preparado la evaluación contra compañías ficticias, pero el agente de IA terminó interactuando con objetivos reales tras conseguir conexión a internet, según fuentes vinculadas al caso.
En uno de los accesos Gemini probó contraseñas hasta lograr entrar en un servicio protegido; en los otros dos casos localizó credenciales públicas en repositorios de código y las usó para acceder a sistemas corporativos. Google afirma que el modelo detuvo su actividad en los tres incidentes y que avisó a las empresas afectadas.
Google no detalló qué compañías resultaron afectadas ni qué información revisó Gemini. Heather Adkins afirmó: “En una evaluación estándar, el modelo encontró información pública en internet y adivinó credenciales para acceder a páginas web que creía que formaban parte de la prueba”. La empresa tampoco compartió los logs ni las instrucciones completas.
Otros casos similares
Irregular alertó a Google a fines de julio tras detectar casos similares; la compañía no los hizo públicos porque no hubo daños aparentes. The Wall Street Journal adelantó la información y Google la confirmó. Según la firma, es el primer caso conocido en el que un sistema suyo accedió de manera autónoma a organizaciones externas.
Este episodio se suma a otros reportados por Meta, Anthropic y OpenAI durante pruebas con agentes capaces de navegar por la red y ejecutar comandos. Anthropic revisó más de 141.000 sesiones y suspendió temporalmente esos ensayos; OpenAI reconoció accesos a infraestructuras reales, entre ellas Hugging Face, y Meta confirmó en agosto otro incidente parecido.
Qué preocupa sobre la automejora
Los incidentes alimentan el debate sobre la velocidad de avance de la IA y los riesgos de la llamada automejora recursiva. Figuras como Dario Amodei han pedido frenar el ritmo; Sam Altman y Elon Musk respaldaron la idea públicamente, mientras que Donald Trump rechazó la propuesta por temor a perder ventaja frente a China en la competencia tecnológica.
Irregular asegura que los fallos técnicos que permitieron los accesos fueron corregidos semanas atrás y que avisó a otros laboratorios. Google afirma haber cambiado el diseño de las evaluaciones para evitar confusiones. El episodio subraya la necesidad de protocolos más estrictos y transparencia en las pruebas con modelos como Gemini y otras IA avanzadas.
Fuente: La 100.
