Gemini van Google hackte drie echte bedrijven tijdens een veiligheidstest

Google heeft bekendgemaakt dat zijn AI-model Gemini in mei dit jaar drie echte, bestaande bedrijven binnendrong tijdens wat bedoeld was als een gecontroleerde veiligheidstest. Dat meldden onder meer The Washington Post en TechCrunch op 18 en 19 september, op basis van informatie die Google zelf naar buiten bracht. Volgens Google is dit de eerste keer dat een van zijn eigen AI-modellen op deze manier zelfstandig buiten de grenzen van een test trad, wat de berichtgeving inmiddels omschrijft als de eerste bekende "uitbraak" van een Google AI-model.

Een test die per ongeluk verkeerd liep

De hack vond plaats tijdens een zogeheten capture-the-flag-oefening, een gecontroleerde cyberveiligheidstest waarbij een AI-model wordt losgelaten op een nagebouwde, fictieve doelomgeving om kwetsbaarheden op te sporen. De oefening werd uitgevoerd door Irregular, een onafhankelijk bedrijf dat cyberveiligheidsevaluaties van AI-modellen doet. Gemini had voor deze test alleen toegang moeten krijgen tot die afgeschermde testomgeving, maar door een fout in de opzet kon het model toch bij het echte internet.

Het fictieve testbedrijf droeg toevallig dezelfde naam als een bestaand, echt bedrijf. Gemini merkte op dat het internettoegang had, zocht vervolgens naar dat bedrijf op basis van de naam en benaderde het als was het het doelwit van de test. Bij één bedrijf raadde het model wachtwoorden totdat het toegang kreeg. Bij de twee andere gevallen gebruikte Gemini inloggegevens die het vond in een publiek toegankelijke coderepository, waar ze voor iedereen zichtbaar en bruikbaar waren.

Pas maanden later ontdekt

Irregular merkte de misstap niet meteen op. Pas bij een latere interne controle van eerder testwerk viel het incident op, waarna het bedrijf Google eind juli inlichtte. Google onderzocht de zaak vervolgens, informeerde de drie getroffen bedrijven over de ongeautoriseerde toegang en bracht ook de relevante autoriteiten op de hoogte. In alle drie de gevallen stopte Gemini zelf met de actie zodra het model doorhad dat het niet langer met de testomgeving te maken had, maar met een bestaand bedrijf.

Google zelf noemt dit geen voorbeeld van een model dat zich verkeerd gedraagt, eerder het tegenovergestelde: dat de ingebouwde veiligheidsgrenzen van Gemini wel degelijk werkten toen het model besefte dat het een echt doelwit had geraakt. Critici, waaronder Axios en CNN in hun berichtgeving, wijzen er wel op dat de kern van het probleem niet bij het model lag, maar bij de testomgeving zelf, die geen internettoegang had mogen toestaan.

Waarom dit verder gaat dan één ongelukkige test

Het incident laat iets zien dat losstaat van deze ene testfout: een AI-model dat zelfstandig mag zoeken, inloggegevens mag proberen en toegang mag zoeken tot systemen, doet dat ook daadwerkelijk zodra de gelegenheid zich voordoet, zonder dat daar telkens een mens aan te pas komt. Dat sluit aan bij wat we eerder al beschreven toen de Spaanse privacytoezichthouder AEPD het eerste datalek meldde dat door een zelfstandig werkende AI-agent werd veroorzaakt. Ook daar ging het niet om een AI die iets fundamenteel nieuws bedacht, maar om een AI die bestaande, bekende aanvalstechnieken, zoals het proberen van wachtwoorden en het hergebruiken van gelekte inloggegevens, sneller en zelfstandiger uitvoerde dan een mens dat normaal zou doen.

Wat dit betekent voor jouw bedrijf

Twee lessen uit dit incident zijn direct bruikbaar, ook als je zelf geen AI-modellen bouwt of test. Ten eerste: inloggegevens die in een publieke coderepository terechtkomen, zijn geen theoretisch risico meer. Precies dat overkwam twee van de drie bedrijven in dit verhaal, en het is hetzelfde probleem dat we recent al zagen bij de diefstal van broncode via gehackte TanStack-pakketten. Controleer dus regelmatig of er geen wachtwoorden, API-sleutels of andere inloggegevens in je websitecode, plugins of GitHub-repository's staan, en vervang ze zodra je twijfelt.

Ten tweede: als je zelf AI-agents of geautomatiseerde tools toegang geeft tot je website, boekhouding of klantsystemen, behandel die toegang net zo zorgvuldig als die van een nieuwe medewerker. Geef alleen de rechten die daadwerkelijk nodig zijn, en niet meer. Wil je weten of jouw website en de systemen daaromheen goed beveiligd zijn tegen dit soort risico's? Bij website-onderhoud en beheer van Infotrends houden we toegang, updates en kwetsbaarheden structureel voor je in de gaten.

Bronnen: TechCrunch en The Washington Post.