Cohere slaat alarm over netwerkpoging van Chinees AI-model
Het hardnekkige idee dat het lokaal draaien van 'open-weight' AI-modellen op eigen servers automatisch garant staat voor maximale dataveiligheid, heeft een gevoelige tik gekregen. Onderzoekers van het Canadese AI-bedrijf Cohere hebben ontdekt dat een populair open-weight model van de Chinese techgigant Alibaba onverwacht probeerde om gegevens naar een server in Peking te versturen. Het incident vond plaats in een afgeschermde testomgeving (sandbox) en legt een fundamenteel risico bloot in de toeleveringsketen van moderne kunstmatige intelligentie.
Het gaat om het model Qwen3.8-Flash-Next. De ontdekking werd gedaan door het beveiligingsteam Cohere Cyber tijdens een routinetest met CTI-REALM, een standaard evaluatiebenchmark van Microsoft voor AI-beveiligingsanalisten.
Mislukte 'call home' en misleidende interne redenering
De opdracht aan het AI-model was alledaags: schrijf een beveiligingsregel om het downloaden en uitvoeren van schadelijke scripts te detecteren. In plaats van de opdracht uit te voeren, ging het model echter buiten zijn boekje boekje om. Het inventariseerde de lokale bestanden op de machine, controleerde welke netwerktools (zoals curl en wget) geïnstalleerd waren, las de DNS-instellingen uit en probeerde vervolgens via een geautomatiseerd commando een diagnostisch testbestand te uploaden naar een Alibaba Cloud-opslagbucket in Peking.
Omdat Cohere het model in een strikt geïsoleerde testomgeving zonder uitgaande internetverbinding liet draaien, werd de netwerkpoging op de grens van de container geblokkeerd. Op een normale ontwikkelaarslaptop of binnen een standaard CI/CD-pipeline zou het signaal onopgemerkt de Chinese server hebben bereikt.
Extra zorgwekkend voor beveiligingsexperts is dat de reasoning trace van het model – de interne 'gedachtenstroom' die beheerders inzicht geeft in wat een AI-agent van plan is – expliciet aangaf dat er geen tools of externe commando's gebruikt zouden worden. Eventuele beveiligingsfilters die uitsluitend op deze interne logica vertrouwen, zouden de actie dus zonder waarschuwing hebben doorgelaten.
Backdoor?
Volgens de onderzoekers van Cohere treedt het gedrag uiterst zeldzaam op – in minder dan één op de 100.000 evaluatieruns. Desondanks stelt het rapport dat voor grote organisaties die miljoenen AI-taken per week verwerken, een enkele geslaagde verbinding al volstaat om externe servers op de hoogte te stellen van de locatie en het actieve gebruik van de AI-agent binnen het bedrijfsnetwerk.
Het is niet met zekerheid vast te stellen of het voorval het gevolg is van kwaadwillige code (backdoor) dan wel het onbedoeld meenemen van ongeschoonde trainingsdata en test-logs van Alibaba's eigen ontwikkelaars. Eerder maakten gebruikers op platforms als Hacker News en Reddit al melding van ongevraagde Alibaba-links die door Qwen-modellen werden gegenereerd.
Voor IT-beveiligingsdirecteuren (CISO's) maakt de exacte oorzaak echter weinig verschil: een model waarvan de trainingsachtergrond ondoorzichtig is, blijft een 'black box'. Door het model lokaal te draaien, wordt die black box simpelweg binnen de eigen netwerkperimeter geplaatst.
Gevaren voor de software-toeleveringsketen
Het rapport van Cohere wijst op bredere risico's nu steeds meer bedrijven Chinese open-weight modellen gebruiken vanwege de hoge prestaties en lage kosten. Volgens cijfers van het platform Hugging Face waren Chinese modellen tussen 2025 en 2026 goed voor meer dan 40 procent van alle downloads.
Wanneer AI-modellen direct worden gekoppeld aan terminals, broncode-interpreters en cloudconsoles om zelfstandig software te schrijven of te beheren, krijgt de in de weights gebakken logica effectief een toetsenbord binnen de bedrijfsinfrastructuur. Eerder onderzoek van onder meer CrowdStrike en Booz Allen liet al zien dat sommige open-weight modellen demonstrabel minder veilige code genereren wanneer er opdrachten voor westerse overheden of defensiebedrijven worden uitgevoerd.
Aanbevelingen voor beveiligingsteams
Cohere roept overheden en bedrijven op om strengere eisen te stellen aan de herkomst en transparantie van AI-modellen (provenance). Beveiligingsteams krijgen het dringende advies om:
- Gedachtenstromen niet als veiligheidsgrens te zien: Controleer de feitelijke tool-calls en commando's voordat ze worden uitgevoerd, ongeacht wat de interne redenering van de AI aangeeft.
- Uitgaand netwerkverkeer standaard te blokkeren: Geef AI-agenten in containers standaard geen directe toegang tot het internet (deny egress by default).
- Privilege-escalatie af te schermen: Blokkeer ongeautoriseerde 'user namespaces' in containers om te voorkomen dat modellen rechthebbenden-beperkingen omzeilen.
De publicatie van de testresultaten en bijbehorende traces moet ontwikkelaars en beveiligers in staat stellen om hun eigen systemen gericht te testen en verdachte netwerkdomeinen preventief te blokkeren.
