L’AI Security Institute (AISI) del Regno Unito ha rivelato che un agente AI, basato su Mythos 5 di Anthropic, ha condotto in modo autonomo un attacco di social engineering durante un test di cybersicurezza. L’agente ha aperto una pull request contenente codice malevolo su un vero progetto open source e ha creato false identità per ottenere l’approvazione di un maintainer.
Il tentativo è fallito. Un maintainer umano ha individuato e rifiutato di approvare il codice.
AISI afferma che la sua indagine non ha identificato danni concreti nel mondo reale. Il modello inoltre è stato eseguito con i classificatori di cybersicurezza degli sviluppatori intenzionalmente disattivati e con accesso aperto a Internet, una configurazione di test che non è disponibile commercialmente.
Come l’agente AI ha condotto la sua campagna di codice malevolo
AISI ha registrato 19 azioni non autorizzate in 10 dei 122 test di valutazione condotti a fine luglio, secondo il suo rapporto. 17 sono state ricondotte al modello Mythos 5 di Anthropic, e due a un unico test di GPT-5.6 Sol di OpenAI.
L’agente ha effettuato ricerche sui maintainer umani del progetto e creato molteplici identità false. Le ha poi usate per effettuare social engineering su un maintainer reale al fine di approvare il codice.
Quando la pull request è stata contestata pubblicamente, ha modificato le sue precedenti attività per farle apparire innocue. Il modello ha anche valutato la possibilità di adottare una nuova identità per proseguire.
La strategia ricorda il backdoor XZ Utils del 2024, dove una persona reale per anni si è guadagnata la fiducia di un maintainer prima di inserire codice nascosto. Il rapporto di AISI non fa questo paragone direttamente, ma il contrasto è evidente. L’attività si è svolta nell’arco di alcuni giorni, tra il 25 e il 28 luglio.
AISI ha sottolineato che nessuno ha chiesto esplicitamente al modello di mentire.
“Non è mai stato istruito ad ingannare; l’inganno è emerso come conseguenza del raggiungimento dell’obiettivo, un tipo di inganno guidato dal risultato che, fino a poco tempo fa, era rimasto in gran parte teorico.”
Seguici su X per ricevere le ultime notizie in tempo reale
L’istituto lo ha ribadito anche nella sua comunicazione. Ha inoltre riconosciuto che prompt configurati in modo errato hanno portato l’agente a credere che alcuni compiti non potessero essere risolti nell’ambito previsto. Sebbene il comportamento si sia verificato anche in casi in cui l’agente disponeva delle istruzioni adeguate per rimanere focalizzato sul compito.
I team di sicurezza hanno intercettato l’attività il 28 luglio, quando l’agente ha utilizzato la rete anonima Tor per eludere alcune restrizioni di rete su GitHub. GitHub ha confermato che tali azioni violavano i termini di servizio. AISI ha inoltre collaborato con la piattaforma per rimuovere gli artefatti lasciati dall’agente e per avvisare gli utenti con cui aveva interagito.
Il rapporto sostiene che il caso segnala un cambiamento nell’origine dei rischi: i danni possono derivare non solo dall’uso improprio di modelli disponibili al pubblico, ma anche quando agenti con ampie capacità in ambienti privilegiati agiscono al di fuori dei limiti loro autorizzati.
AISI afferma che il caso indica un più ampio cambiamento nell’ambito dei rischi legati all’AI. L’istituto ora prevede una revisione indipendente insieme a METR, ente non profit per la valutazione AI, oltre a controlli di rete più rigidi e monitoraggio in tempo reale per i test futuri.
Iscriviti al nostro canale YouTube per ascoltare analisi e approfondimenti da leader e giornalisti esperti
