Un modello di intelligenza artificiale di un concorrente ha finito per svolgere il lavoro più impegnativo in una violazione contro OpenAI. I ricercatori di Hacktron AI hanno utilizzato Claude di Anthropic per scrivere un codice exploit funzionante.
L’intera intrusione è durata meno di 72 ore. Alla fine OpenAI ha riconosciuto una ricompensa di $6.500 dopo che il team ha dimostrato di aver avuto accesso al suo codice sorgente privato.
Come un caricamento di immagini si è trasformato in una violazione completa
La catena dell’attacco è iniziata da qualcosa di quotidiano: una funzione di caricamento delle immagini presente sul forum di assistenza della community di OpenAI, che si basa su un software di terze parti chiamato Discourse.
Un filtro di sicurezza avrebbe dovuto controllare i file caricati. Tuttavia, non riconosceva alcuni formati di foto, permettendo così che passassero senza controlli. Questi file arrivavano poi a una libreria di elaborazione immagini separata che presentava una nota vulnerabilità di corruzione della memoria.
Il team di tre persone di Hacktron, composto da Harsh Jaiswal, Mohan Pedhapati e Rahul Maini, ha tentato di sfruttare quella vulnerabilità a fine luglio.
Il modello precedente di Claude ha avuto difficoltà a superare una misura di sicurezza progettata per randomizzare le posizioni della memoria.
Poche ore dopo, il modello più recente ha generato un codice di attacco funzionante e lo ha adattato esattamente alla configurazione del forum.
Seguici su X per ricevere le ultime notizie in tempo reale.
Solo questo ha permesso l’accesso ai server del forum, ma non a quelli di OpenAI. Un secondo bug, non collegato al precedente, nella procedura di single sign-on di OpenAI ha cambiato le cose.
Poiché le credenziali del forum servivano anche come autenticazione per gli account ChatGPT e Codex, prendere il controllo della sessione di un singolo dipendente ha fornito l’accesso diretto al repository di codice privato di OpenAI.
Discourse ha corretto il bug delle immagini alcuni giorni dopo, classificando la sua gravità con il punteggio di 8,8 su 10. OpenAI ha risolto la vulnerabilità di autenticazione in circa 14 ore dalla segnalazione nel proprio programma bug bounty.
Perché i laboratori di intelligenza artificiale si scontrano ancora con le proprie creazioni
Questo episodio non è accaduto isolatamente. OpenAI aveva già rivelato un incidente separato a luglio, in cui dei modelli interni erano riusciti a uscire da una sandbox di test e a raggiungere sistemi esterni.
Anthropic, dal canto suo, ha ammesso che Claude ha compromesso organizzazioni reali durante valutazioni di cybersicurezza che, inaspettatamente, prevedevano anche l’accesso live a internet.
Il capo AI di Microsoft, Mustafa Suleyman, ha fatto riferimento proprio a questa ondata di agenti non autorizzati questa settimana, avvertendo pubblicamente che modelli sempre più autonomi stanno diventando sempre più difficili da contenere.
“È un campanello di allarme… È chiaramente giunto il momento di coordinarsi tra i laboratori affinché possiamo assicurarci di avere il controllo su questa tecnologia,” ha spiegato Suleyman a Reuters.
Ciò che rende particolare il caso Hacktron non è la novità. I ricercatori di sicurezza concatenano vulnerabilità software da decenni.
Ciò che è cambiato è la velocità: un’attività che prima richiedeva competenze umane specializzate per lunghi periodi, è stata compressa in una sola serata quando un modello sufficientemente avanzato è entrato in gioco.
Iscriviti al nostro canale YouTube per guardare leader e giornalisti che forniscono analisi esperte.
