Una domanda di finanziamento è stata inserita in Claude, il suo filtro di sicurezza l’ha intercettata e l’ha rifiutata. Qualche giorno dopo, lo stesso operatore è tornato e, secondo quanto riportato, i prompt rifiutati sono stati poi inviati a un modello AI concorrente.
Anthropic ha pubblicato questa storia su sé stessa, rivelando un caso in cui un’azienda AI mostra che i propri modelli sono stati coinvolti in attività potenzialmente collegate allo sviluppo di armi biologiche.
Il finanziamento che è stato bloccato
La domanda mirava a ottenere fondi per studiare la chikungunya, un virus trasmesso dalle zanzare che provoca mesi di dolore e non ha cura. L’obiettivo era aiutarlo a diffondersi meglio ed eludere il sistema immunitario. È stata scritta da scienziati civili e avrebbe dovuto essere ospitata da un istituto militare.
Ogni interazione veniva bloccata, ma è stata trovata una soluzione alternativa. Il servizio utilizzato da questi ricercatori ha costruito un fallback su un modello concorrente. Claude ha contribuito a scrivere quel codice. Il compito gli è stato proposto come rimedio agli eccessivi rifiuti.
Cinque casi, nessuna intenzione provata
Il report conta 154 pagine e presenta cinque casi di biologia. Anthropic ha bannato gli account, non ha divulgato i nomi dei laboratori, fermandosi però prima dell’accusa che tutti si aspettavano.
“Non affermiamo che avessero intenzioni dannose e identificare loro o i loro laboratori potrebbe esporli a rischi,” ha spiegato in dettaglio il team nel report.
Tuttavia, in particolare, i filtri a volte hanno funzionato. Una ricercatrice sull’influenza aviaria è stata spinta verso modelli più deboli, e Anthropic definisce quel supporto prevalentemente amministrativo.
I casi su armi biologiche secondo Anthropic in numeri
| Figura | Cosa indica |
|---|---|
| 154 | Pagine del report |
| 5 | Casi di biologia pubblicati |
| 35 | Ricerche individuate in 30 giorni tra istituzioni legate agli Stati |
| 1 ora | Tempo impiegato da un utente per scrivere una domanda di finanziamento su virus della famiglia del vaiolo su Opus 5 |
Seguici su X per ricevere le ultime notizie in tempo reale
L’aspetto che dovrebbe preoccupare
La maggior parte di quei 35 progetti erano comuni ricerche civili. Questo è il problema. Le stesse conoscenze servono per creare un vaccino o un’arma, e un filtro non può leggere nella mente delle persone.
“Un classificatore non può contemporaneamente permettere benefici e impedire danni”, ha spiegato in dettaglio Anthropic.
I suoi limiti erano già stati messi alla prova. Ad aprile, un gruppo su Discord aveva raggiunto il modello con restrizioni fin dal primo giorno.
In questo clima di crescenti timori, Washington si sta muovendo. I rappresentanti Ted Lieu e Nathaniel Moran hanno presentato a luglio l’AI Kill Switch Act. La legge obbligherebbe gli sviluppatori a mantenere la capacità di spegnere i propri sistemi.
Lo stesso report ha anche bannato clienti che utilizzavano Claude per tracciare dissidenti.
