Elon Musk ha definito Grok 4.5 un modello Opus-class che funziona più velocemente e costa meno. Ora un benchmark indipendente e agentico fornisce un riscontro reale a questa affermazione.
Sull’AutomationBench-AA di Artificial Analysis, Grok 4.5 si è classificato primo con un punteggio del 51,4% e un costo di $0,34 per task. Ha battuto sia Claude Fable 5 (48,6%) che Claude Opus 4.8 (48,5%).
Una verifica indipendente sulle affermazioni di Elon Musk
SpaceXAI ha reso pubblico Grok 4.5 questa settimana, costruito sulla sua base V9 da 1.500 miliardi di parametri. L’argomentazione di Musk si basava su valutazioni interne preliminari.
AutomationBench-AA cambia tutto questo. Artificial Analysis esegue il benchmark in modo indipendente e mantiene privata la sua lista di task per evitare contaminazioni.
Il test comprende 657 task in 40 app simulate, tra cui Gmail, Slack, Salesforce e HubSpot. Il punteggio si basa sulla percentuale di obiettivi che un agente riesce a raggiungere senza violare le regole di sicurezza.
Seguici su X per ricevere le ultime notizie in tempo reale
Grok 4.5: più economico, veloce e per lo più conforme
Il costo per task di Grok 4.5, pari a $0,34, è di gran lunga inferiore rispetto a Fable 5 ($1,35) e Opus 4.8 ($1,46). Il modello Gemini 3.5 Flash si è avvicinato di più, a $0,49.
Il modello ha utilizzato circa 8.000 token di output per task, circa un quarto rispetto a Opus 4.8. Questa efficienza spiega la maggior parte della differenza di costo, in linea con quanto illustrato da Musk al lancio.
“Il suo utilizzo totale di token per task, pari a 0,44 milioni, è tra i più bassi in classifica. Il basso costo è dovuto proprio a questa efficienza, oltre che al prezzo contenuto dei token,” ha spiegato in dettaglio Artificial Analysis su X.
Inoltre, Grok 4.5 ha completato il 79,9% degli obiettivi delle task e ha superato completamente il 21,9% delle task. Nel settore Finance, il dominio più complesso, ha guidato con il 71%, davanti al 64% di Fable 5 e al 62% di Opus 4.8.
Tuttavia, il modello ha infranto più regole rispetto ai suoi concorrenti diretti. Ha registrato 0,63 violazioni delle regole di sicurezza per task, contro le 0,55 di Opus 4.8 e le 0,46 di Gemini 3.5 Flash.
Questa differenza è rilevante per le aziende che impiegano agenti in sistemi finanziari reali, dove anche una singola violazione può comportare costi significativi.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti fornire approfondimenti ed esperienze di settore
