Microsoft Research ha appena presentato la propria versione di un quartetto heavy metal, strumenti che alimenteranno il futuro della compilazione dell’intelligenza artificiale.
Questi quattro compilatori di IA, giustamente soprannominati “Roller”, “Welder”, “Grinder” e “Rammer”, intendono ridefinire il modo in cui pensiamo all’efficienza di calcolo, all’utilizzo della memoria e al flusso di controllo nei modelli di IA.
Gli strumenti di IA accelerano drasticamente i tempi di compilazione
Roller, il primo di questi, cerca di sconvolgere lo status quo della compilazione dei modelli di IA, che spesso richiede giorni o settimane per essere completata. Il sistema reimmagina il processo di partizione dei dati all’interno degli acceleratori. Roller funziona come un rullo compressore, posizionando meticolosamente i dati tensoriali ad alta dimensione su una memoria bidimensionale, come se si trattasse di piastrellare un pavimento.
Siete interessati a saperne di più sul chatbot AI di Microsoft, Bing? Cliccate qui.
Il compilatore garantisce una compilazione più veloce con una buona efficienza di calcolo, concentrandosi su come utilizzare al meglio la memoria disponibile. Recenti valutazioni indicano che Roller è in grado di generare kernel altamente ottimizzati in pochi secondi, superando di tre ordini di grandezza i compilatori esistenti.
Welder affronta il problema dell’efficienza della memoria insito nei moderni modelli di reti neurali profonde (DNN). Il compilatore è progettato per porre rimedio al disallineamento tra l’utilizzo dei core di calcolo e la larghezza di banda della memoria satura.
Utilizzando una tecnica analoga alla produzione in catena di montaggio, Welder “salda” insieme le diverse fasi del processo di calcolo. Questo riduce i trasferimenti di dati non necessari, migliorando in modo significativo l’efficienza di accesso alla memoria.
I test sulle GPU NVIDIA e AMD indicano che le prestazioni di Welder superano quelle dei framework mainstream, con accelerazioni che raggiungono le 21,4 volte rispetto a PyTorch.
Grinder accelera i processi di 8 volte
Grinder si concentra su un altro aspetto cruciale: l’esecuzione efficiente del flusso di controllo. In parole povere, mira a rendere i modelli di intelligenza artificiale più intelligenti nel determinare cosa eseguire e quando. “Macinando” il flusso di controllo nel flusso di dati, Grinder migliora l’efficienza complessiva dei modelli con percorsi decisionali più complessi.
Volete diventare più produttivi? Il nostro team Learn fornisce una panoramica dei 18 migliori strumenti qui.
I dati sperimentali dimostrano che Grinder raggiunge un aumento di velocità fino a 8,2 volte su modelli DNN ad alta intensità di flusso di controllo, superando i framework esistenti.
Infine, Rammer lavora sulla massimizzazione del parallelismo hardware. Questo si riferisce alla capacità dell’hardware di fare cose diverse contemporaneamente.
Questo quartetto di compilatori AI di Microsoft si basa su un’astrazione comune e su una rappresentazione intermedia unificata, formando un insieme completo di soluzioni per affrontare parallelismo, efficienza di compilazione, memoria e flusso di controllo.
Jilong Xue, ricercatore principale di Microsoft Research Asia, ha dichiarato:
“I compilatori di IA che abbiamo sviluppato hanno dimostrato un sostanziale miglioramento dell’efficienza di compilazione dell’IA, facilitando così l’addestramento e l’implementazione di modelli di IA”.
Esclusione di responsabilità
Dichiarazione di non responsabilità
Tutte le informazioni contenute nel nostro sito web sono pubblicate in buona fede e solo a scopo informativo generale. Qualsiasi azione intrapresa dal lettore in base alle informazioni contenute nel nostro sito web è strettamente a suo rischio e pericolo.
