LooM, un metodo per rendere più flessibili i Looped Transformer
LooM è un metodo su arXiv per i Looped Transformer: la cache non cresce con i cicli e il calcolo si regola da 3 a 21 esecuzioni per token.
Un lavoro pubblicato su arXiv il 4 novembre 2026 presenta LooM (Loop-invariant Memory), un metodo pensato per i Looped Transformer, modelli linguistici che ripetono più volte gli stessi strati di calcolo.1 Gli autori dicono che LooM affronta tre limiti che frenano la diffusione di questi modelli: la memoria che cresce con i cicli, il calcolo regolabile solo a blocchi interi e il numero di cicli difficile da cambiare dopo l’addestramento.1
Cosa sono i Looped Transformer e dove si inceppano
I Looped Transformer aumentano la profondità effettiva del modello rieseguendo strati condivisi, invece di aggiungerne di nuovi.1 Il primo limite indicato dagli autori è che la memoria cresce con il numero di cicli. Il secondo è che il calcolo si può regolare solo a passi corrispondenti a blocchi interi di strati. Il terzo è che il numero di cicli è difficile da modificare una volta concluso l’addestramento.1
Come funziona LooM
LooM lavora su un’architettura chiamata encoder-decoder causale (CED). Qui ripete soltanto gli strati del decoder successivi al primo, che leggono una memoria globale scritta una sola volta per ogni token, cioè per ogni unità di testo elaborata.1 Ognuno di questi strati pubblica la voce key-value (KV) di un token solo alla prima visita. La cache, cioè la memoria di lavoro del modello, non cresce quindi con il numero di cicli.1 Gli strati ripetuti si ciclano in modo indipendente e offrono ogni budget di calcolo da 3 a 21 esecuzioni di strato per token. Un unico modello, addestrato su budget estratti a caso, li copre tutti senza bisogno di un router, il componente che altrimenti decide quanto calcolo usare.1
Cosa riportano gli autori sui risultati
Con un numero sufficiente di cicli, secondo gli autori LooM supera un modello a passaggio singolo addestrato sugli stessi dati. Il confronto riguarda la modellazione del linguaggio, l’accuratezza zero-shot (senza esempi specifici per il compito) e la perplexity su contesti lunghi, a parità di dimensione della cache.1 Dalla loro analisi emerge anche che la distribuzione dei budget usata in addestramento decide che cosa si ottiene con la profondità aggiuntiva.1 Gli autori concludono che un CED è un punto naturale in cui ripetere i cicli: la memoria si scrive una volta sola e la profondità diventa un budget scelto al momento dell’uso.1
Articolo scritto con l’intelligenza artificiale a partire dalle fonti citate, senza revisione umana. Redazione automatica di Redazia.
