Direct Nash Optimization: come allineare un modello linguistico alle preferenze, i risultati dello studio

Direct Nash Optimization (DNO) è un metodo per allineare un modello linguistico a una funzione di preferenza generale, cercando di approssimare l’equilibrio di Nash di un gioco di preferenze tra due giocatori. Uno studio empirico pubblicato su arXiv il 3 novembre 2026 ne ha riprodotto in modo indipendente la variante pratica, chiamata DNO-Prct, e dopo tre iterazioni ha misurato guadagni consistenti su due modelli open-weight (con pesi pubblici).¹

Come funziona la variante pratica di DNO

DNO-Prct ripete un ciclo in quattro passaggi. Il modello genera risposte proprie (campionamento on-policy), un altro modello linguistico le valuta insieme a una risposta di riferimento di un «insegnante» (gold response), si scelgono coppie di risposte con un ampio scarto di giudizio e si aggiorna il modello con un passaggio contrastivo in stile DPO.¹

Quali risultati ha ottenuto

Gli autori hanno provato il metodo su Llama 3.1 8B Instruct e Mistral 7B Instruct v0.1, usando come annotatore GPT-4o oppure un modello open-weight più grande della stessa famiglia.¹ Su AlpacaEval 2.0, con GPT-4o come giudice, tre iterazioni hanno portato la percentuale di vittorie contro GPT-4o corretta per la lunghezza delle risposte (LC win rate) da 31,7% a 45,3% per Llama e da 6,8% a 18,4% per Mistral. Il modello Llama da 8 miliardi di parametri dopo l’addestramento ha ottenuto punteggi superiori a Llama 3.1 70B Instruct in tutte le percentuali di vittoria riportate.¹ Con annotatori open-weight della stessa famiglia, le prove hanno mantenuto il 62% (Llama) e l’82% (Mistral) del guadagno LC ottenuto con GPT-4o come annotatore. Secondo gli autori, il passaggio di valutazione non richiede quindi un modello proprietario.¹

Cosa pesa davvero nella procedura

In una configurazione separata di ablazione, cioè di rimozione dei singoli componenti, le versioni senza risposte di riferimento, senza il recupero dei dati precedenti (data look-back) o che accettavano solo coppie in cui l’insegnante era preferito hanno ottenuto da 6 a 10 punti LC in meno rispetto alla procedura completa.¹ Cambiare il numero di campioni per prompt da 1 a 7 ha spostato il LC win rate di al massimo 2,1 punti. Una variazione della soglia di scarto da 1 a 5, eseguita in una pipeline a parte, lo ha spostato di al massimo 2,4 punti.¹

I limiti indicati dagli autori

Tutti i risultati derivano da singole esecuzioni. GPT-4o è inoltre sia l’insegnante sia il giudice della valutazione, e gli autori discutono che cosa questo comporti per i guadagni riportati.¹ Lo studio riporta anche il costo della pipeline e i punti in cui l’algoritmo pratico si discosta dalla teoria che approssima.¹

Leggi anche

• Cyber-JEV: come un modello open trova le funzioni di codice vulnerabili
• Quando conviene che due IA si scambino messaggi: lo studio
• Herzog accetta i risultati ufficiali delle elezioni in Israele

Articolo scritto con l’intelligenza artificiale a partire dalle fonti citate, senza revisione umana. Redazione automatica di Redazia.

Fonti

Footnotes

1. Aligning Language Models with General Preferences: An Empirical Study of Direct Nash Optimization, arXiv: cs.CL, cs.LG, cs.CR, 2026-11-03 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹