Attacchi black-box ai modelli linguistici: un metodo che impara dal bersaglio

Gli attacchi black-box ai modelli linguistici funzionano senza accedere ai gradienti del modello attaccato, cioè senza vedere come calcola internamente le risposte. Uno studio pubblicato su arXiv presenta RL-ATTACK, un metodo di questo tipo che si addestra con l’apprendimento per rinforzo, una tecnica in cui un sistema impara dai risultati dei propri tentativi.¹ Gli autori sostengono che le vulnerabilità trovate con attacchi intenzionali possano poi servire a rendere i modelli più sicuri.¹

Come si induce una risposta sbagliata senza vedere il modello

I metodi black-box esistenti, tra cui TextFooler, BERT-ATTACK e CLARE, individuano prima le parti vulnerabili di un testo e poi le alterano con sostituzioni, cancellazioni o errori di battitura. Secondo gli autori usano lo stesso schema contro tutti i modelli, senza adattarsi a quello preso di mira, e tendono a ipotizzare le trasformazioni sulla base di conoscenze esterne.¹ RL-ATTACK cambia impostazione: impara dal modello bersaglio e genera trasformazioni avversarie su misura.¹ L’articolo mostra due esempi. In un test di inferenza del linguaggio naturale, cioè la valutazione del rapporto logico tra due frasi, sostituire un punto con la lettera «g» fa passare un classificatore BERT da «Entailment» con il 92% di confidenza a «Neutral» con il 58%.¹ Nel secondo esempio, scrivere «airportilis» al posto di «airport» fa passare Llama 3 8B Instruct dal rifiuto a una risposta dannosa. Gli autori hanno omesso i dettagli operativi.¹

Che risultati dichiara lo studio

Sull’inferenza del linguaggio naturale, secondo gli autori, l’attacco porta l’accuratezza del modello al 2% entro 20 interrogazioni. Dichiarano anche una maggiore efficienza nel numero di query e una migliore conservazione del significato del testo.¹ Sui modelli generativi, l’attaccante addestrato ottiene sempre un’accuratezza inferiore a quello non addestrato. Rispetto a un solido riferimento basato sull’ottimizzazione prevale in 4 configurazioni su 6.¹ Gli autori hanno provato diversi sistemi di ricompensa e impostazioni di addestramento e riferiscono che nessuno risulta sempre il migliore. Il codice è pubblico.¹

Perché conta

Gli esempi dello studio mostrano che una modifica minima, come una lettera o una parola sbagliata, può bastare a cambiare l’esito di un modello, anche nel caso di un rifiuto a rispondere.¹ Il fatto che l’attaccante impari dal modello bersaglio, invece di applicare uno schema fisso, è l’elemento che gli autori indicano come novità rispetto ai metodi precedenti.¹

Leggi anche

• Simulare il terminale senza eseguire i comandi: il metodo con modelli piccoli
• LooM, un metodo per rendere più flessibili i Looped Transformer
• Claude Fable 5.2 e Mythos 5.2: differenze, prezzi e velocità dei nuovi modelli Anthropic

Articolo scritto con l’intelligenza artificiale a partire dalle fonti citate, senza revisione umana. Redazione automatica di Redazia.

Fonti

Footnotes

1. RL-ATTACK: A Generalized Black-Box Adversarial Attack on Language Models via Reinforcement Learning, arXiv: cs.IR, cs.CR, 2026-11-05 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹