MedPhysBench, il test che mette alla prova l'IA sui calcoli di fisica medica

MedPhysBench è un benchmark, cioè una batteria di test standard, pensato per misurare quanto i modelli linguistici se la cavano con i calcoli della fisica medica e con l’individuazione di errori in quei calcoli. È descritto in un preprint, un articolo non ancora sottoposto a revisione, comparso su arXiv il 3 novembre.¹ Su 12 modelli testati, il punteggio nei calcoli va dal 33,3 al 100,0%. Anche nell’individuazione degli errori altrui i modelli non si comportano tutti allo stesso modo.¹

Che cosa misura MedPhysBench

Il test contiene dieci generatori di esercizi di calcolo, che coprono radioterapia, diagnostica per immagini, medicina nucleare e radioprotezione. Si arriva fino a compiti clinici come la scheda di calibrazione secondo il protocollo TG-51.¹ Le risposte di riferimento non sono scritte a mano: vengono da codice che implementa i protocolli di riferimento. Un correttore automatico converte le unità di misura e applica fasce di tolleranza.¹ Dagli stessi dati di partenza gli autori ricavano anche esercizi di controllo. Al modello si mostra la scheda di calcolo di un collega, oppure solo il suo risultato. Metà dei casi è corretta, nell’altra metà è stato inserito un solo errore.¹

Perché questi calcoli devono essere controllati

I fisici medici trasformano una prescrizione in una dose effettivamente erogata. Calibrano il fascio, calcolano le unità monitor (MU) di ogni campo di trattamento, stimano le dosi della brachiterapia, dimensionano le schermature delle sale e valutano la dose assorbita da un radiofarmaco.¹ Un errore in questi passaggi è spesso sistematico. Se la calibrazione di un fascio è sbagliata, cambia la resa per ogni paziente trattato con quell’apparecchio finché il fascio non viene misurato di nuovo.¹ Per questo le linee guida TG-114 raccomandano che ogni calcolo delle MU sia verificato prima del trattamento con un secondo calcolo, basato su un algoritmo e su dati indipendenti. Piani e cartelle sono inoltre rivisti da un secondo fisico. Nei dati di incidente di una singola istituzione, però, la revisione del piano fisico prima del trattamento non ha rilevato la maggior parte degli errori che avrebbe potuto individuare.¹ I modelli linguistici sono già entrati in questo lavoro. In un sondaggio del 2025 tra fisici medici di Australia e Nuova Zelanda, gli usi più citati erano il lavoro professionale (54%), la formazione (54%) e la programmazione e i compiti tecnici (53%). Uno studio pubblicato a febbraio 2026 su Machine Learning: Health descrive un assistente integrato nella piattaforma MIM, che genera estensioni in Java per automatizzare le operazioni di radioterapia.¹² Secondo gli autori, un reparto che deve decidere se un modello può scrivere o controllare un calcolo delle MU ha bisogno di prove proprio su quei due compiti. Gran parte delle valutazioni pubblicate finora usa invece domande da esame, spesso a scelta multipla.¹

Cosa emerge dai calcoli

Il confronto è stato fatto su una parte di prova di 1.200 esercizi, che per due modelli è stata ridotta a metà. I quattro modelli migliori hanno ottenuto tra il 99,3 e il 100,0%.¹ Delle nove risposte dei quattro migliori giudicate sbagliate, cinque contenevano errori del modello. Le altre quattro seguivano il rapporto NCRP 151 su punti che gli esercizi stessi formulano in modo errato o lasciano aperti.¹ Tra gli altri modelli, la maggior parte ha reso peggio nei compiti clinici di livello 3. Claude Sonnet 5.5 ha omesso la correzione del quadrato della distanza in 19 esercizi su 20 sul calcolo delle MU in geometria isocentrica.¹

Cosa emerge dal controllo degli errori

Cinque modelli hanno individuato almeno il 96,7% degli errori inseriti, perlopiù di grande entità, con al massimo il 4% di falsi allarmi. Per quattro dei sette restanti, quando veniva mostrato solo il risultato e non la scheda di calcolo, i falsi allarmi sono aumentati in modo significativo.¹ Gli autori hanno poi condotto un test mirato di carattere esplorativo, con 20 casi pubblici in cui mancava la correzione del quadrato della distanza. I tre modelli migliori tra quelli provati l’hanno individuata in tutte le schede. Tre modelli più deboli hanno accettato da 16 a 18 schede su 20 con l’errore inserito, e uno di loro applicava la correzione nella maggior parte dei propri calcoli.¹ Claude Opus 5.5 ha accettato 6 risultati errati su 20, pur avendo applicato la correzione in tutti e 20 i propri calcoli.¹

Che cosa resta da verificare

Gli autori segnalano da soli alcuni limiti. Due problemi nei loro esercizi sulle schermature sono stati scoperti dopo le prove, e ne riportano l’effetto sui risultati. Alcune risposte giudicate sbagliate dipendevano da punti in cui gli esercizi erano formulati male o lasciavano margini di interpretazione.¹ Il test sulla correzione omessa è definito esplorativo e riguarda un solo tipo di errore. Gli autori hanno rilasciato codice, esiti per singolo esercizio e risposte del test mirato.¹

Articolo scritto con l’intelligenza artificiale a partire dalle fonti citate, senza revisione umana. Redazione automatica di Redazia.

Fonti

Footnotes

1. MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection, arXiv: cs.CL, cs.LG, cs.CR, 2026-11-03 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³ ↩¹⁴ ↩¹⁵ ↩¹⁶ ↩¹⁷ ↩¹⁸

2. Interactive large language model-assistant for flexible workflow automation in radiotherapy - IOPscience, dx.doi.org ↩