GPT-6 Astra e Fable 5.1 guidano CAD Arena, ma il vero problema è il CAD modificabile

CAD Arena mette alla prova l’AI nel CAD: GPT-6 Astra e Fable 5.1 guidano il benchmark, ma l’editabilità resta il vero limite

Normal Research ha pubblicato CAD Arena, un benchmark progettato per misurare una capacità dell’intelligenza artificiale molto più complessa della semplice generazione di un modello tridimensionale: partire da una vera tavola tecnica, interpretarne quote e geometrie e ricostruire il componente direttamente all’interno di ambienti CAD utilizzati nell’ingegneria meccanica. Il confronto coinvolge GPT-6 Astra di OpenAI, Claude Fable 5.1 di Anthropic, Gemini 3.8 Flash di Google, Grok 4.6 di xAI, Muse 1.3 e DeepSeek V4. I sistemi sono stati messi alla prova con 18 disegni di componenti reali e cinque differenti ambienti di modellazione: Siemens NX attraverso NX Open, Dassault Systèmes SolidWorks tramite la relativa API, Onshape attraverso FeatureScript, Autodesk Fusion tramite API Python e Build123d, libreria open source per la modellazione parametrica tramite Python.

Il risultato complessivo colloca GPT-6 Astra e Fable 5.1 nettamente davanti agli altri modelli, con un FrontierCAD score medio rispettivamente di 0,671 e 0,662. La differenza di appena 0,009 punti rende però poco corretto presentare il benchmark semplicemente come una “vittoria” di GPT-6 Astra su Fable 5.1: Normal Research stessa descrive le prestazioni dei due sistemi come molto vicine. Soprattutto, questi valori non devono essere interpretati come il 67,1% e il 66,2% di componenti realizzati correttamente. FrontierCAD è un indice composito compreso tra 0 e 1 che combina la corrispondenza geometrica con un secondo elemento particolarmente importante nell’ingegneria CAD: quanto il modello prodotto dall’intelligenza artificiale rimanga comprensibile, parametrico e modificabile successivamente da un progettista.

Non un semplice benchmark text-to-3D

La differenza rispetto ai generatori text-to-3D comunemente associati all’intelligenza artificiale è sostanziale. Un sistema capace di produrre una mesh visivamente simile a un componente non ha necessariamente creato un vero modello CAD utilizzabile in progettazione. Una mesh STL, ad esempio, rappresenta essenzialmente la superficie mediante triangoli e può essere sufficiente per visualizzazione o, in determinate condizioni, per passare alla preparazione della stampa 3D. Un modello CAD parametrico contiene invece informazioni sulle operazioni che hanno generato la geometria: schizzi, estrusioni, rivoluzioni, tasche, fori, raccordi, smussi, pattern, relazioni dimensionali e riferimenti tra differenti elementi.

CAD Arena cerca quindi di rispondere a una domanda più vicina alla pratica industriale: un agente AI è capace non soltanto di produrre qualcosa che abbia la forma corretta, ma di costruirlo nello stesso ambiente utilizzato dall’ingegnere, lasciandogli una struttura sufficientemente ordinata da poter essere modificata? Per verificarlo, ogni prova parte da una tavola tecnica. L’agente utilizza il linguaggio di scripting o l’API della piattaforma CAD, esegue il codice, riceve dal programma eventuali errori e può correggere il proprio lavoro. Nel caso di SolidWorks e Siemens NX viene utilizzato C#, per Autodesk Fusion e Build123d Python, mentre Onshape utilizza FeatureScript.

I 18 componenti sono stati selezionati per rappresentare problematiche differenti e comprendono parti lavorate mediante fresatura, foratura e alesatura, componenti in lamiera tagliata e piegata e strutture realizzate mediante fabbricazione saldata. Secondo Normal Research, le tavole sono state ottenute con licenza dai produttori dei componenti originali. Un modellatore CAD esperto ha inoltre ricostruito ogni parte per verificare che le informazioni presenti nei disegni fossero sufficienti: le ricostruzioni di controllo hanno raggiunto massa e dimensioni dell’ingombro entro il 3% rispetto ai riferimenti.

Come funziona realmente il FrontierCAD score

Ogni prova riceve innanzitutto un punteggio geometrico G. Il file STEP generato dall’agente viene confrontato con la geometria di riferimento. Il verificatore controlla prima che il risultato sia un solido chiuso e valido: un output assente o geometricamente invalido riceve zero. Il candidato viene successivamente allineato al riferimento mediante traslazione e rotazione, ma non ridimensionato; un errore di scala rimane quindi penalizzato. La geometria viene valutata considerando forma, corrispondenza delle superfici e del volume, correttezza delle interfacce funzionali e alcuni elementi topologici, come numero di solidi, fori passanti e cavità chiuse.

Il secondo parametro E riguarda l’editabilità. Un valutatore analizza schizzi e feature tree utilizzando 25 criteri ponderati per un totale di 100 punti. Tra gli aspetti considerati figurano l’uso di profili parametrici, la presenza di feature coerenti con quelle specificate dal disegno, la stabilità dei riferimenti e l’organizzazione comprensibile del modello.

Il punteggio finale viene calcolato secondo la relazione:

S = G × (0,7 + 0,3E)

La geometria rimane quindi predominante, ma fino al 30% del moltiplicatore dipende dall’editabilità. Si tratta di una scelta metodologica interessante perché evita che un agente ottenga un risultato elevato limitandosi a produrre un solido apparentemente corretto attraverso una sequenza di operazioni difficilmente utilizzabile da un progettista.

La tabella mette in evidenza un risultato che non riguarda soltanto la qualità geometrica. GPT-6 Astra utilizza nel test circa 215.000 token per prova contro circa 701.000 di Fable 5.1 e 3,3 milioni di Gemini 3.8 Flash. I numeri devono essere letti con cautela perché i modelli vengono eseguiti attraverso harness differenti e le modalità di contabilizzazione non sono perfettamente equivalenti, ma mostrano comunque quanto l’efficienza dell’agente possa diventare un fattore economico importante quando un processo CAD richiede decine di cicli di generazione, esecuzione, controllo dell’errore e correzione.

La piattaforma CAD conta meno del modello, ma non è irrilevante

Uno degli aspetti più interessanti di CAD Arena è l’esecuzione degli stessi compiti su piattaforme differenti. I risultati suggeriscono che, all’interno del campione studiato, la scelta del modello AI influenza il risultato più della scelta del CAD. Le medie aggregate delle piattaforme sono relativamente vicine: Fusion ottiene 0,449, Build123d 0,442, NX Open 0,426, SolidWorks 0,416 e FeatureScript 0,414. Questo non significa tuttavia che i CAD siano equivalenti per l’automazione tramite AI. Ogni modello sembra interagire meglio con determinate API e paradigmi di programmazione.

GPT-6 Astra registra infatti il proprio risultato migliore con Onshape FeatureScript, raggiungendo 0,723, seguito da SolidWorks con 0,692, Autodesk Fusion con 0,673, Build123d con 0,650 e NX Open con 0,617. Fable 5.1 mostra un comportamento differente: il risultato migliore arriva con SolidWorks, 0,710, seguito da Fusion a 0,665, Build123d a 0,664, FeatureScript a 0,661 e NX Open a 0,609.

La ragione è comprensibile dal punto di vista software. Per un agente AI, costruire un modello tramite FeatureScript non equivale a comandare SolidWorks attraverso le sue API o NX attraverso NX Open. Cambiano la struttura del linguaggio, il modo in cui vengono identificati schizzi, facce, bordi e feature, la gestione delle selezioni e degli oggetti e soprattutto il tipo di feedback ricevuto quando un’operazione fallisce.

Il problema principale emerge nel feature tree

La geometria finale racconta soltanto una parte della storia. Una delle analisi più significative di Normal Research riguarda ciò che accade quando l’agente incontra un errore durante la costruzione. Nei cinque log analizzati nel dettaglio, i modelli tentano inizialmente di utilizzare feature CAD native come raccordi, pattern e shell. Quando queste operazioni restituiscono errori, possono però ripiegare su soluzioni geometricamente più semplici.

L’esempio mostrato da Normal Research riguarda DeepSeek V4 durante la ricostruzione in Autodesk Fusion di un segmento curvo di cremagliera dentata. Il modello tenta inizialmente di realizzare una cava corrispondente a un dente e replicarla con un pattern circolare di 106 elementi. Dopo problemi nell’esecuzione, il codice finale abbandona la ripetizione dei denti e sostituisce la zona interessata con una fascia anulare liscia, eliminando anche altri dettagli. Il risultato può continuare a essere un solido valido, ma non rappresenta più completamente il componente richiesto.

Questo comportamento evidenzia una distinzione fondamentale: generare un solido valido non equivale a ricostruire correttamente l’intento progettuale. In un processo industriale, il feature tree non è un semplice sottoprodotto del modello. È spesso il mezzo attraverso cui una famiglia di componenti viene modificata, vengono aggiornate dimensioni e varianti o viene adattata la parte a una nuova revisione.

I risultati sull’editabilità mostrano quanto il problema sia ancora aperto. Per la categoria “design intent”, GPT-6 Astra soddisfa completamente il 40% dei controlli valutati e Fable 5.1 il 28%. Nel criterio “native features” i valori scendono rispettivamente al 7% e al 9%. La robustezza è decisamente migliore, con il 77% per GPT-6 Astra e il 74% per Fable 5.1, mentre la leggibilità registra una differenza marcata: 64% per GPT-6 Astra e 20% per Fable 5.1.

Questi valori non devono essere interpretati come percentuali complessive di modelli CAD editabili. Sono percentuali di requisiti pienamente soddisfatti all’interno delle specifiche categorie della rubric utilizzata da Normal Research. Rappresentano però bene la distanza tra la capacità di ottenere una geometria convincente e quella di costruire un modello parametrico secondo criteri vicini a quelli adottati da un progettista esperto.

Gli errori sono spesso errori di programmazione CAD, non di “comprensione della forma”

L’analisi dei log mostra inoltre una quantità significativa di errori derivanti dall’interazione con le API: nomi di funzioni inesistenti, argomenti sbagliati, operazioni booleane rifiutate dal kernel, riferimenti a oggetti non validi, schizzi o selezioni errate e problemi nei raccordi e negli smussi.

Normal Research ha individuato evidenze diagnostiche per 489 dei 540 candidati analizzati. È importante non trasformare il numero degli errori registrati in una classifica dell’affidabilità dei CAD: una singola prova può contenere più errori e più tentativi prima di arrivare al risultato finale. Ad esempio, nei log SolidWorks compaiono numerosi errori relativi agli argomenti delle funzioni, mentre FeatureScript registra diversi riferimenti a API o nomi non riconosciuti. NX Open evidenzia molti problemi negli input delle operazioni booleane e Fusion presenta casi nei quali manca il corpo target necessario per effettuare tagli o intersezioni.

Per lo sviluppo futuro degli agenti CAD questo aspetto potrebbe essere importante quanto il miglioramento puro del modello linguistico. Documentazione delle API più facilmente interrogabile, tool di introspezione, messaggi di errore più strutturati e sistemi capaci di verificare automaticamente il feature tree potrebbero permettere all’agente di riconoscere più rapidamente l’errore e correggerlo senza adottare scorciatoie geometriche.

Il costo dell’AI può cambiare significativamente tra modello e piattaforma

Normal Research ha provato anche a stimare il costo di utilizzo dei modelli. Sulla combinazione con Autodesk Fusion, GPT-6 Astra registra uno score di 0,673 con un costo stimato di 5,11 dollari per prova, mentre Fable 5.1 raggiunge 0,665 con 16,35 dollari. In questa configurazione GPT-6 Astra risulta quindi circa il 69% meno costoso secondo il metodo di calcolo adottato dal benchmark.

Le differenze diventano ancora più evidenti osservando altre piattaforme. GPT-6 Astra con Build123d viene stimato a 4,33 dollari per prova, mentre Fable 5.1 con SolidWorks arriva a 26,48 dollari. Normal Research calcola inoltre che, mediando i modelli per i quali dispone dei dati necessari, una prova su SolidWorks costi circa 2,3 volte una prova equivalente su Build123d.

Questi valori non sono però preventivi di utilizzo industriale e neppure fatture effettivamente emesse dai fornitori dei modelli. Normal li definisce stime basate sull’utilizzo registrato. Sono esclusi il costo delle licenze CAD, l’infrastruttura necessaria per eseguire gli agenti e il sistema utilizzato per valutare l’editabilità. Alcuni valori dipendono inoltre dalle tariffe dei provider e dalle modalità con cui vengono contabilizzati token in cache, input, output e reasoning. Il costo di Gemini era ancora indicato come in revisione nella documentazione consultata.

CAD Arena e BenchCAD non sono lo stesso benchmark

La pubblicazione di CAD Arena coincide con una fase nella quale i produttori di modelli AI stanno introducendo numerosi benchmark legati alla progettazione tecnica. OpenAI, per esempio, presenta per GPT-6 Astra anche risultati ottenuti su BenchCAD, dove il modello raggiunge secondo l’azienda un geometric-overlap score del 95,9%, contro l’83,3% di GPT-5.6 Sol e l’84,3% riportato per Claude Fable 5.1.

I due numeri non devono essere confrontati direttamente con lo 0,671 di CAD Arena. BenchCAD valuta la ricostruzione di oggetti tridimensionali a partire da viste multiple producendo codice CAD; CAD Arena di Normal Research parte invece da tavole ingegneristiche reali, utilizza cinque piattaforme e integra esplicitamente nel punteggio anche l’editabilità del modello nativo. Sono quindi test differenti, con input, metodologia e metriche differenti. Il 95,9% pubblicato da OpenAI non significa che GPT-6 Astra avrebbe ottenuto il 95,9% in CAD Arena.

Questa distinzione diventerà probabilmente sempre più importante. Con la diffusione dei benchmark AI per ingegneria sarà necessario guardare meno al valore numerico isolato e più a ciò che effettivamente viene misurato: somiglianza geometrica, capacità di interpretazione delle quote, robustezza del file CAD, feature native, modificabilità, gestione degli errori o autonomia dell’agente.

Un benchmark interessante, ma con limiti da tenere presenti

CAD Arena rappresenta un passo interessante verso valutazioni più vicine alla progettazione meccanica reale, ma non dimostra che i modelli AI siano già pronti per sostituire un progettista CAD. La metodologia prevede 18 disegni, sei modelli e cinque piattaforme, per un totale teorico di 540 prove. Per ciascuna combinazione modello-piattaforma-disegno viene però eseguito un singolo rollout. Un modello generativo può produrre risultati differenti in esecuzioni successive, quindi il benchmark non misura direttamente quanto una certa configurazione sia consistente ripetendo più volte lo stesso lavoro.

Esiste anche un altro aspetto metodologico significativo. Quando disponibile, ogni modello viene eseguito nel proprio ambiente agentico: Codex, Claude Code, Gemini CLI, Grok Build, Muse Code e OpenCode per DeepSeek. Il confronto misura quindi in parte il modello e in parte l’harness che gli consente di utilizzare gli strumenti. Non è un confronto isolato delle sole capacità dei modelli linguistici.

Non viene imposto un limite esplicito comune al numero di token o turni, mentre i limiti temporali di generazione possono differire tra configurazioni. Ciò rende il test interessante per osservare le prestazioni di sistemi agentici completi, ma meno adatto a stabilire quale modello puro abbia la migliore conoscenza della progettazione meccanica.

Cosa significa per progettazione, produzione e additive manufacturing

Per il settore manifatturiero la parte più interessante non è tanto la possibilità di chiedere a un chatbot di “disegnare un componente”, quanto l’emergere di agenti in grado di lavorare all’interno degli stessi software utilizzati dagli ingegneri. Un sistema capace di interpretare una tavola, creare schizzi parametrici, generare feature, interrogare il CAD, correggere un errore e produrre un file STEP potrebbe ridurre notevolmente il tempo necessario per attività ripetitive di ricostruzione e modellazione.

Nell’additive manufacturing questo potrebbe facilitare, per esempio, la ricostruzione CAD di parti provenienti da documentazione storica, la generazione di varianti dimensionali, l’adattamento di componenti a processi differenti o la preparazione iniziale di geometrie successivamente ottimizzate per la produzione additiva. Non significa però che il modello risultante possa essere inviato direttamente alla produzione. Restano da verificare tolleranze, accoppiamenti, materiali, condizioni di carico, orientamento di produzione, supporti, sovrametalli, rugosità, trattamenti termici, lavorazioni successive e requisiti normativi o di qualifica.

Una geometria corretta non implica inoltre automaticamente che il componente sia progettato correttamente dal punto di vista meccanico. CAD, CAE e produzione rimangono livelli differenti del processo. La ricostruzione di una parte da un disegno non certifica la resistenza strutturale, la vita a fatica o la producibilità e non sostituisce la verifica del progettista.

Dalla generazione geometrica alla comprensione dell’intento progettuale

Il dato più rilevante di CAD Arena è probabilmente proprio quello che impedisce di trasformare il benchmark in una semplice classifica tra GPT-6 Astra e Fable 5.1. I sistemi più avanzati stanno diventando capaci di costruire parti tridimensionali complesse attraverso software CAD professionali e di correggere autonomamente una parte degli errori incontrati. Rimane tuttavia difficile conservare ciò che distingue un buon modello parametrico da un semplice solido tridimensionale: l’intento progettuale.

Un progettista non inserisce un pattern di sei fori soltanto perché vuole vedere sei aperture sulla superficie. Inserisce un pattern perché quei fori condividono una relazione geometrica e perché, se domani diventano otto o cambia il diametro della circonferenza su cui sono distribuiti, il modello deve poter essere modificato attraverso pochi parametri senza essere ricostruito. Allo stesso modo, un raccordo nativo, una funzione shell o una lavorazione di foro hanno un significato progettuale che non coincide necessariamente con una geometria ottenuta tramite decine di operazioni booleane equivalenti.

CAD Arena mostra quindi che il passaggio successivo degli agenti AI per il CAD non consiste soltanto nel produrre forme più accurate. Consiste nel comprendere come gli ingegneri organizzano un modello affinché rimanga modificabile, leggibile e robusto attraverso il ciclo di vita del prodotto. GPT-6 Astra e Fable 5.1 mostrano nel benchmark un vantaggio significativo rispetto agli altri modelli esaminati, ma anche i loro risultati indicano che questo obiettivo è ancora lontano dall’essere completamente risolto.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI).