Carnegie Mellon presenta “LLM-Drone”: pianificazione con LLM per assemblaggi aerei con droni
Il team del Dipartimento di Ingegneria Meccanica della Carnegie Mellon University (CMU) propone LLM-Drone, un sistema di manifattura additiva “in quota” in cui un drone costruisce strutture assemblando blocchi magnetici guidato da un agente LLM. L’idea aggira i limiti della deposizione di materiale in volo (vibrazioni, precisione di strato) e sfrutta la pianificazione semantica di un modello linguistico per generare, verificare e correggere in tempo reale i passi di costruzione.
Hardware: Crazyflie 2.1 e blocchi magnetici
La piattaforma sperimentale usa il nano-quadricottero Bitcraze Crazyflie 2.1, controllato via API Python (Motion Commander) e localizzato con Lighthouse (base station SteamVR). Il drone preleva e rilascia blocchi modulari con aggancio magnetico: un filo ferromagnetico sospeso facilita il pick-up, mentre un magnete più forte sul punto di rilascio permette lo sgancio pulito dopo il posizionamento.
Modulo di pianificazione LLM: dallo “slicer testuale” al piano eseguibile
Come uno slicer, il modulo LLM riceve la descrizione dell’oggetto, lo stato corrente della griglia di costruzione e uno schema JSON di output; restituisce una sequenza di coordinate integrali da eseguire. Dopo ogni posa, la scena aggiornata può essere ripassata al modello per re-prompting e correzione del piano, mantenendo la costruzione entro i vincoli della griglia.
Percezione e allineamento: AprilTags, Lighthouse e YOLOv8
L’allineamento tra coordinate dell’LLM e mondo reale avviene via AprilTags e trasformazioni stima-pose; la verifica di pick-up/drop-off usa un pipeline con background subtraction e YOLOv8 per il tracciamento/riconoscimento dei blocchi. Il frame operativo del pad viene convertito nel frame globale definito da Lighthouse. Risultati: accuratezza di build e confronto tra modelli
Nei test su griglia 10×10 (prompt “vincolati”) la valutazione con Intersection over Union (IoU) mostra Claude 3.5 Sonnet al 89,5%, GPT-4o all’80,4% e Gemini 1.5 Pro al 67,2%; la pipeline completa raggiunge fino al 90% di accuratezza di costruzione nella conversione “prompt → struttura”.
Prove “fisiche” su griglia 5×5 e impatto del re-prompting
Su una griglia 5×5 sono stati costruiti pattern semplici (smiley, croce, diamante, quadrato, lettera L): l’abilitazione del re-prompting consente al sistema di recuperare errori di posa (p.es. ruotando o adattando il layout) con maggiore robustezza rispetto all’esecuzione “rigida”.
Contesto: Aerial-AM con estrusione vs approccio “a blocchi”
Nel 2022 è stato dimostrato un framework Aerial Additive Manufacturing multi-drone con estrusione in volo (Imperial College London, Empa), basato su stampanti volanti e droni di scansione per la verifica geometrica; LLM-Drone si pone su un asse diverso, privilegiando assemblaggio modulare più tollerante agli errori in volo.
Limiti dichiarati e sviluppi prospettati
Gli autori evidenziano che i test sono in laboratorio; propongono come passi futuri strutture multistrato, droni più capaci e elettromagneti attivabili per migliorare precisione e flessibilità in scenari reali (manutenzione in quota, rapid repair, logistica on-site).
Attori e tecnologie citate
Carnegie Mellon University (progetto LLM-Drone), Bitcraze (Crazyflie 2.1, Lighthouse deck), Valve/SteamVR (base stations Lighthouse), AprilTag (University of Michigan), Ultralytics YOLOv8 per object detection.
