I piloti automatici di Tesla e Mobileye sono stati raggirati da “fantasmi”

È un espediente comune nelle trame dei film: il protagonista pensa di aver visto qualcuno entrare in una strada, quindi sterza e finisce in un fosso. Ora immaginate che accada nella realtà, più o meno, e invece di essere provocato da un gioco di luce o della mente, quell’immagine proviene da un criminale informatico che proietta, per una frazione di secondo, qualcosa a cui il pilota automatico dell’auto è programmato per reagire. I ricercatori di Georgia Tech e dell’Università Ben-Gurion del Negev hanno analizzato questa tipologia di minaccia di “attacco fantasma” alla RSA Conference 2021.

L’idea di mostrare immagini pericolose ai sistemi di intelligenza artificiale non è nuova. Le tecniche di solito implicano l’uso di immagini modificate per forzare l’IA a trarre una conclusione inaspettata. Tutti gli algoritmi di apprendimento automatico hanno questo tallone d’Achille; sapere quali caratteristiche sono fondamentali per il riconoscimento delle immagini, ovvero conoscere un po’ l’algoritmo, consente di modificare le immagini in modo da ostacolare il processo decisionale della macchina o addirittura costringerla a commettere un errore.

La novità dell’approccio dimostrato alla RSA Conference 2021 è che al pilota automatico sono state mostrate immagini non modificate, quindi un eventuale malintenzionato non deve sapere necessariamente come funziona l’algoritmo o quali caratteristiche impiega. Le immagini sono state proiettate brevemente sulla strada e sugli oggetti immobili vicini, con queste conseguenze:

In una variazione del modello, le immagini sono apparse per una frazione di secondo in uno spot su un cartellone accanto alla strada, e il risultato è stato essenzialmente lo stesso:

Gli autori dello studio sono giunti alla conclusione che i criminali informatici possono seminare il caos da una distanza di sicurezza, senza correre il pericolo di lasciare prove sulla scena del crimine. Tutto quello di cui hanno bisogno è sapere per quanto tempo devono proiettare l’immagine per ingannare l’IA (le auto con guida autonoma hanno una soglia di attivazione per ridurre la probabilità di produrre falsi positivi dovuti, ad esempio, a sporco o a detriti sulla lente della fotocamera o lidar).

Ora, la distanza di frenata di un’auto è misurata in decine di metri, quindi aggiungere qualche metro per consentire una migliore valutazione della situazione non è stato un grosso problema per gli sviluppatori di IA.

Durata del tempo necessario per mostrare un’immagine fantasma ai sistemi di riconoscimento Tesla e Mobileye. Fonte]

Tuttavia, il dato che si riferisce a un paio di metri si applica al sistema di visione artificiale Mobileye e a una velocità di 60 km/h (circa 37 mph). In questo caso, il tempo di risposta è di circa 125 millisecondi. La soglia di risposta del pilota automatico di Tesla, come determinato dai ricercatori in modo sperimentale, è quasi tre volte maggiore, raggiungendo i 400 millisecondi. Alla stessa velocità, si aggiungerebbero quasi 7 metri (circa 22 piedi). In ogni caso, si tratta ancora di una frazione di secondo. Di conseguenza, i ricercatori credono che un attacco del genere potrebbe cogliervi all’improvviso e non ve ne accorgereste, e così vi ritrovereste in un fosso e il drone che stava proiettando le immagini avrebbe il tempo di sparire.

Si spera che un’imperfezione nel sistema consenta ai piloti automatici di respingere questo tipo di attacco: le immagini proiettate su superfici inadatte alla visualizzazione di immagini sono molto diverse dalla realtà. Distorsione prospettica, bordi irregolari, colori innaturali, contrasto estremo e altre imperfezioni fanno sì che le immagini fantasma possano essere identificate facilmente dall’occhio umano.

Come tale, la vulnerabilità del pilota automatico agli attacchi fantasma è una conseguenza del divario di percezione tra l’IA e il cervello umano. Per superare il divario, gli autori dello studio propongono di dotare i sistemi con pilota automatico di controlli aggiuntivi per verificare la coerenza di caratteristiche come la prospettiva, la regolarità dei bordi, il colore, il contrasto e la luminosità, affinché i risultati siano coerenti prima di prendere qualsiasi decisione. Come in una giuria umana, le reti neurali delibereranno sui parametri che aiutano a distinguere i segnali reali della telecamera o del lidar da un fantasma sfuggente.

Fare ciò, naturalmente, aggiungerebbe un carico computazionale ai sistemi e porterebbe al funzionamento in parallelo di diverse reti neurali in una sola volta, che dovranno essere tutte allenate in modo adeguato (un processo lungo e dispendioso in termini di energia). E le automobili, che sono già dei piccoli cluster di computer su ruote, dovranno trasformarsi in piccoli cluster di supercomputer su ruote.

Con la diffusione degli acceleratori di IA, le auto potrebbero essere in grado di portare a bordo diverse reti neurali che lavorano in parallelo e non consumano energia; ma di questo parleremo un altro giorno.