Sviluppiamo modelli AI che vengono eseguiti direttamente su dispositivi, gateway e server locali: vicino a sensori e macchine, su hardware con limiti reali di calcolo, memoria ed energia.
Parliamo di un caso d'uso edge AIL'edge AI sposta l'inferenza dei modelli da un data center remoto al dispositivo, o a un nodo locale accanto a esso. I dati vengono elaborati dove sono prodotti e devono viaggiare solo risultati, eventi o sintesi.
A seconda dell'architettura del modello, del carico di lavoro e dell'hardware di destinazione, l'inferenza edge può ridurre in modo sostanziale la latenza di rete e la dipendenza dal cloud. Introduce però vincoli che l'AI in cloud non ha, per questo ogni progetto edge parte dall'hardware, dai dati e dall'ambiente operativo, non dal solo modello.
Le decisioni vengono prese accanto al sensore o alla macchina, senza un viaggio di andata e ritorno sulla rete. Utile quando una risposta deve seguire un evento in modo rapido e prevedibile.
I dati grezzi, come immagini, audio o segnali di processo, possono restare sul dispositivo o in sede. Ne esce solo l'informazione davvero necessaria.
Meno dati da trasmettere e archiviare centralmente e meno chiamate a servizi remoti. Il cloud resta disponibile per l'addestramento, la gestione della flotta di dispositivi e le analisi aggregate.
I sistemi continuano a funzionare quando la connettività è intermittente o assente: sul campo, negli impianti, nei siti remoti e negli ambienti schermati.
Acquisizione, filtraggio, estrazione delle feature e inferenza su dati di vibrazione, acustici, ambientali, elettrici e di immagine. Progettiamo l'intera catena, perché la qualità del modello dipende da come il segnale viene acquisito e preparato.
Modelli selezionati e adattati per dispositivi con calcolo, memoria ed energia limitati, con tecniche come quantizzazione, pruning e knowledge distillation, e runtime ottimizzati per il chip di destinazione.
Una divisione chiara tra ciò che viene eseguito in locale e ciò che viene eseguito centralmente: flussi di dati, sincronizzazione, aggiornamenti dei modelli, monitoraggio e comportamento di ciascun nodo quando la rete non è disponibile.
Integrazione con macchine, controllori e sistemi di impianto esistenti, con attenzione all'ambiente fisico, all'accesso per la manutenzione e alle persone che useranno il sistema ogni giorno.
Fonti di dati, tempi di risposta richiesti, connettività, budget energetico, ambiente e costo per unità definiscono che cosa deve fare il dispositivo.
Costruiamo una prima versione su hardware e dati rappresentativi, così i compromessi tra dimensione del modello, accuratezza e velocità vengono misurati, non ipotizzati.
Il sistema viene testato nelle sue condizioni operative, dove rumore, temperatura, interferenze e uso reale spesso differiscono da quelli del laboratorio.
Meccanismi di aggiornamento, monitoraggio, documentazione e passaggio di consegne trasformano un prototipo funzionante in un sistema che può essere distribuito e mantenuto.
Lavoriamo sull'intera gamma di hardware edge, per esempio:
Le prestazioni effettive dipendono dal modello, dal runtime e dal carico di lavoro. Le misuriamo sul tuo hardware di destinazione invece di citare valori generici.
Quando un'architettura centralizzata o ibrida è più adatta al problema, lo diciamo durante la valutazione.
Argo è il sistema wireless di acquisizione dati da sensori sviluppato in LEAF Labs. Combina l'acquisizione sincronizzata su nodi distribuiti con l'inferenza di machine learning locale, ed è il contesto in cui buona parte del nostro lavoro sull'edge AI viene testata in condizioni reali.
Raccontaci i tuoi sensori, dispositivi e vincoli. Ti diremo se l'edge AI è adatta e come potrebbe essere un primo prototipo.