Le soluzioni di AI generativa on-device consentono agli sviluppatori e ai fornitori di servizi cloud di rendere l'AI generativa più accessibile, affidabile e privata, spostando le queries e le inferenze su dispositivi edge come PC e telefoni.
È l’obiettivo della collaborazione tra Qualcomm Technologies, Inc. e Microsft confermata in occasione del Microsoft Build 2023, la conferenza annuale degli sviluppatori che si conclude oggi 25 maggio.
Nel corso dell’evento, Qualcomm Technologies, Inc. ha mostrato le sue ultime innovazioni nel campo dell'AI on-device, tra cui l'IA generativa in esecuzione sulle piattaforme di calcolo Snapdragon, oltre a nuovi percorsi per gli sviluppatori che realizzano applicazioni per i PC Windows 11 alimentati da Snapdragon.
Facilitare lo sviluppo dell’AI generativa
Il futuro dell'AI deve includere sia l'AI su dispositivo che quella su cloud. L'esecuzione di applicazioni AI sul dispositivo migliora l'efficacia dei costi, la privacy, la personalizzazione e la latenza.
Le piattaforme Snapdragon includono un Qualcomm AI Engine dedicato, che elabora i carichi di lavoro AI in modo più efficiente rispetto all'elaborazione puramente su Cpu o Gpu, rendendo possibile l'AI on-device anche in dispositivi piccoli, sottili e leggeri.
"Affinché l'AI generativa diventi veramente mainstream, gran parte dell'inferenza dovrà essere eseguita sui dispositivi edge", ha dichiarato Ziad Asghar, senior vice president of product management di Qualcomm Technologies, Inc. "Il nostro hardware e software AI consente agli sviluppatori di sfruttare appieno le potenti capacità di intelligenza artificiale, offrendo nuove incredibili esperienze utente su laptop, telefoni e altri dispositivi dotati di Snapdragon".
Strementi Qualcomm per sviluppare AI generativa on-device
Stable Diffusion, un modello di AI generativa da testo a immagine con oltre 1 miliardo di parametri, viene ora eseguito interamente sul dispositivo e l'azienda afferma di vedere un percorso chiaro per l'esecuzione di modelli fino a 10 miliardi di parametri sui dispositivi nei prossimi mesi, compresi i modelli linguistici di grandi dimensioni (LLM).
Qualcomm AI Engine Direct SDK sarà reso disponibile al pubblico per la prima volta per migliorare il Qualcomm AI Stack e aiutare gli sviluppatori a creare la prossima generazione di esperienze AI su dispositivo.
Con ONNX Runtime e Qualcomm AI Stack è possibile eseguire i carichi di lavoro AI su Snapdragon 8cx Gen 3 AI Engine sia su Surface Pro 9 5G che su Lenovo ThinkPad x13s.
Riunendo la leadership di Microsoft nel cloud AI e le capacità della piattaforma Windows con l'esperienza di Qualcomm Technologies nell'AI su dispositivo, si accelerano le opportunità di esperienze di AI generativa.
