Nell'ultimo anno sono cambiate molte cose nell'AI per il web. Se ve la siete persa, abbiamo tenuto un discorso all'I/O 2024 sui nuovi modelli, strumenti e API per la tua prossima app web.
Web AI è un insieme di tecnologie e tecniche per utilizzare modelli di machine learning (ML) lato client in un browser web in esecuzione sulla CPU o sulla GPU di un dispositivo. Può essere creato con JavaScript e altre tecnologie web, come WebAssembly e WebGPU. A differenza dell'AI lato server o "AI cloud", in cui il modello viene eseguito su un server e si accede con un'API.
In questo intervento abbiamo condiviso:
- Come eseguire i nostri nuovi modelli linguistici di grandi dimensioni (LLM) nel browser e l'impatto dell'esecuzione dei modelli lato client.
- Uno sguardo al futuro dei blocchi visivi, per creare prototipi più velocemente;
- e come gli sviluppatori web possono utilizzare JavaScript in Chrome per lavorare con l'IA web su larga scala.
LLM nel browser
Gemma Web è un nuovo modello aperto di Google che può essere eseguito nel browser sul dispositivo di un utente. È stato creato sulla base della stessa ricerca e tecnologia utilizzata per creare Gemini.
L'integrazione di un LLM sul dispositivo offre un potenziale significativo di risparmio sui costi rispetto all'esecuzione su un server cloud per l'inferenza, oltre a una maggiore privacy dell'utente e a una latenza ridotta. L'AI generativa nel browser è ancora nelle sue fasi iniziali, ma man mano che l'hardware continua a migliorare (con RAM della CPU e della GPU più elevate), prevediamo che saranno disponibili altri modelli.
Le aziende possono reinventare ciò che puoi fare su una pagina web, soprattutto per i casi d'uso specifici per attività, in cui i pesi dei modelli LLM più piccoli (da 2 a 8 miliardi di parametri) possono essere ottimizzati per essere eseguiti su hardware di consumo.
Gemma 2B è disponibile per il download su Kaggle Models e viene fornito in un formato compatibile con la nostra API di inferenza Web LLM. Altre architetture supportate includono Microsoft Phi-2, Falcon RW 1B e Stable LM 3B, che puoi convertire in un formato utilizzabile dal runtime utilizzando la nostra libreria di conversione.
Crea prototipi più rapidamente con i blocchi visivi
Stiamo collaborando con Hugging Face, che ha creato 16 nuovi nodi personalizzati per Visual Blocks. In questo modo, Transformers.js e l'ecosistema Hugging Face più ampio vengono portati in Visual Blocks.
Otto di questi nuovi nodi vengono eseguiti interamente lato client, con Web AI, tra cui:
- Segmentazione delle immagini
- Traduzioni
- Classificazione dei token
- Rilevamento di oggetti
- Classificazione del testo
- Rimozione dello sfondo
- Stima della profondità
Inoltre, sono disponibili sette attività di ML lato server di Hugging Face che ti consentono di eseguire migliaia di modelli con API in Visual Blocks. Dai un'occhiata alla raccolta di blocchi visivi di Hugging Face.
Utilizzare JavaScript per l'AI web su larga scala con Chrome
Nelle istanze precedenti, ad esempio con Gemma, il modello viene caricato ed eseguito all'interno della pagina web. Chrome sta lavorando all'AI integrata sul dispositivo, dove potresti accedere a modelli con API JavaScript standardizzate e specifiche per le attività.
E non è tutto. Chrome ha anche aggiornato WebGPU con il supporto di valori in virgola mobile a 16 bit.
WebAssembly ha una nuova proposta, Memory64, per supportare indici di memoria a 64 bit, che ti consentirebbero di caricare modelli di AI più grandi rispetto a prima.
Inizia a testare i modelli di AI web con Headless Chrome
Ora puoi testare l'AI lato client (o qualsiasi applicazione che necessita del supporto di WebGL o WebGPU) utilizzando Headless Chrome, sfruttando le GPU lato server per l'accelerazione, ad esempio NVIDIA T4 o P100. Scopri di più:
- Esegui in Google Colab
- Leggi un approfondimento sui test
- Dai un'occhiata al codice di esempio su GitHub.
Ricorda che quando condividi ciò che crei, devi aggiungere l'hashtag #WebAI in modo che la community più ampia possa vedere il tuo lavoro. Condividi i tuoi risultati e suggerimenti su X, LinkedIn o sulla piattaforma social che preferisci.