Pubblicato il 14 maggio 2024, ultimo aggiornamento il 20 maggio 2024
Stiamo sviluppando API della piattaforma web e funzionalità del browser progettate per funzionare con modelli di AI, modelli esperti e modelli linguistici di grandi dimensioni (LLM), integrati nel browser. Grazie all'AI integrata, il tuo sito web o la tua applicazione web può eseguire attività basate sull'AI senza dover eseguire il deployment, gestire o ospitare autonomamente i modelli.
Scopri i vantaggi dell'AI integrata, il nostro piano di implementazione e come iniziare a utilizzare questi strumenti.
Se non hai familiarità con l'AI sul web, leggi il nostro glossario e i concetti di AI web.
Vantaggi dell'AI integrata per gli sviluppatori web
Con l'AI integrata, il browser fornisce e gestisce modelli di base ed esperti.
L'AI integrata offre i seguenti vantaggi:
- Facilità di deployment: il browser distribuisce i modelli, tenendo conto delle funzionalità del dispositivo, e gestisce gli aggiornamenti. Ciò significa che non devi scaricare o aggiornare modelli di grandi dimensioni su una rete. Non devi risolvere problemi di eliminazione dello spazio di archiviazione, budget di memoria di runtime, costi di pubblicazione e altre sfide.
- Accesso all'accelerazione hardware: il runtime di AI del browser è ottimizzato per sfruttare al meglio l'hardware disponibile, sia con GPU, NPU o CPU. Di conseguenza, la tua app può ottenere le migliori prestazioni su ogni dispositivo.
Vantaggi dell'esecuzione lato client
Con l'AI integrata, puoi eseguire l'AI lato client, il che significa che ottieni questi vantaggi:
- Elaborazione locale dei dati sensibili: l'AI lato client può migliorare la tua privacy. Ad esempio, se lavori con dati sensibili, puoi offrire funzionalità di AI agli utenti con la crittografia end-to-end.
- Esperienza utente rapida: in alcuni casi, eliminare l'andata e ritorno al server significa poter offrire risultati quasi istantanei. L'AI lato client può fare la differenza tra una funzionalità praticabile e un'esperienza utente non ottimale.
- Maggiore accesso all'AI: i dispositivi degli utenti possono assumersi parte del carico di elaborazione in cambio di un maggiore accesso alle funzionalità. Ad esempio, se offri funzionalità di AI premium, puoi visualizzarle in anteprima con l'AI lato client in modo che i potenziali clienti possano vedere i vantaggi del tuo prodotto, senza costi aggiuntivi per te. Questo approccio ibrido può anche aiutarti a gestire i costi di inferenza, soprattutto nei flussi utente utilizzati di frequente.
- Utilizzo dell'AI offline: gli utenti possono accedere alle funzionalità di AI anche quando non è disponibile una connessão a internet. Ciò significa che i tuoi siti e le tue app web possono funzionare come previsto offline o con una connettività variabile.
AI ibrida: lato client e lato server
Sebbene l'AI lato client possa gestire un'ampia gamma di casi d'uso, alcuni casi d'uso richiedono il supporto lato server. L'AI lato server è un'ottima opzione per i modelli di grandi dimensioni e può supportare una gamma più ampia di piattaforme e dispositivi.
Potresti prendere in considerazione un approccio ibrido se la tua applicazione richiede:
- Complessità:i casi d'uso specifici e accessibili sono più facili da supportare con l'AI sul dispositivo. Per i casi d'uso complessi, valuta l'implementazione lato server.
- Resilienza: utilizza l'AI lato server per impostazione predefinita e l'AI sul dispositivo quando il dispositivo è offline o con una connessione instabile.
- Fallback graduale: l'adozione di browser con AI integrata richiederà tempo, alcuni modelli potrebbero non essere disponibili e i dispositivi meno recenti o meno potenti potrebbero non soddisfare i requisiti hardware per l'esecuzione ottimale di tutti i modelli. Offri l'AI lato server per questi utenti.
Ad esempio, se utilizzi l'API Prompt integrata, l'API è disponibile solo nelle estensioni di Chrome, su Windows, macOS e Linux. Per assicurarti che tutti i tuoi utenti possano usufruire della funzionalità di AI, configura un'architettura ibrida con Firebase AI Logic.
Accedere all'AI integrata
Puoi accedere alle funzionalità di AI integrate principalmente con le API per attività, come l' API Translator o l'API Summarizer. Le API per attività sono progettate per eseguire l'inferenza utilizzando il modello migliore per l'attività, che si tratti di un modello linguistico o esperto.
Quando utilizzare l'AI integrata
Ecco alcuni modi in cui l'AI integrata può essere utile per te e per i tuoi utenti:
- Consumo di contenuti basati sull'AI: inclusi riepilogo, traduzione, categorizzazione, caratterizzazione e come fornitore di conoscenze.
- Creazione di contenuti supportata dall'AI: ad esempio assistenza alla scrittura, correzione di bozze, correzione grammaticale e riformulazione.
Diverse API di AI integrate sono disponibili in Chrome Stable e nelle prove dell'origine. Le API esplorative e le API in fase iniziale sono disponibili per i partecipanti al Programma Anteprima iniziale (EPP).
Visualizzare l'anteprima delle nuove funzionalità
Abbiamo bisogno del tuo contributo per definire le API in modo da soddisfare i tuoi casi d'uso e per informare le nostre discussioni con altri fornitori di browser per la standardizzazione.
Partecipa all'EPP per fornire feedback sulle idee di AI integrate in fase iniziale e scoprire le opportunità di testare le API in corso tramite la prototipazione locale.
Impegno di standardizzazione
Stiamo lavorando per standardizzare tutte queste API per la compatibilità cross-browser.
L'API Language Detector e l'API Translator sono state adottate dal gruppo di lavoro W3C WebML. Abbiamo chiesto a Mozilla e WebKit le loro posizioni sugli standard.
Anche l'API Summarizer, l'API Writer e l'API Rewriter sono state adottate dal gruppo di lavoro W3C WebML. Abbiamo chiesto a Mozilla e WebKit le loro posizioni sugli standard.