Data di pubblicazione: 14 ottobre 2025
In collaborazione con un gruppo di startup di New York, abbiamo ospitato un workshop tecnico su "L'AI in azione". L'obiettivo era semplice: dimostrare come l'AI lato client e le API AI integrate possono essere integrate direttamente nei loro prodotti per una maggiore velocità, privacy e una migliore esperienza utente.
In totale, abbiamo ospitato 24 sviluppatori di 8 startup innovative. La sessione mattutina ha visto gli interventi di esperti di prodotto e ingegneria, che hanno illustrato l'immenso potenziale dell'open source, dei modelli on-device e l'importanza strategica di portare l'AI direttamente sulla piattaforma web. Gli specialisti tecnici hanno poi fornito indicazioni pratiche per iniziare a utilizzare le API AI integrate.
I partecipanti hanno ritenuto l'evento di grande valore, scoprendo che era facile utilizzare queste API indipendentemente dalle loro conoscenze esistenti sul machine learning. Inoltre, hanno scoperto nuovi casi d'uso per le loro applicazioni tramite la sperimentazione. Eravamo entusiasti di convalidare la nostra documentazione. Un gruppo ci ha persino aiutato a identificare e riprodurre un bug complesso, in modo da poter inviare una correzione.
I partecipanti hanno sviluppato con successo 10 prototipi utilizzando l'AI lato client. Dai un'occhiata ad alcuni dei loro progetti e scopri la loro esperienza all'evento.
Rilevamento di eventi dell'adattatore utilizzando l'API Prompt
L'obiettivo di Adapter è creare una "Mission Control per la nostra vita quotidiana che ci consenta di avere il massimo tempo libero e non tempo davanti allo schermo". Hanno creato un'estensione proof-of-concept con due funzionalità:
- Rilevamento intelligente e allineato degli eventi che identifica gli eventi all'interno di una pagina web durante la navigazione (concerti, ristoranti, eventi), quindi li adatta al contesto personale, inclusi la disponibilità del calendario personale, le preferenze di vita e gli indicatori social in tempo reale, il tutto elaborato localmente.
- Il ranking dei contenuti in tempo reale personalizza l'ordine dei contenuti di una pagina web in base ai tuoi interessi personali su richiesta.
L'adattatore ha utilizzato l'API Prompt per l'analisi, il ragionamento e la chiamata di strumenti e l'API Writer per la generazione di testo locale.
"Eseguiamo ragionamenti complessi e workflow in più passaggi all'edge con compromessi limitati in termini di privacy. Ciò consente di utilizzare applicazioni di personal intelligence che erano impraticabili quando ogni inferenza comportava la spedizione di dati attraverso le reti approfondendo il calcolo remoto". – Dillon Ponzo, ingegnere fondatore di Adapter
Le API AI integrate di Chrome consentono modelli leggeri che elaborano i dati in locale, preservando la privacy per impostazione predefinita. Gli ingegneri fondatori di Adapter, Aidan Crank e Dillon Ponzo, hanno visto questa iniziativa come una convalida della loro filosofia architettonica.
"La maggior parte delle estensioni AI acquisisce il contesto e lo invia altrove", spiega Crank, che in precedenza ha lavorato su progetti di ingegneria ML su larga scala presso AWS prima di entrare in Adapter. "L'AI integrata di Chrome inverte questo modello. I tuoi dati personali rimangono sul tuo dispositivo, ma ottieni esperienze intelligenti prima irraggiungibili."
Il co-fondatore di Adapter, Adam Ghetti, la cui precedente società Ionic Security è stata pioniera della sicurezza autonoma incentrata sui dati su larga scala, vede implicazioni più profonde: "La privacy non è una funzionalità che si aggiunge, ma un'architettura che si sceglie. L'AI integrata di Chrome rende pratica questa architettura".
Man mano che Chrome espande queste funzionalità con il supporto multimodale e API più avanzate, l'edge non si limita a recuperare il ritardo rispetto al cloud. Per l'AI personale e privata, si tratta di superarla dove ha senso.
Il livello secondario classifica le immagini con l'API Prompt per migliorare le variazioni
Sublayer ha creato una divertente app chiamata Photoslider, progettata per rivoluzionare il modo in cui interagisci e generi variazioni delle tue immagini.
Per utilizzare PhotoSlider, l'utente carica una foto o ne acquisisce una nuova e fa clic su Analizza. L'API Prompt invia queste immagini al modello per l'analisi, chiedendo al modello di identificare tre attributi chiave e di assegnare a questi attributi un valore da 1 a 10. Ad esempio, un attributo potrebbe essere "tradizionale" o "luminosità".
Nel frontend, l'utente visualizza l'immagine e i cursori per regolare i valori o introdurre nuovi attributi con valori personalizzati. Le richieste di modifiche e l'immagine vengono inviate all'AI lato server, in modo che un modello più grande con funzionalità di output multimodale possa generare un'immagine completamente nuova in base alle specifiche modificate. Questo processo iterativo può essere ripetuto all'infinito, offrendoti il controllo completo fino a quando non ottieni l'immagine ideale.
Scott Werner, CEO di Sublayer, ha espresso il suo entusiasmo: "Siamo davvero interessati a esplorare l'aspetto dell'inferenza locale. Averlo a disposizione nel browser sui computer dei nostri utenti per impostazione predefinita è infinitamente più semplice che fare affidamento sugli utenti per navigare nelle complessità dell'installazione diretta dei modelli."
Echo3D elabora i modelli 3D in dati ricercabili avanzati
Echo3D fornisce una piattaforma e un'API per consentire alle aziende di archiviare, proteggere e condividere senza problemi modelli e scansioni 3D in diversi team e organizzazioni. Le loro pipeline avanzate per 3D e testo elaborano in modo efficiente i modelli 3D in dati ricchi e ricercabili.
Durante l'evento, echo3D ha sviluppato strumenti 3D-to-text-to-3D che migliorano la comprensione visiva degli asset. Hanno utilizzato l'API Prompt per automatizzare l'assegnazione di tag ai modelli, rilevare le duplicazioni e semplificare la catalogazione e la documentazione di vaste librerie 3D.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
In questo modo, ogni asset ha una descrizione ricca, coerente e ricercabile, rendendo l'intera raccolta di un utente più organizzata e accessibile. Inoltre, consente di risparmiare spazio di archiviazione ed evita conflitti tra le versioni causati da file ridondanti.
"Il nostro team ha apprezzato molto l'evento. Siamo rimasti particolarmente colpiti dalla facilità con cui le funzionalità AI possono essere integrate nelle applicazioni web utilizzando l'AI integrata. La possibilità di prototipare e implementare funzionalità di AI lato client sicure in un periodo di tempo così breve è stato un vantaggio significativo". – Alon Grinshpoon, CEO di echo3D
Spot2 ha creato metadati strutturati dalle immagini caricate
L'applicazione Spot2 elenca immobili in affitto a Città del Messico. Spesso, quando queste proprietà vengono elencate, mancano metadati critici e altre informazioni preziose. I dettagli sono molto variabili, a seconda dell'attenzione ai dettagli del fornitore. Spot2 ha trascorso la giornata migliorando la qualità dei dati con l'API Prompt.
Il suo team ha sviluppato una funzionalità per elaborare e organizzare automaticamente la struttura dei metadati delle schede. Questo processo si verifica nel momento in cui una foto viene caricata, il che contribuisce alla completezza e alla coerenza. Eseguendo questa attività lato client anziché lato server, la funzionalità è conveniente.
Se lanciata, questa funzionalità promette un duplice impatto: un netto miglioramento della qualità dei dati e una notevole riduzione delle spese operative. "Prevediamo che le schede di qualità superiore si tradurranno anche in un aumento del tasso di conversione."
Unisciti a noi la prossima volta
- Registrati al prossimo workshop AI in Action il 7 novembre 2025 a San Francisco.
- Partecipa alla Built-in AI Challenge 2025. Stiamo organizzando un hackathon virtuale per tutti gli sviluppatori. Crea applicazioni web o estensioni di Chrome utilizzando le API AI integrate per avere la possibilità di vincere uno dei premi del valore di 70.000 $.