Ga aan de slag met ingebouwde AI

Alexandra Klepper

Gepubliceerd: 12 december 2024

Met ingebouwde AI kan uw webapplicatie AI-aangedreven taken uitvoeren zonder dat u eigen AI-modellen hoeft te implementeren of beheren. Het Chrome AI-team ontwikkelt taakspecifieke webplatform-API's en browserfuncties die AI-modellen in uw browser integreren. We streven ernaar dat deze API's werken wanneer ze worden geïmplementeerd in de browser, op het apparaat van een gebruiker.

Vereisten

Op dit moment kunt u deze API's alleen in Chrome gebruiken, maar we streven ernaar ze in alle browsers te standaardiseren .

Modellen

De Prompt API, Summarizer API, Writer API en Rewriter API downloaden Gemini Nano , die is ontworpen om lokaal op desktop- en laptopcomputers te draaien. Deze API's werken niet op mobiele apparaten.

Vanaf nu ondersteunen deze API's alleen de tekst-naar-tekst-modaliteit.

Hardware

De Taaldetectie- en Vertaal-API's werken op desktop- en Android-apparaten in Chrome.

De Prompt API, Summarizer API, Writer API en Rewriter API werken in Chrome als aan de volgende voorwaarden wordt voldaan:

  • Besturingssysteem : Windows 10 of 11; macOS 13+ (Ventura en hoger); of Linux. Chrome voor Android, iOS en ChromeOS worden nog niet ondersteund door onze API's die worden ondersteund door Gemini Nano.
  • Opslag: minimaal 22 GB op het volume dat uw Chrome-profiel bevat.
  • GPU : Strikt meer dan 4 GB VRAM.
  • Netwerk : Onbeperkte data of een onbeperkte verbinding.

Deze vereisten bestaan ​​voor u in uw ontwikkelingsproces en voor uw gebruikers die werken met de functies die u bouwt.

Begin met bouwen

Er zijn verschillende ingebouwde AI API’s beschikbaar in verschillende ontwikkelingsstadia. Sommige zijn beschikbaar voor alle ontwikkelaars in origin-proefversies, terwijl andere alleen beschikbaar zijn voor deelnemers aan het vroege preview-programma .

Elke API heeft zijn eigen set instructies om aan de slag te gaan en het model te downloaden, zowel voor lokale prototyping als in productieomgevingen met de origin-trials.

Hoewel de Prompt API alleen lokaal en in Chrome-extensies beschikbaar is, werken de andere API's voor websites en Chrome-extensies.

Gebruik API's op localhost

Alle API's zijn beschikbaar op localhost in Chrome. Volg deze stappen om

  1. Ga naar chrome://flags/#prompt-api-for-gemini-nano .
  2. Selecteer Ingeschakeld .
  3. Klik op Opnieuw starten of start Chrome opnieuw.

Om te bevestigen dat Gemini Nano is gedownload en werkt zoals bedoeld, opent u DevTools en typt u (await ai.assistant.capabilities()).available; in de console. Dit zou readily moeten terugkeren.

Problemen met localhost oplossen

Als Gemini Nano niet werkt zoals verwacht, volgt u deze stappen:

  1. Start Chrome opnieuw.
  2. Ga naar chrome://components .
  3. Controleer of de Optimalisatiehandleiding op het apparaatmodel aanwezig is. Dit betekent dat Gemini Nano beschikbaar is of kan worden gedownload.
    • Als er geen versienummer wordt vermeld, klikt u op Controleren op updates om de download te forceren.
  4. Open DevTools en typ (await ai.assistant.capabilities()).available; in de console. Dit zou readily moeten terugkeren.

Wacht indien nodig enige tijd en herhaal deze stappen.

Normen proces

We werken eraan om deze API's te standaardiseren , zodat ze in alle browsers werken. Dit betekent dat we de API's hebben voorgesteld aan de webplatformgemeenschap en ze voor verdere discussie hebben verplaatst naar de W3C Web Incubator Community Group .

We vragen voor elke API feedback van het W3C, Mozilla en WebKit.

Meer informatie over dit proces voor elke API vindt u in de bijbehorende documentatie.

Betrek en deel feedback

Als je de ingebouwde AI uitprobeert en feedback hebt, horen we dat graag.