Opublikowano: 14 maja 2024 r., ostatnia aktualizacja: 20 maja 2024 r.
Tworzymy interfejsy API platformy internetowej i funkcje przeglądarki, które mają współpracować z modelami AI, modelami eksperckimi i dużymi modelami językowymi (LLM), wbudowanymi w przeglądarkę. Dzięki wbudowanej AI Twoja witryna lub aplikacja internetowa może wykonywać zadania oparte na AI bez konieczności wdrażania modeli, zarządzania nimi ani hostowania ich na własnym serwerze.
Poznaj zalety wbudowanej AI, nasz plan wdrożenia i dowiedz się, jak zacząć korzystać z tych narzędzi.
Jeśli dopiero zaczynasz korzystać z AI w internecie, zapoznaj się z naszym słowniczkiem i koncepcjami dotyczącymi AI w internecie.
Zalety wbudowanej AI dla programistów stron internetowych
Dzięki wbudowanej AI przeglądarka udostępnia modele podstawowe i eksperckie oraz zarządza nimi.
Wbudowana AI oferuje te korzyści:
- Łatwość wdrożenia: przeglądarka dystrybuuje modele, uwzględniając możliwości urządzenia, i zarządza aktualizacjami. Oznacza to, że nie musisz pobierać ani aktualizować dużych modeli przez sieć. Nie musisz rozwiązywać problemów z usuwaniem danych z pamięci, budżetem pamięci w czasie działania, kosztami obsługi i innymi wyzwaniami.
- Dostęp do akceleracji sprzętowej: środowisko wykonawcze AI w przeglądarce jest zoptymalizowane pod kątem maksymalnego wykorzystania dostępnego sprzętu, niezależnie od tego, czy jest to GPU, NPU czy CPU. Dzięki temu Twoja aplikacja może osiągać najlepszą wydajność na każdym urządzeniu.
Zalety działania po stronie klienta
Dzięki wbudowanej AI możesz korzystać z AI po stronie klienta, co oznacza, że uzyskasz te korzyści:
- Lokalne przetwarzanie danych wrażliwych: AI po stronie klienta może zwiększyć ochronę prywatności. Jeśli na przykład pracujesz z danymi wrażliwymi, możesz oferować użytkownikom funkcje AI z szyfrowaniem end-to-end.
- Szybkie działanie: w niektórych przypadkach rezygnacja z podróży w obie strony do serwera oznacza, że możesz oferować niemal natychmiastowe wyniki. AI po stronie klienta może być różnicą między funkcją, która działa, a funkcją, która nie działa.
- Większy dostęp do AI: urządzenia użytkowników mogą przejąć część obciążenia związanego z przetwarzaniem w zamian za większy dostęp do funkcji. Jeśli na przykład oferujesz funkcje AI klasy premium, możesz wyświetlać ich podgląd za pomocą AI po stronie klienta, aby potencjalni klienci mogli zobaczyć zalety Twojego produktu bez dodatkowych kosztów. To podejście hybrydowe może też pomóc w zarządzaniu kosztami wnioskowania, zwłaszcza w przypadku często używanych ścieżek użytkownika.
- Korzystanie z AI w trybie offline: użytkownicy mogą korzystać z funkcji AI nawet wtedy, gdy nie mają połączenia z internetem. Oznacza to, że Twoje witryny i aplikacje internetowe mogą działać zgodnie z oczekiwaniami w trybie offline lub przy zmiennym połączeniu.
Hybrydowa AI: po stronie klienta i po stronie serwera
AI po stronie klienta może obsługiwać wiele przypadków użycia, ale niektóre z nich wymagają obsługi po stronie serwera. AI po stronie serwera to świetna opcja w przypadku dużych modeli. Może ona obsługiwać szerszy zakres platform i urządzeń.
Jeśli Twoja aplikacja wymaga:
- Złożoność: konkretne, proste przypadki użycia są łatwiejsze do obsługi za pomocą AI na urządzeniu. W przypadku złożonych przypadków użycia rozważ implementację po stronie serwera.
- Odporność: domyślnie używaj AI po stronie serwera, a AI na urządzeniu, gdy urządzenie jest offline lub ma słabe połączenie.
- Płynne przejście: wdrożenie przeglądarek z wbudowaną AI zajmie trochę czasu, niektóre modele mogą być niedostępne, a starsze lub mniej wydajne urządzenia mogą nie spełniać wymagań sprzętowych, aby optymalnie uruchamiać wszystkie modele. Zaoferuj tym użytkownikom AI po stronie serwera.
Jeśli na przykład używasz wbudowanego interfejsu Prompt API, interfejs API jest dostępny tylko w rozszerzeniach Chrome w systemach Windows, macOS i Linux. Aby mieć pewność, że wszyscy użytkownicy mogą korzystać z funkcji AI, skonfiguruj architekturę hybrydową z Firebase AI Logic.
Dostęp do wbudowanej AI
Dostęp do funkcji wbudowanej AI możesz uzyskać głównie za pomocą interfejsów API zadań, takich jak Translator API czy Summarizer API. Interfejsy API zadań są zaprojektowane tak, aby uruchamiać wnioskowanie na podstawie najlepszego modelu dla danego zadania, niezależnie od tego, czy jest to model językowy czy model ekspercki.
Kiedy używać wbudowanej AI
Oto kilka sposobów, w jakie wbudowana AI może przynieść korzyści Tobie i Twoim użytkownikom:
- Konsumowanie treści z wykorzystaniem AI: w tym podsumowywanie, tłumaczenie, kategoryzowanie, charakteryzowanie i udostępnianie informacji.
- Tworzenie treści z wykorzystaniem AI: np. pomoc w pisaniu, korekta, poprawianie gramatyki i przeformułowywanie.
Kilka wbudowanych interfejsów AI API jest dostępnych w stabilnej wersji Chrome i w testach origin. Interfejsy API w wersji testowej i na wczesnym etapie są dostępne dla uczestników programu Early Preview Program (EPP).
Wyświetlanie podglądu nowych funkcji
Potrzebujemy Twoich opinii, aby dostosować interfejsy API do Twoich przypadków użycia i poinformować o nich innych dostawców przeglądarek w celu standaryzacji.
Dołącz do programu EPP, aby przesyłać opinie na temat pomysłów na wbudowaną AI na wczesnym etapie i odkrywać możliwości testowania interfejsów API w trakcie tworzenia za pomocą lokalnego prototypowania.
Działania związane ze standaryzacją
Pracujemy nad standaryzacją wszystkich tych interfejsów API, aby zapewnić ich zgodność z różnymi przeglądarkami.
Interfejsy Language Detector API i Translator API zostały przyjęte przez grupę roboczą W3C WebML. Poprosiliśmy Mozilla i WebKit o przedstawienie ich stanowisk w sprawie standardów.
Interfejsy Summarizer API, Writer API i Rewriter API zostały również przyjęte przez grupę roboczą W3C WebML. Poprosiliśmy Mozilla i WebKit o przedstawienie ich stanowisk w sprawie standardów.