Data publikacji: 14 maja 2024 r., ostatnia aktualizacja: 20 maja 2024 r.
Opracowujemy interfejsy API platformy internetowej i funkcje przeglądarki, które współpracują z modelami AI, modelami ekspertów i wielkimi modelami językowymi (LLM) tworzonymi w przeglądarce. Dotyczy to m.in. Gemini Nano, czyli najbardziej wydajnej wersji modeli LLM z rodziny Gemini, która została zaprojektowana do lokalnego działania na większości nowoczesnych komputerów stacjonarnych i laptopów. Dzięki wbudowanej sztucznej inteligencji Twoja witryna lub aplikacja internetowa może wykonywać zadania oparte na AI bez konieczności wdrażania, zarządzania ani hostowania modeli AI.
Poznaj zalety wbudowanej AI, nasz plan wdrożenia i sposoby korzystania z tej technologii.
Zalety wbudowanej AI dla programistów stron internetowych
Dzięki wbudowanej AI przeglądarka udostępnia i zarządza podstawowymi oraz zaawansowanymi modelami.
Wbudowana AI zapewnia te korzyści:
- Łatwość wdrożenia: przeglądarka rozpowszechnia modele, uwzględniając możliwości urządzenia, i zarządza aktualizacjami. Oznacza to, że nie ponosisz odpowiedzialności za pobieranie ani aktualizowanie dużych modeli przez sieć. Nie musisz rozwiązywać problemów związanych z usuwaniem danych z pamięci, budżetem pamięci w czasie wykonywania, kosztami wyświetlania i innymi wyzwaniami.
- Dostęp do akceleracji sprzętowej: środowisko wykonawcze AI przeglądarki jest zoptymalizowane pod kątem maksymalnego wykorzystania dostępnego sprzętu, czy to GPU, NPU, czy też CPU. Dzięki temu Twoja aplikacja może osiągnąć najlepszą wydajność na każdym urządzeniu.
Zalety korzystania z reklam po stronie klienta
Dzięki wbudowanej AI możesz korzystać z AI po stronie klienta, co daje Ci te korzyści:
- Lokalne przetwarzanie danych wrażliwych: AI po stronie klienta może zwiększyć prywatność. Jeśli na przykład pracujesz z danymi wrażliwymi, możesz oferować użytkownikom funkcje AI z pełnym szyfrowaniem.
- Szybka obsługa użytkownika: w niektórych przypadkach rezygnacja z podwójnego połączenia z serwerem oznacza, że możesz zaoferować niemal natychmiastowe wyniki. Sztuczna inteligencja po stronie klienta może być czynnikiem, który decyduje o tym, czy dana funkcja będzie przydatna, czy też nie zapewni użytkownikom optymalnych wrażeń.
- Większy dostęp do AI: urządzenia użytkowników mogą przejąć część obciążenia związanego z przetwarzaniem w zamian za większy dostęp do funkcji. Jeśli na przykład oferujesz funkcje AI premium, możesz wyświetlać ich podgląd za pomocą AI po stronie klienta, aby potencjalni klienci mogli poznać zalety Twojego produktu bez dodatkowych kosztów. To hybrydowe podejście może Ci też pomóc w zarządzaniu kosztami wnioskowania, zwłaszcza w przypadku często używanych ścieżek użytkownika.
- Używanie AI offline: użytkownicy mogą korzystać z funkcji AI nawet wtedy, gdy nie ma połączenia z internetem. Oznacza to, że Twoje witryny i aplikacje internetowe mogą działać zgodnie z oczekiwaniami w trybie offline lub przy zmiennej łączności.
AI hybrydowe: po stronie klienta i po stronie serwera
AI po stronie klienta może obsługiwać wiele przypadków użycia, ale niektóre z nich wymagają obsługi po stronie serwera. AI po stronie serwera to świetna opcja dla dużych modeli. Może ona obsługiwać szerszy zakres platform i urządzeń.
Rozwiązanie hybrydowe może być przydatne, jeśli aplikacja wymaga:
- Złożoność: konkretne, przystępne przypadki użycia łatwiej jest obsługiwać za pomocą AI na urządzeniu. W przypadku złożonych przypadków użycia rozważ implementację po stronie serwera.
- Zwinność: domyślnie korzystaj z modeli po stronie serwera, a na urządzeniu, gdy jest ono offline lub ma niestabilne połączenie.
- Przyjazne przełączanie się na inne rozwiązania: wdrożenie przeglądarek z wbudowaną AI zajmie trochę czasu, niektóre modele mogą być niedostępne, a starsze lub mniej wydajne urządzenia mogą nie spełniać wymagań sprzętowych umożliwiających optymalne działanie wszystkich modeli. Zaoferuj tym użytkownikom AI po stronie serwera.
Jeśli na przykład używasz wbudowanego interfejsu Prompt API (wkrótce dostępnego w wersji próbnej), będzie on działać tylko w przeglądarce Chrome na komputery i w rozszerzeniach do Chrome w systemach Windows, macOS i Linux. Aby zapewnić wszystkim użytkownikom dostęp do funkcji AI, skonfiguruj architekturę hybrydową za pomocą logiki AI w Firebase.
Korzystając z modeli Gemini, możesz tworzyć integrację backendu z Node.js.
Dostęp do wbudowanej AI
Dostęp do wbudowanych funkcji AI można uzyskać głównie za pomocą interfejsów API do zadań, takich jak interfejs Translator API czy Summarizer API. Interfejsy API zadań są zaprojektowane tak, aby uruchamiać wnioskowanie na podstawie najlepszego modelu do danego zadania.
W Chrome te interfejsy API są tworzone do wykonywania wnioskowania na podstawie Gemini Nano z dokładnym dostrojeniem lub modelem eksperckim. Gemini Nano działa lokalnie na większości nowoczesnych urządzeń i najlepiej sprawdza się w przypadku zastosowań związanych z językiem, takich jak streszczanie, przeformułowywanie czy kategoryzowanie.
Kiedy używać wbudowanej AI
Oto kilka sposobów, w jakie wbudowana AI może przynieść korzyści Tobie i Twoim użytkownikom:
- Konsumpcja treści z wykorzystaniem AI: obejmuje podsumowywanie, tłumaczenie, kategoryzowanie, opisywanie i dostarczanie informacji.
- Tworzenie treści z wykorzystaniem AI: pomoc w pisaniu, sprawdzanie poprawności, poprawianie błędów gramatycznych i przeformułowywanie.
Kilka wbudowanych interfejsów API AI jest dostępnych w stabilnej wersji Chrome i w ramach wersji próbnych origin. Interfejsy API w wersji eksploracyjnej i w wersji wczesnej są dostępne dla uczestników programu wczesnego podglądu (EPP).
Podgląd nowych funkcji
Potrzebujemy Twoich opinii, aby ulepszać interfejsy API, zapewnić ich zgodność z Twoimi przypadkami użycia i przekazać je innym dostawcom przeglądarek w celu ich ujednolicania.
Dołącz do programu EPP, aby przekazywać opinie na temat wczesnych pomysłów na wbudowaną AI i odkryć możliwości testowania interfejsów API w wersji roboczej za pomocą prototypowania lokalnego.