Опубликовано: 14 мая 2024 г., Последнее обновление: 20 мая 2024 г.
Мы разрабатываем API веб-платформы и функции браузера, предназначенные для работы с моделями ИИ, экспертными моделями и большими языковыми моделями (LLM), встроенными в браузер. Сюда входит Gemini Nano , самая эффективная версия семейства LLM Gemini, разработанная для локального запуска на большинстве современных настольных и портативных компьютеров. Благодаря встроенному ИИ ваш веб-сайт или веб-приложение могут выполнять задачи на базе ИИ без необходимости развертывания, управления или самостоятельного размещения моделей ИИ.
Узнайте о преимуществах встроенного ИИ, нашем плане внедрения и о том, как вы можете воспользоваться этой технологией.
Преимущества встроенного ИИ для веб-разработчиков
Благодаря встроенному ИИ ваш браузер предоставляет и управляет базовыми и экспертными моделями.
Встроенный ИИ обеспечивает следующие преимущества:
- Простота развертывания : браузер распределяет модели, учитывая возможности устройства, и управляет обновлениями. Это означает, что вы не несете ответственности за загрузку или обновление больших моделей по сети. Вам не нужно решать проблемы вытеснения хранилища, бюджета памяти времени выполнения, стоимости обслуживания и других проблем.
- Доступ к аппаратному ускорению : Среда выполнения ИИ браузера оптимизирована для максимального использования доступного оборудования, будь то с GPU, NPU или переходом на CPU. Следовательно, ваше приложение может получить максимальную производительность на каждом устройстве.
Преимущества работы на стороне клиента
Благодаря встроенному ИИ вы можете выполнять ИИ на стороне клиента , что означает, что вы получаете следующие преимущества:
- Локальная обработка конфиденциальных данных : ИИ на стороне клиента может улучшить вашу историю конфиденциальности. Например, если вы работаете с конфиденциальными данными, вы можете предложить пользователям функции ИИ с сквозным шифрованием.
- Быстрый пользовательский опыт : в некоторых случаях отказ от кругового пути к серверу означает, что вы можете предложить почти мгновенные результаты. Клиентский ИИ может быть разницей между жизнеспособной функцией и неоптимальным пользовательским опытом.
- Более широкий доступ к ИИ : устройства ваших пользователей могут взять на себя часть нагрузки по обработке в обмен на больший доступ к функциям. Например, если вы предлагаете премиум-функции ИИ, вы можете предварительно просмотреть эти функции с помощью ИИ на стороне клиента, чтобы потенциальные клиенты могли увидеть преимущества вашего продукта без дополнительных затрат для вас. Этот гибридный подход также может помочь вам управлять затратами на вывод, особенно в часто используемых потоках пользователей.
- Использование ИИ в автономном режиме : Ваши пользователи могут получить доступ к функциям ИИ даже при отсутствии подключения к Интернету. Это означает, что ваши сайты и веб-приложения могут работать как положено в автономном режиме или с переменным подключением.
Гибридный ИИ: на стороне клиента и на стороне сервера
Хотя клиентский ИИ может обрабатывать большой массив вариантов использования, некоторые варианты использования требуют поддержки на стороне сервера. Серверный ИИ — отличный вариант для больших моделей, и он может поддерживать более широкий спектр платформ и устройств.
Вы можете рассмотреть гибридный подход, если для вашего приложения требуется:
- Сложность: Конкретные, доступные варианты использования легче поддерживать с помощью ИИ на устройстве. Для сложных вариантов использования рассмотрите реализацию на стороне сервера.
- Устойчивость : используйте серверную часть по умолчанию и используйте локальную часть устройства, когда оно находится в автономном режиме или имеет нестабильное соединение.
- Изящный откат : принятие браузеров со встроенным ИИ займет время, некоторые модели могут быть недоступны, а старые или менее мощные устройства могут не соответствовать требованиям к оборудованию для оптимальной работы всех моделей. Предложите серверный ИИ для этих пользователей.
Например, если вы используете встроенный API Prompt (скоро будет в пробной версии origin), API будет работать только для браузеров Chrome на десктопе и в расширениях Chrome на Windows, macOS и Linux. Чтобы гарантировать, что все ваши пользователи смогут воспользоваться вашей функцией AI, настройте гибридную архитектуру с Firebase AI Logic .
При использовании моделей Gemini вы можете создать внутреннюю интеграцию с Node.js.
Доступ к встроенному ИИ
Доступ к встроенным возможностям ИИ можно получить в первую очередь с помощью API задач , таких как API Translator или API Summarizer. API задач предназначены для выполнения вывода в отношении лучшей модели для задания.
В Chrome эти API созданы для выполнения вывода против Gemini Nano с тонкой настройкой или экспертной моделью. Разработанный для локального запуска на большинстве современных устройств, Gemini Nano лучше всего подходит для случаев использования, связанных с языком, таких как реферирование, перефразирование или категоризация.
Когда использовать встроенный ИИ
Вот несколько способов, которыми встроенный ИИ может принести пользу вам и вашим пользователям:
- Потребление контента, улучшенное с помощью ИИ : включая обобщение, перевод, категоризацию, характеристику, а также в качестве поставщика знаний.
- Создание контента с поддержкой ИИ : помощь в написании, вычитка, исправление грамматики и перефразирование.
Несколько встроенных API AI доступны в стабильных и исходных пробных версиях Chrome. Исследовательские API и API ранней стадии доступны участникам программы Early Preview Program (EPP) .
Предварительный просмотр новых функций
Нам необходимо ваше мнение для формирования API, обеспечения их соответствия вашим сценариям использования и информирования нас о стандартизации в ходе обсуждений с другими поставщиками браузеров.
Присоединяйтесь к EPP , чтобы предоставить обратную связь по ранним идеям встроенного ИИ и открыть для себя возможности тестирования находящихся в разработке API посредством локального прототипирования.