Опубликовано: 14 мая 2024 г., Последнее обновление: 20 мая 2024 г.
Мы разрабатываем API веб-платформы и функции браузера, предназначенные для работы с моделями искусственного интеллекта, экспертными моделями и большими языковыми моделями (LLM) , встроенными в браузер. Благодаря встроенному ИИ ваш веб-сайт или веб-приложение сможет выполнять задачи, основанные на ИИ, без необходимости развертывания, управления или самостоятельного размещения моделей.
Узнайте о преимуществах встроенного искусственного интеллекта, нашем плане внедрения и о том, как вы можете начать использовать эти инструменты.
Если вы новичок в области ИИ в интернете, ознакомьтесь с нашим глоссарием и концепциями веб-ИИ .
Преимущества встроенного ИИ для веб-разработчиков
Благодаря встроенному искусственному интеллекту ваш браузер предоставляет и управляет базовыми и экспертными моделями.
Встроенный искусственный интеллект предоставляет следующие преимущества:
- Простота развертывания : браузер распространяет модели, учитывая возможности устройства, и управляет обновлениями. Это означает, что вам не нужно беспокоиться о загрузке или обновлении больших моделей по сети. Вам не нужно решать проблемы, связанные с освобождением хранилища, бюджетом памяти во время выполнения, затратами на обслуживание и другими сложностями.
- Доступ к аппаратному ускорению : среда выполнения ИИ в браузере оптимизирована для максимального использования доступного оборудования, будь то графический процессор (GPU), нейронный процессор (NPU) или, в случае резервного использования центрального процессора (CPU). В результате ваше приложение сможет добиться наилучшей производительности на каждом устройстве.
Преимущества запуска клиентской части
Благодаря встроенному ИИ вы можете выполнять вычисления на стороне клиента , что дает вам следующие преимущества:
- Локальная обработка конфиденциальных данных : Искусственный интеллект на стороне клиента может улучшить вашу защиту конфиденциальности. Например, если вы работаете с конфиденциальными данными, вы можете предлагать пользователям функции ИИ с использованием сквозного шифрования.
- Быстрый пользовательский опыт : в некоторых случаях отказ от обмена данными с сервером позволяет получать практически мгновенные результаты. Искусственный интеллект на стороне клиента может стать решающим фактором между жизнеспособной функцией и неоптимальным пользовательским опытом.
- Расширенный доступ к ИИ : устройства ваших пользователей могут взять на себя часть вычислительной нагрузки в обмен на расширенный доступ к функциям. Например, если вы предлагаете премиальные функции ИИ, вы можете предварительно просмотреть эти функции с помощью клиентского ИИ, чтобы потенциальные клиенты могли увидеть преимущества вашего продукта без дополнительных затрат с вашей стороны. Такой гибридный подход также может помочь вам управлять затратами на вывод информации, особенно в часто используемых сценариях взаимодействия пользователей.
- Использование ИИ в автономном режиме : Ваши пользователи могут получить доступ к функциям ИИ даже при отсутствии подключения к интернету. Это означает, что ваши сайты и веб-приложения могут работать должным образом в автономном режиме или при переменном подключении к сети.
Гибридный ИИ: клиентская и серверная части
Хотя клиентский ИИ может обрабатывать широкий спектр сценариев использования, некоторые из них требуют поддержки на стороне сервера. Серверный ИИ — отличный вариант для больших моделей, и он может поддерживать более широкий спектр платформ и устройств.
Если ваше приложение требует следующего, вы можете рассмотреть гибридный подход:
- Сложность: Поддержка конкретных, легко реализуемых сценариев использования проще с помощью ИИ на устройстве. Для сложных сценариев следует рассмотреть реализацию на стороне сервера.
- Устойчивость : По умолчанию используется серверная часть, а при отключении устройства или нестабильном соединении — внутренняя (на устройстве).
- Плавный резервный вариант : внедрение браузеров со встроенным ИИ займет время, некоторые модели могут быть недоступны, а более старые или менее мощные устройства могут не соответствовать аппаратным требованиям для оптимальной работы всех моделей. Предложите пользователям серверный ИИ.
Например, если вы используете встроенный API Prompt , он доступен только в расширениях Chrome для Windows, macOS и Linux. Чтобы все ваши пользователи могли воспользоваться преимуществами вашей функции ИИ, настройте гибридную архитектуру с помощью Firebase AI Logic .
Получите доступ к встроенному ИИ.
Встроенные возможности ИИ доступны в основном через API задач , такие как API переводчика или API сумматора. API задач предназначены для выполнения вывода на основе наилучшей модели для данной задачи, будь то языковая модель или экспертная модель.
Когда следует использовать встроенный ИИ?
Вот несколько способов, которыми встроенный ИИ может принести пользу вам и вашим пользователям:
- Улучшенное использование контента с помощью ИИ : включая суммирование, перевод, категоризацию, характеристику и предоставление знаний.
- Создание контента с помощью ИИ : например, помощь в написании текста, корректура, исправление грамматических ошибок и перефразирование.
Некоторые из встроенных API для искусственного интеллекта доступны в стабильных и исходных пробных версиях Chrome. Участникам программы раннего предварительного просмотра (EPP) доступны исследовательские и API на ранней стадии разработки.
Предварительный просмотр новых функций
Нам необходимы ваши предложения для формирования API, которые помогут удовлетворить ваши потребности, а также для проведения обсуждений с другими производителями браузеров по вопросам стандартизации.
Присоединяйтесь к EPP , чтобы оставлять отзывы о ранних идеях встроенного ИИ и узнавать о возможностях тестирования разрабатываемых API с помощью локального прототипирования.
Усилия по стандартизации
Мы работаем над стандартизацией всех этих API для обеспечения кроссбраузерной совместимости.
API для определения языка и API для перевода были приняты рабочей группой W3C WebML . Мы запросили у Mozilla и WebKit информацию об их позициях в отношении стандартов.
API-интерфейсы Summarizer, Writer и Rewriter также были приняты рабочей группой W3C WebML. Мы запросили у Mozilla и WebKit информацию об их позициях в отношении стандартов.