За последний год в сфере веб-ИИ многое изменилось. Если вы пропустили, на конференции I/O 2024 мы выступили с докладом о новых моделях, инструментах и API для вашего будущего веб-приложения.
Веб-ИИ — это набор технологий и методов, использующих модели машинного обучения (МО) на стороне клиента в веб-браузере, работающем на центральном процессоре или графическом процессоре устройства. Он может быть реализован с помощью JavaScript и других веб-технологий, таких как WebAssembly и WebGPU . Это отличается от серверного ИИ или «облачного ИИ», где модель выполняется на сервере и к ней осуществляется доступ через API.
В этом выступлении мы поделились:
- Как запускать наши новые большие языковые модели (LLM) в браузере и влияние запуска моделей на стороне клиента;
- Взгляд в будущее визуальных блоков для более быстрого создания прототипов;
- И как веб-разработчики могут использовать JavaScript в Chrome для масштабной работы с веб-ИИ.
LLM в браузере
Gemma Web — это новая открытая модель от Google, которая может работать в браузере на устройстве пользователя. Она создана на основе тех же исследований и технологий, которые мы использовали при создании Gemini.
Реализация LLM на устройстве открывает значительный потенциал для экономии средств по сравнению с использованием облачного сервера для вывода данных, а также повышает конфиденциальность пользователей и сокращает задержки. Генеративный ИИ в браузере пока находится на ранней стадии развития, но по мере совершенствования аппаратного обеспечения (увеличения объёма оперативной памяти ЦП и видеокарт) мы ожидаем появления новых моделей.
Предприятия могут переосмыслить возможности веб-страницы, особенно в случаях использования для решения конкретных задач, где веса небольших LLM (от 2 до 8 миллиардов параметров) можно настроить для работы на потребительском оборудовании.
Gemma 2B доступна для скачивания на сайте Kaggle Models и представлена в формате, совместимом с нашим API вывода Web LLM . Другие поддерживаемые архитектуры включают Microsoft Phi-2 , Falcon RW 1B и Stable LM 3B , которые можно преобразовать в формат, поддерживаемый средой выполнения, с помощью нашей библиотеки-конвертера .
Создавайте прототипы быстрее с помощью Visual Blocks
Мы сотрудничаем с Hugging Face, которые создали 16 совершенно новых пользовательских узлов для Visual Blocks . Это позволяет использовать Transformers.js и более широкую экосистему Hugging Face в Visual Blocks.
Восемь из этих новых узлов работают полностью на стороне клиента с использованием веб-ИИ, включая:
- Сегментация изображения
- Перевод
- Классификация токенов
- Обнаружение объектов
- Классификация текста
- Удаление фона
- Оценка глубины
Кроме того, Hugging Face предлагает семь серверных задач машинного обучения, которые позволяют запускать тысячи моделей с API в визуальных блоках. Ознакомьтесь с коллекцией визуальных блоков Hugging Face .
Используйте JavaScript для веб-ИИ в масштабе с Chrome
В предыдущих случаях, например, с Gemma, модель загружалась и запускалась непосредственно на веб-странице. Chrome работает над встроенным искусственным интеллектом на устройстве , который позволяет получать доступ к моделям через стандартизированные API JavaScript, ориентированные на конкретные задачи.
И это ещё не всё. Chrome также обновил WebGPU , добавив поддержку 16-битных значений с плавающей запятой.
В WebAssembly появилось новое предложение — Memory64 — для поддержки 64-битных индексов памяти, что позволит загружать более крупные модели ИИ, чем раньше.
Начните тестирование моделей веб-ИИ с помощью Chrome без интерфейса
Теперь вы можете тестировать клиентский ИИ (или любое приложение, которому требуется поддержка WebGL или WebGPU) с помощью Headless Chrome, используя при этом серверные графические процессоры для ускорения, такие как NVIDIA T4 или P100. Узнайте больше:
- Запустите в Google Colab
- Прочитайте подробный обзор тестирования
- И посмотрите пример кода на GitHub.
Не забывайте: когда вы делитесь своим творением, добавляйте хэштег #WebAI, чтобы более широкое сообщество могло увидеть вашу работу. Делитесь своими находками и предложениями в X, LinkedIn или любой другой социальной сети, которая вам больше нравится.