За последний год в веб-ИИ многое изменилось. Если вы пропустили это, на I/O 2024 мы рассказали о новых моделях, инструментах и API для вашего следующего веб-приложения.
Веб-ИИ — это набор технологий и методов для использования моделей машинного обучения (ML) на стороне клиента в веб-браузере, работающем на процессоре или графическом процессоре устройства. Его можно создать с помощью JavaScript и других веб-технологий, таких как WebAssembly и WebGPU . Это отличается от серверного ИИ или «облачного ИИ», где модель выполняется на сервере и доступ к ней осуществляется через API.
В этом разговоре мы поделились:
- Как запускать наши новые модели большого языка (LLM) в браузере и влияние запуска моделей на стороне клиента;
- Взгляд в будущее визуальных блоков для более быстрого создания прототипов;
- И как веб-разработчики могут использовать JavaScript в Chrome для работы с веб-ИИ в любом масштабе.
LLM в браузере
Gemma Web — это новая открытая модель от Google, которая может работать в браузере на устройстве пользователя. Она создана на основе тех же исследований и технологий, которые мы использовали при создании Gemini.
Перенос LLM на устройство дает значительный потенциал экономии средств по сравнению с запуском на облачном сервере для получения логических выводов, а также повышает конфиденциальность пользователей и снижает задержку. Генеративный искусственный интеллект в браузере все еще находится на ранних стадиях развития, но по мере того, как аппаратное обеспечение продолжает совершенствоваться (с увеличением объема оперативной памяти ЦП и графического процессора), мы ожидаем, что станет доступно больше моделей.
Компании могут переосмыслить то, что вы можете делать на веб-странице, особенно для случаев использования для конкретных задач, когда веса меньших LLM (от 2 до 8 миллиардов параметров) можно настроить для работы на потребительском оборудовании.
Gemma 2B доступна для загрузки на Kaggle Models и поставляется в формате, совместимом с нашим API вывода Web LLM . Другие поддерживаемые архитектуры включают Microsoft Phi-2 , Falcon RW 1B и Stable LM 3B , которые вы можете преобразовать в формат, который может использовать среда выполнения, с помощью нашей библиотеки конвертеров .
Создавайте более быстрые прототипы с помощью визуальных блоков
Мы сотрудничаем с Hugging Face, которые создали 16 совершенно новых пользовательских узлов для визуальных блоков . Это переносит Transformers.js и более широкую экосистему Hugging Face в Visual Blocks.
Восемь из этих новых узлов полностью работают на клиентской стороне с использованием веб-ИИ, в том числе:
- Сегментация изображений
- Перевод
- Классификация токенов
- Обнаружение объектов
- Классификация текста
- Удаление фона
- Оценка глубины
Кроме того, Hugging Face предлагает семь задач машинного обучения на стороне сервера, которые позволяют запускать тысячи моделей с API-интерфейсами в визуальных блоках. Ознакомьтесь с коллекцией визуальных блоков Hugging Face .
Используйте JavaScript для веб-ИИ в любом масштабе с помощью Chrome
В предыдущих случаях, например, в случае с Gemma, модель загружалась и запускалась внутри самой веб-страницы. Chrome работает над встроенным искусственным интеллектом на устройстве , с помощью которого вы можете получить доступ к моделям с помощью стандартизированных API-интерфейсов JavaScript для конкретных задач.
И это еще не все. Chrome также обновил WebGPU , добавив поддержку 16-битных значений с плавающей запятой.
В WebAssembly есть новое предложение Memory64 для поддержки 64-битных индексов памяти, что позволит вам загружать более крупные модели ИИ, чем раньше.
Начните тестировать модели веб-ИИ с помощью Headless Chrome
Теперь вы можете тестировать ИИ на стороне клиента (или любое приложение, требующее поддержки WebGL или WebGPU) с помощью Headless Chrome, одновременно используя для ускорения серверные графические процессоры, такие как NVIDIA T4 или P100. Подробнее:
- Запустите его в Google Colab
- Прочтите подробное описание тестирования
- И посмотрите пример кода на GitHub.
Помните: когда вы делитесь тем, что создаете, добавьте #WebAI, чтобы более широкое сообщество могло увидеть вашу работу. Поделитесь своими выводами и предложениями в X, LinkedIn или в любой другой социальной платформе, которую вы предпочитаете.