Опубликовано: 28 апреля 2025 г., Последнее обновление: 21 мая 2025 г.
Стремительное развитие искусственного интеллекта открывает новые горизонты для веб-приложений, особенно с появлением возможностей, встроенных в устройство. Узнайте, как CyberAgent, ведущая японская интернет-компания, использует встроенный в Chrome ИИ и API Prompt для улучшения работы с блогами на своей платформе Ameba Blog .
Мы делимся их целями, преимуществами работы со встроенным ИИ, проблемами, с которыми они столкнулись, и ценными советами для других разработчиков, использующих встроенный ИИ.
Что такое API подсказок?
| Пояснительная записка | Веб | Расширения | Статус Chrome | Намерение |
|---|---|---|---|---|
| GitHub |  Испытание происхождения |  Хром 138 | Вид | Намерение провести эксперимент |
API Prompt помогает разработчикам использовать большие языковые модели для добавления функций ИИ непосредственно в свои приложения. Определяя пользовательские подсказки, приложения могут выполнять такие задачи, как извлечение данных, генерация контента и персонализированные ответы. В Chrome API Prompt выполняет вывод на стороне клиента с помощью Gemini Nano . Эта локальная обработка, независимо от используемой модели, повышает конфиденциальность данных и скорость ответа. Независимо от используемой модели, скорость ответа клиента остается высокой.
Помощь искусственного интеллекта авторам блога Ameba
Компания CyberAgent выявила распространенную проблему для авторов: зачастую трудоемкий процесс создания привлекательного контента, особенно заголовков. Они предположили, что интеграция функций на основе искусственного интеллекта в интерфейс создания блогов может значительно улучшить качество и эффективность создания контента. Их цель заключалась в предоставлении инструментов, которые вдохновляли бы блогеров и помогали им создавать интересный контент.
Компания CyberAgent разработала расширение для Chrome с использованием API Prompt. Это расширение предоставляет набор функций на основе искусственного интеллекта, призванных помочь авторам блога Ameba создавать заголовки и подзаголовки, последующие абзацы и вносить общие улучшения в текст.
Компания CyberAgent нуждалась в гибкости возможностей, что и привело к созданию Prompt API. Благодаря бесконечным возможностям, предоставляемым одним API, CyberAgent смогла точно определить, что лучше всего подойдет и будет наиболее полезным для разработчиков Ameba.
Компания CyberAgent протестировала расширение на ограниченном количестве блогеров, что позволило получить ценные сведения о практической применимости предлагаемых функций. Обратная связь помогла CyberAgent определить лучшие области применения искусственного интеллекта и усовершенствовать дизайн расширения. Основываясь на положительных результатах и отзывах, CyberAgent планирует выпустить эту функцию в будущем, предоставив возможности клиентского ИИ непосредственно своему сообществу блогеров.
Давайте рассмотрим эти функции подробнее.
Пишите более качественные заголовки и подзаголовки.
Расширение генерирует несколько вариантов заголовков на основе всего содержимого блога. Авторы блога могут дополнительно уточнить эти предложения, используя такие опции, как: «Перегенерировать», «Более вежливый», «Более неформальный», «Сгенерировать похожие заголовки» и другие.
Компания CyberAgent разработала пользовательский интерфейс таким образом, чтобы пользователям не приходилось вводить никаких подсказок. Таким образом, даже те, кто не знаком с принципами работы с подсказками, смогут извлечь выгоду из возможностей искусственного интеллекта.
Расширение также может генерировать привлекательные заголовки для отдельных разделов блога, которые авторы могут запросить, выбрав соответствующий текст для заголовка.
Код для генерации заголовка с помощью API Prompt включает в себя начальный запрос и запрос к пользователю. Начальный запрос предоставляет контекст и инструкции для получения определенного типа результата, тогда как запросы к пользователю требуют от модели взаимодействия с тем, что пишет пользователь. Подробнее об их коде можно прочитать в разделе «Помощь по развертыванию ИИ» .
Сгенерировать последующие абзацы
Расширение помогает блогерам преодолеть творческий кризис, генерируя последующие абзацы на основе выбранного текста. Используя контекст предыдущего абзаца, ИИ создает продолжение абзаца, позволяя авторам поддерживать творческий поток.
Улучшить и отредактировать текст.
Gemini Nano анализирует выбранный текст и может предложить варианты улучшения. Пользователи могут повторно внести улучшения, добавив замечания по тону и выбору языка, чтобы сделать текст «более симпатичным» или «более простым».
Внедрите помощь ИИ.
В CyberAgent код расширения разбит на три этапа: создание сессии, запуск и запрос модели.
Сначала они проверяют в браузере, доступна ли и поддерживается ли встроенная функция ИИ. Если да, то создают сессию с параметрами по умолчанию.
if (!LanguageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ initialPrompts, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await LanguageModel.availability();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
initialPrompts: initialPrompts || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await LanguageModel.create(params);
return session;
}
Для каждой функции предусмотрена вспомогательная функция, активируемая пользователем. После активации, при нажатии пользователем соответствующей кнопки, сессия обновляется соответствующим образом.
async function updateSession({ initialPrompts, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
initialPrompts,
topK,
temperature,
});
}
После обновления сессии они запрашивают у модели информацию в соответствии с функцией. Например, вот код для генерации заголовка и повторной генерации заголовка с более формальным тоном.
async function generateTitle() {
// Initialize the model session
await updateSession({
initialPrompts: [
{ role: 'system',
content: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
}
]
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
Преимущества встроенного ИИ
Встроенный ИИ — это тип клиентского ИИ , что означает, что вывод осуществляется на устройстве пользователя. Компания CyberAgent выбрала использование встроенных API ИИ в Gemini Nano из-за существенных преимуществ, которые он предоставляет как разработчикам приложений, так и пользователям.
К основным преимуществам, на которых сосредоточился CyberAgent, относятся:
- Безопасность и конфиденциальность
- Расходы
- Оперативность и надежность
- Простота разработки
Безопасность и конфиденциальность
Возможность запускать модели ИИ непосредственно на устройстве пользователя без передачи данных на внешние серверы имеет первостепенное значение. Черновики статей в блоге не предназначены для публичного просмотра, поэтому CyberAgent не хочет отправлять эти черновики на сторонний сервер.
Встроенный ИИ загружает Gemini Nano на устройства пользователей, устраняя необходимость отправки и получения данных с серверов. Это особенно полезно при написании текстов, поскольку черновики могут содержать конфиденциальную информацию или непреднамеренные выражения. Встроенный ИИ хранит исходный и сгенерированный контент локально, вместо отправки его на сервер, что повышает безопасность и защищает конфиденциальность контента.
Экономия средств
Одним из главных преимуществ использования встроенного ИИ является то, что браузер включает Gemini Nano, а его API бесплатны для использования. Нет никаких дополнительных или скрытых затрат.
Встроенный ИИ значительно снижает затраты на серверы и может полностью исключить расходы, связанные с выводом результатов ИИ. Это решение может быть быстро масштабировано для большой пользовательской базы и позволяет пользователям отправлять последовательные запросы для уточнения результатов без дополнительных затрат.
Оперативность и надежность
Встроенный ИИ обеспечивает стабильное и быстрое время отклика независимо от состояния сети. Это позволяет пользователям многократно создавать контент, что значительно упрощает тестирование новых идей и позволяет быстро получить удовлетворительный конечный результат.
Простота разработки
Встроенный в Chrome искусственный интеллект упрощает процесс разработки, предоставляя легкодоступный API. Разработчики получают выгоду от того, насколько легко создавать функции, использующие ИИ, для своих приложений.
Gemini Nano и встроенные API для искусственного интеллекта установлены в Chrome, поэтому дополнительная настройка или управление моделями не требуются. API используют JavaScript, как и другие API браузеров, и не требуют специальных знаний в области машинного обучения.
Преодоление трудностей для достижения лучших результатов
Опыт работы CyberAgent с API Prompt позволил получить ценные уроки о нюансах работы с LLM-ами на стороне клиента.
- Несогласованные ответы : Как и другие LLM-программы, Gemini Nano не гарантирует идентичные результаты для одного и того же запроса. CyberAgent обнаружил ответы в неожиданных форматах (например, Markdown и недопустимый JSON). Даже при наличии инструкций результаты могут сильно различаться. При разработке любого приложения или расширения Chrome со встроенным ИИ может быть полезно добавить обходной путь, чтобы гарантировать, что выходные данные всегда будут в правильном формате.
- Ограничение на использование токенов : Управление использованием токенов имеет решающее значение. CyberAgent использовал свойства и методы, такие как
inputUsage,inputQuotaиmeasureInputUsage()для управления сессиями , поддержания контекста и сокращения потребления токенов. Это было особенно важно при уточнении заголовков. - Ограничения по размеру модели : Поскольку модель загружается и хранится на устройстве пользователя, она значительно меньше, чем модель, хранящаяся на сервере. Это означает, что крайне важно предоставить достаточно контекста в запросе для достижения удовлетворительных результатов, особенно для суммирования. Узнайте больше о понимании размеров LLM .
CyberAgent подчеркивает, что, хотя клиентские модели пока не повсеместно доступны во всех браузерах и устройствах, а более простые модели имеют ограничения, они все же могут обеспечить впечатляющую производительность для решения конкретных задач. Возможность быстрой итерации и экспериментов без затрат на серверную часть делает его ценным инструментом.
Они советуют найти баланс, признавая, что идеальных ответов сложно добиться с помощью любого ИИ, будь то серверный или клиентский. Наконец, они видят будущее, где гибридный подход, сочетающий в себе сильные стороны как серверного, так и клиентского ИИ, откроет еще больший потенциал.
Взгляд в будущее
Исследование встроенного ИИ от CyberAgent демонстрирует захватывающие возможности бесшовной интеграции ИИ для улучшения пользовательского опыта. Их расширение, разработанное для работы с Ameba Blog, показывает, как эти технологии могут быть практически применены для решения реальных задач, предлагая ценные уроки для всего сообщества веб-разработчиков.
По мере развития технологий и расширения поддержки браузеров и устройств мы ожидаем увидеть еще больше инновационных применений встроенного ИИ и других форм клиентского ИИ.
Ресурсы
- Узнайте больше об API подсказок
- Начните использовать встроенные API в Chrome.
- Пример из практики компании CyberAgent по веб-искусственному интеллекту , в котором рассматривается та же тема.
- Посмотрите видео «Будущее ИИ уже здесь» : тематические исследования CyberAgent по клиентскому ИИ.
Благодарности
Благодарим блогеров Ameba: ao , Nodoka , Erin , Chiaki и socchi , которые предоставили отзывы и помогли улучшить расширение. Спасибо Томасу Штайнеру , Александре Клеппер и Себастьяну Бенцу за помощь в написании и проверке этой статьи.