Распознавание языка с помощью встроенного ИИ

Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

Thomas Steiner

Опубликовано: 24 сентября 2024 г., Последнее обновление: 1 мая 2025 г.

Объяснитель	Веб	Расширения	Статус Хрома	Намерение
GitHub	Chrome 137 бета	Chrome 137 бета	Вид	Намерение экспериментировать

Прежде чем переводить текст с одного языка на другой, необходимо сначала определить, какой язык используется в данном тексте. Раньше перевод требовал загрузки текста в облачный сервис, выполнения перевода на сервере, а затем скачивания результатов.

API Language Detector использует вывод на устройстве, чтобы вы могли улучшить свою историю конфиденциальности. Хотя можно отправить специальную библиотеку, которая делает это, для ее загрузки потребуются дополнительные ресурсы.

Начать

Присоединяйтесь к пробной версии API Language Detector Origin , работающей в Chrome 132–138, чтобы протестировать API с реальными пользователями в рабочей среде. Пробные версии Origin включают функцию для всех пользователей вашего источника в Chrome.

Зарегистрируйтесь для пробной версии Origin

Чтобы начать использовать API Language Detector, выполните следующие действия:

1. Примите Политику Google в отношении запрещенного использования генеративного ИИ .
2. Перейдите на страницу исходной пробной версии API Language Detector .
3. Нажмите «Зарегистрироваться» и заполните форму.
   • В поле «Веб-источник» укажите идентификатор источника или расширения, chrome-extension://YOUR_EXTENSION_ID .
4. Для отправки нажмите «Зарегистрироваться» .
5. Скопируйте предоставленный токен и добавьте его на каждую веб-страницу в вашем источнике или файле для вашего расширения, на котором вы хотите включить пробную версию.
   • Если вы создаете расширение, следуйте инструкциям по использованию Extensions Origin Trial.
6. Начните использовать API определения языка .

Узнайте больше о том, как начать работу с пробными версиями Origin .

Добавить поддержку на localhost

Чтобы получить доступ к API определения языка на localhost во время пробной версии Origin, необходимо обновить Chrome до последней версии. Затем выполните следующие действия:

1. Перейдите по адресу chrome://flags/#language-detection-api .
2. Выберите Включено .
3. Нажмите «Перезапустить» или перезапустите Chrome.

Примеры использования

API-интерфейс определения языка в первую очередь полезен в следующих сценариях:

• Определите язык входного текста, чтобы его можно было перевести.
• Определите язык входного текста, чтобы можно было загрузить правильную модель для задач, специфичных для конкретного языка, например, для обнаружения токсичности.
• Определите язык вводимого текста, чтобы его можно было правильно маркировать, например, на сайтах социальных сетей.
• Определите язык вводимого текста, чтобы интерфейс приложения можно было настроить соответствующим образом. Например, на бельгийском сайте, чтобы отображать только интерфейс, соответствующий пользователям, говорящим по-французски.

Используйте API детектора языка

API Language Detector является частью более крупного семейства API Translator. Сначала запустите определение функций, чтобы узнать, поддерживает ли браузер API Language Detector.

if ('LanguageDetector' in self) {
  // The Language Detector API is available.
}

Модель скачать

Определение языка зависит от модели, которая точно настроена для конкретной задачи определения языков. Хотя API встроено в браузер, модель загружается по запросу при первой попытке сайта использовать API. В Chrome эта модель очень мала по сравнению с другими моделями. Она может уже присутствовать, так как эта модель используется другими функциями Chrome.

Чтобы проверить, готова ли модель к использованию, вызовите асинхронную функцию LanguageDetector.availability() и проверьте полученное обещание. Возможны три ответа:

• "unavailable" : запрошенные параметры не поддерживаются или модель не может быть запрошена.
• "downloadable" : Запрос поддерживается, но необходимы дополнительные загрузки, прежде чем вы сможете создать сеанс. Эти загрузки могут включать языковую модель или тонкую настройку.
• "downloading" : запрос поддерживается, и идет загрузка, которую необходимо завершить перед созданием сеанса.
• "available" : запрос поддерживается, и вы можете создать сеанс.

Чтобы запустить загрузку и создать экземпляр детектора языка, вызовите асинхронную функцию LanguageDetector.create() . Если ответ на availability() был 'downloadable' или 'downloading' , лучше всего прослушивать ход загрузки, чтобы вы могли сообщить пользователю, если загрузка займет время.

В следующем примере показано, как инициализировать детектор языка.

const availability = await LanguageDetector.availability();

let detector;
if (availability === 'unavailable') {
  // The language detector isn't usable.
  return;
}
if (availability === 'available') {
  // The language detector can immediately be used.
  detector = await LanguageDetector.create();
} else {
  // The language detector can be used after model download.
  detector = await LanguageDetector.create({
    monitor(m) {
      m.addEventListener('downloadprogress', (e) => {
        console.log(`Downloaded ${e.loaded * 100}%`);
      });
    },
  });
  await detector.ready;
}

Запустите детектор языка

API Language Detector использует модель ранжирования для определения того, какой язык, скорее всего, используется в данном фрагменте текста. Ранжирование — это тип машинного обучения, целью которого является упорядочение списка элементов. В этом случае API Language Detector ранжирует языки от самой высокой до самой низкой вероятности.

Функция detect() может возвращать либо первый результат, наиболее вероятный ответ, либо перебирать ранжированные кандидаты с уровнем достоверности. Это возвращается как список объектов {detectedLanguage, confidence} . Уровень confidence выражается как значение от 0.0 (самая низкая достоверность) до 1.0 (самая высокая достоверность).

const someUserText = 'Hallo und herzlich willkommen!';
const results = await detector.detect(someUserText);
for (const result of results) {
  // Show the full list of potential languages with their likelihood, ranked
  // from most likely to least likely. In practice, one would pick the top
  // language(s) that cross a high enough threshold.
  console.log(result.detectedLanguage, result.confidence);
}
// (Output truncated):
// de 0.9993835687637329
// en 0.00038279531872831285
// nl 0.00010798392031574622
// ...

Демо

Ознакомьтесь с API Language Detector в нашей демоверсии . Введите текст, написанный на разных языках, в текстовую область.

Усилия по стандартизации

API Language Detector был перемещен в группу сообщества W3C Web Incubator после того, как соответствующее предложение получило достаточную поддержку. API является частью более крупного предложения Translation API .

Команда Chrome запросила обратную связь от Технической архитектурной группы W3C и поинтересовалась позицией Mozilla и WebKit по их стандартам.

Поделитесь своим отзывом

Если у вас есть отзыв о реализации Chrome, отправьте сообщение об ошибке Chromium . Поделитесь своим отзывом о форме API API Language Detector, прокомментировав существующую или открыв новую проблему в репозитории API перевода GitHub .

Thomas Steiner

Опубликовано: 24 сентября 2024 г., Последнее обновление: 1 мая 2025 г.

Объяснитель	Веб	Расширения	Статус Хрома	Намерение
GitHub	Chrome 137 бета	Chrome 137 бета	Вид	Намерение экспериментировать

Прежде чем переводить текст с одного языка на другой, необходимо сначала определить, какой язык используется в данном тексте. Раньше перевод требовал загрузки текста в облачный сервис, выполнения перевода на сервере, а затем скачивания результатов.

API Language Detector использует вывод на устройстве, чтобы вы могли улучшить свою историю конфиденциальности. Хотя можно отправить специальную библиотеку, которая делает это, для ее загрузки потребуются дополнительные ресурсы.

Начать

Присоединяйтесь к пробной версии API Language Detector Origin , работающей в Chrome 132–138, чтобы протестировать API с реальными пользователями в рабочей среде. Пробные версии Origin включают функцию для всех пользователей вашего источника в Chrome.

Зарегистрируйтесь для пробной версии Origin

Чтобы начать использовать API Language Detector, выполните следующие действия:

1. Примите Политику Google в отношении запрещенного использования генеративного ИИ .
2. Перейдите на страницу исходной пробной версии API Language Detector .
3. Нажмите «Зарегистрироваться» и заполните форму.
   • В поле «Веб-источник» укажите идентификатор источника или расширения, chrome-extension://YOUR_EXTENSION_ID .
4. Для отправки нажмите «Зарегистрироваться» .
5. Скопируйте предоставленный токен и добавьте его на каждую веб-страницу в вашем источнике или файле для вашего расширения, на котором вы хотите включить пробную версию.
   • Если вы создаете расширение, следуйте инструкциям по использованию Extensions Origin Trial.
6. Начните использовать API определения языка .

Узнайте больше о том, как начать работу с пробными версиями Origin .

Добавить поддержку на localhost

Чтобы получить доступ к API определения языка на localhost во время пробной версии Origin, необходимо обновить Chrome до последней версии. Затем выполните следующие действия:

1. Перейдите по адресу chrome://flags/#language-detection-api .
2. Выберите Включено .
3. Нажмите «Перезапустить» или перезапустите Chrome.

Примеры использования

API-интерфейс определения языка в первую очередь полезен в следующих сценариях:

• Определите язык входного текста, чтобы его можно было перевести.
• Определите язык входного текста, чтобы можно было загрузить правильную модель для задач, специфичных для конкретного языка, например, для обнаружения токсичности.
• Определите язык вводимого текста, чтобы его можно было правильно маркировать, например, на сайтах социальных сетей.
• Определите язык вводимого текста, чтобы интерфейс приложения можно было настроить соответствующим образом. Например, на бельгийском сайте, чтобы отображать только интерфейс, соответствующий пользователям, говорящим по-французски.

Используйте API детектора языка

API Language Detector является частью более крупного семейства API Translator. Сначала запустите определение функций, чтобы узнать, поддерживает ли браузер API Language Detector.

if ('LanguageDetector' in self) {
  // The Language Detector API is available.
}

Модель скачать

Определение языка зависит от модели, которая точно настроена для конкретной задачи определения языков. Хотя API встроено в браузер, модель загружается по запросу при первой попытке сайта использовать API. В Chrome эта модель очень мала по сравнению с другими моделями. Она может уже присутствовать, так как эта модель используется другими функциями Chrome.

Чтобы проверить, готова ли модель к использованию, вызовите асинхронную функцию LanguageDetector.availability() и проверьте полученное обещание. Возможны три ответа:

• "unavailable" : запрошенные параметры не поддерживаются или модель не может быть запрошена.
• "downloadable" : Запрос поддерживается, но необходимы дополнительные загрузки, прежде чем вы сможете создать сеанс. Эти загрузки могут включать языковую модель или тонкую настройку.
• "downloading" : запрос поддерживается, и идет загрузка, которую необходимо завершить перед созданием сеанса.
• "available" : запрос поддерживается, и вы можете создать сеанс.

Чтобы запустить загрузку и создать экземпляр детектора языка, вызовите асинхронную функцию LanguageDetector.create() . Если ответ на availability() был 'downloadable' или 'downloading' , лучше всего прослушивать ход загрузки, чтобы вы могли сообщить пользователю, если загрузка займет время.

В следующем примере показано, как инициализировать детектор языка.

const availability = await LanguageDetector.availability();

let detector;
if (availability === 'unavailable') {
  // The language detector isn't usable.
  return;
}
if (availability === 'available') {
  // The language detector can immediately be used.
  detector = await LanguageDetector.create();
} else {
  // The language detector can be used after model download.
  detector = await LanguageDetector.create({
    monitor(m) {
      m.addEventListener('downloadprogress', (e) => {
        console.log(`Downloaded ${e.loaded * 100}%`);
      });
    },
  });
  await detector.ready;
}

Запустите детектор языка

API Language Detector использует модель ранжирования для определения того, какой язык, скорее всего, используется в данном фрагменте текста. Ранжирование — это тип машинного обучения, целью которого является упорядочение списка элементов. В этом случае API Language Detector ранжирует языки от самой высокой до самой низкой вероятности.

Функция detect() может возвращать либо первый результат, наиболее вероятный ответ, либо перебирать ранжированные кандидаты с уровнем достоверности. Это возвращается как список объектов {detectedLanguage, confidence} . Уровень confidence выражается как значение от 0.0 (самая низкая достоверность) до 1.0 (самая высокая достоверность).

const someUserText = 'Hallo und herzlich willkommen!';
const results = await detector.detect(someUserText);
for (const result of results) {
  // Show the full list of potential languages with their likelihood, ranked
  // from most likely to least likely. In practice, one would pick the top
  // language(s) that cross a high enough threshold.
  console.log(result.detectedLanguage, result.confidence);
}
// (Output truncated):
// de 0.9993835687637329
// en 0.00038279531872831285
// nl 0.00010798392031574622
// ...

Демо

Ознакомьтесь с API Language Detector в нашей демоверсии . Введите текст, написанный на разных языках, в текстовую область.

Усилия по стандартизации

API Language Detector был перемещен в группу сообщества W3C Web Incubator после того, как соответствующее предложение получило достаточную поддержку. API является частью более крупного предложения Translation API .

Команда Chrome запросила обратную связь от Технической архитектурной группы W3C и поинтересовалась позицией Mozilla и WebKit по их стандартам.

Поделитесь своим отзывом

Если у вас есть отзыв о реализации Chrome, отправьте сообщение об ошибке Chromium . Поделитесь своим отзывом о форме API API Language Detector, прокомментировав существующую или открыв новую проблему в репозитории API перевода GitHub .