Опубликовано: 21 ноября 2024 г.
После многочисленных потрясающих работ, представленных на конкурс разработчиков API Gemini , мы выбрали победителя в номинации «Лучшее веб-приложение»: ViddyScribe .
ViddyScribe — это пример того, как Gemini может помочь сделать видео более доступными на YouTube и, возможно, за его пределами, генерируя аудиоописания к любому видео, адаптированные для людей с нарушениями зрения.
Особенности и возможности Gemini
Компания ViddyScribe разработала приложение, ориентированное на пользователя. Хотя уже существует множество решений для создания транскриптов и аудиоописаний, ViddyScribe поставила перед собой задачу создать продукт, который обеспечивает как быстрые результаты, так и приятный пользовательский опыт для конкретной аудитории: людей с нарушениями зрения.
Ручная аннотация видеороликов для предоставления дополнительных сведений этой аудитории занимает слишком много времени и часто игнорируется. ViddyScribe использовал Gemini для создания собственного решения, которое масштабируется за пределы простого добавления произвольных описаний кадров в текстовый файл.
ViddyScribe использовал методы разработки подсказок для достижения наилучших результатов, тщательно подбирая формулировки и стиль вопросов для Gemini 1.5 Pro. В этой подсказке использовалась цепочка рассуждений для запроса:
- Цель и контекст видеоролика.
- Аудиоописания, адаптированные под конкретные видеоматериалы, с использованием анализа и рекомендаций.
- Временные метки и описания переформатированы для обеспечения предсказуемого и единообразного формата.
Почему мы выбрали ViddyScribe
Мы выбрали ViddyScribe, потому что это было элегантное решение реальной проблемы пользователей.
Хотя они обнаружили, что на рынке существуют и другие приложения с аудиоописанием, они посчитали, что потребности людей с нарушениями слуха и зрения не в полной мере учтены. Эти разработчики работали с реальными людьми, имеющими такие нарушения, чтобы точно определить, что им нужно от приложения с аудиоописанием.
Опыт людей с инвалидностью может быть очень разным, и иногда у них могут возникать противоречивые потребности. Кроме того, аудиоописания могут сделать эти видео доступными для людей с нейроотличиями и других, кто предпочитает читать текст, а не смотреть видео.
Мы с нетерпением ждём, как разработчики будут продолжать совершенствовать ViddyScribe, расширяя аудиторию и возможности приложения в будущем.
Продолжайте разработку, используя встроенные API для искусственного интеллекта.
ViddyScribe — лишь одно из многих замечательных приложений, которые вы создали с помощью Gemini.
Мы разрабатываем встроенный ИИ : API веб-платформы и функции браузера, предназначенные для интеграции моделей ИИ, включая большие языковые модели (LLM), непосредственно в браузер.
Ознакомьтесь с доступными API , чтобы начать создавать мощные веб-сайты, веб-приложения и расширения для Chrome.
Делитесь своими разработками с нами в Twitter @ChromiumDev или с разработчиками Chrome в LinkedIn .