Publicado em 21 de novembro de 2024
Depois de vários envios incríveis para a competição de desenvolvedores da API Gemini, selecionamos o vencedor do melhor aplicativo da Web: ViddyScribe.
O ViddyScribe exemplifica como o Gemini pode ajudar a tornar os vídeos mais acessíveis no YouTube e, potencialmente, em outros lugares, gerando descrições de áudio de qualquer vídeo adaptadas para pessoas com deficiência visual.
Recursos e capacidades do Gemini
O ViddyScribe criou um aplicativo projetado com foco no usuário. Embora já existam várias soluções para gerar transcrições e descrições de áudio, o ViddyScribe priorizou a criação de um resultado que prioriza resultados rápidos e uma experiência agradável para um público específico: pessoas com deficiência visual.
A anotação manual de vídeos para oferecer mais detalhes para esse público leva muito tempo e geralmente é negligenciada. O ViddyScribe usou o Gemini para ajudar a criar uma solução personalizada que vai além de adicionar algumas descrições de frames arbitrárias a um arquivo de texto.
O ViddyScribe usou a engenharia de comandos para conseguir os melhores resultados, selecionando a linguagem e o estilo da pergunta para o Gemini 1.5 Pro. Esse comando usou comandos com linha de raciocínio para solicitar:
- Finalidade e contexto do vídeo.
- Descrições de áudio personalizadas usando análises e diretrizes específicas do vídeo.
- Carimbos de data/hora e descrições reformulados para um formato previsível e consistente.
Por que escolhemos o ViddyScribe
Escolhemos o ViddyScribe porque ele era uma solução elegante para um problema real do usuário.
Embora tenham encontrado outros aplicativos no mercado que oferecem descrições de áudio, eles sentiram que as necessidades de pessoas surdas e com deficiência visual não eram totalmente compreendidas. Esses desenvolvedores trabalharam com pessoas reais que têm essas deficiências para determinar exatamente o que elas precisavam em um aplicativo de descrição de áudio.
A experiência de pessoas com deficiência pode variar muito e, às vezes, elas podem ter necessidades conflitantes. Além disso, as descrições de áudio também podem tornar esses vídeos acessíveis a pessoas neurodivergentes e outras que preferem ler uma transcrição em vez de assistir a um vídeo.
Estamos animados para ver como os desenvolvedores continuam aprimorando o ViddyScribe, expandindo o público e os recursos no futuro.
Continue criando com APIs de IA integradas
O ViddyScribe foi apenas um dos muitos aplicativos incríveis que você criou com o Gemini.
Estamos desenvolvendo IA integrada: APIs de plataforma da Web e recursos do navegador projetados para integrar modelos de IA, incluindo modelos de linguagem grandes (LLMs), diretamente ao navegador.
Descubra as APIs disponíveis para começar a criar sites, aplicativos da Web e extensões do Chrome poderosos.
Compartilhe o que você cria conosco em @ChromiumDev ou compartilhe com Chrome para desenvolvedores no LinkedIn.