Data publikacji: 21 listopada 2024 r.
Po otrzymaniu wielu niesamowitych zgłoszeń do konkursu dla deweloperów korzystających z interfejsu Gemini API wybraliśmy zwycięzcę w kategorii najlepsza aplikacja internetowa: ViddyScribe.
ViddyScribe pokazuje, jak Gemini może ułatwiać dostęp do filmów w YouTube i nie tylko, generując opisy dźwiękowe dowolnego filmu dostosowane do potrzeb osób z wadami wzroku.
Funkcje i możliwości Gemini
ViddyScribe to aplikacja zaprojektowana z myślą o użytkownikach. Istnieje już wiele rozwiązań do generowania transkrypcji i audiodeskrypcji, ale ViddyScribe skupia się na tworzeniu danych wyjściowych, które zapewniają szybkie wyniki i wygodę użytkowania dla konkretnej grupy odbiorców: osób z wadami wzroku.
Ręczne dodawanie adnotacji do filmów, aby przekazywać dodatkowe informacje tym widzom, zajmuje zbyt dużo czasu i często jest zaniedbywane. ViddyScribe używa Gemini do tworzenia niestandardowych rozwiązań, które wykraczają poza dodawanie do pliku tekstowego opisów klatek.
ViddyScribe wykorzystuje inżynierię promptów, aby uzyskać najlepsze wyniki, dostosowując język i styl pytań do Gemini 1.5 Pro. Ten prompt wykorzystuje łańcuch myśli, aby poprosić o:
- cel i kontekst filmu;
- dostosowane audiodeskrypcje na podstawie analizy i wytycznych dotyczących konkretnego filmu;
- Przekształcone sygnatury czasowe i opisy w celu uzyskania przewidywalnego i spójnego formatu.
Dlaczego wybraliśmy ViddyScribe
Wybraliśmy ViddyScribe, ponieważ jest to eleganckie rozwiązanie prawdziwego problemu użytkowników.
Odkryli, że na rynku są inne aplikacje, które oferują opisy audio, ale uznali, że potrzeby osób głuchych i niedowidzących nie są w pełni rozumiane. Deweloperzy współpracowali z osobami z niepełnosprawnościami, aby dokładnie określić, czego potrzebują w aplikacji do audiodeskrypcji.
Doświadczenia osób z niepełnosprawnościami mogą się znacznie różnić, a czasami mogą one mieć sprzeczne potrzeby. Dodatkowo audiodeskrypcja może ułatwić dostęp do tych filmów osobom z neurodywersją i innym, które wolą czytać transkrypcję zamiast oglądać film.
Z ciekawością będziemy obserwować, jak deweloperzy rozwijają ViddyScribe, zwiększając w przyszłości liczbę użytkowników i możliwości tej aplikacji.
Twórz dalej, korzystając z wbudowanych interfejsów API AI
ViddyScribe to tylko jedna z wielu niesamowitych aplikacji, które udało Ci się stworzyć za pomocą Gemini.
Opracowujemy wbudowaną AI: interfejsy API platformy internetowej i funkcje przeglądarki zaprojektowane z myślą o integracji modeli AI, w tym dużych modeli językowych (LLM), bezpośrednio z przeglądarką.
Poznaj dostępne interfejsy API, aby zacząć tworzyć zaawansowane strony internetowe, aplikacje internetowe i rozszerzenia do Chrome.
Podziel się z nami swoimi projektami na @ChromiumDev lub Chrome for Developers na LinkedIn.