Gepubliceerd: 21 november 2024
Na talloze fantastische inzendingen voor de Gemini API Developer Competition hebben we de winnaar voor de beste webapplicatie gekozen: ViddyScribe .
ViddyScribe is een voorbeeld van hoe Gemini kan helpen om video's toegankelijker te maken op YouTube, en mogelijk daarbuiten, door audiobeschrijvingen te genereren van elke video die zijn afgestemd op mensen met een visuele beperking.
Functies en mogelijkheden van Gemini
ViddyScribe ontwikkelde een applicatie die de gebruiker centraal stelt. Hoewel er al diverse oplossingen bestaan voor het genereren van transcripties en audiobeschrijvingen, gaf ViddyScribe prioriteit aan een output die zowel snelle resultaten als een prettige gebruikerservaring biedt voor een specifieke doelgroep: mensen met een visuele beperking.
Handmatig annoteren van video's om extra details voor deze doelgroep toe te voegen kost te veel tijd en wordt vaak verwaarloosd. ViddyScribe gebruikte Gemini om een aangepaste oplossing te creëren die verder gaat dan het toevoegen van willekeurige framebeschrijvingen aan een tekstbestand.
ViddyScribe heeft prompt engineering gebruikt om de beste resultaten te behalen, waarbij de vraagstelling en -stijl voor Gemini 1.5 Pro zijn geoptimaliseerd. Deze prompt maakte gebruik van een gedachteketen-aanpak om het volgende te vragen:
- Doel en context van de video.
- Audiobeschrijvingen op maat, gebaseerd op video-specifieke analyses en richtlijnen.
- Tijdstempels en beschrijvingen zijn opnieuw opgemaakt voor een voorspelbaar en consistent formaat.
Waarom we voor ViddyScribe hebben gekozen
We kozen voor ViddyScribe omdat het een elegante oplossing was voor een reëel gebruikersprobleem.
Hoewel er al andere applicaties op de markt waren die audiobeschrijvingen aanboden, vonden ze dat de behoeften van dove en slechtziende mensen niet volledig werden begrepen. Deze ontwikkelaars werkten samen met mensen met deze beperkingen om precies te bepalen wat zij nodig hadden in een applicatie voor audiobeschrijving.
De ervaringen van mensen met een beperking kunnen sterk variëren, en soms hebben ze tegenstrijdige behoeften. Daarnaast kunnen audiobeschrijvingen deze video's ook toegankelijk maken voor neurodivergente mensen en anderen die liever een transcript lezen dan een video bekijken.
We zijn benieuwd hoe ontwikkelaars ViddyScribe verder zullen ontwikkelen en het publiek en de mogelijkheden in de toekomst zullen uitbreiden.
Blijf ontwikkelen met behulp van de ingebouwde AI-API's.
ViddyScribe was slechts één van de vele fantastische applicaties die je met Gemini hebt ontwikkeld.
We ontwikkelen ingebouwde AI : webplatform-API's en browserfuncties die zijn ontworpen om AI-modellen, waaronder grote taalmodellen (LLM's), rechtstreeks in de browser te integreren.
Ontdek de beschikbare API's om krachtige websites, webapplicaties en Chrome-extensies te bouwen.
Deel je creaties met ons via @ChromiumDev of deel ze met Chrome for Developers op LinkedIn .