Ngày xuất bản: 21 tháng 11 năm 2024
Sau khi nhận được vô số bài dự thi tuyệt vời cho Cuộc thi dành cho nhà phát triển sử dụng Gemini API, chúng tôi đã chọn ra ứng dụng web xuất sắc nhất: ViddyScribe.
ViddyScribe là một ví dụ điển hình về cách Gemini có thể giúp video trở nên dễ tiếp cận hơn trên YouTube và có thể là cả những nền tảng khác, bằng cách tạo nội dung mô tả bằng âm thanh cho mọi video, được điều chỉnh cho phù hợp với những người khiếm thị.
Các tính năng và khả năng của Gemini
ViddyScribe đã xây dựng một ứng dụng được thiết kế theo tiêu chí người dùng là trên hết. Mặc dù đã có một số giải pháp để tạo bản ghi và nội dung mô tả bằng âm thanh, nhưng ViddyScribe ưu tiên tạo ra một kết quả vừa nhanh chóng vừa mang lại trải nghiệm người dùng dễ chịu cho một đối tượng cụ thể: người khiếm thị.
Việc chú thích video theo cách thủ công để cung cấp thêm thông tin chi tiết cho đối tượng này tốn quá nhiều thời gian và thường bị bỏ qua. ViddyScribe đã sử dụng Gemini để giúp tạo một giải pháp tuỳ chỉnh có thể mở rộng quy mô, không chỉ đơn thuần là thêm một số nội dung mô tả khung hình tuỳ ý vào một tệp văn bản.
ViddyScribe đã sử dụng kỹ thuật tạo câu lệnh để có được kết quả tốt nhất, tuyển chọn ngôn ngữ và phong cách câu hỏi cho Gemini 1.5 Pro. Câu lệnh này đã sử dụng phương pháp tạo câu lệnh theo chuỗi suy luận để yêu cầu:
- Mục đích và bối cảnh của video.
- Nội dung mô tả bằng âm thanh được điều chỉnh cho phù hợp bằng cách sử dụng các nguyên tắc và phân tích dành riêng cho video.
- Định dạng lại dấu thời gian và nội dung mô tả theo một định dạng có thể dự đoán và nhất quán.
Lý do chúng tôi chọn ViddyScribe
Chúng tôi chọn ViddyScribe vì đây là một giải pháp tinh tế cho một vấn đề thực tế của người dùng.
Mặc dù nhận thấy trên thị trường có các ứng dụng khác cung cấp nội dung mô tả bằng âm thanh, nhưng họ cảm thấy nhu cầu của người khiếm thính và khiếm thị chưa được hiểu đầy đủ. Các nhà phát triển này đã làm việc với những người thực sự bị khuyết tật để xác định chính xác những gì họ cần trong một ứng dụng mô tả bằng âm thanh.
Trải nghiệm của người khuyết tật có thể rất khác nhau và đôi khi, họ có thể có những nhu cầu trái ngược nhau. Ngoài ra, nội dung mô tả bằng âm thanh cũng có thể giúp những người có thần kinh khác biệt và những người khác thích đọc bản ghi hơn là xem video tiếp cận được những video này.
Chúng tôi rất hào hứng khi thấy các nhà phát triển tiếp tục cải thiện ViddyScribe, mở rộng đối tượng và khả năng trong tương lai.
Tiếp tục xây dựng bằng các API AI tích hợp sẵn
ViddyScribe chỉ là một trong số nhiều ứng dụng tuyệt vời mà bạn đã xây dựng bằng Gemini.
Chúng tôi đang phát triển AI tích hợp sẵn: các API nền tảng web và tính năng trình duyệt được thiết kế để tích hợp các mô hình AI, bao gồm cả mô hình ngôn ngữ lớn (LLM), trực tiếp vào trình trình duyệt.
Khám phá các API hiện có để bắt đầu xây dựng các trang web, ứng dụng web và Tiện ích Chrome mạnh mẽ.
Hãy chia sẻ những gì bạn xây dựng với chúng tôi tại @ChromiumDev hoặc chia sẻ với Chrome for Developers trên LinkedIn.