Ngày xuất bản: 14 tháng 5 năm 2024
Khi xây dựng tính năng bằng các mô hình AI trên web, chúng tôi thường dựa vào phía máy chủ cho các mô hình lớn hơn. Điều này đặc biệt đúng đối với AI tạo sinh, trong đó ngay cả các mô hình nhỏ nhất cũng lớn hơn kích thước trung bình của trang web khoảng một nghìn lần. Điều này cũng đúng với các trường hợp sử dụng AI khác, trong đó các mô hình có thể dao động từ 10 giây đến 100 giây megabyte.
Vì các mô hình này không được chia sẻ trên các trang web, nên mỗi trang web phải tải các mô hình này xuống khi tải trang. Đây là một giải pháp không thiết thực cho nhà phát triển và người dùng
Mặc dù AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn, nhưng các phương pháp trên thiết bị và kết hợp lại có những ưu điểm hấp dẫn riêng. Để các phương pháp này có thể hoạt động, chúng ta cần giải quyết kích thước mô hình và phân phối mô hình.
Đó là lý do chúng tôi đang phát triển API nền tảng web và các tính năng của trình duyệt được thiết kế để tích hợp các mô hình AI, bao gồm cả các mô hình ngôn ngữ lớn (LLM), trực tiếp vào trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất của gia đình LLM Gemini, được thiết kế để chạy cục bộ trên hầu hết các máy tính để bàn và máy tính xách tay hiện đại. Với AI tích hợp, trang web hoặc ứng dụng web của bạn có thể thực hiện các tác vụ dựa trên AI mà không cần triển khai hoặc quản lý các mô hình AI của riêng mình.
Khám phá các lợi ích của AI tích hợp, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Nhận bản xem trước
Chúng tôi cần ý kiến đóng góp của bạn để định hình các API, đảm bảo các API đó đáp ứng các trường hợp sử dụng của bạn và thông báo cho các cuộc thảo luận của chúng tôi với các nhà cung cấp trình duyệt khác để chuẩn hoá.
Tham gia chương trình xem trước sớm của chúng tôi để đưa ra ý kiến phản hồi về các ý tưởng AI tích hợp ở giai đoạn đầu và khám phá cơ hội thử nghiệm các API đang trong quá trình phát triển thông qua việc tạo bản minh hoạ cục bộ.
Tham gia nhóm thông báo công khai dành cho nhà phát triển về AI Chrome để được thông báo khi có các API mới.
Lợi ích của công nghệ AI tích hợp sẵn dành cho nhà phát triển web
Nhờ công nghệ trí tuệ nhân tạo (AI) tích hợp sẵn, trình duyệt của bạn sẽ cung cấp và quản lý nền tảng và mô hình chuyên gia.
So với việc bạn tự làm điều đó bằng AI trên thiết bị, AI tích hợp sẵn mang đến các lợi ích sau:
- Dễ triển khai: Khi phân phối các mô hình, trình duyệt sẽ tính đến khả năng của thiết bị và quản lý các bản cập nhật cho mô hình. Chiến dịch này có nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không cần phải giải quyết vấn đề về việc xoá bộ nhớ, hạn mức bộ nhớ trong thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Thời gian chạy AI của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng có sẵn, cho dù đó là GPU, NPU hay quay lại CPU. Do đó, ứng dụng của bạn có thể có được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy trên thiết bị
Với phương pháp AI tích hợp, việc thực hiện các tác vụ AI trên thiết bị trở nên đơn giản, từ đó mang lại những lợi ích sau:
- Xử lý cục bộ dữ liệu nhạy cảm: AI trên thiết bị có thể cải thiện câu chuyện về quyền riêng tư. Ví dụ: nếu làm việc với dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng không ổn định: Trong một số trường hợp, việc bỏ ngang việc di chuyển khứ hồi sang nghĩa là bạn có thể cung cấp các kết quả gần như ngay lập tức. AI trên thiết bị có thể là điểm khác biệt giữa một tính năng khả thi và trải nghiệm người dùng chưa tối ưu.
- Có nhiều quyền truy cập hơn vào AI: Thiết bị của người dùng có thể gánh một phần tải xử lý để đổi lấy quyền truy cập nhiều hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI nâng cao, bạn có thể xem trước các tính năng này bằng AI trên thiết bị để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà không tốn thêm chi phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt là trên các luồng người dùng thường dùng.
- Sử dụng AI khi không có mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như dự kiến khi không có mạng hoặc có khả năng kết nối thay đổi.
AI kết hợp: Trên thiết bị và phía máy chủ
Mặc dù AI trên thiết bị có thể xử lý nhiều trường hợp sử dụng, nhưng vẫn có một số cách sử dụng các trường hợp cần hỗ trợ phía máy chủ.
Ví dụ: bạn có thể cần sử dụng các mô hình lớn hơn hoặc hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể xem xét các phương pháp kết hợp, tuỳ thuộc vào:
- Mức độ phức tạp: Các trường hợp sử dụng cụ thể, dễ tiếp cận sẽ dễ được hỗ trợ hơn bằng AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc việc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị đang ngoại tuyến hoặc kết nối không ổn định.
- Tính năng dự phòng linh hoạt: Việc sử dụng trình duyệt có tích hợp sẵn AI sẽ mất thời gian, một số mẫu thiết bị có thể không dùng được và các thiết bị cũ hoặc kém hiệu quả hơn có thể không đáp ứng các yêu cầu về phần cứng để chạy tất cả các mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Đối với các mô hình Gemini, bạn có thể sử dụng tính năng tích hợp phụ trợ (với Python, Bắt đầu! Node.js hoặc REST) hoặc triển khai trong ứng dụng web của bạn với SDK ứng dụng AI của Google dành cho Web.
Cấu trúc trình duyệt và API
Để hỗ trợ AI tích hợp sẵn trong Chrome, chúng tôi đã tạo cơ sở hạ tầng để truy cập vào nền tảng và các mô hình chuyên gia để thực thi trên thiết bị. Cơ sở hạ tầng này hiện đang hỗ trợ các tính năng trình duyệt sáng tạo, chẳng hạn như tính năng Giúp tôi viết, đồng thời sẽ sớm hỗ trợ các API cho AI trên thiết bị.
Bạn sẽ truy cập vào các tính năng AI tích hợp chủ yếu bằng API tác vụ, chẳng hạn như API bản dịch hoặc API tóm tắt. API tác vụ được thiết kế để chạy suy luận dựa trên mô hình tốt nhất cho nhiệm vụ.
Trong Chrome, các API này được xây dựng để chạy suy luận dựa trên Gemini Nano bằng cách điều chỉnh chi tiết hoặc mô hình chuyên gia. Được thiết kế để chạy trên hầu hết các thiết bị hiện đại, Gemini Nano phù hợp nhất cho các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Ngoài ra, chúng tôi dự định cung cấp các API khám phá để bạn có thể thử nghiệm cục bộ và chia sẻ các trường hợp sử dụng khác.
Ví dụ: chúng tôi có thể cung cấp:
- Prompt API (API lời nhắc): Gửi một tác vụ tuỳ ý, được thể hiện bằng ngôn ngữ tự nhiên, đến mô hình ngôn ngữ lớn tích hợp sẵn (Gemini Nano trong Chrome).
- API tinh chỉnh (LoRA): Cải thiện hiệu suất của LLM tích hợp trên một tác vụ bằng cách điều chỉnh trọng số của mô hình bằng tính năng tinh chỉnh Thích ứng theo thứ hạng thấp.
Trường hợp nên sử dụng AI tích hợp
Sau đây là một số lợi ích mà chúng tôi cho rằng công nghệ AI tích hợp có thể mang lại cho bạn và người dùng:
- Trải nghiệm tiêu thụ nội dung được AI nâng cao: Bao gồm việc tóm tắt, dịch, trả lời câu hỏi về một số nội dung, phân loại và mô tả.
- Tạo nội dung có sự hỗ trợ của AI: Chẳng hạn như trợ giúp viết lách, hiệu đính, sửa lỗi ngữ pháp và diễn đạt lại.
Các bước tiếp theo
Hãy tham gia chương trình dùng thử sớm của chúng tôi để thử nghiệm các API AI tích hợp ở giai đoạn đầu.
Trong thời gian chờ đợi, bạn có thể tìm hiểu cách sử dụng Gemini Pro trên các máy chủ của Google bằng trang web và ứng dụng web của bạn trong bắt đầu nhanh cho SDK AI JavaScript của Google.