Ngày xuất bản: 14 tháng 5 năm 2024, Ngày cập nhật gần đây nhất: 13 tháng 11 năm 2024
Khi xây dựng các tính năng bằng mô hình AI trên web, chúng ta thường dựa vào các giải pháp phía máy chủ cho các mô hình lớn hơn. Điều này đặc biệt đúng đối với AI tạo sinh, trong đó ngay cả các mô hình nhỏ nhất cũng lớn hơn kích thước trung bình của trang web khoảng một nghìn lần. Điều này cũng đúng với các trường hợp sử dụng AI khác, trong đó mô hình có thể có kích thước từ 10 đến 100 megabyte. Vì các mô hình này không được chia sẻ trên các trang web, nên mỗi trang web phải tải các mô hình này xuống khi tải trang. Điều này không thực tế đối với nhà phát triển và người dùng.
Chúng tôi đang phát triển các API nền tảng web và tính năng trình duyệt được thiết kế để tích hợp trực tiếp các mô hình AI, bao gồm cả mô hình ngôn ngữ lớn (LLM), vào trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất của gia đình LLM Gemini, được thiết kế để chạy cục bộ trên hầu hết các máy tính để bàn và máy tính xách tay hiện đại. Với AI tích hợp, trang web hoặc ứng dụng web của bạn có thể thực hiện các tác vụ dựa trên AI mà không cần triển khai hoặc quản lý các mô hình AI của riêng mình.
Khám phá các lợi ích của AI tích hợp, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Xem trước sớm
Chúng tôi cần ý kiến đóng góp của bạn để định hình các API, đảm bảo các API đó đáp ứng các trường hợp sử dụng của bạn và thông báo cho các cuộc thảo luận của chúng tôi với các nhà cung cấp trình duyệt khác để chuẩn hoá.
Tham gia chương trình xem trước sớm của chúng tôi để đưa ra ý kiến phản hồi về các ý tưởng AI tích hợp ở giai đoạn đầu và khám phá các cơ hội để kiểm thử các API đang trong quá trình phát triển thông qua việc tạo bản minh hoạ cục bộ.
Hãy tham gia nhóm thông báo công khai dành cho nhà phát triển AI của Chrome để nhận thông báo khi có API mới.
Lợi ích của AI tích hợp cho nhà phát triển web
Với AI tích hợp, trình duyệt của bạn sẽ cung cấp và quản lý các mô hình cơ sở và chuyên gia.
So với việc tự xây dựng AI phía máy khách, AI tích hợp mang lại những lợi ích sau:
- Dễ triển khai: Khi phân phối các mô hình, trình duyệt sẽ tính đến khả năng của thiết bị và quản lý các bản cập nhật cho mô hình. Điều này nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không cần phải giải quyết vấn đề về việc xoá bộ nhớ, hạn mức bộ nhớ trong thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Thời gian chạy AI của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng có sẵn, cho dù đó là GPU, NPU hay quay lại CPU. Do đó, ứng dụng của bạn có thể đạt được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy phía máy khách
Với phương pháp AI tích hợp, việc thực hiện các tác vụ AI phía máy khách trở nên đơn giản, từ đó mang lại những lợi ích sau:
- Xử lý dữ liệu nhạy cảm trên thiết bị: AI phía máy khách có thể cải thiện vấn đề quyền riêng tư của bạn. Ví dụ: nếu làm việc với dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng nhanh chóng: Trong một số trường hợp, việc bỏ qua lượt truy cập hai chiều đến máy chủ có nghĩa là bạn có thể cung cấp kết quả gần như tức thì. AI phía máy khách có thể là sự khác biệt giữa một tính năng khả thi và trải nghiệm người dùng chưa tối ưu.
- Có nhiều quyền truy cập hơn vào AI: Thiết bị của người dùng có thể gánh một phần tải xử lý để đổi lấy quyền truy cập nhiều hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI nâng cao, bạn có thể xem trước các tính năng này bằng AI phía máy khách để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà không tốn thêm chi phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt là trên các luồng người dùng thường dùng.
- Sử dụng AI khi không có mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như mong đợi khi không có mạng hoặc khi có kết nối không ổn định.
AI kết hợp: Phía máy khách và phía máy chủ
Mặc dù AI phía máy khách có thể xử lý nhiều trường hợp sử dụng, nhưng có một số trường hợp nhất định cần có sự hỗ trợ phía máy chủ.
AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn và có thể hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể cân nhắc phương pháp kết hợp, tuỳ thuộc vào:
- Mức độ phức tạp: Các trường hợp sử dụng cụ thể, dễ tiếp cận sẽ dễ được hỗ trợ hơn bằng AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị không có kết nối mạng hoặc có kết nối không ổn định.
- Phương án dự phòng linh hoạt: Việc sử dụng trình duyệt tích hợp AI sẽ mất thời gian, một số mô hình có thể không hoạt động và các thiết bị cũ hoặc kém mạnh có thể không đáp ứng các yêu cầu về phần cứng để chạy tất cả mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Đối với các mô hình Gemini, bạn có thể sử dụng tính năng tích hợp phần phụ trợ (với Python, Go, Node.js hoặc REST) hoặc triển khai trong ứng dụng web bằng SDK ứng dụng AI của Google mới cho web.
Cấu trúc trình duyệt và API
Để hỗ trợ AI tích hợp trong Chrome, chúng tôi đã tạo cơ sở hạ tầng để truy cập vào các mô hình cơ bản và chuyên gia nhằm thực thi trên thiết bị. Cấu trúc cơ sở này đã hỗ trợ các tính năng trình duyệt sáng tạo, chẳng hạn như tính năng Giúp tôi viết.
Bạn có thể truy cập vào các tính năng AI tích hợp chủ yếu bằng API tác vụ, chẳng hạn như Translator API hoặc Summarizer API. API tác vụ được thiết kế để chạy suy luận dựa trên mô hình tốt nhất cho bài tập.
Trong Chrome, các API này được xây dựng để chạy suy luận dựa trên Gemini Nano bằng cách điều chỉnh chi tiết hoặc mô hình chuyên gia. Được thiết kế để chạy cục bộ trên hầu hết các thiết bị hiện đại, Gemini Nano phù hợp nhất với các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Chúng tôi cũng cung cấp các API khám phá, chẳng hạn như Prompt API, để bạn có thể thử nghiệm cục bộ và chia sẻ các trường hợp sử dụng khác.
Trong tương lai, chúng tôi có thể cung cấp API LoRA khám phá để cải thiện hiệu suất của mô hình tích hợp bằng cách điều chỉnh trọng số của mô hình.
Trường hợp nên sử dụng AI tích hợp
Sau đây là một số cách mà AI tích hợp có thể mang lại lợi ích cho bạn và người dùng:
- Trải nghiệm tiêu thụ nội dung được AI nâng cao: Bao gồm việc tóm tắt, dịch, phân loại, mô tả và cung cấp kiến thức.
- Tạo nội dung được hỗ trợ bằng AI: Chẳng hạn như trợ giúp viết lách, hiệu đính, sửa lỗi ngữ pháp và diễn đạt lại.
Bước tiếp theo
Bạn có thể dùng một số API AI tích hợp sẵn để thử nghiệm trong các thử nghiệm theo nguyên gốc. Những người tham gia chương trình xem trước sớm có thể sử dụng API Khám phá và các API khác ở giai đoạn đầu.
Tìm hiểu cách sử dụng Gemini Pro trên máy chủ của Google với các trang web và ứng dụng web của bạn trong phần bắt đầu nhanh về SDK JavaScript AI của Google.