Khi xây dựng tính năng bằng các mô hình AI trên web, chúng tôi thường dựa vào các giải pháp phía máy chủ cho các mô hình lớn hơn. Điều này đặc biệt đúng với AI tạo sinh, trong đó, ngay cả những mô hình nhỏ nhất cũng lớn hơn khoảng nghìn lần so với kích thước trang web trung bình. Điều này cũng đúng với các trường hợp sử dụng AI khác, trong đó các mô hình có thể dao động từ 10 giây đến 100 megabyte.
Vì các mô hình này không được chia sẻ trên các trang web, nên từng trang web phải tải những mô hình đó xuống khi tải trang. Đây là một giải pháp không thực tế cho nhà phát triển và người dùng
Mặc dù AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn, nhưng các phương pháp trên thiết bị và kết hợp đều có ưu điểm hấp dẫn riêng. Để làm cho những phương pháp này khả thi, chúng ta cần giải quyết vấn đề kích thước mô hình và việc phân phối mô hình.
Đó là lý do chúng tôi đang phát triển các API nền tảng web và các tính năng của trình duyệt được thiết kế để tích hợp các mô hình AI (bao gồm cả các mô hình ngôn ngữ lớn (LLM)) trực tiếp vào trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất của dòng LLM Gemini, được thiết kế để chạy cục bộ trên hầu hết các máy tính để bàn và máy tính xách tay hiện đại. Với AI tích hợp sẵn, trang web hoặc ứng dụng web của bạn có thể thực hiện các công việc dựa trên AI mà không cần triển khai hoặc quản lý mô hình AI riêng.
Khám phá lợi ích của công nghệ AI (trí tuệ nhân tạo) tích hợp sẵn, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Nhận bản xem trước sớm
Chúng tôi cần thông tin đầu vào của bạn để định hình các API, đảm bảo các API đó phù hợp với trường hợp sử dụng của bạn và thông báo cho việc thảo luận với các nhà cung cấp trình duyệt khác để tiêu chuẩn hoá.
Tham gia chương trình dùng thử sớm của chúng tôi để đưa ra ý kiến phản hồi về các ý tưởng tích hợp sẵn ở giai đoạn đầu của chúng tôi và khám phá cơ hội kiểm thử các API đang tiến hành thông qua nguyên mẫu cục bộ.
Hãy tham gia nhóm thông báo công khai dành cho nhà phát triển Chrome AI để nhận thông báo khi có các API mới.
Lợi ích của công nghệ trí tuệ nhân tạo tích hợp sẵn dành cho nhà phát triển web
Với AI (trí tuệ nhân tạo) tích hợp sẵn, trình duyệt của bạn sẽ cung cấp và quản lý nền tảng cũng như các mô hình chuyên gia.
So với việc tự triển khai AI trên thiết bị, AI tích hợp mang lại các lợi ích sau:
- Dễ triển khai: Khi phân phối các mô hình, trình duyệt sẽ xem xét khả năng của thiết bị và quản lý các bản cập nhật cho mô hình. Điều này có nghĩa là bạn không có trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua một mạng. Bạn không phải giải quyết việc loại bỏ bộ nhớ, ngân sách bộ nhớ thời gian chạy, chi phí phân phát và những thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Môi trường thời gian chạy dựa trên trí tuệ nhân tạo (AI) của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng có sẵn, có thể là GPU, NPU hoặc quay lại sử dụng CPU. Do đó, ứng dụng của bạn có thể đạt được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy trên thiết bị
Với phương pháp tiếp cận AI tích hợp, việc thực hiện các nhiệm vụ dựa trên AI trên thiết bị trở nên không đơn giản, do đó, mang lại những ưu điểm sau:
- Xử lý cục bộ dữ liệu nhạy cảm: AI trên thiết bị có thể cải thiện câu chuyện về quyền riêng tư của bạn. Ví dụ: nếu làm việc với dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng thông qua phương thức mã hoá hai đầu.
- Trải nghiệm người dùng ngắn gọn: Trong một số trường hợp, việc bỏ trao đổi trọn vòng đến máy chủ có nghĩa là bạn có thể cung cấp kết quả gần như ngay lập tức. AI trên thiết bị có thể là sự khác biệt giữa một tính năng khả thi và trải nghiệm người dùng dưới mức tối ưu.
- Khả năng tiếp cận AI hiệu quả hơn: Thiết bị của người dùng có thể đảm nhận một số khối lượng tải xử lý để đổi lấy nhiều quyền truy cập hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI cao cấp, bạn có thể xem trước các tính năng này bằng AI trên thiết bị để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà bạn không phải trả thêm phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí dự đoán, đặc biệt là trên những luồng người dùng thường được sử dụng.
- Sử dụng AI ngoại tuyến: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như mong đợi khi không có mạng hoặc với khả năng kết nối thay đổi.
AI kết hợp: Trên thiết bị và phía máy chủ
Mặc dù AI trên thiết bị có thể xử lý nhiều trường hợp sử dụng, nhưng có một số trường hợp sử dụng nhất định cần được hỗ trợ từ phía máy chủ.
Ví dụ: bạn có thể cần sử dụng các mẫu lớn hơn hoặc hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể cân nhắc các phương pháp kết hợp, tuỳ thuộc vào:
- Tính phức tạp: Các trường hợp sử dụng cụ thể, có thể tiếp cận sẽ dễ dàng hỗ trợ hơn nhờ AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc việc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị không có kết nối mạng hoặc kết nối không ổn định.
- Dự phòng linh hoạt: Sẽ mất nhiều thời gian để sử dụng trình duyệt có tích hợp trí tuệ nhân tạo (AI), một số kiểu máy có thể không dùng được và các thiết bị cũ hoặc kém mạnh mẽ hơn có thể không đáp ứng được các yêu cầu về phần cứng để chạy tất cả mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Đối với các mô hình Gemini, bạn có thể sử dụng tính năng tích hợp phần phụ trợ (với Python, Go, Node.js hoặc REST) hoặc triển khai trong ứng dụng web của mình bằng SDK ứng dụng AI cho web của Google mới.
Kiến trúc trình duyệt và API
Để hỗ trợ công nghệ AI (trí tuệ nhân tạo) tích hợp sẵn trong Chrome, chúng tôi đã tạo cơ sở hạ tầng để truy cập vào các nền tảng và mô hình chuyên gia để thực thi trên thiết bị. Cơ sở hạ tầng này đã và đang hỗ trợ các tính năng cải tiến của trình duyệt, chẳng hạn như Giúp tôi viết, và sẽ sớm hỗ trợ API cho AI trên thiết bị.
Bạn sẽ sử dụng được các tính năng AI tích hợp chủ yếu thông qua các API tác vụ, chẳng hạn như API dịch hoặc API tóm tắt. API tác vụ được thiết kế để chạy dự đoán theo mô hình tốt nhất để chỉ định.
Trong Chrome, các API này được xây dựng để chạy suy luận dựa trên Gemini Nano thông qua các tinh chỉnh tinh chỉnh hoặc một mô hình chuyên gia. Được thiết kế để chạy trên hầu hết các thiết bị hiện đại, Genmini Nano là lựa chọn phù hợp nhất cho các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Ngoài ra, chúng tôi dự định cung cấp các API khám phá để bạn có thể thử nghiệm cục bộ và chia sẻ các trường hợp sử dụng khác.
Ví dụ như chúng tôi có thể cung cấp:
- Prompt API: Gửi một tác vụ tuỳ ý (được thể hiện bằng ngôn ngữ tự nhiên) đến Mô hình ngôn ngữ lớn tích hợp sẵn (Gemini Nano trong Chrome).
- API Điều chỉnh tinh chỉnh (LoRA): Cải thiện hiệu suất của LLM tích hợp sẵn trong một tác vụ bằng cách điều chỉnh trọng số của mô hình bằng tính năng điều chỉnh chi tiết Điều chỉnh cấp độ thấp.
Trường hợp nên sử dụng AI tích hợp sẵn
Sau đây là một số cách mà chúng tôi cho rằng công nghệ AI tích hợp có thể mang lại lợi ích cho bạn và người dùng của bạn:
- Sử dụng nội dung dựa trên AI: Bao gồm nội dung tóm tắt, dịch, trả lời câu hỏi về một số nội dung, phân loại và mô tả đặc điểm.
- Sáng tạo nội dung dựa trên AI: Chẳng hạn như hỗ trợ soạn thảo nội dung, hiệu đính, sửa ngữ pháp và diễn đạt lại.
Bước tiếp theo
Hãy tham gia chương trình xem trước sớm của chúng tôi để thử nghiệm các API trí tuệ nhân tạo tích hợp sẵn ở giai đoạn đầu.
Trong thời gian chờ đợi, bạn có thể tìm hiểu cách sử dụng Gemini Pro trên các máy chủ của Google cùng với các trang web và ứng dụng web của mình trong phần bắt đầu nhanh cho SDK JavaScript của Google AI.