Kết nối tác nhân AI với trình duyệt cá nhân bằng tính năng tự động kết nối

Kết nối trực tiếp tác nhân AI với phiên bản trình duyệt đang hoạt động bằng tính năng tự động kết nối. Điều này cho phép tác nhân của bạn bỏ qua các hạn chế của hộp cát bằng cách kế thừa các thẻ, tiện ích trình duyệt và trạng thái ứng dụng hiện tại của bạn.

Việc kế thừa ngữ cảnh quy trình làm việc cho phép tác nhân chuyển từ viết mã sang gỡ lỗi trạng thái trình duyệt trực tiếp mà không làm mất dữ liệu phiên. Điều này hữu ích khi bạn đã đạt đến một trạng thái ứng dụng cụ thể (chẳng hạn như một quy trình thanh toán phức tạp hoặc một lỗi được tái tạo theo cách thủ công) và muốn nhân viên hỗ trợ tiếp quản việc điều tra kỹ thuật mà không cần thực hiện lại các bước đó theo cách thủ công.

Hãy cân nhắc những điều sau đây trước khi bật tính năng tự động kết nối:

  • Bảo mật và quyền riêng tư: Khi chế độ tự động kết nối đang hoạt động, trợ lý của bạn có quyền truy cập vào tất cả dữ liệu trong hồ sơ trình duyệt, bao gồm cả các thẻ đang mở, bộ nhớ phiên, bộ nhớ cục bộ, cookie và các dữ liệu khác xuất hiện thông qua API JavaScript.
  • Đảm bảo quyền riêng tư đối với dữ liệu: Máy chủ Chrome DevTools cho các tác nhân là một quy trình cục bộ và không gửi dữ liệu trình duyệt, mã thông báo phiên hoặc dữ liệu đo từ xa của bạn cho Google.
  • Độ tin cậy và câu lệnh: Chỉ sử dụng chế độ này với những tác nhân mà bạn tin tưởng và cẩn thận với thông tin bạn đưa vào câu lệnh.

Điều kiện tiên quyết

Trước khi sử dụng tính năng tự động kết nối, hãy đảm bảo bạn có những điều sau:

  • Chrome 144 trở lên: Tính năng tự động kết nối yêu cầu các giao thức gỡ lỗi hiện đại có trong các phiên bản Chrome hiện tại.
  • Kênh Chrome chính xác: Theo mặc định, tác nhân của bạn sẽ kết nối với Bản ổn định của Chrome. Để sử dụng Canary hoặc Beta, hãy chỉ định kênh trong cấu hình của bạn.
  • Đã bật tính năng gỡ lỗi từ xa: Bật cầu nối giữa trình duyệt và tác nhân theo cách thủ công.
  • Cấu hình chính xác: Bạn phải cập nhật cấu hình MCP để thêm cờ --autoConnect.

Thiết lập tính năng tự động kết nối

Để định cấu hình tính năng tự động kết nối trong máy chủ MCP, hãy làm như sau:

  1. Trong trình duyệt Chrome đang chạy, hãy chuyển đến chrome://inspect/#remote-debugging rồi bật tính năng gỡ lỗi từ xa.
  2. Cập nhật cấu hình MCP để thêm cờ --autoConnect:

    {
      "mcpServers": {
        "chrome-devtools": {
          "command": "npx",
          "args": ["chrome-devtools-mcp@latest", "--autoConnect"]
        }
      }
    }
    
  3. Nhắc nhân viên hỗ trợ tương tác với ứng dụng Chrome đang mở của bạn. Khi Chrome yêu cầu bạn cấp quyền cho phép phiên hoạt động, hãy nhấp vào Cho phép.

Giờ đây, tác nhân của bạn sẽ sử dụng máy chủ MCP để tương tác với ứng dụng Chrome đang chạy.

Các trường hợp sử dụng tính năng tự động kết nối

Tính năng tự động kết nối cho phép bạn sử dụng các công cụ hoặc trạng thái không dùng được trên các phiên Chrome được cách ly. Ví dụ: thay vì yêu cầu tác nhân đăng nhập (thường không thành công), bạn có thể tự chuyển đến trang và đăng nhập. Sau đó, hãy yêu cầu nhân viên hỗ trợ tiếp quản.

Các phần sau đây trình bày một số ví dụ về các trường hợp sử dụng tính năng tự động kết nối.

Gỡ lỗi trang tổng quan đã xác thực

Các công cụ nội bộ và trang tổng quan riêng tư thường nằm sau các lớp đăng nhập một lần (SSO) hoặc mạng riêng ảo (VPN) phức tạp. Trình duyệt hộp cát thường yêu cầu đăng nhập mà tác nhân của bạn không thể bỏ qua. Với tính năng tự động kết nối, tác nhân của bạn sẽ kế thừa phiên đang hoạt động.

Câu lệnh mẫu:

I have my company's staging dashboard open in the next tab. Can you look at the
User Analytics chart, find the SVG element for the Friday data point, and tell
me why the tooltip isn't appearing on hover?

Ví dụ về quá trình thực thi tác nhân: Tác nhân của bạn xác định quy trình Chrome hiện có, tìm thẻ đang hoạt động và kiểm tra cây hỗ trợ tiếp cận để xác định vị trí của các phần tử. Thao tác này cũng có thể sử dụng các API JavaScript để đánh giá những xung đột cụ thể.

Sửa lỗi trực tiếp cho thẻ hiện tại

Tránh tự tái tạo lỗi theo cách thủ công. Thay vì dịch các bước tái tạo thành một câu lệnh mới cho tác nhân được cách ly, bạn có thể yêu cầu tác nhân sửa lỗi trên trang đang hoạt động mà bạn đã gặp phải lỗi đó.

Câu lệnh mẫu:

Look at the current page. The Submit button overlaps with the footer on this
screen size. Generate a fix for the layout and verify it by injecting the CSS
directly into this tab.

Ví dụ về quá trình thực thi tác nhân: Vì được kết nối với cửa sổ đang hoạt động, nên tác nhân sẽ phân tích bố cục và áp dụng bản sửa lỗi ngay lập tức. Bạn sẽ thấy nút di chuyển trên màn hình, điều này xác nhận rằng bản sửa lỗi hoạt động trước khi bạn cập nhật mã nguồn.