חיבור אוטומטי של סוכן AI לדפדפן האישי

Matthias Rohmer
José Luis Zapata

אתם יכולים לחבר את סוכן ה-AI ישירות למכונה הפעילה של הדפדפן באמצעות תכונת החיבור האוטומטי. כך הנציג יכול לעקוף את המגבלות של ארגז החול (sandbox) על ידי ירושה של הכרטיסיות הנוכחיות, תוספי הדפדפן ומצב האפליקציה בזמן אמת.

היכולת של הסוכן לרשת את ההקשר של תהליך העבודה מאפשרת לו לעבור מכתיבת קוד לניפוי באגים במצב הדפדפן בזמן אמת, בלי לאבד את נתוני הסשן. האפשרות הזו שימושית אם כבר הגעתם למצב ספציפי באפליקציה (כמו תהליך תשלום מורכב או שגיאה ששוחזרה באופן ידני) ואתם רוצים שהנציג ימשיך את הבדיקה הטכנית בלי לבצע מחדש את השלבים האלה באופן ידני.

לפני שמפעילים את החיבור האוטומטי, כדאי להביא בחשבון את הדברים הבאים:

  • אבטחה ופרטיות: כשההתחברות האוטומטית פעילה, לסוכן יש גישה לכל הנתונים בפרופיל הדפדפן, כולל כרטיסיות פתוחות, אחסון סשנים, אחסון מקומי, קובצי Cookie ונתונים אחרים שמוצגים דרך ממשקי API של JavaScript.

  • הנתונים שנשלחים אל Google: השרת של כלי הפיתוח ל-Chrome לסוכני AI פועל כתהליך מקומי. עם זאת, כברירת מחדל, הוא שולח את הנתונים הבאים ל-Google, בלי קשר למצב החיבור:

    • נתוני שימוש, כמו שיעורי ההצלחה של הפעלת הכלים, זמן האחזור ומידע על הסביבה. כדי לבטל את ההסכמה, משתמשים בדגל --no-usage-statistics או מגדירים את משתנה הסביבה CHROME_DEVTOOLS_MCP_NO_USAGE_STATISTICS.
    • כתובות URL ממעקב ביצועים, שנשלחות אל ה-API של הדוח על חוויית המשתמש ב-Chrome‏ (CrUX) כדי לאחזר נתונים על חוויית המשתמש בפועל. כדי לבטל את ההסכמה, משתמשים בדגל --no-performance-crux.

    מידע נוסף זמין במאמר אפשרויות אבטחה ופרטיות.

  • אמון והנחיות: מומלץ להשתמש במצב הזה רק עם סוכנים שאתם סומכים עליהם, ולהיזהר עם המידע שאתם כוללים בהנחיות.

דרישות מוקדמות

לפני שמשתמשים בתכונה "חיבור אוטומטי", חשוב לוודא שיש לכם:

  • ‫Chrome 144 ואילך: כדי להתחבר אוטומטית, צריך פרוטוקולי ניפוי באגים מודרניים שנמצאים בגרסאות הנוכחיות של Chrome.
  • ערוץ Chrome הנכון: כברירת מחדל, הסוכן שלכם מתחבר לגרסה היציבה של Chrome. כדי להשתמש ב-Canary או ב-Beta, צריך לציין את הערוץ בהגדרות.
  • ניפוי באגים מרחוק הופעל: הפעלה ידנית של הגשר בין הדפדפן לסוכן.
  • הגדרה נכונה: צריך לעדכן את הגדרות ה-MCP כך שיכללו את הדגל --autoConnect. פרטים נוספים זמינים בקטע הגדרה.

הגדרת חיבור אוטומטי

כדי להגדיר את תכונת החיבור האוטומטי בשרת ה-MCP:

  1. בדפדפן Chrome שפועל, עוברים אל chrome://inspect/#remote-debugging ומפעילים את האפשרות 'ניפוי באגים מרחוק'.

  2. מעדכנים את ההגדרות של MCP כך שיכללו את הדגל --autoConnect:

    {
  "mcpServers": {
    "chrome-devtools": {
      "command": "npx",
      "args": ["chrome-devtools-mcp@latest", "--autoConnect"]
    }
  }
}

    כדי לבטל את ההסכמה לשליחת נתוני שימוש וכתובות URL של מעקב אחר ביצועים אל Google, מוסיפים גם את הדגלים --no-usage-statistics ו---no-performance-crux אל args.

  3. מבקשים מהסוכן לבצע פעולה באפליקציית Chrome הפתוחה. כשמופיעה בקשה מ-Chrome לאשר את הסשן, לוחצים על אישור.

עכשיו הנציג משתמש בשרת ה-MCP כדי לקיים אינטראקציה עם אפליקציית Chrome שפועלת. למידע נוסף על אפשרויות ההגדרה, אפשר לעיין במדריך להגדרה.

תרחישים לדוגמה של חיבור אוטומטי

החיבור האוטומטי מאפשר להשתמש בכלים או במצבים שאי אפשר להשתמש בהם בסשנים של Chrome בארגז חול. לדוגמה, במקום לבקש מהנציג להיכנס לחשבון, מה שלרוב לא מצליח, אתם יכולים להיכנס לדף בעצמכם. אחר כך, מבקשים מהנציג להשתלט על השיחה.

בקטעים הבאים מפורטות כמה דוגמאות לתרחישים לדוגמה של התכונה "חיבור אוטומטי".

ניפוי באגים במרכזי בקרה מאומתים

כלים פנימיים ומרכזי בקרה פרטיים נמצאים בדרך כלל מאחורי שכבות מורכבות של כניסה יחידה (SSO) או רשת וירטואלית פרטית (VPN). בדרך כלל, כדי להשתמש בדפדפן עם ארגז חול צריך להיכנס לחשבון, והסוכן לא יכול לעקוף את זה. כשמשתמשים בחיבור אוטומטי, הסוכן מקבל את הסשן הפעיל.

הנחיה לדוגמה:

I have my company's staging dashboard open in the next tab. Can you look at the
User Analytics chart, find the SVG element for the Friday data point, and tell
me why the tooltip isn't appearing on hover?

דוגמה להפעלת סוכן: הסוכן מזהה את תהליך Chrome הקיים, מוצא את הכרטיסייה הפעילה ובודק את עץ הנגישות כדי לאתר את הרכיבים. יכול להיות שהיא גם תשתמש בממשקי API של JavaScript כדי להעריך התנגשויות ספציפיות.

תיקון בשידור חי של הכרטיסייה הנוכחית

לא צריך לשחזר שגיאות באופן ידני. במקום לתרגם את שלבי השחזור להנחיה חדשה לסוכן בארגז חול, אתם יכולים לבקש מהסוכן לתקן את הבאג בדף הפעיל שבו כבר נתקלתם בו.

הנחיה לדוגמה:

Look at the current page. The Submit button overlaps with the footer on this
screen size. Generate a fix for the layout and verify it by injecting the CSS
directly into this tab.

דוגמה להרצת הנציג: מכיוון שהוא מחובר לחלון הפעיל, הנציג מנתח את הפריסה ומחיל את התיקון באופן מיידי. הכפתור זז במסך, וזה מאשר שהתיקון עובד לפני שמעדכנים את קוד המקור.