CrUX ב-BigQuery

הסבר על המבנה של נתוני CrUX ב-BigQuery.

מבוא

הנתונים הגולמיים של דוח חוויית המשתמש ב-Chrome (CrUX) זמינים ב-BigQuery, מסד נתונים שמתארח ב-Google Cloud.

CrUX ב-BigQuery מאפשר למשתמשים לשלוח שאילתות ישירות למערך הנתונים המלא החל משנת 2017, למשל כדי לנתח מגמות, להשוות בין טכנולוגיות אינטרנט ולבצע השוואות בין דומיינים.

הנתונים בנויים לפי הפצה חודשית, וכן מספר טבלאות סיכום, כדי לאפשר גישה פשוטה לשאילתות על הנתונים.

נתוני BigQuery הם הבסיס ללוח הבקרה של CrUX, שמאפשר להציג את הנתונים באופן חזותי מבלי לכתוב שאילתות SQL.

גישה למערך הנתונים

כדי להשתמש ב-BigQuery צריך חשבון Google Cloud וידע בסיסי ב-SQL. הגישה למערך הנתונים של CrUX ב-BigQuery זמינה בחינם, וניתן לעיין בו עד למגבלות של התוכנית ללא תשלום, שמתחדשת מדי חודש ומסופקת על ידי BigQuery. בנוסף, משתמשים חדשים ב-Google Cloud עשויים להיות זכאים לזיכוי על הרשמה כדי לכסות הוצאות מעבר לרמה החינמית. חשוב לדעת: צריך לספק כרטיס אשראי לפרויקט ב-Google Cloud. אפשר לקרוא מידע נוסף במאמר למה צריך לספק כרטיס אשראי?.

אם זו הפעם הראשונה שאתם משתמשים ב-BigQuery, צריך לבצע את השלבים הבאים כדי להגדיר פרויקט:

  1. עוברים לקטע Create a Project במסוף Google Cloud.
  2. נותנים שם לפרויקט החדש, למשל 'דוח חוויית המשתמש שלי ב-Chrome', ולוחצים על 'יצירה'.
  3. אם מופיעה בקשה, מציינים את נתוני החיוב.
  4. עוברים אל מערך הנתונים של CrUX ב-BigQuery.

עכשיו אפשר להתחיל לשלוח שאילתות למערך הנתונים.

ארגון פרויקטים

נתוני CrUX ב-BigQuery מתפרסמים ביום שלישי השני של החודש העוקב. כל חודש מושק כטבלה חדשה במסגרת chrome-ux-report.all. קיימות גם כמה טבלאות מהותיות שמספקות סיכום של נתונים סטטיסטיים לכל חודש.

סכימה מפורטת של טבלה

הטבלאות הגולמיות לכל מדינה ומערך הנתונים all מסופקים לפי שנה וחודש.

טבלאות גולמיות

לטבלאות הגולמיות יש את הסכימה הבאה:

  • origin
  • effective_connection_type
  • form_factor
  • first_paint
  • first_contentful_paint
  • largest_contentful_paint
  • dom_content_loaded
  • onload
  • layout_instability
    • cumulative_layout_shift
  • interaction_to_next_paint
  • navigation_types
    • navigate
    • navigate_cache
    • reload
    • restore
    • back_forward
    • back_forward_cache
    • prerender
  • experimental
    • permission
      • notifications
    • time_to_first_byte
    • popularity

סכימה של טבלה מהותית

טבלאות מהותיות ניתנות לגישה קלה יותר לנתוני סיכום לפי מספר מאפיינים מרכזיים. לא מוצגות היסטוגרמות, אלא נתוני הביצועים נצברים לחלקים לפי הערכת הביצועים והערך של אחוזון ה-75. קבוצת שורות לדוגמה מהטבלה metrics_summary מוצגת בדוגמה הבאה:

yyyymm מקור fast_lcp avg_lcp slow_lcp p75_lcp
202204 https://example.com 0.9056 0.0635 0.0301 1,600
202203 https://example.com 0.9209 0.052 0.0274 1,400
202202 https://example.com 0.9169 0.0545 0.0284 1500
202201 https://example.com 0.9072 0.0626 0.0298 1500

הנתונים האלה מראים שבמערך הנתונים 202204, 90.56% מהחוויות של משתמשים אמיתיים ב-https://example.com עמדו בקריטריונים לLCP טוב, ושערך ה-LCP המשוער של האחוזון ה-75 היה 1,600ms. קצב הצמיחה הזה נמוך מעט מהחודשים הקודמים.

הוספנו ארבע טבלאות מהותיות:

metrics_summary
מדדים מרכזיים לפי חודש ומקור
device_summary
מדדים עיקריים לפי חודש, מקור וסוג מכשיר
country_summary
מדדים עיקריים לפי חודש, מקור, סוג מכשיר ומדינה
origin_summary
רשימה של כל המקורות שכלולים בקבוצת הנתונים

metrics_summary

הטבלה metrics_summary מכילה סיכום של הנתונים הסטטיסטיים לכל מקור ולכל מערך נתונים חודשי:

yyyymm
החודש של תקופת איסוף הנתונים
origin
כתובת ה-URL של מקור האתר
rank
דירוג גס של פופולריות (נכון למרץ 2021)
[small|medium|large]_cls
החלק של התנועה לפי ערכי הסף של CLS
[fast|avg|slow]_<metric>
חלק מהתנועה לפי ערכי סף ביצועים
p75_<metric>
ערך האחוזון ה-75 של מדדי הביצועים (אלפיות שנייה)
notification_permission_[accept|deny|ignore|dismiss]
היחס בין התנהגויות של הרשאות לשליחת התראות
[desktop|phone|tablet]Density
החלק של התנועה לפי גורם צורה
[_4G|_3G|_2G|slow2G|offline]Density
חלק מהתנועה לפי סוג החיבור בפועל
navigation_type_[navigate|navigate_cache|reload|restore|back_forward|back_forward_cache|prerender]
החלק של סוגי הניווט

device_summary

הטבלה device_summary כוללת נתונים סטטיסטיים מצטברים לפי חודש, מקור, מדינה ומכשיר. בנוסף לעמודות metrics_summary יש:

device
גורם הצורה של המכשיר

country_summary

הטבלה country_summary כוללת נתונים סטטיסטיים מצטברים לפי חודש, מקור, מדינה ומכשיר. בנוסף לעמודות metrics_summary, יש עוד:

country_code
קוד מדינה בן שתי אותיות
device
גורם הצורה
של המכשיר

origin_summary

הטבלה origin_summary מכילה רשימה של כל המקורות במערך הנתונים של CrUX. היא מתעדכנת מדי חודש ברשימה העדכנית ביותר של המקורות במערך הנתונים, ויש לה עמודה אחת: origin.

מערך נתונים ניסיוני

הטבלאות במערך הנתונים הניסיוניות הן עותקים מדויקים של טבלאות ברירת המחדל ב-YYYYMM, אבל הן משתמשות בתכונות חדשות ומתקדמות יותר של BigQuery כמו חלוקה למחיצות וקיבוץ לאשכולות כדי לכתוב שאילתות מהר יותר, פשוטה יותר וזולה יותר.

country

מערך הנתונים experimental.country מכיל נתונים נצברים מתוך מערכי הנתונים, country_CC, עם עמודת yyyymm נוספת לתאריך של מערך הנתונים. הסכימה זהה לטבלאות גולמיות בתוספת של תאריך ו-country_code עמודות. היא מאפשרת לבצע השוואה ברמת המדינה של שאילתות לאורך זמן בלי להצטרף לטבלאות החודשיות.

global

מערך הנתונים experimental.global מכיל נתונים נצברים ממערך הנתונים all עם עמודת yyyymm נוספת לתאריך של מערך הנתונים. הסכימה זהה לטבלאות גולמיות, עם הוספת התאריך. כך אפשר להריץ שאילתות השוואה לאורך זמן בלי למזג את הטבלאות החודשיות.