在 BigQuery 中使用 Chrome 用户体验报告

里克·维斯科米
Rick Viscomi

Chrome 用户体验报告 (CrUX) 的原始数据可通过 BigQuery 获取,该数据库位于 Google Cloud Platform (GCP) 上。要使用 BigQuery,您需要具备 GCP 项目和 SQL 基础知识。

在本指南中,您将了解如何使用 BigQuery 针对 CrUX 数据集编写查询,以提取有关网页用户体验状况的见解深刻结果:

  • 了解数据的组织方式
  • 编写基本查询以评估来源的性能
  • 编写高级查询以跟踪性能随时间的变化

数据组织

首先,我们来看一个基本查询:

SELECT COUNT(DISTINCT origin) FROM `chrome-ux-report.all.202206`

如需运行查询,请将其输入查询编辑器中,然后按“运行查询”按钮:

在编辑器中输入一个简单的查询,然后按“运行”。

此查询包含两部分:

  • SELECT COUNT(DISTINCT origin) 表示查询表格中源站的数量。大体上讲,如果两个网址的架构、主机和端口相同,则它们属于同一来源。

  • FROM chrome-ux-report.all.202206 指定源表的地址,该地址包含三个部分:

    • Cloud 项目名称 chrome-ux-report,其中组织了所有 CrUX 数据
    • 数据集 all,表示所有国家/地区的数据
    • 202206 表,采用 YYYYMM 格式的数据年份和月份

此外,这里还有适合每个国家/地区的数据集。例如,chrome-ux-report.country_ca.202206 仅表示来自加拿大的用户体验数据。

每个数据集中自 201710 年以来每个月都有对应的表。系统会定期发布上一个日历月的新表。

数据表的结构(也称为架构)包含:

  • 来源,例如,origin = 'https://www.example.com':表示相应网站上所有网页的总体用户体验分布情况
  • 网页加载时的连接速度,例如 effective_connection_type.name = '4G'
  • 设备类型,例如 form_factor.name = 'desktop'
  • 用户体验指标本身
    • first_paint (FP)
    • first_contentful_paint (FCP)
    • 托管内容已加载 (DCL)
    • 加载 (OL)
    • experimental.first_input_delay (FID)

每个指标的数据都是以对象数组的形式组织的。在 JSON 表示法中,first_contentful_paint.histogram.bin 应如下所示:

[
    {"start": 0, "end": 100, "density": 0.1234},
    {"start": 100, "end": 200, "density": 0.0123},
    ...
]

每个分箱都包含开始时间和结束时间(以毫秒为单位),以及表示该时间范围内用户体验百分比的密度。换言之,对于这个假设的来源、连接速度和设备类型,12.34% 的 FCP 体验不到 100 毫秒。所有分箱密度的总和为 100%。

浏览 BigQuery 中表格的结构。

评估性能

让我们运用对表架构的了解,编写一个提取此性能数据的查询。

SELECT
  fcp
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  effective_connection_type.name = '4G' AND
  form_factor.name = 'phone' AND
  fcp.start = 0

在 BigQuery 上查询 CrUX FCP

结果为 0.01115,这意味着此源上有 1.115% 的用户体验在 4G 和手机上介于 0 到 100 毫秒之间。如果我们希望将查询泛化到任何连接和任何设备类型,可以在 WHERE 子句中省略它们,并且只需使用 SUM 聚合器函数将其各自的分箱密度相加即可:

SELECT
  SUM(fcp.density)
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start = 0

汇总 BigQuery 上的 CrUX FCP

最终结果为 0.05355,即所有设备和连接类型的 5.355%。让我们稍微修改一下查询,然后将“快速”FCP 范围为 0–1000 毫秒的所有分箱的密度相加:

SELECT
  SUM(fcp.density) AS fast_fcp
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start < 1000

在 BigQuery 上查询快速 FCP

这会为我们提供 0.6977。也就是说,根据 FCP 范围定义,web.dev 上 69.77% 的 FCP 用户体验被视为“快速”。

跟踪效果

现在,我们已提取了有关某个源站的性能数据,接下来将其与旧表中可用的历史数据进行比较。为此,我们可以将表地址重写为一个较早的月份,或者使用通配符语法查询所有月份:

SELECT
  _TABLE_SUFFIX AS yyyymm,
  SUM(fcp.density) AS fast_fcp
FROM
  `chrome-ux-report.all.*`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start < 1000
GROUP BY
  yyyymm
ORDER BY
  yyyymm DESC

在 BigQuery 上查询 CrUX FCP 时序

在这里,我们可以看到,快速 FCP 体验的百分比每月都会变化几个百分点。

yyyymm fast_fcp
202206 69.77%
202205 70.71%
202204 69.04%
202203 69.82%
202202 67.75%
202201 58.96%
202112 41.69%
... ...

借助这些技术,您可以查询某个源站的性能、计算快速体验所占百分比,并跟踪该源站在一段时间内的表现。接下来,请尝试查询两个或更多源站并比较其表现。

FAQ

何时使用 BigQuery,而不是其他工具?

只有当您无法从其他工具(如 CrUX 信息中心和 PageSpeed Insights)获取相同的信息时,才需要使用 BigQuery。例如,BigQuery 可让您以有意义的方式对数据进行分割,甚至可以将其与其他公共数据集(如 HTTP Archive)联接起来,以进行一些高级数据挖掘。

使用 BigQuery 是否有任何限制?

是的,最重要的限制是,默认情况下,用户每月只能查询 1TB 的数据。除此之外,还适用 $5/TB 的标准费率。

在哪里可以详细了解 BigQuery?

如需了解详情,请参阅 BigQuery 文档