在 BigQuery 中使用 Chrome 用户体验报告

里克·维斯科米
Rick Viscomi
Twitter GitHub 首页

Chrome 用户体验报告 (CrUX) 的原始数据可通过 BigQuery 获取，该数据库位于 Google Cloud Platform (GCP) 上。要使用 BigQuery，您需要具备 GCP 项目和 SQL 基础知识。

在本指南中，您将了解如何使用 BigQuery 针对 CrUX 数据集编写查询，以提取有关网页用户体验状况的见解深刻结果：

  • 了解数据的组织方式
  • 编写基本查询以评估来源的性能
  • 编写高级查询以跟踪性能随时间的变化

数据组织

首先，我们来看一个基本查询：

SELECT COUNT(DISTINCT origin) FROM `chrome-ux-report.all.202206`

如需运行查询，请将其输入查询编辑器中，然后按“运行查询”按钮：

在编辑器中输入一个简单的查询，然后按“运行”。

此查询包含两部分：

  • SELECT COUNT(DISTINCT origin) 表示查询表格中源站的数量。大体上讲，如果两个网址的架构、主机和端口相同，则它们属于同一来源。

  • FROM chrome-ux-report.all.202206 指定源表的地址，该地址包含三个部分：

    • Cloud 项目名称 chrome-ux-report，其中组织了所有 CrUX 数据
    • 数据集 all，表示所有国家/地区的数据
    • 202206 表，采用 YYYYMM 格式的数据年份和月份

此外，这里还有适合每个国家/地区的数据集。例如，chrome-ux-report.country_ca.202206 仅表示来自加拿大的用户体验数据。

每个数据集中自 201710 年以来每个月都有对应的表。系统会定期发布上一个日历月的新表。

数据表的结构（也称为架构）包含：

  • 来源，例如，origin = 'https://www.example.com'：表示相应网站上所有网页的总体用户体验分布情况
  • 网页加载时的连接速度，例如 effective_connection_type.name = '4G'
  • 设备类型，例如 form_factor.name = 'desktop'
  • 用户体验指标本身
    • first_paint (FP)
    • first_contentful_paint (FCP)
    • 托管内容已加载 (DCL)
    • 加载 (OL)
    • experimental.first_input_delay (FID)

每个指标的数据都是以对象数组的形式组织的。在 JSON 表示法中，first_contentful_paint.histogram.bin 应如下所示：

[
    {"start": 0, "end": 100, "density": 0.1234},
    {"start": 100, "end": 200, "density": 0.0123},
    ...
]

每个分箱都包含开始时间和结束时间（以毫秒为单位），以及表示该时间范围内用户体验百分比的密度。换言之，对于这个假设的来源、连接速度和设备类型，12.34% 的 FCP 体验不到 100 毫秒。所有分箱密度的总和为 100%。

浏览 BigQuery 中表格的结构。

评估性能

让我们运用对表架构的了解，编写一个提取此性能数据的查询。

SELECT
  fcp
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  effective_connection_type.name = '4G' AND
  form_factor.name = 'phone' AND
  fcp.start = 0

在 BigQuery 上查询 CrUX FCP

结果为 0.01115，这意味着此源上有 1.115% 的用户体验在 4G 和手机上介于 0 到 100 毫秒之间。如果我们希望将查询泛化到任何连接和任何设备类型，可以在 WHERE 子句中省略它们，并且只需使用 SUM 聚合器函数将其各自的分箱密度相加即可：

SELECT
  SUM(fcp.density)
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start = 0

汇总 BigQuery 上的 CrUX FCP

最终结果为 0.05355，即所有设备和连接类型的 5.355%。让我们稍微修改一下查询，然后将“快速”FCP 范围为 0–1000 毫秒的所有分箱的密度相加：

SELECT
  SUM(fcp.density) AS fast_fcp
FROM
  `chrome-ux-report.all.202206`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start < 1000

在 BigQuery 上查询快速 FCP

这会为我们提供 0.6977。也就是说，根据 FCP 范围定义，web.dev 上 69.77% 的 FCP 用户体验被视为“快速”。

跟踪效果

现在，我们已提取了有关某个源站的性能数据，接下来将其与旧表中可用的历史数据进行比较。为此，我们可以将表地址重写为一个较早的月份，或者使用通配符语法查询所有月份：

SELECT
  _TABLE_SUFFIX AS yyyymm,
  SUM(fcp.density) AS fast_fcp
FROM
  `chrome-ux-report.all.*`,
  UNNEST(first_contentful_paint.histogram.bin) AS fcp
WHERE
  origin = 'https://web.dev' AND
  fcp.start < 1000
GROUP BY
  yyyymm
ORDER BY
  yyyymm DESC

在 BigQuery 上查询 CrUX FCP 时序

在这里，我们可以看到，快速 FCP 体验的百分比每月都会变化几个百分点。

yyyymm fast_fcp
202206 69.77%
202205 70.71%
202204 69.04%
202203 69.82%
202202 67.75%
202201 58.96%
202112 41.69%
... ...

借助这些技术，您可以查询某个源站的性能、计算快速体验所占百分比，并跟踪该源站在一段时间内的表现。接下来，请尝试查询两个或更多源站并比较其表现。

FAQ

何时使用 BigQuery，而不是其他工具？

只有当您无法从其他工具（如 CrUX 信息中心和 PageSpeed Insights）获取相同的信息时，才需要使用 BigQuery。例如，BigQuery 可让您以有意义的方式对数据进行分割，甚至可以将其与其他公共数据集（如 HTTP Archive）联接起来，以进行一些高级数据挖掘。

使用 BigQuery 是否有任何限制？

是的，最重要的限制是，默认情况下，用户每月只能查询 1TB 的数据。除此之外，还适用 $5/TB 的标准费率。

在哪里可以详细了解 BigQuery？

如需了解详情，请参阅 BigQuery 文档。