缓存的Chrome百万热门网站

最近的研究表明，Google Chrome通过其用户体验报告(CrUX)发布的百万最受欢迎网站列表比其他热门列表(如Alexa百万热门和Tranco百万热门)更为准确。

本仓库缓存了从Google BigQuery的CrUX数据中查询的Chrome热门网站的CSV版本。您可以在这里浏览所有缓存的列表。最新的全球百万热门网站可以直接在以下链接下载： https://raw.githubusercontent.com/zakird/crux-top-lists/main/data/global/current.csv.gz。

数据结构

CrUX数据集与其他热门列表有几个重要区别：

网站按排名量级分类，而非具体排名。提供的文件中的排名将是1000、10K、100K或1M。数据按排名量级排序。在每个量级内，网站是随机列出的。
网站是通过源(例如，https://www.google.com)来识别的，而不是通过域名或FQDN。
数据每月发布一次，通常在每月的第二个星期二。

以下是数据的示例：

origin,rank
https://www.ptwxz.com,1000
https://ameblo.jp,1000
https://danbooru.donmai.us,1000
https://game8.jp,1000
https://www.google.com.au,1000
https://www.repubblica.it,1000
https://www.w3schools.com,1000
https://animekimi.com,1000

网站根据完成的页面加载量(通过首次内容绘制来衡量)进行排名，并按网站源进行汇总。该数据集尽可能贴近用户主动发起的页面加载(例如，它排除了来自iframe的流量)。有关CrUX及其数据收集方法的更多信息可以在其官方网站上找到：https://developer.chrome.com/docs/crux/about/。

为什么是百万网站？

本仓库并不包含Chrome发布的所有网站排名数据。他们的全球热门网站列表包含约1500万个网站。百万热门网站覆盖了Chrome用户超过95%的流量，无论是按页面加载量还是页面停留时间计算(Ruth等人)，这是一个合理的近似：

用户流量CDF

如果您想使用更多或更少的网站，以下是大致的覆盖率：

网站数量	页面加载量
1000	50%
10K	70%
100K	87%
1M	95%
5M	99%

以下SQL可用于生成类似的全球热门网站列表：

SELECT distinct origin, experimental.popularity.rank
    FROM `chrome-ux-report.experimental.global`
    WHERE yyyymm = ? -- 例如，整数202210
    GROUP BY origin, experimental.popularity.rank
    ORDER BY experimental.popularity.rank;

特定国家的网站

Ruth等人的研究还表明，浏览行为具有本地化特征，全球热门列表倾向于全球性网站(如科技和游戏)，而不是本地网站(如教育、政府和金融)。因此，研究人员可能还想调查趋势是否在各个国家都成立。

网站偏差

Chrome在BigQuery中发布了特定国家的热门列表，以下SQL可用于导出特定国家的热门网站：

SELECT distinct country_code, origin, experimental.popularity.rank
    FROM `chrome-ux-report.experimental.country`
    WHERE yyyymm = ? -- 例如，整数202210
		AND experimental.popularity.rank <= 1000000
    GROUP BY country_code, origin, experimental.popularity.rank
    ORDER BY country_code, experimental.popularity.rank;

CrUX数据集基于从Google Chrome收集的数据，因此对Chrome使用有限的国家(如中国)存在偏差。如果您特别关注中国的域名热度，可以考虑参考《构建开放、健壮和稳定的基于投票的域名热门列表》，该研究基于从中国大型DNS提供商114DNS收集的数据。

支持研究

本仓库中的数据全部由Google公开发布到其BigQuery中的CrUX数据集。这只是该公开数据的缓存。本README中的许多论点基于两篇最近的研究论文。第一篇描述了我们如何评估热门网站列表的准确性。第二篇是对网络浏览行为的广泛研究。

颠覆热门列表：评估热门网站列表的准确性
Kimberly Ruth, Deepak Kumar, Brandon Wang, Luke Valenta, 和 Zakir Durumeric
ACM互联网测量会议 (IMC)，2022年10月

全球网络浏览的全球视角
Kimberly Ruth, Aurore Fass, Jonathan Azose, Mark Pearson, Emma Thomas, Caitlin Sadowski, 和 Zakir Durumeric
ACM互联网测量会议 (IMC)，2022年10月