RecSysDatasets

RecSysDatasets

推荐系统公开数据集汇总及处理工具

RecSysDatasets是一个汇总公开推荐系统数据集的开源项目。该项目收集了电商、广告、电影等多个领域的数据集,并提供将数据集转换为统一格式的工具。这有助于研究人员更便捷地获取和使用各类推荐系统数据集,为算法开发和评估提供支持。项目与RecBole推荐系统库集成,便于进行算法测试。

推荐系统数据集RecBole数据处理模型评估Github开源项目

推荐系统数据集

这是一个公开推荐系统(RS)数据源的仓库。

所有这些推荐数据集都可以转换为RecBole中定义的原子文件,RecBole是一个统一、全面且高效的推荐库。

转换为原子文件后,您可以轻松使用RecBole来测试不同推荐模型在这些数据集上的性能。有关RecBole的更多信息,请参阅RecBole

使用方法

为了使用RecBole,您需要将这些原始数据集转换为RecBole定义的一种数据格式——原子文件。

我们提供两种方法将这些数据集转换为原子文件:

  1. 下载原始数据集并使用我们在此仓库中提供的转换工具进行处理。请参阅转换工具

  2. 直接下载已处理的原子文件。百度网盘(密码:e272),Google Drive

数据集链接及简介

购物

  • Amazon: Amazon评论数据包括评论(评分、文本、有用性投票)和产品元数据(描述、类别信息、价格、品牌和图像特征),包括2014年的早期版本和2018年的更新版本。 我们处理过的数据集详情在此
    • Amazon 2014:该数据集包含来自Amazon的产品评论和元数据,涵盖24个类别和1.428亿条评论,时间跨度为1996年5月至2014年7月。
    • Amazon 2018:该数据集是2014年发布的Amazon评论数据集的更新版本。总评论数为2.331亿,类别数为29个(2014年为1.428亿和24个),当前数据包括1996年5月至2018年10月的评论。
  • Amazon_M2: 这个数据集是来自六种不同语言环境的匿名客户会话集合:英语、德语、日语、法语、意大利语和西班牙语。
  • Alibaba-iFashion: 这个数据集是一个时尚服饰数据集,收集自阿里巴巴在线购物系统,用于POG论文。每个服饰搭配中的商品被视为推荐给用户的商品,每件商品包含类别和标题等属性。
  • Epinions: 这个数据集收集自Epinions.com,一个流行的在线消费者评论网站。它包含用户之间的信任关系,时间跨度超过十年,从2001年1月到2013年11月。
  • Yelp: 这个数据集收集自Yelp。Yelp数据集是我们的商业、评论和用户数据的子集,用于个人、教育和学术目的。 从2018年Yelp挑战赛开始(此竞赛的原始链接已找不到,且不会再有新一轮的Yelp数据集挑战),总共有四个版本的Yelp数据集,Yelp还在Kaggle上发布了数据集,您也可以在那里下载几个早期版本。 我们处理过的5个数据集详情在此
    • Yelp 2018:这是2018年Yelp挑战赛发布的第一个版本的Yelp数据集,包含5,261,669条评论。
    • Yelp 2020:这是2020年发布的第二个版本的Yelp数据集,包含8,021,122条评论。
    • Yelp 2021:这是2021年发布的第一个版本的Yelp数据集,包含8,635,403条评论。
    • Yelp 2022:这是最新版本的Yelp数据集,包含1,987,897位用户对131,930家商家的908,915条提示,以及超过120万个商业属性,如营业时间、停车、可用性和氛围等随时间汇总的签到信息。
    • Yelp-full:这是一个组合数据集,包括上述四个版本的Yelp数据集,去除重复后总评论数为28,908,240条。
  • Tmall: 这个数据集由蚂蚁金融服务集团提供,用于IJCAI16比赛。
  • DIGINETICA: 该数据集包括从电子商务搜索引擎日志中提取的用户会话,包含匿名用户ID、哈希处理的查询、哈希处理的查询词、哈希处理的产品描述和元数据、对数缩放的价格、点击和购买信息。
  • YOOCHOOSE: 这个数据集由YOOCHOOSE GmbH构建,用于支持2015年RecSys挑战赛的参与者。
  • Retailrocket: 这些数据收集自真实的电子商务网站。它是原始数据,即没有进行任何内容转换,但由于保密问题,所有值都经过了哈希处理。
  • Ta Feng: 该数据集包含2000年11月至2001年2月的中国杂货店交易数据。

广告

  • Criteo: 该数据集收集自Criteo,包含了Criteo在几天内的部分流量数据。

  • Avazu: 该数据集用于Avazu点击率预测竞赛。

  • iPinYou: 该数据集由iPinYou提供,包含了iPinYou全球实时竞价(RTB)竞价算法竞赛三个赛季的所有训练数据集和排行榜测试数据集。

  • AliEC: Ali_Display_Ad_Click是一个关于淘宝网站展示广告点击率预测的数据集。该数据集由阿里巴巴公司提供。

签到

  • Foursquare: 该数据集包含了纽约和东京约10个月的签到数据。 每次签到都与其时间戳、GPS坐标和语义意义相关联。

  • Gowalla: 该数据集来自一个基于位置的社交网站,用户通过签到分享他们的位置。包含了这些用户在2009年2月至2010年10月期间的总计6,442,890次签到记录。

电影

  • MovieLens: GroupLens Research从他们的电影网站收集并提供了评分数据集。
  • Netflix: 这是Netflix Prize竞赛中使用的官方数据集。
  • 豆瓣: 豆瓣电影是一个允许互联网用户分享电影评论和观点的中文网站。 该数据集包含了豆瓣电影网站上28部电影的超过200万条短评。
  • Twitch: 这是一个用户在Twitch上消费流媒体内容的数据集。我们每10分钟检索一次所有主播和他们各自聊天室中连接的所有用户,持续43天。
    • Twitch-100k:Twitch-100k是为基准测试目的而选取的10万用户子集。代码可在此GitHub仓库中获得。
    • Twitch-full:查看包含所有Twitch文件的Google Drive文件夹。Twitch-full包含完整数据集,而Twitch-100k是其子集。

音乐

  • Last.FM: 该数据集包含来自Last.fm在线音乐系统的2000名用户的社交网络、标签和音乐艺术家收听信息。
  • LFM-1b: 该数据集包含超过120,000名Last.FM用户创建的超过10亿次音乐收听事件。 每个收听事件都包含艺术家、专辑和曲目名称,以及时间戳。
  • Yahoo Music: 该数据集代表了Yahoo! Music社区对各种音乐艺术家偏好的快照。
  • KGRec: 音乐和声音推荐与知识图谱是两个不同的数据集,提供了用户、项目、用户与项目之间的隐式反馈交互、项目标签和项目文本描述,一个用于音乐推荐(KGRec-music),另一个用于声音推荐(KGRec-sound)。
    • KGRec-music:所有数据来自songfacts.comlast.fm网站。项目是歌曲,通过从songfacts.com提取的文本描述和last.fm的标签进行描述。
    • KGRec-sound:所有数据来自Freesound.org。项目是声音,通过声音创作者在上传时创建的文本描述和标签进行描述。
  • Music4All-Onion:该数据集扩展了Music4All数据集,为109,269首音乐作品增加了26个额外的音频、视频和元数据特征。

图书

  • Book-Crossing: 这个数据集是由Cai-Nicolas Ziegler在2004年8月/9月的4周内从Book-Crossing社区爬取的,得到了Humankind Systems首席技术官Ron Hornbaker的许可。 它包含278,858名用户(匿名但有人口统计信息)对271,379本书提供的1,149,780条评分(显式/隐式)。

  • GoodReads: 这个数据集包含来自Goodreads图书评论网站的评论,以及描述这些项目的各种属性。重要的是,数据集有多个用户交互级别,从加入书架、评分到阅读。

游戏

  • Steam: 这个数据集是来自Steam的评论和游戏信息,包含7,793,069条评论,2,567,538名用户和32,135款游戏。 除了评论文本,数据还包括用户在每条评论中的游戏时长。

动漫

图片

  • Pinterest: 这个数据集最初由论文"Learning image and user features for recommendations in social networks"构建,用于评估基于内容的图像推荐,并由论文"Neural Collaborative Filtering"处理。

笑话

  • Jester: 这个数据集包含Jester笑话推荐系统用户对笑话的匿名评分。

练习题

  • KDD2010: 这个数据集在KDD Cup 2010教育数据挖掘挑战赛中发布,包含了学生在系统上提交练习的情况。

  • EndoMondo: 这是一个来自EndoMondo用户的锻炼日志集合。 数据包括多种连续传感器数据,如心率记录、速度、GPS,以及运动类型、性别和天气条件。

网站

  • 钓鱼网站: 这个数据集包含11,055个网站的30种特征,以及它们是否为钓鱼网站的标签。 网站特征包括12个基于地址栏的特征、6个基于异常的特征、5个基于HTML和JavaScript的特征,以及7个基于域名的特征。

  • Behance: 这是一个小型的、匿名化的版本,源自社区艺术网站Behance的更大型专有数据集,包含点赞和图像数据。

成人

  • 成人: 这个数据集由Barry Becker从1994年人口普查数据库中提取,包含一系列人们的属性以及他们的年收入是否超过5万美元。

新闻

  • MIND: 这个数据集是一个用于新闻推荐研究的大规模数据集。它从微软新闻网站的匿名行为日志中收集。 MIND包含约16万篇英文新闻文章和超过1500万条由100万用户生成的浏览记录。

食品

  • 大众点评: 这个数据集包含从著名的中国在线评论网站大众点评网抓取的用户评论以及详细的商家元数据信息,包括510,071名用户对209,132家商家的3,605,300条评论。

  • 食品: 这些数据集包含来自Food.com(前身为GeniusKitchen)的菜谱详情和评论。数据包括烹饪菜谱和评论文本。

饮料

  • BeerAdvocate: 这个数据集包括具有多个评分维度的啤酒评论,涵盖了味道、外观、口感和气味等感官方面。
  • RateBeer: 这个数据集包含具有多个评分维度的啤酒评论,包括带有味道、外观、口感和气味等感官方面的商品属性。

服装

数据集信息统计

通用数据集

序号数据集用户数物品数交互数稀疏度交互类型时间戳用户上下文物品上下文交互上下文
1MovieLens----评分
2Anime73,51511,2007,813,73799.05%评分 <br> [-1, 1-10]
3Epinions116,26041,269188,47899.99%评分 <br> [1-5]
4Yelp<br>(5个版本)----评分 <br> [1-5]
5Netflix480,18917,770100,480,50798.82%评分 <br> [1-5]
6Book-Crossing105,284340,5571,149,78099.99%评分 <br> [0-10]
7Jester73,4211014,136,36044.22%评分 <br> [-10, 10]
8豆瓣738,701282,125,05689.73%评分 <br> [0,5]
9Yahoo Music1,948,88298,21111,557,94399.99%评分 <br> [0, 100]
10KDD2010----评分
11Amazon<br>(2014 & 2018)----评分<br/> [0,5]
12Pinterest55,1879,9111,445,62299.74%-
13Gowalla107,0921,280,9696,442,89299.99%签到
14Last.FM1,89217,63292,83499.72%点击
15DIGINETICA204,789184,047993,48399.99%点击
16Steam2,567,53832,1357,793,06999.99%购买
17Ta Feng32,26623,812817,74199.89%点击
18Foursquare----签到
19Tmall963,9232,353,20744,528,12799.99%点击/购买
20YOOCHOOSE9,249,72952,73934,154,69799.99%点击/购买
21Retailrocket1,407,580247,0852,756,10199.99%浏览/加入购物车/交易
22LFM-1b120,3223,123,4961,088,161,69299.71%点击
23MIND----点击
24BeerAdvocate33,38866,0551,586,61499.9281%评分<br/> [0,5]
25Behance63,497178,7881,000,00099.9912%点赞
26大众点评542,706243,2474,422,47399.9967%评分<br/> [0,5]
27EndoMondo1,104253,020253,02099.9094%运动日志
28食品226,570231,6371,132,36799.9978%评分<br/> [0,5]
29GoodReads876,1452,360,650228,648,34299.9889%评分<br/> [0,5]
30KGRec----点击
31ModCloth47,9581,37882,79099.8747%评分<br/> [0,5]
32RateBeer29,265110,3692,924,16399.9095%总体评分<br/> [0,20]
33RentTheRunway105,5715,850192,54499.9688%评分<br/> [0,10]
34Twitch15,524,3096,161,666474,676,92999.9995%点击
35亚马逊_M23,606,3491,410,67515,306,183-点击
36Music4All-Onion119,140109,269252,984,396-点击

CTR数据集

序号数据集用户数物品数交互数稀疏度交互类型时间戳用户上下文物品上下文交互上下文
1Criteo--45,850,617-点击
2Avazu--40,428,967-点击 <br> [0, 1]
3iPinYou19,731,66016324,637,65799.23%浏览/点击
4钓鱼网站--11,055-
5Adult--32,561-收入>=50k <br> [0, 1]
6阿里巴巴-iFashion3,569,1124,463,302191,394,39399.9988%点击
7AliEC491,647240,1301,366,05699.9988%点击

知识感知数据集

这些知识感知推荐数据集基于KB4Rec,将推荐系统中的物品与Freebase中的实体关联起来。 请注意,Amazon-book数据集是2014年发布的版本。

原始数据集信息

序号数据集物品数关联物品数用户数交互数
1MovieLens27,27825,503138,49320,000,263
2Amazon-book2,370,605108,5158,026,32422,507,155
3LFM-1b (音轨)31,634,4501,254,923120,322319,951,294

经过5-core过滤后(并在LFM-1b中过滤掉收听次数少于10次的音轨)

序号数据集物品数关联物品数用户数交互数
1MovieLens18,34518,057138,49319,984,024
2Amazon-book367,98234,476603,6688,898,041
3LFM-1b (音轨)615,823337,34979,13315,765,756

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。

下拉加载更多