Project Icon

File-System-Paper

全面梳理文件系统前沿研究进展

File-System-Paper项目全面梳理了文件系统领域的研究进展,涵盖本地和分布式文件系统、用户空间文件系统等多个方向。同时深入探讨了崩溃一致性、碎片整理和多核可扩展性等技术挑战,为文件系统研究提供了系统性参考。

文件系统

本地文件系统

内核文件系统

Linux文件系统,https://www.kernel.org/doc/html/latest/filesystems

[1974 CACM] 旧UNIX文件系统:UNIX时间共享系统。[PDF]

[1984 TOCS] FFS:UNIX的快速文件系统。[PDF]

[1986 USENIX Summer] Vnodes:Sun UNIX中多文件系统类型的架构。[PDF]

[1991 USENIX Winter] UNIX文件系统的类Extent性能。[PDF]

[1991 SOSP] LFS:日志结构文件系统的设计与实现。[PDF]

[1993 USENIX Winter] UNIX日志结构文件系统的实现。[PDF]

[1995] 第二扩展文件系统的设计与实现。[PDF]

[1996 ATC] XFS文件系统的可扩展性。[PDF]

[1998 LinuxExpo] ext3:Linux ext2文件系统的日志功能。[PDF]

[2001 Ottawa linux symposium] JFFS:日志闪存文件系统。[PDF]

[2003 FAST] ZFS:ZB级文件系统。[PDF]

[2006 SIGOPS Operating Systems Review] NILFS:Linux日志结构文件系统的实现。[PDF]

[2007] 新的ext4文件系统:当前状态和未来计划。[PDF]

[2013 TOS] BTRFS:Linux B树文件系统。[PDF]

[2015 FAST] F2FS:面向闪存存储的新型文件系统。[PDF] [幻灯片]

[2019 ATC] EROFS:面向资源受限设备的压缩友好只读文件系统。[PDF] [幻灯片]

[2020 VAULT] zonefs:将POSIX文件系统接口映射到原始分区块设备访问。[幻灯片]

用户空间文件系统

FUSE:用户空间文件系统,https://github.com/libfuse/libfuse

[2004 ATC] Wayback:Linux的用户级版本控制文件系统。[PDF]

[2010 SAC] 用户空间文件系统的性能和扩展。[PDF]

[2010 MSST] LTFS:线性磁带文件系统。[PDF] [代码]

[2011 EuroSys] 使用Re-FUSE拒绝崩溃。[PDF]

[2013 ATC] TABLEFS:提高本地文件系统中元数据的效率。[PDF]

[2015 HotStorage] 未知领域:用户空间文件系统的实用性。[PDF] [幻灯片]

[2016 FAST] 组合文件文件系统:解耦文件与元数据的一对一映射以提高性能。[PDF] [幻灯片] [2017 FAST] 使用还是不使用FUSE:用户空间文件系统的性能。[PDF] [幻灯片]

[2018 ROSS] Direct-FUSE:移除中间层以实现高性能FUSE文件系统支持。[PDF] [代码]

[2019 TOS] FUSE用户空间文件系统的性能和资源利用。[PDF]

[2019 ATC] ExtFUSE: 用户空间文件系统的扩展框架。[PDF] [幻灯片]

[2021 ATC] XFUSE:在用户空间运行文件系统服务的基础设施。[PDF] [幻灯片]

[2022 TOS] DEFUSE:快速且正确的用户空间文件系统访问接口。[PDF]

[2024 FAST] RFUSE:通过可扩展的内核-用户空间通信现代化用户空间文件系统框架。[PDF] [幻灯片]

崩溃一致性

文件系统检查器

[1983] Fsck − UNIX文件系统检查程序。[PDF]

[2008 OSDI] SQCK:声明式文件系统检查器。[PDF]

[2013 FAST] ffsck:快速文件系统检查器。[PDF]

[2018 TOS] 构建健壮的文件系统检查器。[PDF]

[2021 FAST] pFSCK:加速现代存储的文件系统检查和修复。[PDF]

其他

[2012 FAST] 无序一致性。[PDF] [幻灯片] [代码]

[2013 SOSP] 乐观崩溃一致性。[PDF] [幻灯片] [代码]

[2017 TOS] CCFS的应用崩溃一致性和性能。[PDF]

碎片化

[2016 HotStorage] 移动存储系统中文件系统碎片化的实证研究。[PDF] [幻灯片]

[2017 FAST] 文件系统注定会衰老?科学说不是! [PDF] [幻灯片]

[2017 ATC] 使用解耦碎片整理器提高移动存储系统的文件系统性能。[PDF] [幻灯片]

[2024 FAST] 我们不怕任何文件碎片:现代闪存固态硬盘性能影响的原因及预防。[PDF] [幻灯片]

多核/众核可扩展性

[2016 ATC] 理解文件系统的众核可扩展性。[PDF] [幻灯片]

[2017 SOSP] ScaleFS: 使用操作日志将文件系统扩展到多个核心。[PDF]

[2022 FAST] ScaleXFS:重获XFS的可扩展性。[PDF]

分布式文件系统

通用文件系统

[1985] Sun网络文件系统的设计与实现。[PDF]

[1987 SOSP & 1988 TOCS] AFS: 分布式文件系统中的规模和性能。[PDF]

[1993 SOSP & 1995 TOCS] Zebra条纹网络文件系统。[PDF] [博士论文]

[2003 MSST] zFS - 使用对象磁盘的可扩展分布式文件系统。[PDF] [幻灯片]

[2006 OSDI] Ceph:一个可扩展、高性能的分布式文件系统。[PDF]

[2007 SC] RADOS:面向PB级存储集群的可扩展、可靠的存储服务。[PDF]

[2007 博士论文@UCSC] Ceph:可靠、可扩展和高性能的分布式存储。[PDF]

[2011 ATC] TidyFS:一个简单小巧的分布式文件系统。[PDF] [幻灯片] [2019 SOSP] 文件系统不适合作为分布式存储后端:Ceph演进10年的经验教训。[PDF] [幻灯片]

大数据

[2003 SOSP] GFS: Google文件系统。[PDF]

[2010 MSST] HDFS: Hadoop分布式文件系统。[PDF] [幻灯片]

[2013 VLDB] QFS: Quantcast文件系统。[PDF] [代码]

[2021 FAST] Facebook的Tectonic文件系统:从Exascale获得效率。[PDF]

[2023 FAST] 不仅仅是容量:阿里巴巴盘古系统的性能导向演进。[PDF] [视频]

高性能计算(HPC)

并行文件系统

[2000] PVFS:Linux集群的并行文件系统。[PDF]

[2002 FAST] GPFS:大型计算集群的共享磁盘文件系统。[PDF]

[2003] Lustre:构建1000节点集群的文件系统。[PDF]

[2008 FAST] Panasas并行文件系统的可扩展性能。[PDF]

突发缓冲文件系统

[2009 SC] PLFS:并行应用程序的检查点文件系统。[PDF] [代码]

[2016 SC] BurstFS: 科学应用的临时突发缓冲文件系统。[PDF]

[2018 CLUSTER & 2020 JCST] GekkoFS – HPC应用的临时分布式文件系统。[CLUSTER PDF] [JCST PDF] [代码]

[2020 JCST] Gfarm/BB — 用于节点本地突发缓冲的Gfarm文件系统。[PDF] [代码]

[2022 HPCAsia] CHFS:用于节点本地持久性内存的并行一致性哈希文件系统。[PDF] [代码]

[2023 FAST] HadaFS:为Exascale超级计算机桥接本地和共享突发缓冲的文件系统。[PDF] [视频]

[2023 IPDPS] UnifyFS:用于统一访问分布式本地存储的用户级共享文件系统。[PDF] [代码] [相关幻灯片]

云计算

[2018 VLDB] PolarFS:共享存储云数据库的超低延迟和故障弹性分布式文件系统。[PDF]

[2019 SIGMOD] CFS:大规模容器平台的分布式文件系统。[PDF]

人工智能

用于存储的AI

[2021 FAST] 使用CACHEUS学习缓存替换。[PDF] [幻灯片]

[2023 FAST] GL-Cache:高效高性能缓存的组级学习。[PDF] [幻灯片] [代码]

[2024 FAST] Baleen:闪存缓存的机器学习准入和预取。[PDF] [幻灯片] [代码] [数据集]

数据分布

[1997 STOC] 一致性哈希和随机树:缓解万维网热点的分布式缓存协议。[PDF]

[2006 SC] CRUSH:复制数据的可控、可扩展、分散化放置。[PDF]

[2020 FAST] MAPX:分散化对象存储系统扩展中的受控数据迁移。[PDF]

元数据管理

[2003 MSST] 大型分布式存储系统中的高效元数据管理。[PDF] [幻灯片]

[2004 SC] PB级文件系统的动态元数据管理。[PDF]

[2011 FAST] GIGA+的规模和并发性:包含数百万文件的文件系统目录。[PDF]

[2014 SC] IndexFS:通过无状态缓存和批量插入扩展文件系统元数据性能。[PDF] [幻灯片]

[2015 FAST] CalvinFS:分布式文件系统的一致WAN复制和可扩展元数据管理。[PDF] [2015 SoCC] ShardFS 与 IndexFS:云存储系统中分布式元数据管理的复制与缓存策略对比。[PDF]

[2015 PDSW] DeltaFS:无需专用服务器实现更好的超大规模文件系统扩展性。[PDF]

[2017 FAST] HopsFS:使用NewSQL数据库扩展层次文件系统元数据。[PDF] [幻灯片]

[2017 SC] LocoFS:分布式文件系统的松耦合元数据服务。[PDF]

[2018 TPDS] 分布式文件系统的扁平化元数据服务。[PDF]

[2022 FAST] InfiniFS:大规模分布式文件系统的高效元数据服务。[PDF] [幻灯片]

[2023 ATC] SingularFS:使用单一元数据服务器的十亿级分布式文件系统。[PDF] [幻灯片]

  • 负载均衡

[2015 SC] Mantle:Ceph文件系统的可编程元数据负载均衡器。[PDF]

[2021 SC] Lunule:CephFS的灵活且明智的元数据负载均衡器。[PDF]

容错

复制

  • 主备复制

[1976 ICSE] 分布式资源弹性共享的原则。[PDF]

  • 链式复制

[2004 OSDI] 链式复制:支持高吞吐量和可用性。[PDF]

  • 基于共识的复制

[1998 TOCS] Paxos:兼职议会。[PDF]

[2001 ACM SIGACT News] Paxos Made Simple。[PDF]

[2014 ATC] Raft:寻找易于理解的共识算法。[PDF]

纠删码

[2012 ATC] Windows Azure Storage中的纠删码。[PDF] [幻灯片]

[2015 FAST] HDFS中两种纠删码的故事。[PDF] [幻灯片]

[2018 FAST] Clay码:将MDS码塑造成MSR码。[PDF] [幻灯片]

硬件优化

[2017 ATC] Octopus:支持RDMA的分布式持久内存文件系统。[PDF] [幻灯片]

[2020 OSDI] Assise:通过客户端本地NVM提高分布式文件系统的性能和可用性。[PDF] [幻灯片]

[2021 SOSP] LineFS:通过流水线并行高效卸载分布式文件系统到智能网卡。[PDF]

[2022 TPDS] Hydra:适用于持久内存和RDMA网络的去中心化文件系统。[PDF]

其他主题

数据减少

数据去重

[2001 SOSP] LBFS:低带宽网络文件系统。[PDF]

[2008 FAST] 避免Data Domain去重文件系统中的磁盘瓶颈。[PDF]

[2009 FAST] 稀疏索引:使用采样和局部性的大规模内联去重。[PDF] [幻灯片]

[2009 ATC] SAN集群文件系统中的去中心化去重。[PDF] [幻灯片]

[2010 FAST] I/O去重:利用内容相似性提高I/O性能。[PDF] [幻灯片]

[2011 ATC] 构建高性能去重系统。[PDF]

安全

[1993 CCS] CFS:Unix加密文件系统。[PDF]

[1999 SOSP] SFS:将密钥管理与文件系统安全分离。[PDF]

[2000 OSDI] 快速且安全的分布式只读文件系统。[PDF]

[2008 StorageSS] Tahoe – 最小权限文件系统。[PDF] [代码]

综述

[1989] 分布式文件系统综述。[PDF]

[1990] 分布式文件系统:概念与示例。[PDF] [2005 ATC] 日志文件系统的分析与演变。[PDF]

[2008 NCM] 分布式文件系统的分类与综述。[PDF]

[2015] 六种分布式文件系统的分析。[PDF]

[2016 ICCCA] 云存储中分布式文件系统的演变与分析:分析性综述。[PDF]

[2016 PIEEE] 数据重复删除的过去、现在和未来的全面研究。[PDF]

[2018 CSUR] 超大规模分布式存储系统的可扩展元数据管理技术 - 系统性综述。[PDF]

[2020 JCST] 高性能计算的临时文件系统。[PDF]

[2022 TOS] 分布式文件系统设计选择调查。[PDF]

[2022 CCF-THPC] AI存储技术综述。[PDF]

[2022 TPDS] 大规模分布式文件系统中元数据管理的最新技术 - 可扩展性、性能和可用性。[PDF]

[2022 TPDS] RDMA时代存储系统调查。[PDF]

[2024 JCRD] 从BERT到ChatGPT:大模型训练存储系统的挑战与技术发展。[PDF]

分析

[2000 ATC] 文件系统工作负载比较。[PDF]

[2007 FAST] 文件系统元数据五年研究。[PDF]

[2008 TOS] 文件系统和存储基准测试的九年研究。[PDF]

[2011 HotOS] 文件系统基准测试的基准测试:这就是火箭科学。[PDF]

[2011 FAST] 实用去重技术研究。[PDF] [幻灯片]

[2012 SC] 高性能计算存储系统中数据去重研究。[PDF]

[2013 FAST] Linux文件系统演变研究。[PDF] [幻灯片]

对象存储

[2003 MSST] 走向对象存储。[PDF] [幻灯片]

[2004 MSST] OBFS:面向对象存储设备的文件系统。[PDF] [幻灯片]

[2010 OSDI] 在干草堆中寻针:Facebook的照片存储。[PDF] [幻灯片]

[2020 SCFA] DAOS:面向存储级内存的可扩展高性能存储栈。[PDF]

新硬件

[2017 FAST] LightNVM:Linux开放通道SSD子系统。[PDF] [幻灯片]

[2021 ATC] ZNS:避免基于闪存SSD的块接口开销。[PDF] [幻灯片]

[2021 OSDI] ZNS+:支持存储内区域压缩的高级分区命名空间接口。[PDF] [幻灯片]

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号