文件系统
本地文件系统
内核文件系统
Linux文件系统,https://www.kernel.org/doc/html/latest/filesystems
[1974 CACM] 旧UNIX文件系统:UNIX时间共享系统。[PDF]
[1984 TOCS] FFS:UNIX的快速文件系统。[PDF]
[1986 USENIX Summer] Vnodes:Sun UNIX中多文件系统类型的架构。[PDF]
[1991 USENIX Winter] UNIX文件系统的类Extent性能。[PDF]
[1991 SOSP] LFS:日志结构文件系统的设计与实现。[PDF]
[1993 USENIX Winter] UNIX日志结构文件系统的实现。[PDF]
[1995] 第二扩展文件系统的设计与实现。[PDF]
[1996 ATC] XFS文件系统的可扩展性。[PDF]
[1998 LinuxExpo] ext3:Linux ext2文件系统的日志功能。[PDF]
[2001 Ottawa linux symposium] JFFS:日志闪存文件系统。[PDF]
[2003 FAST] ZFS:ZB级文件系统。[PDF]
[2006 SIGOPS Operating Systems Review] NILFS:Linux日志结构文件系统的实现。[PDF]
[2007] 新的ext4文件系统:当前状态和未来计划。[PDF]
[2013 TOS] BTRFS:Linux B树文件系统。[PDF]
[2015 FAST] F2FS:面向闪存存储的新型文件系统。[PDF] [幻灯片]
[2019 ATC] EROFS:面向资源受限设备的压缩友好只读文件系统。[PDF] [幻灯片]
[2020 VAULT] zonefs:将POSIX文件系统接口映射到原始分区块设备访问。[幻灯片]
用户空间文件系统
FUSE:用户空间文件系统,https://github.com/libfuse/libfuse
[2004 ATC] Wayback:Linux的用户级版本控制文件系统。[PDF]
[2010 SAC] 用户空间文件系统的性能和扩展。[PDF]
[2010 MSST] LTFS:线性磁带文件系统。[PDF] [代码]
[2011 EuroSys] 使用Re-FUSE拒绝崩溃。[PDF]
[2013 ATC] TABLEFS:提高本地文件系统中元数据的效率。[PDF]
[2015 HotStorage] 未知领域:用户空间文件系统的实用性。[PDF] [幻灯片]
[2016 FAST] 组合文件文件系统:解耦文件与元数据的一对一映射以提高性能。[PDF] [幻灯片] [2017 FAST] 使用还是不使用FUSE:用户空间文件系统的性能。[PDF] [幻灯片]
[2018 ROSS] Direct-FUSE:移除中间层以实现高性能FUSE文件系统支持。[PDF] [代码]
[2019 TOS] FUSE用户空间文件系统的性能和资源利用。[PDF]
[2019 ATC] ExtFUSE: 用户空间文件系统的扩展框架。[PDF] [幻灯片]
[2021 ATC] XFUSE:在用户空间运行文件系统服务的基础设施。[PDF] [幻灯片]
[2022 TOS] DEFUSE:快速且正确的用户空间文件系统访问接口。[PDF]
[2024 FAST] RFUSE:通过可扩展的内核-用户空间通信现代化用户空间文件系统框架。[PDF] [幻灯片]
崩溃一致性
文件系统检查器
[1983] Fsck − UNIX文件系统检查程序。[PDF]
[2008 OSDI] SQCK:声明式文件系统检查器。[PDF]
[2013 FAST] ffsck:快速文件系统检查器。[PDF]
[2018 TOS] 构建健壮的文件系统检查器。[PDF]
[2021 FAST] pFSCK:加速现代存储的文件系统检查和修复。[PDF]
其他
[2012 FAST] 无序一致性。[PDF] [幻灯片] [代码]
[2013 SOSP] 乐观崩溃一致性。[PDF] [幻灯片] [代码]
[2017 TOS] CCFS的应用崩溃一致性和性能。[PDF]
碎片化
[2016 HotStorage] 移动存储系统中文件系统碎片化的实证研究。[PDF] [幻灯片]
[2017 FAST] 文件系统注定会衰老?科学说不是! [PDF] [幻灯片]
[2017 ATC] 使用解耦碎片整理器提高移动存储系统的文件系统性能。[PDF] [幻灯片]
[2024 FAST] 我们不怕任何文件碎片:现代闪存固态硬盘性能影响的原因及预防。[PDF] [幻灯片]
多核/众核可扩展性
[2016 ATC] 理解文件系统的众核可扩展性。[PDF] [幻灯片]
[2017 SOSP] ScaleFS: 使用操作日志将文件系统扩展到多个核心。[PDF]
[2022 FAST] ScaleXFS:重获XFS的可扩展性。[PDF]
分布式文件系统
通用文件系统
[1985] Sun网络文件系统的设计与实现。[PDF]
[1987 SOSP & 1988 TOCS] AFS: 分布式文件系统中的规模和性能。[PDF]
[1993 SOSP & 1995 TOCS] Zebra条纹网络文件系统。[PDF] [博士论文]
[2003 MSST] zFS - 使用对象磁盘的可扩展分布式文件系统。[PDF] [幻灯片]
[2006 OSDI] Ceph:一个可扩展、高性能的分布式文件系统。[PDF]
[2007 SC] RADOS:面向PB级存储集群的可扩展、可靠的存储服务。[PDF]
[2007 博士论文@UCSC] Ceph:可靠、可扩展和高性能的分布式存储。[PDF]
[2011 ATC] TidyFS:一个简单小巧的分布式文件系统。[PDF] [幻灯片] [2019 SOSP] 文件系统不适合作为分布式存储后端:Ceph演进10年的经验教训。[PDF] [幻灯片]
大数据
[2003 SOSP] GFS: Google文件系统。[PDF]
[2010 MSST] HDFS: Hadoop分布式文件系统。[PDF] [幻灯片]
[2013 VLDB] QFS: Quantcast文件系统。[PDF] [代码]
[2021 FAST] Facebook的Tectonic文件系统:从Exascale获得效率。[PDF]
[2023 FAST] 不仅仅是容量:阿里巴巴盘古系统的性能导向演进。[PDF] [视频]
高性能计算(HPC)
并行文件系统
[2000] PVFS:Linux集群的并行文件系统。[PDF]
[2002 FAST] GPFS:大型计算集群的共享磁盘文件系统。[PDF]
[2003] Lustre:构建1000节点集群的文件系统。[PDF]
[2008 FAST] Panasas并行文件系统的可扩展性能。[PDF]
突发缓冲文件系统
[2009 SC] PLFS:并行应用程序的检查点文件系统。[PDF] [代码]
[2016 SC] BurstFS: 科学应用的临时突发缓冲文件系统。[PDF]
[2018 CLUSTER & 2020 JCST] GekkoFS – HPC应用的临时分布式文件系统。[CLUSTER PDF] [JCST PDF] [代码]
[2020 JCST] Gfarm/BB — 用于节点本地突发缓冲的Gfarm文件系统。[PDF] [代码]
[2022 HPCAsia] CHFS:用于节点本地持久性内存的并行一致性哈希文件系统。[PDF] [代码]
[2023 FAST] HadaFS:为Exascale超级计算机桥接本地和共享突发缓冲的文件系统。[PDF] [视频]
[2023 IPDPS] UnifyFS:用于统一访问分布式本地存储的用户级共享文件系统。[PDF] [代码] [相关幻灯片]
云计算
[2018 VLDB] PolarFS:共享存储云数据库的超低延迟和故障弹性分布式文件系统。[PDF]
[2019 SIGMOD] CFS:大规模容器平台的分布式文件系统。[PDF]
人工智能
用于存储的AI
[2021 FAST] 使用CACHEUS学习缓存替换。[PDF] [幻灯片]
[2023 FAST] GL-Cache:高效高性能缓存的组级学习。[PDF] [幻灯片] [代码]
[2024 FAST] Baleen:闪存缓存的机器学习准入和预取。[PDF] [幻灯片] [代码] [数据集]
数据分布
[1997 STOC] 一致性哈希和随机树:缓解万维网热点的分布式缓存协议。[PDF]
[2006 SC] CRUSH:复制数据的可控、可扩展、分散化放置。[PDF]
[2020 FAST] MAPX:分散化对象存储系统扩展中的受控数据迁移。[PDF]
元数据管理
[2003 MSST] 大型分布式存储系统中的高效元数据管理。[PDF] [幻灯片]
[2004 SC] PB级文件系统的动态元数据管理。[PDF]
[2011 FAST] GIGA+的规模和并发性:包含数百万文件的文件系统目录。[PDF]
[2014 SC] IndexFS:通过无状态缓存和批量插入扩展文件系统元数据性能。[PDF] [幻灯片]
[2015 FAST] CalvinFS:分布式文件系统的一致WAN复制和可扩展元数据管理。[PDF] [2015 SoCC] ShardFS 与 IndexFS:云存储系统中分布式元数据管理的复制与缓存策略对比。[PDF]
[2015 PDSW] DeltaFS:无需专用服务器实现更好的超大规模文件系统扩展性。[PDF]
[2017 FAST] HopsFS:使用NewSQL数据库扩展层次文件系统元数据。[PDF] [幻灯片]
[2017 SC] LocoFS:分布式文件系统的松耦合元数据服务。[PDF]
[2018 TPDS] 分布式文件系统的扁平化元数据服务。[PDF]
[2022 FAST] InfiniFS:大规模分布式文件系统的高效元数据服务。[PDF] [幻灯片]
[2023 ATC] SingularFS:使用单一元数据服务器的十亿级分布式文件系统。[PDF] [幻灯片]
- 负载均衡
[2015 SC] Mantle:Ceph文件系统的可编程元数据负载均衡器。[PDF]
[2021 SC] Lunule:CephFS的灵活且明智的元数据负载均衡器。[PDF]
容错
复制
- 主备复制
[1976 ICSE] 分布式资源弹性共享的原则。[PDF]
- 链式复制
[2004 OSDI] 链式复制:支持高吞吐量和可用性。[PDF]
- 基于共识的复制
[1998 TOCS] Paxos:兼职议会。[PDF]
[2001 ACM SIGACT News] Paxos Made Simple。[PDF]
[2014 ATC] Raft:寻找易于理解的共识算法。[PDF]
纠删码
[2012 ATC] Windows Azure Storage中的纠删码。[PDF] [幻灯片]
[2015 FAST] HDFS中两种纠删码的故事。[PDF] [幻灯片]
[2018 FAST] Clay码:将MDS码塑造成MSR码。[PDF] [幻灯片]
硬件优化
[2017 ATC] Octopus:支持RDMA的分布式持久内存文件系统。[PDF] [幻灯片]
[2020 OSDI] Assise:通过客户端本地NVM提高分布式文件系统的性能和可用性。[PDF] [幻灯片]
[2021 SOSP] LineFS:通过流水线并行高效卸载分布式文件系统到智能网卡。[PDF]
[2022 TPDS] Hydra:适用于持久内存和RDMA网络的去中心化文件系统。[PDF]
其他主题
数据减少
数据去重
[2001 SOSP] LBFS:低带宽网络文件系统。[PDF]
[2008 FAST] 避免Data Domain去重文件系统中的磁盘瓶颈。[PDF]
[2009 FAST] 稀疏索引:使用采样和局部性的大规模内联去重。[PDF] [幻灯片]
[2009 ATC] SAN集群文件系统中的去中心化去重。[PDF] [幻灯片]
[2010 FAST] I/O去重:利用内容相似性提高I/O性能。[PDF] [幻灯片]
[2011 ATC] 构建高性能去重系统。[PDF]
安全
[1993 CCS] CFS:Unix加密文件系统。[PDF]
[1999 SOSP] SFS:将密钥管理与文件系统安全分离。[PDF]
[2000 OSDI] 快速且安全的分布式只读文件系统。[PDF]
[2008 StorageSS] Tahoe – 最小权限文件系统。[PDF] [代码]
综述
[1989] 分布式文件系统综述。[PDF]
[1990] 分布式文件系统:概念与示例。[PDF] [2005 ATC] 日志文件系统的分析与演变。[PDF]
[2008 NCM] 分布式文件系统的分类与综述。[PDF]
[2015] 六种分布式文件系统的分析。[PDF]
[2016 ICCCA] 云存储中分布式文件系统的演变与分析:分析性综述。[PDF]
[2016 PIEEE] 数据重复删除的过去、现在和未来的全面研究。[PDF]
[2018 CSUR] 超大规模分布式存储系统的可扩展元数据管理技术 - 系统性综述。[PDF]
[2020 JCST] 高性能计算的临时文件系统。[PDF]
[2022 TOS] 分布式文件系统设计选择调查。[PDF]
[2022 CCF-THPC] AI存储技术综述。[PDF]
[2022 TPDS] 大规模分布式文件系统中元数据管理的最新技术 - 可扩展性、性能和可用性。[PDF]
[2022 TPDS] RDMA时代存储系统调查。[PDF]
[2024 JCRD] 从BERT到ChatGPT:大模型训练存储系统的挑战与技术发展。[PDF]
分析
[2000 ATC] 文件系统工作负载比较。[PDF]
[2007 FAST] 文件系统元数据五年研究。[PDF]
[2008 TOS] 文件系统和存储基准测试的九年研究。[PDF]
[2011 HotOS] 文件系统基准测试的基准测试:这就是火箭科学。[PDF]
[2011 FAST] 实用去重技术研究。[PDF] [幻灯片]
[2012 SC] 高性能计算存储系统中数据去重研究。[PDF]
[2013 FAST] Linux文件系统演变研究。[PDF] [幻灯片]
对象存储
[2003 MSST] 走向对象存储。[PDF] [幻灯片]
[2004 MSST] OBFS:面向对象存储设备的文件系统。[PDF] [幻灯片]
[2010 OSDI] 在干草堆中寻针:Facebook的照片存储。[PDF] [幻灯片]
[2020 SCFA] DAOS:面向存储级内存的可扩展高性能存储栈。[PDF]
新硬件
[2017 FAST] LightNVM:Linux开放通道SSD子系统。[PDF] [幻灯片]