Project Icon

eos

CERN开发的多PB级高性能磁盘存储系统EOS

EOS是CERN开发的多PB级磁盘存储系统,为LHC和非LHC用例提供高性能数据存储解决方案。系统基于XRootD框架,支持XRootD、FUSE和HTTP(S)/WebDAV协议访问。EOS采用商用硬件和JBOD磁盘配置,主要使用C/C++开发,部分模块用Python实现。该系统可扩展性强,适用于大规模科学数据管理,为CERN的研究工作提供可靠的数据存储支持。

构建状态

EOS

描述

EOS是一个软件解决方案,旨在为CERN的LHC和非LHC用例提供快速可靠的多PB纯磁盘存储技术。其核心实现基于XRootD框架,提供功能丰富的远程访问协议。该存储系统运行在配置为JBOD的商用硬件磁盘上。它主要用C/C++编写,一些额外模块使用Python。文件可以通过原生XRootD协议、类POSIX的FUSE客户端或HTTP(S)和WebDav协议访问。

文档

最新的文档可以在以下网址找到: http://eos-docs.web.cern.ch/eos-docs/

你需要安装sphinx、doxygen和solar_theme(用于sphinx)来生成文档。关于获取sphinx的最新信息,请参考sphinx文档

## RHEL安装指令
# 请根据发行版选择相应的Python版本
sudo yum install python-sphinx doxygen
pip install solar_theme

## Ubuntu 20.04安装指令
sudo apt install python3-sphinx doxygen
pip3 install solar_theme

API的Doxygen文档位于./doc目录中,可以使用以下命令生成:

# 在EOS git克隆目录内
cd doc
doxygen
....
# 文档生成在./html目录中,可以使用任何浏览器访问
# file:///eos_git_clone_dir/doc/html/index.html

安装和应用的Sphinx文档也位于./doc目录中。 这是发布在https://eos-docs.web.cern.ch 上的内容。 可以使用以下命令生成文档:

cd doc
make html
# 文档可以在build/html/index.html中找到,可以在浏览器中查看
# make接口也可以输出类型。

项目目录结构

  • archive - Python实现的存档工具
  • auth_plugin - 授权委派插件
  • authz - 授权功能
  • client - GRPC客户端
  • cmake - CMake相关脚本和函数
  • common - 通用辅助文件和类
  • console - 命令行客户端实现
  • coverage - LCOV测试覆盖配置
  • doc - Doxygen文档
  • etc - 日志轮转文件
  • fst - 存储服务器插件(FST)
  • fuse - FUSE挂载客户端(eosd低级API)
  • fusex - 新一代双向FUSE挂载客户端,具有高端功能
  • man - 手册页
  • mgm - 元数据命名空间和调度重定向器插件(MGM)
  • misc - systemd、sysconfig和服务脚本
  • mq - 消息队列服务器插件
  • namespace - 命名空间实现
  • nginx - EOS集成的Nginx相关补丁
  • proto - 各组件的Protobuf定义
  • srm - SRM BestMan实用脚本
  • sync - 文件/目录同步程序
  • test - 实例测试脚本和一些专用测试可执行文件
  • unit_tests - 各个模块的单元测试
  • utils - 实用工具和卸载脚本
  • var - 用于创建日志、http和命名空间目录的占位目录

依赖项

建议按照文档中所述设置xrootd和eos-citrine-dependency存储库。

yum install -y git gcc cmake cmake3 readline readline-devel fuse fuse-devel \
leveldb leveldb-devel binutils-devel zlib zlib-devel zlib-static \
bzip2 bzip2-devel libattr libattr-devel libuuid libuuid-devel \
xfsprogs xfsprogs-devel sparsehash-devel e2fsprogs e2fsprogs-devel \
libmicrohttpd libmicrohttpd-devel openssl openssl-devel openssl-static \
eos-folly eos-rocksdb ncurses ncurses-devel ncurses-static protobuf3-devel \
cppunit-devel openldap-devel hiredis-devel zeromq-devel jsoncpp-devel \
xrootd xrootd-server-devel xrootd-client-devel xrootd-private-devel \
cppzmq-devel libcurl-devel libevent-devel jemalloc jemalloc-devel

构建

要构建EOS,你需要在系统上安装支持C++17特性gcc (>=7)CMake。如果你可以安装ninja,EOS支持使用ninja进行构建。

git submodule update --init --recursive
# 创建构建工作目录
mkdir build-with-ninja
cd build
# 运行CMake(如果只需要客户端二进制文件,请传递-DCLIENT=1)
cmake3 -GNinja ..
# 构建
ninja -j 4

否则,当然也可以使用标准的make构建

git submodule update --init --recursive
# 创建构建工作目录
mkdir build
cd build
# 运行CMake(如果只需要客户端二进制文件,请传递-DCLIENT=1)
cmake3 ..
# 构建
make -j 4

安装/卸载

默认行为是使用CMAKE_INSTALL_PREFIX=/usr在系统级别安装EOS。 要更改默认安装前缀路径,请执行以下操作:

# 修改默认安装路径
cmake ../ -DCMAKE_INSTALL_PREFIX=/other_path
# 如果使用ninja
ninja install
# 卸载
ninja uninstall

# 安装 - 可能需要sudo权限
make install
# 卸载
make uninstall

源码/二进制RPM生成

要构建源码/二进制RPM,请运行:

# 创建源码tarball
make dist
# 创建源码RPM
make srpm
# 创建RPM
make rpm

错误报告

你可以将EOS错误报告发送至project-eos@cern.ch。 如果你有权限,更好的方式是使用在线错误跟踪系统Jira提交新的问题报告或搜索现有问题: https://its.cern.ch/jira/browse/EOS

EOS社区

对于讨论和帮助,还有EOS社区,汇集了用户、开发者和合作者,网址为https://eos-community.web.cern.ch/

许可证

EOS - CERN磁盘存储系统 版权所有 (C) 2022 CERN/瑞士 本程序是自由软件:你可以根据自由软件基金会发布的GNU通用公共许可证的条款重新分发或修改它,可以选择使用第3版许可证,或(由你选择)任何更新的版本。本程序的发布是希望它能有用,但不提供任何保证;甚至不提供对适销性或特定用途适用性的暗示保证。有关更多详细信息,请参阅GNU通用公共许可证。

你应该已经收到了一份GNU通用公共许可证的副本 与本程序一起。如果没有,请参见http://www.gnu.org/licenses/

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号