EOS
描述
EOS是一个软件解决方案,旨在为CERN的LHC和非LHC用例提供快速可靠的多PB纯磁盘存储技术。其核心实现基于XRootD框架,提供功能丰富的远程访问协议。该存储系统运行在配置为JBOD的商用硬件磁盘上。它主要用C/C++编写,一些额外模块使用Python。文件可以通过原生XRootD协议、类POSIX的FUSE客户端或HTTP(S)和WebDav协议访问。
文档
最新的文档可以在以下网址找到: http://eos-docs.web.cern.ch/eos-docs/
你需要安装sphinx、doxygen和solar_theme(用于sphinx)来生成文档。关于获取sphinx的最新信息,请参考sphinx文档
## RHEL安装指令
# 请根据发行版选择相应的Python版本
sudo yum install python-sphinx doxygen
pip install solar_theme
## Ubuntu 20.04安装指令
sudo apt install python3-sphinx doxygen
pip3 install solar_theme
API的Doxygen文档位于./doc
目录中,可以使用以下命令生成:
# 在EOS git克隆目录内
cd doc
doxygen
....
# 文档生成在./html目录中,可以使用任何浏览器访问
# file:///eos_git_clone_dir/doc/html/index.html
安装和应用的Sphinx文档也位于./doc
目录中。
这是发布在https://eos-docs.web.cern.ch 上的内容。
可以使用以下命令生成文档:
cd doc
make html
# 文档可以在build/html/index.html中找到,可以在浏览器中查看
# make接口也可以输出类型。
项目目录结构
- archive - Python实现的存档工具
- auth_plugin - 授权委派插件
- authz - 授权功能
- client - GRPC客户端
- cmake - CMake相关脚本和函数
- common - 通用辅助文件和类
- console - 命令行客户端实现
- coverage - LCOV测试覆盖配置
- doc - Doxygen文档
- etc - 日志轮转文件
- fst - 存储服务器插件(FST)
- fuse - FUSE挂载客户端(eosd低级API)
- fusex - 新一代双向FUSE挂载客户端,具有高端功能
- man - 手册页
- mgm - 元数据命名空间和调度重定向器插件(MGM)
- misc - systemd、sysconfig和服务脚本
- mq - 消息队列服务器插件
- namespace - 命名空间实现
- nginx - EOS集成的Nginx相关补丁
- proto - 各组件的Protobuf定义
- srm - SRM BestMan实用脚本
- sync - 文件/目录同步程序
- test - 实例测试脚本和一些专用测试可执行文件
- unit_tests - 各个模块的单元测试
- utils - 实用工具和卸载脚本
- var - 用于创建日志、http和命名空间目录的占位目录
依赖项
建议按照文档中所述设置xrootd和eos-citrine-dependency存储库。
yum install -y git gcc cmake cmake3 readline readline-devel fuse fuse-devel \
leveldb leveldb-devel binutils-devel zlib zlib-devel zlib-static \
bzip2 bzip2-devel libattr libattr-devel libuuid libuuid-devel \
xfsprogs xfsprogs-devel sparsehash-devel e2fsprogs e2fsprogs-devel \
libmicrohttpd libmicrohttpd-devel openssl openssl-devel openssl-static \
eos-folly eos-rocksdb ncurses ncurses-devel ncurses-static protobuf3-devel \
cppunit-devel openldap-devel hiredis-devel zeromq-devel jsoncpp-devel \
xrootd xrootd-server-devel xrootd-client-devel xrootd-private-devel \
cppzmq-devel libcurl-devel libevent-devel jemalloc jemalloc-devel
构建
要构建EOS,你需要在系统上安装支持C++17特性的gcc (>=7)和CMake。如果你可以安装ninja,EOS支持使用ninja进行构建。
git submodule update --init --recursive
# 创建构建工作目录
mkdir build-with-ninja
cd build
# 运行CMake(如果只需要客户端二进制文件,请传递-DCLIENT=1)
cmake3 -GNinja ..
# 构建
ninja -j 4
否则,当然也可以使用标准的make构建
git submodule update --init --recursive
# 创建构建工作目录
mkdir build
cd build
# 运行CMake(如果只需要客户端二进制文件,请传递-DCLIENT=1)
cmake3 ..
# 构建
make -j 4
安装/卸载
默认行为是使用CMAKE_INSTALL_PREFIX=/usr
在系统级别安装EOS。
要更改默认安装前缀路径,请执行以下操作:
# 修改默认安装路径
cmake ../ -DCMAKE_INSTALL_PREFIX=/other_path
# 如果使用ninja
ninja install
# 卸载
ninja uninstall
# 安装 - 可能需要sudo权限
make install
# 卸载
make uninstall
源码/二进制RPM生成
要构建源码/二进制RPM,请运行:
# 创建源码tarball
make dist
# 创建源码RPM
make srpm
# 创建RPM
make rpm
错误报告
你可以将EOS错误报告发送至project-eos@cern.ch。 如果你有权限,更好的方式是使用在线错误跟踪系统Jira提交新的问题报告或搜索现有问题: https://its.cern.ch/jira/browse/EOS
EOS社区
对于讨论和帮助,还有EOS社区,汇集了用户、开发者和合作者,网址为https://eos-community.web.cern.ch/
许可证
EOS - CERN磁盘存储系统 版权所有 (C) 2022 CERN/瑞士 本程序是自由软件:你可以根据自由软件基金会发布的GNU通用公共许可证的条款重新分发或修改它,可以选择使用第3版许可证,或(由你选择)任何更新的版本。本程序的发布是希望它能有用,但不提供任何保证;甚至不提供对适销性或特定用途适用性的暗示保证。有关更多详细信息,请参阅GNU通用公共许可证。
你应该已经收到了一份GNU通用公共许可证的副本 与本程序一起。如果没有,请参见http://www.gnu.org/licenses/。