Project Icon

whisper

Graphite项目的高效时间序列数据存储方案

Whisper是Graphite项目的核心组件,专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化,提供快速可靠的数字数据存储,支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本,简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分,Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

Whisper

Codacy 徽章 构建状态 FOSSA 状态 codecov

概述

Whisper 是 Graphite 项目中的三个组件之一:

  1. Graphite-Web,一个基于 Django 的 Web 应用程序,用于渲染图表和仪表板
  2. Carbon 指标处理守护进程
  3. Whisper 时间序列数据库库

Graphite 组件

Whisper 是一个固定大小的数据库,在设计和用途上类似于 RRD(轮询数据库)。它提供了快速、可靠的数字数据随时间存储。Whisper 允许最近数据的高分辨率(每个点的秒数)逐渐降低为长期保留历史数据的低分辨率。

安装、配置和使用

请参阅 readthedocs 上的说明。

Whisper 脚本

rrd2whisper.py

将 rrd 文件转换为 whisper (.wsp) 文件。

用法:rrd2whisper.py rrd_路径

选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
                        在输出文件中使用的 xFilesFactor。默认为输入 RRD 的 xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        从输入获取的合并函数和设置在输出上的聚合方法。可选项:average、
                        last、max、min、avg_zero、absmax、absmin
  --destinationPath=DESTINATIONPATH
                        创建的 whisper 文件的放置路径。默认为 RRD 文件的源路径。

whisper-create.py

创建新的 whisper 数据库文件。

用法:whisper-create.py 路径 每点时间:存储时间 [每点时间:存储时间]*
      whisper-create.py --estimate 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间


选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
  --aggregationMethod=AGGREGATIONMETHOD
                        聚合值时使用的函数(average、sum、last、max、min、avg_zero、absmax、absmin)
  --overwrite
  --estimate            不创建 whisper 文件,仅根据归档定义估算存储需求

whisper-dump.py

将整个 whisper 文件内容导出到标准输出。

用法:whisper-dump.py 路径

选项:
  -h, --help            显示此帮助消息并退出
  --pretty              显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                        与 --pretty 一起使用的时间格式;参见 time.strftime()
  -r, --raw             仅以与 whisper-update 相同的格式导出值(UTC 时间戳)

whisper-fetch.py

将 whisper 文件中存储的所有指标获取到标准输出。

用法:whisper-fetch.py [选项] 路径

选项:
  -h, --help     显示此帮助消息并退出
  --from=_FROM   请求区间开始的 Unix 纪元时间(默认:24小时前)
  --until=UNTIL  请求区间结束的 Unix 纪元时间(默认:现在)
  --json         以 JSON 格式输出结果
  --pretty       显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                 与 --pretty 一起使用的时间格式;参见 time.strftime()
  --drop=DROP    指定 'nulls' 删除所有空值。指定 'zeroes' 删除所有零值。
                 指定 'empty' 删除空值和零值。

whisper-info.py

将 whisper 文件的元数据导出到标准输出。

用法:whisper-info.py [选项] 路径 [字段]
选项:
  -h, --help  显示此帮助信息并退出
  --json      以JSON格式输出结果

whisper-merge.py
----------------
合并两个现有的whisper文件。

用法:whisper-merge.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-fill.py
----------------
将src中的数据复制到dst(如果缺失)。
与whisper-merge不同,不覆盖目标文件中已存在的数据,
而仅添加缺失的数据(例如,目标文件中的空白处)。
由于不覆盖任何值,因此不会丢失数据或精度。
此外,与whisper-merge不同,尝试使用精度最高的存档
提供数据,而不是使用保留时间最长的存档。

用法:whisper-fill.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-resize.py
-----------------
更改现有whisper文件的保留率。

用法:whisper-resize.py 路径 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间

选项:
  -h, --help            显示此帮助信息并退出
  --xFilesFactor=XFILESFACTOR
                        更改xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        更改聚合函数(平均、总和、最后、最大、最小、零均值、绝对最大、绝对最小)
  --force               执行破坏性更改
  --newfile=NEWFILE     创建新的数据库文件而不删除现有文件
  --nobackup            成功执行后删除.bak文件
  --aggregate           尝试聚合值以更好地适应新的存档。请注意,这会使过程变慢并使用更多内存。

whisper-set-aggregation-method.py
---------------------------------
更改现有whisper文件的聚合方法。

用法:whisper-set-aggregation-method.py 路径 <average|sum|last|max|min|avg_zero|absmax|absmin>

选项:
  -h, --help  显示此帮助信息并退出

whisper-update.py
-----------------
用一个或多个值更新whisper文件,必须提供带有值的时间戳。

用法:whisper-update.py [选项] 路径 时间戳:值 [时间戳:值]*

选项:
  -h, --help  显示此帮助信息并退出

whisper-diff.py
---------------
检查whisper文件之间的差异。在合并前使用完整性检查。

用法:whisper-diff.py [选项] 路径_a 路径_b

选项:
  -h, --help      显示此帮助信息并退出
  --summary       显示差异摘要
  --ignore-empty  如果任一值未定义,则跳过比较
  --columns       以简单列形式打印输出
  --no-headers    不打印列标题
  --until=UNTIL   请求间隔结束的Unix纪元时间(默认:现在)
  --json          以JSON格式输出结果

## 许可证

Whisper根据Apache许可证2.0版获得许可。有关详细信息,请参阅LICENSE文件。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号