Project Icon

carbonapi

高性能Graphite API替代实现

carbonapi是Graphite API的高性能替代实现,支持Graphite主要功能子集,查询速度比graphite-web快5-10倍。它支持配置文件和环境变量配置,兼容多种后端存储协议如protobuf、msgpack和prometheus。carbonapi支持多种后端协议,包括carbonapi_v2_pb、carbonapi_v3_pb、msgpack等,兼容go-carbon、graphite-clickhouse等多种存储后端。它提供高效缓存和灵活部署,适用于大规模Graphite指标数据的快速查询和可视化。

carbonapi: 替代性的graphite API服务器

构建状态 GoDoc

我们使用 私有Maven、RPM、DEB、PyPi和RubyGem仓库 | packagecloud 来托管我们的软件包!

CarbonAPI支持大部分graphite函数[参见 [兼容性](https://github.com/go-graphite/carbonapi/blob/main/COMPATIBILITY.md]。 在我们的测试中,它比从graphite-web请求数据快5-10倍。

关于需求,请参见下面的需求部分。

安装

目前我们正在为CentOS 7、Rockylinux 8(应与RHEL 8兼容)、Debian 10、Debian 11、Debian 12(测试版)、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04构建软件包。安装指南可在packagecloud上获取(见下方链接)。

稳定版本:稳定版仓库

自动构建版本(master分支,可能不稳定):自动构建仓库

配置指南:docs/configuration.md示例配置

有多个针对不同后端的示例配置可用:prometheusgraphite-clickhousego-carbonvictoriametricsIRONdb

一般信息

Carbonapi可以通过环境变量或配置文件进行配置。示例请参见carbonapi.example.yaml

$ ./carbonapi -config /etc/carbonapi.yaml

如果设置了相应的配置选项,或者找到GRAPHITEHOST/GRAPHITEPORT环境变量,请求指标将被转储到graphite。

请求数据将存储在内存(默认)或memcache中。

配置说明见文档

通过环境变量进行配置

配置文件中的每个参数都映射到环境变量。例如:

concurency: 20
cache:
   # 缓存类型。有效值:"mem"、"memcache"、"null"
   type: "mem"
upstreams:
    backends:
        - "http://10.0.0.1:8080"
        - "http://10.0.0.2:8080"

该配置可以替换为

CARBONAPI_CONCURENCY=20
CARBONAPI_CACHE_TYPE=mem
CARBONAPI_UPSTREAMS_BACKENDS="http://10.0.0.1:8080 http://10.0.0.2:8080"

你只需注意日志记录:因为carbonapi支持记录器列表,环境变量只会替换第一个记录器。

如果你将变量LOGGER_FILE=stdout应用到配置:

logger:
    - logger: ""
      file: "stderr"
      level: "debug"
      encoding: "console"
      encodingTime: "iso8601"
      encodingDuration: "seconds"
    - logger: ""
      file: "carbonapi.log"
      level: "info"
      encoding: "json"

它将等同于配置:

logger:
    - logger: ""
      file: "stdout" # 只在这里改变
      level: "debug"
      encoding: "console"
      encodingTime: "iso8601"
      encodingDuration: "seconds"
    - logger: ""
      file: "carbonapi.log" # 未改变
      level: "info"
      encoding: "json"

支持的协议

  • auto - carbonapi将尽最大努力确定后端的协议。目前它只能识别carbonapi_v2_pbcarbonapi_v3_pb
  • carbonapi_v2_pbpbpb3protobuf - carbonapi <0.11风格协议。由go-carbongraphite-clickhouse版本小于等于v0.11.7支持
  • carbonapi_v3_pb - 新的carbonapi协议,支持传递元数据。由carbonzipper >=1.0.0.alpha.3、graphite-clickhouse新于v0.12.0和go-carbon新于v0.13.0支持
  • carbonapi_v3_grpc - 新carbonapi协议的grpc版本。目前没有已知的实现存在。
  • msgpack - 基于messagepack的协议,用于graphite-web 1.1和metrictank。它仍处于实验阶段,可能包含错误。
  • prometheus - prometheus HTTP API
  • victoriametrics - 专门用于VictoriaMetrics的prometheus后端版本。
  • irondb - 支持从CirconusIRONdb读取兼容Graphite的指标。

需求

Golang兼容性矩阵:

Golang版本最后支持的carbonapi版本
1.100.10.0.1
1.120.12.6
1.16 / 1.170.15.6
1.180.16.0-patch2
1.200.16.1

总的来说,carbonapi支持最后两个主要的go版本。例如,目前支持Go 1.22和1.21。

你可以在CI配置中验证当前正在测试的版本。

CarbonAPI使用基于protobuf的协议与底层存储通信。对于当前版本,兼容性列表如下:

  1. go-carbon >= 0.9.0(注意:你需要在go-carbon中启用carbonserver)。建议运行最新版本,当前支持carbonapi_v3_pb
  2. graphite-clickhouse 任何版本。这是一个不使用Whisper的替代存储方案。
  3. metrictank - 通过msgpack协议支持。支持尚未经过充分测试,可能存在bugs。请谨慎使用。不支持标签。
  4. carbonapi >= 0.5。注意:从carbonapi 1274333ebd1fe50946cb4d51561e3e0f1060bc79版本开始,单独的carbonzipper二进制文件已被弃用。
  5. carbonserver@master(注意:在这种情况下,你可能应该切换到go-carbon)。
  6. carbonzipper >= 0.50。请注意,carbonzipper的功能已合并到carbonapi中,不再需要运行单独的zipper。

支持的架构和操作系统

目前,构建仅在amd64(自动)和arm64(手动)上定期测试。但是,riscv64也会不时进行手动测试。

对于操作系统支持:Linux是唯一经过充分测试可用于生产环境的操作系统。理论上没有什么阻止carbonapi在***BSD上运行,但开发人员并未对其进行测试(但会接受并最终修复bugs)。在macOS**上运行仅支持测试目的,但未针对任何生产用例进行测试。其他平台未经测试且不受支持。

对于任何其他操作系统或架构,bugs不会被积极处理,但欢迎提交不破坏任何其他受支持平台的修复PR。

关于不同后端的一些注意事项

对于使用适当数据库的后端(例如graphite-clickhouse),你应该在配置文件中为该后端组设置maxBatchSize: 0

对于其他后端(例如go-carbon),你应该将其设置为一个合理的值。这会提高响应速度,但代价是增加内存消耗。

标签支持仅在graphite-clickhouse上进行了测试,但应该可以与任何其他数据库一起使用。

内部指标

内部指标在graphite子部分中配置,并按指定间隔发送到你指定的主机。这些指标包括:

指标名称描述
cache_items如果启用了缓存,此指标将包含缓存中存储的指标数量
cache_size配置的查询缓存大小(字节)
request_cache_hits从缓存中提供的请求数(针对/render端点的请求)
request_cache_misses不在缓存中的请求数(针对/render端点的请求)
request_cache_overhead_ns与缓存通信所花费的时间(纳秒)(用于评估缓存在延迟方面是否真正有帮助)(针对/render端点的请求)
find_requests/metrics/find端点处理的请求数
requests/render端点处理的请求数
requests_in_XX_to_XX请求响应时间百分位数
timeouts从后端获取数据时的超时次数
backend_cache_hits未从后端读取的请求数
backend_cache_misses在后端未找到的请求数

OSX构建注意事项

在MacOSX上使用cairo渲染构建carbonapi可能需要一些额外步骤。

安装cairo:

$ brew install Caskroom/cask/xquartz

$ brew install cairo --with-x11

致谢

该程序最初是为Booking.com开发的。经Booking.com批准,代码被泛化并作为开源项目发布在github上,作者对此表示感谢。

Booking.com的分支

2018年夏天,Booking.com从carbonapi的0.11版本分叉,并在他们自己的仓库中继续开发:github.com/bookingcom/carbonapi

许可证

本代码采用BSD-2许可证授权。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号