Logo

#分布式追踪

Text Generation Inference入门指南 - 高性能大语言模型推理服务

1 个月前
Cover of Text Generation Inference入门指南 - 高性能大语言模型推理服务

深入解析Hugging Face的Text Generation Inference工具包:为大型语言模型赋能

2 个月前
Cover of 深入解析Hugging Face的Text Generation Inference工具包:为大型语言模型赋能

相关项目

Project Cover
text-generation-inference
Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型,提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载,具备自定义提示生成和微调功能,兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。
Project Cover
opentelemetry-go
OpenTelemetry-Go是OpenTelemetry的Go语言实现,提供API用于测量软件性能和行为,并将数据发送至可观测性平台。该项目支持稳定的追踪和指标功能,以及测试阶段的日志功能。兼容多个操作系统和Go版本,OpenTelemetry-Go为应用程序提供全面的插桩和数据导出选项,有助于构建分布式系统监控方案。
Project Cover
skywalking
SkyWalking是一个开源的应用性能监控系统,针对微服务、云原生和容器化架构优化。该系统提供分布式追踪、服务拓扑分析和API仪表盘等功能,支持多种编程语言。SkyWalking采用eBPF技术,可处理海量遥测数据,并兼容主流遥测生态系统。其内置的BanyanDB为APM数据提供存储支持。此外,SkyWalking还具备灵活的告警和遥测管道,适用于各种企业级应用性能管理场景。
Project Cover
signoz
SigNoz是一款开源全栈可观测性平台,集成指标、分布式追踪和日志管理功能。它支持多种编程语言,提供统一界面进行应用监控和问题排查,具备复杂查询和灵活告警能力。作为DataDog和New Relic的开源替代方案,SigNoz为企业提供更好的数据隐私和安全控制。
Project Cover
opentelemetry-js
OpenTelemetry-js是一个开源JavaScript框架,用于收集应用程序的跟踪、指标和日志数据。它支持Node.js和Web浏览器环境,提供自动和手动检测功能。该项目包含稳定的API和SDK,以及实验性模块,为开发者提供灵活的应用性能监控解决方案。
Project Cover
skywalking-go
SkyWalking Go 是一款专为 Golang 项目设计的自动插桩代理工具。它提供原生的追踪、指标和日志功能,让开发者无需修改源代码即可监控和分析应用性能。该工具支持多种通信方式,与 Apache SkyWalking 生态系统完美集成,为 Golang 应用带来全方位的可观测性解决方案。
Project Cover
inspectit-ocelot
inspectIT Ocelot是一个基于OpenTelemetry和OpenCensus的Java代理工具,用于收集应用性能、追踪和行为数据。无需修改源代码,它可自动注入组件并与Prometheus、Zipkin等工具集成。该工具支持深度配置和热重载,能收集系统和JVM指标、HTTP请求响应时间,并实现跨JVM的分布式追踪。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号