#数据压缩
compression - 帮助构建端到端优化的数据压缩机器学习模型的一套数据压缩工具
TensorFlow Compression数据压缩机器学习库模型Github开源项目
TensorFlow Compression 提供一套数据压缩工具,帮助构建端到端优化的数据压缩机器学习模型。该库支持高效存储数据表示,减少性能损失。主要功能包括范围编码、熵模型类以及用于数据压缩的额外TensorFlow功能和Keras层。2024年2月1日起,该库进入维护模式,适用于TensorFlow 2.14及以上版本。用户可以通过教程和论文链接深入了解有损数据压缩及模型优化方法。
pg_timeseries - PostgreSQL时序数据管理与分析扩展
时间序列APIPostgreSQL数据分区数据压缩数据分析Github开源项目
pg_timeseries是PostgreSQL的时序数据管理扩展,提供自动分区、压缩和保留策略等功能。它简化了时序表的创建和维护,并包含分析辅助函数以简化复杂查询。该扩展依赖columnar、pg_cron和pg_partman,支持Docker快速部署。pg_timeseries为时序数据提供了全面的管理和分析解决方案。
stanchion - SQLite列式存储扩展 提升大规模数据分析性能
StanchionSQLite列式存储数据压缩虚拟表Github开源项目
Stanchion是一个为SQLite引入列式存储能力的扩展。通过仅扫描查询所需列数据和采用压缩技术,该扩展显著提升了分析查询和宽表的性能。Stanchion适用于处理指标、日志、事件和时间序列等数据,以及执行大规模分析查询。它能在现有SQLite部署中实现列式存储和数据仓库的优势,无需改变现有技术架构。
VictoriaMetrics - 高效灵活的时序数据管理平台
VictoriaMetrics时间序列数据监控系统性能优化数据压缩Github开源项目
VictoriaMetrics是一款高性能的时序数据管理平台,专为大规模数据监控而设计。它支持多种协议,提供长期存储、流式聚合和全局查询等功能。该系统部署简单,资源占用低,可满足不同规模企业的需求。与传统解决方案相比,VictoriaMetrics在内存占用和数据压缩方面表现出色,能够处理数百万个唯一时间序列。多家知名企业如Grammarly和Wix已成功应用该系统,显著降低了监控成本。企业版还提供异常检测等增强功能。
相关文章