#数据存储

Adeus是开源的AI可穿戴设备，能捕捉并转录用户在现实生活中的语音数据，并将其存储在用户自有服务器上。通过移动或网页应用，用户可与Adeus互动，并获得个性化的AI体验。设备包含移动/网页应用、硬件设备和Supabase后端三部分，确保用户数据自主掌控。

Valet是一个开源的iOS、tvOS、watchOS和macOS密钥链数据存储库。它提供简单API让开发者安全存储和检索数据,无需深入了解密钥链原理。支持Face ID、Touch ID等多种访问控制,可在应用和设备间共享数据。具备线程安全性和数据迁移功能,适用于各类应用的敏感信息安全存储。

Store5是一个多平台数据存储库，支持流式数据处理和CRUD操作。它通过SourceOfTruth、Fetcher等组件实现灵活数据管理，适用于本地和网络资源。Store5支持Android及多平台开发(Common、JVM、Native、JS)，简化数据处理流程，提升应用性能。

filesystem_spec为Python文件系统定义了统一的接口规范，支持多种存储后端如s3fs和gcsfs。它简化了跨平台数据操作，并提供键值存储和FUSE挂载等高级功能。项目可通过pip或conda安装，具有完善的文档和CI支持。filesystem_spec为开发者提供了一个一致、灵活的文件系统抽象层，适用于各种数据访问场景。

Boutique是一个轻量级Swift数据持久化框架，支持SwiftUI、UIKit和AppKit。它采用内存和磁盘双层缓存架构，通过简洁的API实现实时更新和离线存储。框架提供@Stored等属性包装器，简化了状态管理。开发者无需关注数据库细节，即可构建具备实时更新和离线功能的应用。

TinyBase 是一个轻量级反应式数据存储库，专为本地优先应用设计。它支持键值和表格数据模型，通过细粒度监听器和 React 钩子实现高效 UI 更新。TinyBase 内置 CRDT 同步功能，可跨设备同步数据。体积小巧（5.3kB-12.7kB），无依赖，测试覆盖率 100%，适用于离线应用。此外，TinyBase 提供数据检查器和模式验证等功能，是构建现代本地优先应用的理想工具。

sqlite-net 是一个开源的轻量级 .NET SQLite 数据访问库，适用于 .NET、.NET Core 和 Mono 应用。该库提供简单的 CRUD 操作和查询方法，支持同步和异步 API，通过反射机制实现 ORM 功能。sqlite-net 兼容多种 .NET 平台，如 Xamarin、UWP 和 Azure，为开发者提供高效的数据库访问解决方案。

QuickData Cloud作为新兴的云存储和API服务平台，专注于简化数据管理流程。平台提供单一API端点，支持文本、JSON和数据库的存储和检索。其设计特别考虑了无代码开发者的需求，提供直观的界面和强大的功能。QuickData Cloud正在开发AI功能，旨在为用户提供更深入的数据分析能力。平台强调数据安全和易用性，适合个人用户和团队协作，致力于提升各行业的数据管理效率。

PyStore是专为Pandas时间序列数据设计的快速存储库。它利用Pandas、Numpy、Dask和Parquet技术，实现高效的数据存储和查询。支持本地文件系统，每秒可处理数百万行数据。PyStore提供集合管理、快照和元数据查询功能，适合大规模时间序列数据的存储和分析。

Rememo是一款新兴的智能语音备忘录工具，提供语音录制、转录和总结功能。用户数据可长期保存且随时删除，每日备份保留两周。采用OpenAI技术处理语音但不用于模型训练，注重数据隐私和安全。该工具旨在提供高效、安全的语音信息记录和整理解决方案。

Boost是一个开源的Filecoin数据管理工具，专注于优化存储提供商的数据存储和检索流程。它集成了图形界面、Docker部署支持以及监控追踪功能，简化了存储交易和文件管理操作。作为社区驱动的项目，Boost致力于提升Filecoin网络的存储效率，为生态系统的持续发展贡献力量。

APScheduler是一个功能丰富的Python任务调度系统，支持多种调度方式和存储后端。它可用于小型单进程应用，也适用于跨多节点的大规模部署。APScheduler提供同步和异步API，能与Web应用集成，并支持任务持久化和分布式运行。它的灵活性和可扩展性使其成为构建可靠任务管理系统的理想选择。

Whisper是Graphite项目的核心组件，专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化，提供快速可靠的数字数据存储，支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本，简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分，Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

本资源列表全面覆盖数据工程领域,包括数据库、数据摄取、文件系统和序列化格式等核心技术。汇集Kafka、Hadoop、Spark等主流开源项目和创新解决方案,为数据工程实践提供系统性参考。内容涵盖从基础设施到前沿技术,是数据工程师深入学习和技术选型的重要指南。

Foldcomp是一个开源的蛋白质结构压缩和索引工具。通过编码主链和侧链的扭转角，它将每个氨基酸残基压缩至13字节，大幅降低存储需求。Foldcomp支持单链PDB文件压缩，提供命令行和Python API接口，可进行压缩、解压缩、序列提取等操作。此外，Foldcomp还提供了多个预构建的大规模蛋白质结构数据库，如AlphaFoldDB和ESMAtlas，便于研究人员使用。

RedisTimeSeries是Redis官方开发的时间序列数据库模块，支持高吞吐量数据插入和低延迟读取。该模块提供时间范围查询、聚合分析、可配置数据保留策略、自动数据压缩和二级索引等功能。适用于处理传感器数据、股票价格、流量统计等时间序列信息。RedisTimeSeries可与Prometheus和Grafana等工具集成，是一个全面的时间序列数据处理解决方案。

JavaKeeper项目提供全面的Java技术学习资源，内容涉及Java核心、JVM、并发编程、Spring生态系统、微服务架构、数据库技术、缓存系统和消息队列等。通过GitBook形式呈现，系统化地整理Java开发知识，为开发者提供技术指南和面试准备材料。项目包含大量技术文章和电子书资源，并设有技术交流平台，致力于促进Java开发者的技能提升。

SiriDB是一款高度可扩展的时序数据库，具有稳定性高、速度快的特点。支持Ubuntu包、源码编译和Docker容器等多种安装方式。提供多语言连接器、HTTP API和命令行工具，便于数据操作和查询。集成Grafana，拥有功能强大的查询语言，适合各类时序数据存储和分析需求。

Warp10是一个专为物联网设计的开源平台，集成时间序列数据库和分析环境。它能高效收集、存储和分析传感器数据，提升历史数据存储能力，支持实时数据库扩展，并强化现有分析工具。Warp10简化了KPI和数据可视化过程，便于业务应用与系统数据交互。平台提供Standalone、Standalone+和Distributed三个版本，满足不同规模的部署需求。平台整合了先进的存储引擎、历史文件管理、分析引擎和动态仪表盘功能。它支持高吞吐量数据摄取，提供WarpScript编程语言和超过1300个专用函数，助力高效数据分析。Warp10可无缝集成现有数据湖基础设施，为时间序列数据提供定制化存储和分析解决方案。

TinyFlux是专为Python项目设计的轻量级时序数据库，无外部依赖。它采用CSV格式存储数据，提供简洁API，适用于小型分析工作流和物联网数据存储。该项目具有100%测试覆盖率，下载量超60,000次，目前无未解决问题。TinyFlux优化了开发者体验，是处理时序数据的高效选择。

Nextcloud是开源自托管云存储平台,提供数据存储和分享功能。支持Apache和FPM部署,可对接外部数据库和存储。通过环境变量实现自动配置,简化部署。具备命令行界面,支持Redis缓存和SMTP邮件服务,满足企业应用需求。

Parseable是一款云原生日志分析平台，专注提升性能和资源效率。该平台采用Rust语言开发，相比传统系统能显著降低CPU和内存消耗。Parseable提供单一二进制文件部署方式，支持Apache Arrow和Parquet格式存储，让用户完全掌控数据。此外，Parseable还配备多项企业级功能，包括高可用性、集群模式、OpenTelemetry集成、告警机制和基于角色的访问控制等。该平台特别适合需要安全合规存储和实时分析日志数据的组织使用。

NebulaGraph是一个开源分布式图数据库系统，专为处理大规模图数据而设计。它采用存储计算分离架构，支持水平扩展，通过RAFT协议确保数据一致性。系统提供兼容OpenCypher的查询语言，可用于社交网络、推荐系统、知识图谱等领域。NebulaGraph具有毫秒级查询性能、灵活的扩展性和强大的图分析功能，能够满足企业在图数据管理和分析方面的需求。

Elasticsearch是一款开源的分布式搜索和分析引擎，同时也是可扩展的数据存储和向量数据库。它专为生产环境优化，提供卓越的速度和相关性。作为Elastic Stack的核心组件，Elasticsearch支持近实时处理海量数据、执行向量搜索以及与生成式AI应用集成。它广泛应用于全文搜索、日志分析、指标监控、应用性能管理和安全日志等领域，为组织提供强大的数据处理和分析能力。