#键值存储

tikv - 开源分布式事务型键值数据库 支持ACID特性
TiKV分布式数据库键值存储事务处理Raft算法Github开源项目
TiKV是开源分布式事务型键值数据库,提供传统键值API和ACID事务API。采用Rust编写,使用Raft算法保证数据一致性。具备地理复制、水平扩展、一致性分布式事务等特性,可扩展至百TB级数据规模。TiKV可与TiDB配合,实现高可扩展性,同时支持关系型和NoSQL数据库设计模式。
HierarchicalKV - 分层键值存储技术助力大规模推荐系统优化
HierarchicalKVNVIDIA MerlinGPU存储推荐系统键值存储Github开源项目
HierarchicalKV是NVIDIA Merlin项目的组成部分,为推荐系统提供分层键值存储功能。该库可在GPU高带宽内存和主机内存中存储特征嵌入,支持大规模推荐模型训练。通过绕过CPU和实现表大小约束策略,HierarchicalKV提升了性能和内存利用率。这使得NVIDIA GPU更适合训练大型搜索、推荐和广告模型,简化了复杂推荐模型的构建、评估和部署过程。
async-storage - 跨平台异步持久化键值存储系统
React Native异步存储跨平台键值存储开源项目Github
async-storage是一个异步、非加密、持久化的键值存储系统,主要用于React Native应用。它支持Android、iOS、macOS、visionOS、Web和Windows等多个平台,提供简洁的API用于数据存储和检索。这个跨平台兼容的项目使开发者能够在不同设备和操作系统上实现本地数据持久化,有助于提升应用性能。
rocksdb - 高性能持久化键值存储引擎,为闪存和RAM优化
RocksDB键值存储数据库FacebookLSMGithub开源项目
RocksDB是一款高性能键值存储引擎,采用日志结构合并(LSM)数据库设计。它支持多线程压缩,能够灵活平衡写放大、读放大和空间放大因子,特别适合存储TB级数据。RocksDB在闪存存储上表现出色,是快速键值服务器的理想核心组件。由Facebook数据库工程团队开发维护,为开发者提供可靠的大规模数据存储解决方案。这个开源项目适用于需要高性能、可扩展性强的键值存储系统的各种应用场景,如数据库、缓存系统和分布式存储等。
py-caskdb - 基于Bitcask的教育型磁盘键值存储系统
CaskDB键值存储数据库Python日志结构Github开源项目
CaskDB是一个基于Bitcask论文实现的磁盘键值存储系统,使用Python开发。它专注于教育目的,无外部依赖,适合初学者学习数据库原理。CaskDB具有低延迟、高吞吐量、易备份等特点,支持存储超过RAM容量的数据。该项目提供简单API和完整测试套件,便于快速构建和学习持久化键值存储系统。
valkey - 快速开源键值存储系统 支持多种数据结构和插件
Valkey键值存储高性能数据结构服务器开源项目Github
Valkey是一个开源的高性能键值存储系统,支持多种数据结构和可扩展插件。它可在主流操作系统上运行,提供简单的编译安装方法,并支持TLS加密。Valkey适用于需要快速数据存取的各类应用场景。
sparkey - 高性能键值存储库 专为读密集型系统设计
Sparkey键值存储哈希表数据库读取优化Github开源项目
Sparkey是一款高性能键值存储库,专为读密集型系统优化。支持最大2^63 - 1字节数据,提供迭代、读写和删除功能。采用不可变哈希表,支持并发读取和块级压缩。Sparkey适用于高吞吐低延迟场景,尤其适合定期数据重建。提供C库和命令行工具,易于集成。其特点包括批量写入优化、跨平台存储文件、低开销和快速随机访问。
etcd - 分布式高可用键值存储系统
etcd分布式存储键值存储高可用性Raft算法Github开源项目
etcd是一个开源的分布式键值存储系统,专为存储分布式系统中的关键数据而设计。它采用Raft共识算法实现高可用性,提供简洁的gRPC API接口、自动TLS加密和快速的读写性能。etcd广泛应用于生产环境,特别适合与Kubernetes集成。系统自带etcdctl命令行工具,并通过严格的健壮性测试保证稳定可靠。
unstorage - 跨平台异步键值存储API
Unstorage键值存储异步API驱动程序跨平台Github开源项目
Unstorage提供跨平台的异步键值存储API,支持多驱动挂载、状态监控和元数据操作。项目特点包括轻量核心、JSON自动序列化、二进制数据支持和状态快照功能。内置多种驱动器和HTTP服务器,适用于浏览器、Node.js和Workers环境,满足现代应用的存储需求。
buntdb - Go语言实现的高性能内存键值存储
BuntDB数据库键值存储索引事务Github开源项目
BuntDB是一个Go语言实现的内存键值存储库。它具备数据持久化、ACID事务、并发控制等特性,支持自定义索引和地理空间数据。BuntDB适用于对速度要求高的项目,提供简单API、多种索引类型和数据过期等功能。作为嵌入式数据库,BuntDB为Go应用提供高性能的数据存储选择。
rudis - Rust开发的高性能Redis兼容键值存储系统
Rudis键值存储内存数据库RustRedis兼容Github开源项目
Rudis是Rust语言开发的高性能键值存储系统,复现Redis核心功能。特点包括跨平台兼容、支持多种数据结构、RDB和AOF持久化机制,以及Redis API兼容性。Rudis具有快速处理和即时响应能力,适合对性能、可靠性和安全性有高要求的应用场景。支持Docker部署,便于快速部署和使用。
accumulo - 可扩展的分布式排序键值存储系统
Apache Accumulo分布式存储大数据键值存储HadoopGithub开源项目
Apache Accumulo是一个开源的分布式排序键值存储系统,专为大规模数据存储和检索而设计。它基于Apache Hadoop的HDFS进行数据存储,并利用Apache Zookeeper实现分布式协调。Accumulo支持跨集群管理海量数据集,提供高性能、安全性和可扩展性。其独特的单元级安全机制和灵活的数据模型使其适用于各种复杂的大数据应用场景。
pebble - CockroachDB采用的高性能键值存储引擎
Pebble键值存储数据库性能优化CockroachDBGithub开源项目
Pebble是一款受LevelDB和RocksDB启发的高性能键值存储引擎,专为CockroachDB内部使用而优化。它采用RocksDB的文件格式,并实现了范围删除墓碑和表级布隆过滤器等扩展功能。Pebble通过改进反向迭代速度、引入并发提交管道和L0子层级等创新,显著提升了性能。自2020年5月在CockroachDB中投入使用以来,Pebble已证明其在生产环境中的稳定性和可靠性。
MMKV - 跨平台高性能键值存储框架
MMKV键值存储多平台高性能跨进程Github开源项目
MMKV是一款高效、轻量级的跨平台键值存储框架,在微信等应用中广泛使用。它支持Android、iOS/macOS、Windows、POSIX和HarmonyOS NEXT等多个平台。MMKV通过mmap实现内存与文件同步,并使用protobuf进行数据编解码,达到卓越性能。框架支持多进程并发访问,无需额外同步操作,所有修改即时保存。MMKV代码结构简洁,二进制大小仅约50K,是理想的轻量级存储方案。
redis-py - Redis官方Python客户端库实现高效数据存储与检索
RedisPython数据库键值存储缓存Github开源项目
redis-py是Redis官方Python客户端库,支持Redis 5.0至7.2版本。该库提供简洁API,实现连接池、管道操作和发布订阅等功能。开发者可通过redis-py在Python应用中与Redis交互,实现高效数据存储和检索。支持RESP3协议,可选用hiredis加速解析,适用于多种Redis使用场景。该库为开发者提供了灵活且可靠的Redis操作工具。
keyvi - 基于有限状态机的高性能键值存储系统
keyvi键值存储有限状态机PythonC++Github开源项目
keyvi是一个开源的键值存储系统,采用有限状态机数据结构,在优化存储空间和查询速度方面表现出色。其主要特性包括高空间效率、快速查询、共享内存支持和强大的可扩展性。keyvi还支持模糊字符串匹配和地理位置匹配功能。该系统可用作嵌入式存储或通过keyvi-server实现网络访问。keyvi提供C++和Python接口,适合处理静态数据集和构建近实时索引。