Project Icon

doris

MPP架构实时分析数据库 提供亿级数据秒级响应

Apache Doris是基于MPP架构的开源实时分析数据库,可在海量数据下实现亚秒级响应。它支持高并发点查询和复杂分析,适用于报表分析、即席查询、统一数据仓库和数据湖查询加速等场景。Doris采用列式存储引擎,结合多种存储模型和索引结构,通过向量化查询引擎和自适应执行技术提升性能。该系统兼容MySQL协议,使用标准SQL,便于部署和扩展。

gnocchi - 开源时间序列数据库 专为云平台大规模指标存储设计
GithubGnocchi云平台大规模存储开源项目数据聚合时间序列数据库
Gnocchi是一款开源时间序列数据库,专注于大规模时间序列数据的存储和索引。其独特之处在于采用预先聚合方法,在数据摄入阶段就完成聚合计算,大幅提升查询效率。Gnocchi设计用于现代云平台环境,具备高性能、可扩展性和容错能力,能够应对动态多租户场景。该系统不依赖复杂存储架构,可高效处理海量聚合数据,为时间序列指标提供快速的存储和检索服务。
sparkey - 高性能键值存储库 专为读密集型系统设计
GithubSparkey哈希表开源项目数据库读取优化键值存储
Sparkey是一款高性能键值存储库,专为读密集型系统优化。支持最大2^63 - 1字节数据,提供迭代、读写和删除功能。采用不可变哈希表,支持并发读取和块级压缩。Sparkey适用于高吞吐低延迟场景,尤其适合定期数据重建。提供C库和命令行工具,易于集成。其特点包括批量写入优化、跨平台存储文件、低开销和快速随机访问。
airy - 流式数据处理框架赋能 AI 模型训练与实时分析
Airy CoreGithub开源开源项目数据平台机器学习流处理
Airy Core 是一个开源的流式数据处理框架,为 AI 模型训练和实时分析提供支持。它集成了多种数据源,如 Facebook、WhatsApp 等社交平台,并支持自定义连接器。Airy Core 能够融合历史和实时数据流,简化数据摄取流程,并通过预构建连接器从 Kafka 直接消费数据。基于 Apache Kafka 构建的 Airy Core 可同时处理海量事件,实现数据的实时流式传输。这一框架不仅简化了部署过程,还缩短了开发周期,同时增强了基础设施和应用的稳定性。
dataline - 通过自然语言完成数据分析与可视化
AIDataLineGithub开源开源项目数据分析数据可视化
DataLine通过自然语言功能,让用户无需编写代码即可进行数据分析和可视化。该工具支持多种数据源连接,如Postgres、Snowflake、MySQL、Azure SQL Server、Microsoft SQL Server、Excel、SQLite、CSV等,并且十分注重隐私保护和安全性。DataLine的开放源码特性及多平台支持(Windows、Mac、Linux和Docker)使其成为技术人员和非技术人员的理想选择,特别适合企业使用。
petastorm - 开源数据访问库,支持单机或分布式训练和评估深度学习模型,直接从Apache Parquet格式数据集中读取数据
Apache ParquetGithubPetastorm分布式训练开源项目机器学习框架深度学习
Petastorm是一个开源数据访问库,支持单机或分布式训练和评估深度学习模型,直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架,也可用于纯Python代码。Petastorm支持多种数据压缩格式,提供方便的API用于数据生成和读取,并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集,是构建高效机器学习管道的理想工具。
orbitdb - 分布式点对点数据库系统
GithubIPFSOrbitDBP2P分布式数据库区块链开源项目
OrbitDB是一个分布式点对点数据库系统,使用IPFS存储数据并通过Libp2p Pubsub实现节点间自动同步。支持事件日志、文档数据库和键值存储等多种数据模型,适用于P2P应用、区块链项目和本地优先Web应用。基于Merkle-CRDTs技术,OrbitDB实现了无冲突的数据写入和合并,保证最终一致性,为分布式系统提供可靠的数据管理功能。
solr - 开源高性能搜索引擎
Apache SolrGithub企业级开源开源项目搜索平台高性能
Apache Solr是基于Lucene的开源搜索引擎,提供高效的全文检索和实时索引功能。支持分布式搜索、灵活配置、容器化部署和集群管理。Solr具备强大的搜索和分析能力,适用于企业、电商和数据分析等场景。其丰富的功能(如facet搜索)、卓越的性能和高扩展性可满足复杂的搜索需求。凭借易用的管理界面,Solr成为构建现代搜索应用的理想选择。
dataherald - 企业级自然语言到SQL查询解决方案
APIDataheraldGithubSQL引擎开源项目数据仓库自然语言
Dataherald 提供企业级自然语言到SQL的查询解决方案,允许用户直接用英语查询数据仓库,获取洞察,无需数据分析师。Dataherald 支持在SaaS应用中实现生产数据库的问答功能,并能基于专有数据创建 ChatGPT 插件。该项目包含核心引擎、应用API层、前端管理控制台及Slackbot组件,支持完整的端到端部署。用户可通过Docker轻松本地运行和设置各服务,适合多种需求的企业用户。
ustore - 模块化多模态事务数据库,AI和语义搜索的高性能解决方案
GithubUStore事务性人工智能多模态开源项目数据库
UStore是一款面向AI和语义搜索的高性能数据库系统。它支持多种存储引擎,可处理二进制对象、文档、图形和向量数据。UStore提供多语言驱动,集成Pandas和NetworkX API,并支持向量搜索。其模块化、多模态和事务性设计使其成为构建灵活数据存储解决方案的有力工具。
DataFrame - 高效C++数据分析库,支持多种统计和多线程功能
C++DataFrameGithub多线程开源项目数据分析算法
DataFrame是一个高效的C++数据分析库,提供类似于Python的Pandas和R的DataFrame功能。它支持数据切片、连接、分组操作,并具备统计、金融及机器学习算法。该库特别适合处理大数据集,拥有优异的性能和多线程支持。通过多种内置算法和可添加的自定义算法,用户可以灵活分析和处理数据。DataFrame还与Polars等工具进行了性能对比,展现了其在大数据处理上的显著优势。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号