Project Icon

datafusion

基于Apache Arrow的快速查询引擎 支持SQL和DataFrame API

Apache DataFusion是基于Rust和Apache Arrow的查询引擎,提供SQL和DataFrame API。支持CSV、Parquet、JSON和Avro格式,性能优异且可广泛定制。适用于构建特定领域查询引擎、数据库平台和数据管道,便于开发者快速起步并按需定制。其开源特性和活跃社区为项目开发提供了有力支持。

oasysdb - 高性能混合向量数据库,兼容SQLite和Postgres
GithubOasysDBRustSQL数据库开源项目数据完整性混合向量数据库
OasysDB是一种混合向量数据库,利用SQLite和Postgres作为存储引擎,提供快速的向量索引层,确保数据的高完整性。目前仅支持Rust项目,未来计划提供RPC API以支持更多语言。OasysDB集成了SQLx进行SQL数据库操作,实现了灵活的向量索引算法,适合高性能检索需求。项目仍在早期开发阶段,欢迎在GitHub上贡献代码或提出建议。更多信息请访问官方网站或加入Discord社区。
feathr - 企业级统一数据和AI工程开源平台
AI模型FeathrGithub开源项目数据处理特征工程平台
Feathr是LinkedIn开源的数据和AI工程平台,经过多年生产环境验证。该平台支持数据转换的定义、注册和共享,尤其适合AI建模场景。Feathr采用原生云集成和可扩展架构,提供丰富的转换API,能够处理大规模数据,并在离线批处理、流处理和在线环境中保持统一的数据转换接口。
file.d - 快速灵活的数据流处理工具 file.d
Githubfile.d开源项目插件系统数据管道日志收集高性能
file.d作为开源数据流处理工具,以其卓越的性能和灵活性脱颖而出。它不仅能高效处理文件数据,还支持多种输入输出方式。与同类工具相比,file.d处理速度提升10倍以上,同时确保内存使用可控和数据传输稳定。该工具完美适配现代云原生环境,配置简便,并与Prometheus和Vault无缝集成,特别适合大规模Kubernetes集群的日志管理需求。
Blaze SQL AI - 智能SQL查询生成与数据分析工具
AI工具AI数据分析SQL生成数据可视化数据库连接自然语言查询
Blaze SQL AI是一款智能数据分析工具,能将自然语言转换为SQL查询。它可连接多种SQL数据库,提供AI驱动的数据分析服务。用户可快速生成复杂查询,创建可视化图表和仪表板,显著提升数据分析效率。该工具支持多种数据库类型,并提供注重隐私的桌面版本。无论是技术专业人员还是普通用户,都能轻松使用这一智能数据分析解决方案。
crate - 分布式SQL数据库解决方案,实时处理和分析大数据
CrateDBGithubSQL分布式数据库实时数据分析开源项目横向扩展
CrateDB 是一种分布式 SQL 数据库,结合了 SQL 数据库的优点和 NoSQL 的扩展性与灵活性。其集群每秒能处理数万条记录,支持标准 SQL 查询,拥有快速的分布式查询引擎,非常适合容器化部署,可在 Kubernetes、AWS 和 Azure 环境中水平扩展。其主要功能包括动态表架构、实时全文搜索、地理空间数据支持以及自愈和自动平衡的高可用集群。
awesome-streaming - 全面汇总实时数据流处理框架与资源
Github分布式系统实时处理开源项目数据流流式处理
本项目汇集了实时数据流处理领域的优质资源,涵盖流处理框架、应用、库和工具等。包含Apache Flink、Spark Streaming等知名开源项目,以及IoT和机器学习等领域的专业解决方案。为开发者提供全面参考,便于选择合适的流处理技术。
datavines - 多功能数据质量管理平台
DatavinesGithub多种执行模式开源项目插件设计数据目录数据质量
Datavines是一个开源的数据质量管理平台,提供数据目录、质量检查和数据剖析功能。它支持27种内置检查规则,4种检查类型,并采用插件化设计以扩展数据源和执行引擎。Datavines支持多种数据源,包括MySQL、Impala、StarRocks、Doris等,能满足不同企业的数据管理需求。该平台易于部署,支持高可用性,是企业DataOps的重要工具。
FasterTransformer4CodeFuse - 优化的CodeFuse模型推理引擎 高性能支持
CodeFuseFasterTransformerGithub开源项目性能优化模型推理量化
FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载,同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理,并提供了详细的性能数据。相比原始FasterTransformer,该项目更适合需要高效推理CodeFuse模型的开发者和研究人员,能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队,这是一个值得考虑的开源选择。
doris - MPP架构实时分析数据库 提供亿级数据秒级响应
Apache DorisGithubMPP架构SQL查询分析性能开源项目数据库
Apache Doris是基于MPP架构的开源实时分析数据库,可在海量数据下实现亚秒级响应。它支持高并发点查询和复杂分析,适用于报表分析、即席查询、统一数据仓库和数据湖查询加速等场景。Doris采用列式存储引擎,结合多种存储模型和索引结构,通过向量化查询引擎和自适应执行技术提升性能。该系统兼容MySQL协议,使用标准SQL,便于部署和扩展。
OpenHuFu - 开源数据联邦系统实现安全高效查询处理
GithubOpenHuFu多方安全计算安全查询开源项目数据联邦系统空间数据
OpenHuFu是一个开源数据联邦系统,旨在解决数据孤岛问题,实现跨数据所有者的安全高效查询处理。系统采用安全多方计算技术,包括秘密共享、混淆电路和不经意传输,为研究人员提供灵活平台,用于快速实现和评估联邦查询处理算法。OpenHuFu支持关系查询和空间查询等多种类型,并提供通信成本和运行时间等评估指标。该系统为数据联邦和联邦学习研究提供了重要工具。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号