Project Icon

aiostream

基于生成器的异步流处理库

aiostream是一个Python异步流处理库,提供基于生成器的异步迭代操作。该库支持流操作符的管道化组合、重复执行和安全迭代,简化了异步数据处理流程。aiostream包含创建、转换、选择和组合等多种类型的操作符,可满足复杂的异步数据处理需求。作为异步编程工具,aiostream为开发者提供了灵活高效的异步迭代方案。

barfi - Python流式编程库,集成现有工作流程
BarfiFlow Based ProgrammingGithubJupyter-NotebookPythonStreamlit开源项目
Barfi是一款Python流式编程库,提供图形化编程接口,支持集成现有Python工作流程。用户可通过Barfi.Block构建模式,使用Barfi.ComputeEngine进行执行。每个Block都包含输入输出接口和用户定义的可执行函数,支持在Streamlit组件中使用,并计划增加Jupyter-Notebook小部件。未来还将添加特定领域的组件,弥补现有库的局限性。
fluvio - 轻量级分布式数据流系统 基于Rust和WebAssembly
FluvioGithubRustWebAssembly分布式系统开源项目数据流处理
Fluvio是基于Rust和WebAssembly的轻量级分布式数据流系统。该系统支持快速部署本地集群、创建主题、生产和消费数据。Fluvio具备自定义连接器和智能模块功能,可与多种系统集成并进行数据转换。此外,Fluvio提供多语言客户端API,并有云托管服务可用,适合构建各类数据流处理应用。
beam - 统一批处理和流处理的数据并行处理模型
Apache BeamGithub分布式计算开源项目批处理数据处理流处理
Apache Beam是一个统一的数据处理模型,用于定义批处理和流处理的并行数据处理管道。它提供多语言SDK构建管道,并可在Apache Flink、Spark等分布式处理后端上执行。Beam支持Java、Python和Go等语言,为各类开发者提供灵活的开发环境。该项目采用统一模型处理批处理和流处理数据,支持多种编程语言,并可在多个分布式处理平台上运行。它为不同类型的开发者提供了灵活的工具,简化了大规模数据处理的复杂性。
nfstream - Python开发的多功能网络流量分析框架
GithubNFStream加密应用识别开源项目深度包检测系统可见性网络流量分析
NFStream是一个Python开发的网络流量分析框架,支持多平台运行。它提供高效的数据结构,简化网络数据处理。主要功能包括加密应用识别、系统可见性和统计特征提取,还可通过插件扩展。该框架旨在统一网络数据分析,为研究提供可重现的分析能力。
pathway - 高性能Python数据处理框架 支持流处理和LLM应用
GithubLLM管道Pathway实时分析开源项目数据处理流处理
Pathway是一个高性能Python数据处理框架,支持流处理、实时分析和LLM应用。该框架提供简洁的Python API,可处理批量和流式数据,并集成多种机器学习库。Pathway采用Rust引擎,实现增量计算和并行处理。它具备丰富的数据连接器、状态转换功能和一致性保证,适用于多种复杂的数据处理场景。
bilibili-api - Python实现的哔哩哔哩全面API库
B站APIGithubPythonbilibili-api开源项目异步操作
bilibili-api是一个Python开发的哔哩哔哩API库,提供400多个接口,覆盖视频、音频、直播、动态等多个领域。该库支持异步操作和代理使用,全面兼容BV号,并提供AV号与BV号互转等实用功能。接口调用简单,命名清晰,注释完善,方便开发者快速实现哔哩哔哩相关功能和数据采集。
openai_pipe - 通过UNIX命令行简化OpenAI交互的实用工具
AI接口GPT3GithubOpenAIPipeRuby库命令行工具开源项目
OpenAIPipe是一个实用的库,通过简单高效的UNIX命令行工具与OpenAI进行交互。功能包括数学运算、数据格式转换和文本生成,无需深厚的编程知识,用户可以快速与OpenAI互动,提升工作效率。适用于开发者和普通用户,安装和设置方便快捷。提供详细文档指导使用。欢迎在GitHub提交bug报告和pull request,社区共建,开源项目,采用MIT许可。
openai-python - 使用openai-python库高效接入OpenAI API并享受异步处理与多功能助手
APIGithubOpenAIPython同步客户端开源项目异步客户端
OpenAI Python库为Python 3.7及以上版本应用提供直接访问OpenAI REST API的简便方法。该库配备了完整的请求参数和响应字段类型定义,支持同步以及基于httpx的异步操作,并直接从OpenAPI规范生成。还提供包括流式处理、批量上传、错误处理及请求重试等高级API功能的详细文档和迁移指导,是高级开发者的理想选择。
taskflow - 现代C++并行和异构任务编程库Taskflow
GPU加速GithubTaskflow任务图并行编程开源项目异步编程
Taskflow是一个C++任务编程库,专注于并行和异构计算。它通过简洁的API支持静态和动态任务图构建、条件执行和GPU加速。Taskflow提供可视化和分析工具,有助于程序优化。该库在性能和可扩展性方面表现优异,适用于各类并行计算场景,已在学术和工业项目中得到应用。
awesome-pipeline - 数据流水线工具集合 简化复杂工作流程
Github工作流开源项目数据处理框架管道自动化
Awesome Pipeline收录了多种数据流水线工具,包括框架、库和平台。这些工具可帮助构建和优化各类数据处理流程,从简单的线性工作流到分布式计算均有涉及。该项目为不同规模的数据处理需求提供了丰富的开源解决方案。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号