Project Icon

aiostream

基于生成器的异步流处理库

aiostream是一个Python异步流处理库,提供基于生成器的异步迭代操作。该库支持流操作符的管道化组合、重复执行和安全迭代,简化了异步数据处理流程。aiostream包含创建、转换、选择和组合等多种类型的操作符,可满足复杂的异步数据处理需求。作为异步编程工具,aiostream为开发者提供了灵活高效的异步迭代方案。

bigflow - 简化GCP数据流水线开发的高效Python框架
BigFlowGCPGithubPython框架开源项目数据处理部署
BigFlow是一个专为Google Cloud Platform (GCP)设计的数据处理框架。该框架提供Docker化部署、CLI工具、自动化构建与部署、统一项目结构,并支持GCP主要数据处理技术。BigFlow优化了数据工程流程,支持Dataflow和BigQuery,适用于不同规模的数据处理项目。框架还包含项目启动器,帮助快速搭建工程环境。
airflow - 可编程的工作流自动化平台
Apache AirflowDAGGithubPython工作流开源项目调度
Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。
taskiq - Python异步分布式任务队列 支持同步和异步函数执行
GithubPythonTaskiq分布式任务队列开源项目异步编程消息代理
taskiq是一个Python异步分布式任务队列框架,支持同步和异步函数的执行。该项目集成了FastAPI和AioHTTP等主流异步框架,并采用PEP-612标准提供代码自动提示。taskiq兼容NATS、Redis、RabbitMQ和Kafka等多种消息代理,具备简洁的任务声明语法和灵活的工作进程配置。此外,taskiq还提供热重载功能,并支持在任务中复用异步Web应用的依赖项,大大提高了开发效率。
gevent - Python的高性能异步并发库
GithubPythongevent协程并发编程开源项目异步框架
gevent是一个基于greenlet的Python并发库,通过事件驱动方式实现同步代码的异步执行。它简化了网络和并发操作的处理,显著提升应用程序性能和可扩展性。该库特别适用于I/O密集型任务,如网络服务器、爬虫和分布式系统。gevent拥有完善的文档和活跃的社区支持,为开发者提供了丰富的资源。
Gemini-API - 异步Python封装库实现Google Gemini AI功能集成
AIGemini-APIGithubGooglePython开源项目异步
Gemini-API是一个基于Google Gemini网页应用的异步Python封装库。该项目通过逆向工程实现了持久化Cookie、ImageFx支持和扩展功能等特性,能够自动分类文本和图像输出。库采用asyncio进行异步处理,支持多轮对话、图像识别和生成等功能,为开发者提供了便捷的Gemini AI集成方案。其接口设计简洁,类似官方API,易于使用。
barfi - Python流式编程库,集成现有工作流程
BarfiFlow Based ProgrammingGithubJupyter-NotebookPythonStreamlit开源项目
Barfi是一款Python流式编程库,提供图形化编程接口,支持集成现有Python工作流程。用户可通过Barfi.Block构建模式,使用Barfi.ComputeEngine进行执行。每个Block都包含输入输出接口和用户定义的可执行函数,支持在Streamlit组件中使用,并计划增加Jupyter-Notebook小部件。未来还将添加特定领域的组件,弥补现有库的局限性。
fluvio - 轻量级分布式数据流系统 基于Rust和WebAssembly
FluvioGithubRustWebAssembly分布式系统开源项目数据流处理
Fluvio是基于Rust和WebAssembly的轻量级分布式数据流系统。该系统支持快速部署本地集群、创建主题、生产和消费数据。Fluvio具备自定义连接器和智能模块功能,可与多种系统集成并进行数据转换。此外,Fluvio提供多语言客户端API,并有云托管服务可用,适合构建各类数据流处理应用。
beam - 统一批处理和流处理的数据并行处理模型
Apache BeamGithub分布式计算开源项目批处理数据处理流处理
Apache Beam是一个统一的数据处理模型,用于定义批处理和流处理的并行数据处理管道。它提供多语言SDK构建管道,并可在Apache Flink、Spark等分布式处理后端上执行。Beam支持Java、Python和Go等语言,为各类开发者提供灵活的开发环境。该项目采用统一模型处理批处理和流处理数据,支持多种编程语言,并可在多个分布式处理平台上运行。它为不同类型的开发者提供了灵活的工具,简化了大规模数据处理的复杂性。
nfstream - Python开发的多功能网络流量分析框架
GithubNFStream加密应用识别开源项目深度包检测系统可见性网络流量分析
NFStream是一个Python开发的网络流量分析框架,支持多平台运行。它提供高效的数据结构,简化网络数据处理。主要功能包括加密应用识别、系统可见性和统计特征提取,还可通过插件扩展。该框架旨在统一网络数据分析,为研究提供可重现的分析能力。
asyncpg - 快速PostgreSQL异步客户端库 支持Python和asyncio
GithubPostgreSQLPythonasyncioasyncpg开源项目数据库客户端库
asyncpg是专为PostgreSQL和Python/asyncio设计的数据库接口库。它实现PostgreSQL服务器二进制协议,支持预处理语句、可滚动游标和部分结果集迭代。性能测试显示asyncpg平均比psycopg3快5倍,适用于PostgreSQL 9.5至16版本。支持复合类型、数组和自定义数据类型的自动编解码。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号