#流处理

openai-scala-client

这个异步 Scala 客户端支持所有 OpenAI API 的端点和参数，包括流媒体和最新的聊天、视觉和语音功能。同时兼容多个 API 提供商，如 Azure OpenAI 和 Anthropic。库设计简单，依赖最少，适用于异步操作的应用场景，使用 OpenAIService 提供统一服务。

AutoDispose

AutoDispose是Uber开发的开源库，专门用于自动化管理RxJava流在Android应用中的生命周期。它通过简化内存管理流程，帮助开发者减少内存泄漏风险。该工具自动处理RxJava订阅的绑定和释放，使开发者能更专注于应用逻辑。AutoDispose采用Apache 2.0许可证，为Android开发社区提供了一种优化资源管理的方法。

inlong

Apache InLong 是一个高性能的海量数据集成框架，支持数据摄取、同步和订阅。该框架提供自动化和可靠的数据传输，支持批处理和流处理，适用于构建实时数据分析应用。InLong 已在实际生产环境中运行多年，每日处理数十万亿级数据，具备卓越的性能、可靠性和可扩展性。

kaskada

Kaskada是开源统一事件处理引擎，提供高级声明式查询语言，支持批量和实时事件分析。基于SQL优化设计，具备状态聚合、自动连接和事件窗口等功能，简化复杂时序数据处理。采用Rust语言和Apache Arrow技术，高效执行各类分析任务。

beam

Apache Beam是一个统一的数据处理模型，用于定义批处理和流处理的并行数据处理管道。它提供多语言SDK构建管道，并可在Apache Flink、Spark等分布式处理后端上执行。Beam支持Java、Python和Go等语言，为各类开发者提供灵活的开发环境。该项目采用统一模型处理批处理和流处理数据，支持多种编程语言，并可在多个分布式处理平台上运行。它为不同类型的开发者提供了灵活的工具，简化了大规模数据处理的复杂性。

bytewax

Bytewax是一个Python流处理框架，融合了主流流处理工具的优势和Python的易用性。该框架支持数据源连接、状态转换和下游系统写入，并可使用现有Python库。Bytewax适用于多种场景，从数据传输到在线机器学习，支持本地开发和分布式部署，可轻松扩展至多节点或多进程环境。

airy

Airy Core 是一个开源的流式数据处理框架，为 AI 模型训练和实时分析提供支持。它集成了多种数据源，如 Facebook、WhatsApp 等社交平台，并支持自定义连接器。Airy Core 能够融合历史和实时数据流，简化数据摄取流程，并通过预构建连接器从 Kafka 直接消费数据。基于 Apache Kafka 构建的 Airy Core 可同时处理海量事件，实现数据的实时流式传输。这一框架不仅简化了部署过程，还缩短了开发周期，同时增强了基础设施和应用的稳定性。

pathway

Pathway是一个高性能Python数据处理框架，支持流处理、实时分析和LLM应用。该框架提供简洁的Python API，可处理批量和流式数据，并集成多种机器学习库。Pathway采用Rust引擎，实现增量计算和并行处理。它具备丰富的数据连接器、状态转换功能和一致性保证，适用于多种复杂的数据处理场景。

flink-ml

Flink ML是Apache Flink旗下的开源机器学习库，旨在简化ML流水线的构建过程。它提供标准化的机器学习API和基础设施，支持算法实现、训练和推理流水线的构建。该库提供Python和Java接口，具备快速入门指南、项目构建工具和性能基准测试功能。Flink ML作为社区驱动的项目，欢迎开发者参与贡献。