#流式处理
chat-langchain
Chat LangChain是一款智能文档问答系统,专门针对LangChain文档进行设计。该系统采用LangChain、LangGraph和Next.js技术,实现了实时多用户交互功能。核心组件包括文档摄取和智能问答,通过向量存储和语言模型提供高效的信息检索和回答生成。项目还包含详细的概念指南、定制说明、LangSmith整合方案以及生产部署文档,方便开发者进行系统优化和个性化定制。
jsonrepair
jsonrepair是一个专业的JSON文档修复工具,能够自动处理多种常见JSON错误。该库支持流式处理大型文档,适用于浏览器和Node.js环境。jsonrepair提供简洁的API和命令行界面,方便开发者高效修复和验证JSON数据。其功能包括添加缺失元素、修复截断JSON、替换引号等,为JSON数据处理提供全面解决方案。
whisper_streaming
whisper_streaming是基于Whisper模型的实时语音转录和翻译系统。该项目采用本地协议和自适应延迟实现流式转录,在长篇未分段语音测试中实现高质量转录,延迟仅3.3秒。系统提供多种后端选择,支持GPU加速,适用于多语言会议实时转录。项目还提供灵活API,便于开发者集成到不同应用场景。
spider
Spider是一个开源的网络爬虫和索引工具,以其快速并发能力著称。它提供流式处理、去中心化、Headless Chrome渲染等功能,支持HTTP代理和定时任务。Spider具备智能模式、黑白名单管理、深度控制等特性,并支持动态AI提示脚本和CSS选择器抓取。这些功能使Spider成为适用于多种网络数据采集和处理场景的强大工具。
awesome-streaming
本项目汇集了实时数据流处理领域的优质资源,涵盖流处理框架、应用、库和工具等。包含Apache Flink、Spark Streaming等知名开源项目,以及IoT和机器学习等领域的专业解决方案。为开发者提供全面参考,便于选择合适的流处理技术。