#低延迟
lorax
LoRAX框架支持在单个GPU上运行数千个微调模型，有效降低服务成本且不影响吞吐量和延迟。主要特点包括动态适配器加载、异构连续批处理、适配器交换调度和优化推理。LoRAX提供预构建的Docker镜像、Kubernetes Helm图表和Prometheus指标，并兼容OpenAI API，支持多轮聊天对话和私有适配器。免费商用，采用Apache 2.0许可。
infinity
Infinity是一个高吞吐量、低延迟的REST API，专为矢量嵌入服务，支持所有SentenceTransformers模型和框架。其内置如torch、optimum、CTranslate2等快速推理后端，兼容多种硬件加速器。API简单易用，基于FastAPI和Swagger，完全文档化，并与OpenAI嵌入规范对齐。Infinity支持动态批处理、多模态、INT8和FP8等功能，提供多种部署方式，包括Docker、Python API和云端服务。
venice
Venice是一个衍生数据存储平台，提供高吞吐量的批处理和流处理数据异步摄取，低延迟的在线读取，基于CRDT的区域间主动主动复制，多集群支持和多租户水平伸缩能力。适用于Feathr等特征存储，支持离线、近线和在线工作负载的多种写操作和读取API，具有分片感知和本地缓存功能的客户端模式，满足不同性能和成本需求。
ucx
UCX是一个屡获殊荣且经过优化的通信框架，适用于现代高带宽和低延迟网络。它提供的抽象通信原语可以充分利用最佳硬件资源和卸载能力，包括RDMA、TCP、GPU、共享内存和网络原子操作。UCX支持多种传输协议和CPU架构，如Infiniband、RoCE、CUDA及x86_64、Power8/9和Arm v8，为高性能计算领域提供稳定和高效的通信服务。
DeepSpeed-MII
DeepSpeed-MII是一款开源Python库，专注于高吞吐量、低延迟和成本效益的模型推理。支持的技术包括块状KV缓存、连续批处理、高性能CUDA内核等，适用于37000多个模型，如Llama-2、Mixtral和Phi-2。v0.2版本提升了性能和功能，吞吐量提高至2.5倍。适用于语言模型及图像生成任务。
RealtimeTTS
RealtimeTTS是一款低延迟、高质量的实时文本转语音库。支持OpenAI、Elevenlabs、Azure、Coqui、gTTS和系统TTS引擎，兼容多语言，适用于专业和关键场景。新增灵活定制安装选项，用户可以选择所需功能模块。通过回退机制确保持续运行，完美兼容大语言模型，实现即时文本流转换和清晰自然的语音输出。
libriscv
libriscv是一款轻量级RISC-V模拟沙箱，专注于低延迟和低内存占用。它具备超低延迟函数调用、高速解释执行和安全VM接口等特性，支持多平台嵌入和二进制翻译。libriscv适用于游戏脚本和安全沙箱等场景，提供CLI工具和GDB远程调试支持，可满足RISC-V程序开发和测试需求。该项目仅需C++17环境即可使用。
disruptor-rs
disruptor-rs是一个Rust实现的高性能跨线程通信库。支持多种生产者-消费者模式，提供批量事件处理功能。专注低延迟设计，基准测试优于Crossbeam。支持线程亲和性设置和处理器线程命名，适用于对延迟敏感的应用场景。
Spam Filter
DeSpam提供专业的垃圾邮件过滤API服务，采用零日志政策、军事级安全标准和AI技术，确保用户隐私和通信安全。该服务具有低延迟和高可用性，适用于个人和各规模企业。通过多种定价方案，DeSpam为不同需求提供灵活选择，快速准确识别垃圾内容，是可靠的通信安全解决方案。