nos
nos是一个开源模块,专门优化Kubernetes上的AI工作负载运行。它通过动态GPU分区和弹性资源配额管理,提高GPU利用率,降低基础设施成本,并增强工作负载性能。该模块支持GPU资源的精细化分配,提高资源利用效率,并允许命名空间之间灵活借用资源配额,最大化提升集群运行能力。
LakeSail
LakeSail是一个统一批处理、流处理和AI工作负载的开源框架。基于Rust开发,相比Spark,它提供4倍处理速度和94%硬件成本节省,无需代码修改即可迁移。该平台具有高互操作性和可观察性,为开发者提供高性能、安全和并发的编程环境,适合大数据和AI应用开发。