#Anyscale
相关项目
ray-llm
RayLLM是一种简便的解决方案，用于部署和管理多种开源LLM，利用Ray Serve和vLLM的功能，包括自动扩展、多GPU和多节点支持。RayLLM支持连续批处理和量化，大幅提高吞吐量并降低推理成本。通过REST API轻松迁移和测试，并集成多种LLM后端，提供灵活高效的解决方案。
llm-applications
本教程详细展示如何从零基础开发和部署基于检索增强生成(RAG)的LLM应用程序，并使用Anyscale技术优化其性能。揭示如何综合开发、调整各关键组件、评估性能，并高效地进行服务上线，确保应用的卓越性能和极致的扩展性。
Anyscale
Anyscale是基于Ray开源项目的AI应用平台,提供从笔记本到数千GPU的分布式计算能力。支持LLM推理、微调、稳定扩散等AI工作负载,具备性能优化、成本控制和企业级安全功能。开发者可通过Anyscale快速构建和部署各类AI应用。