#API服务器
lms
lms 是一款命令行工具,专为 LM Studio 设计,提供模型管理和本地API服务。用户可以通过简单的命令进行安装、启动和管理模型,并支持GPU加速。无论是查看模型状态、加载和卸载模型,还是创建新项目,lms 都能轻松应对。工具还支持流式日志监控,确保用户对模型运行状态一目了然,是开发者和数据科学家的实用工具。
langcorn
LangCorn利用FastAPI实现高效的LangChain模型和管道部署与管理。主要功能包括便捷的身份验证、高性能请求处理、可扩展的语言处理及异步处理支持。通过pip安装并使用详尽的RESTful API文档,用户可以快速启动。适合高效、可靠的语言处理应用。
llava-cpp-server
LLaVA C++ Server是一个简便的API服务端,实现了llama.cpp的LLaVA功能。使用者可以通过下载模型并启动服务器来本地访问,支持自定义主机、端口和HTTP日志记录。API端点位于/llava,接受用户提示和图像数据,便于图像查询和处理。该项目已在macOS上测试,可通过简单构建步骤在其他平台运行。
raptor
Raptor是一个面向边缘计算的应用开发平台。它提供API服务器端点,支持应用状态查询、端点管理和WebAssembly部署。这个平台允许开发者创建、管理和部署边缘应用,有助于实现分布式计算。Raptor的架构设计适合构建现代化的边缘计算解决方案。
milvus-backup
Milvus-backup 是一款开源的 Milvus 数据备份恢复工具。它通过命令行和 API 服务器接口实现数据操作,在不影响 Milvus 集群性能的前提下执行备份和恢复任务。工具支持简易安装、灵活配置,并提供完整的 API 文档和使用示例,方便用户管理 Milvus 数据。