#异步查询

manifest

Manifest是一个轻量级Python工具包，致力于简化基础模型的提示设计和迭代。该工具支持多种API模型，为生成、评分和嵌入操作提供统一接口，并通过缓存机制提升效率和可重现性。Manifest还具备异步查询、流式响应和模型池功能，为开发者提供了灵活使用各类大型语言模型的能力。