Logo
Project Icon

lanarky

基于FastAPI的LLM微服务开发框架

LanarkyLLM微服务FastAPI开源Github开源项目

Lanarky是基于FastAPI的Python Web框架,专为LLM微服务开发设计。它提供HTTP和WebSocket流式传输支持,适用于构建聊天机器人等实时LLM应用。Lanarky采用LLM优先设计,具有快速、现代化的特点,并且开源免费。该框架大幅简化了LLM微服务开发流程,让开发者能以少量代码高效构建功能强大的LLM应用,是构建智能对话系统的理想选择。

访问官网访问官网GithubGithub文档文档
介绍相关项目
llmperf - 开源工具评估大语言模型API性能
API测试GithubLLMLLMPerfRay开源项目性能评估
LLMPerf是一个评估大语言模型API性能的开源工具。它通过负载测试和正确性测试来衡量模型的响应延迟、生成吞吐量和输出准确性。该工具支持OpenAI、Anthropic、TogetherAI等主流LLM API,并可扩展适配新API。LLMPerf采用Ray框架处理并发请求,能够模拟实际负载环境。开发者和研究人员可利用LLMPerf便捷地评估和对比不同LLM API的性能表现。
apiflask - 基于Flask的Python Web API框架 简化开发提高效率
APIFlaskFlaskGithubOpenAPIPythonWeb API开源项目
APIFlask是一个轻量级Python Web API框架，建立在Flask和marshmallow-code项目基础上。该框架提供自动请求验证、响应格式化、OpenAPI规范生成和交互式API文档等功能，简化了Flask的API开发流程。APIFlask完全兼容Flask生态系统，支持各种ORM/ODM，并具有高度可定制性。通过APIFlask，开发人员可以更高效地构建稳定可靠的Web API。
chalice - Python无服务器应用开发框架 简化AWS Lambda部署
API GatewayAWS LambdaChaliceGithubPython开源项目无服务器应用
Chalice是一个Python无服务器应用开发框架，专为AWS Lambda设计。它提供命令行工具、装饰器API和自动IAM策略生成功能，支持快速创建REST API、定期任务、S3事件处理和SQS消息队列等。开发者可以通过简洁的代码和命令，在短时间内完成应用的部署和运行，显著提高了无服务器应用的开发效率。
litellm - 简化管理多个LLM API，兼容多种部署平台
AzureGithubHuggingfaceLLM APIsLiteLLMOpenAI开源项目
使用OpenAI格式调用各大LLM API，如Bedrock、Huggingface、VertexAI等，支持统一输出、重试机制和预算管理。LiteLLM提供易用的代理服务器、企业级服务和丰富的日志功能，确保性能稳定可靠。支持异步和流式响应，适配众多LLM平台，为开发者提供高效便捷的集成方案。
llama-cpp-python - Python绑定库为LLM集成提供高效接口
AI模型GithubOpenAI兼容Python绑定llama.cpp开源项目文本生成
llama-cpp-python为llama.cpp提供Python绑定，支持低级C API访问和高级Python API文本补全。该库兼容OpenAI、LangChain和LlamaIndex，支持CUDA、Metal等硬件加速，实现高效LLM推理。它还提供聊天补全和函数调用功能，适用于多种AI应用场景。
llm-examples - Streamlit构建LLM应用的入门示例集
ChatbotGitHub CodespacesGithubLLMOpenAI APIStreamlit开源项目
项目提供基于Streamlit构建LLM应用的入门示例，包括聊天机器人、文件问答和网络搜索对话等最小可行性样例。展示了OpenAI API集成和LangChain工具使用，帮助开发者快速熟悉LLM应用开发流程。代码开源，支持GitHub Codespaces快速启动，并提供详细的OpenAI API密钥设置指南，便于本地运行和部署。
LLM-Kit - 无需编程即可部署和定制多语言模型的工具整合包
GithubWebUIsuqin大模型开发部署开源项目语言模型
LLM-Kit项目通过WebUI整合了多种语言模型工具，实现了无需编程即可配置定制化模型和专业应用。项目支持Windows和Linux操作系统以及多个版本的Python，并提供多种训练和推理功能，包括角色扮演、AI智能体和数据库集成。项目还与众多知名模型和工具库兼容，开发者可以轻松上手并参与贡献，进一步优化和扩展项目功能。
LabelLLM - 开源数据标注平台 优化LLM开发流程
GithubLabelLLM人工智能多模态开源开源项目数据标注平台
LabelLLM是一个开源数据标注平台，旨在优化大型语言模型(LLM)开发中的数据标注流程。该平台提供灵活配置、多模态数据支持、全面任务管理和AI辅助标注功能。LabelLLM适合独立开发者和中小型研究团队使用，可显著提高数据标注效率，为LLM训练数据准备提供有力支持。
Liquid-Application-Framework - 多云原生微服务框架，简化开发实现跨平台应用
AvanadeGithubLiquid云原生微服务多云开源项目框架
Liquid Application Framework 是一个多云框架，旨在加速云原生微服务开发并避免代码依赖特定云供应商。通过抽象大部分样板代码，使开发者能专注于业务逻辑。支持Azure、AWS和Google Cloud等云服务，提供模板工具来快速生成项目结构，节省开发时间。2021年4月发布了重大的新版本，进行了架构重构。旧版本停止更新，但保留历史存档供参考及维护。
langflow - 多功能视觉框架，适用于创建多代理和RAG应用
GithubLangflowPython多代理应用开源开源项目热门部署
Langflow是一个开源的视觉框架，使用Python驱动，并完全可定制。这一框架支持构建多代理和富响应生成(RAG)应用，不特定于LLM和向量存储系统。通过提供高度交互的组件界面，用户可以轻松设计和部署其应用，而无需担心底层配置。无论是在Hugging Face Spaces还是Google Cloud Platform上，Langflow均可快速部署，并支持从JSON文件加载和运行应用。此外，Langflow还支持命令行界面(CLI)，为开发人员提供了额外的灵活性和控制力。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号