Logo
Project Icon

PicoMLXServer

简化MLX AI模型管理的工具

Pico MLX ServerMLXOpenAI APIHuggingFaceAI助手Github开源项目

Pico MLX Server提供简单易用的图形界面，便于管理MLX AI模型。通过菜单栏可以迅速启动和停止服务器，用户还可以从HuggingFace下载MLX模型，安装Python环境和必要依赖，并在多个端口同时运行多个服务器。此外，Pico MLX Server兼容OpenAI API，支持现有的AI聊天客户端。适用于macOS 14.0及以上版本。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
lms - 简化模型管理和本地API服务的命令行工具
API服务器GithubLM Studiolms命令行工具开源项目模型管理
lms 是一款命令行工具，专为 LM Studio 设计，提供模型管理和本地API服务。用户可以通过简单的命令进行安装、启动和管理模型，并支持GPU加速。无论是查看模型状态、加载和卸载模型，还是创建新项目，lms 都能轻松应对。工具还支持流式日志监控，确保用户对模型运行状态一目了然，是开发者和数据科学家的实用工具。
HyperMink - 简化AI推理部署的开源服务器平台
AIAI工具HyperMinkSystem-1开源推理服务器
HyperMink是一个开源AI推理服务器平台，核心服务Inferenceable基于Node.js构建，简单易用且适合生产环境。平台整合了llama.cpp和llamafile的C/C++核心，提供强大的AI推理能力。除支持本地部署外，HyperMink还推出了便携式System-1 USB产品。该平台支持网页阅读和自然语言处理等功能，为开发者和企业提供灵活高效的AI应用开发解决方案。HyperMink适用于各种AI应用场景，如智能客服、内容生成和数据分析，显著提高了AI部署效率和可访问性。
mlx-ui - Streamlit构建的简易前端界面
GithubMLX ChatStreamlit安装开源项目更新运行
通过Streamlit构建的前端界面，用于运行MLX mlx-lm项目。提供便捷的安装和更新方法，并支持自定义模型文件集成。
simpleAI - 自托管的AI API替代方案，涵盖文本、聊天、编辑和嵌入功能
GithubPythonSimpleAIgRPC开源开源项目机器学习模型
SimpleAI项目提供自托管的AI API替代方案，可快速试验文本补全、聊天、编辑和嵌入等主要端点。支持多种响应模式，通过gRPC协议实现多语言的模型推理分离，降低对特定API提供商的依赖。项目包含多种示例和详细的安装使用指南，适合开发者构建、测试和优化自己的AI应用。
aikit - 简化部署和优化大型语言模型的平台
AIKitDockerGithubKubernetesLocalAIOpenAI API开源项目
AIKit是一个全方位平台，专为快速部署、构建和微调大型语言模型（LLM）而设计。它支持OpenAI API兼容的推理和灵活的微调接口，无需GPU即可使用。AIKit还支持多模式模型、图像生成、多平台CPU和GPU加速推理以及Kubernetes部署，简化了开发流程并确保供应链安全，适用于各种环境。
SiLLM - Apple Silicon大语言模型训练与推理工具包
Apple SiliconGithubMLXSiLLM低秩适应大型语言模型开源项目
SiLLM是专为Apple Silicon设计的大语言模型工具包，基于MLX框架优化LLM训练和运行流程。支持多种模型架构，提供Web应用和API服务，实现LoRA和DPO等先进训练技术。该项目还引入控制向量和特征消融等实验性功能，便于探索LLM内部机制，旨在让更广泛的Apple Silicon用户群体能够使用最新的LLM技术。
litellm - 简化管理多个LLM API，兼容多种部署平台
AzureGithubHuggingfaceLLM APIsLiteLLMOpenAI开源项目
使用OpenAI格式调用各大LLM API，如Bedrock、Huggingface、VertexAI等，支持统一输出、重试机制和预算管理。LiteLLM提供易用的代理服务器、企业级服务和丰富的日志功能，确保性能稳定可靠。支持异步和流式响应，适配众多LLM平台，为开发者提供高效便捷的集成方案。
serverless-ml-course - 无服务器机器学习课程，用于从模型和功能构建支持 AI 的预测服务
GitHubGithubHopsworksMLOpsPythonServerless Machine Learning开源项目
此课程教授如何使用Python在无服务器环境中构建和部署机器学习预测服务。无需精通Kubernetes或云计算，课程内容包括Pandas与ML管道、数据建模、特征存储、以及训练和推断管道。学习如何使用Hopsworks和Github Actions进行版本管理、测试和数据验证，构建实时无服务器机器学习系统。
The Local AI Playground - 免费开源的本地AI管理与推理平台，无需GPU
AI工具CPU推理Local AI推理服务器摘要验证模型管理
The Local AI Playground是一个免费开源的本地AI管理和推理平台。该应用允许用户在无需GPU的情况下离线体验AI模型，提供简洁的操作界面。平台特点包括高效的模型管理、完整性验证和CPU推理，支持多种量化方式。内置推理服务器方便用户进行本地AI实验。这个平台简化了AI模型的下载、管理和使用过程，适合AI爱好者和开发者使用。
mlrun - MLRun简化机器学习应用的全生命周期管理
GithubMLOpsMLRun开源项目数据处理机器学习模型部署
MLRun是一个开源MLOps平台，集成项目管理、数据处理、模型开发、部署和监控功能。它支持多种开发环境，简化了机器学习应用的构建和管理流程，缩短了从开发到生产的周期。MLRun促进了跨团队协作，提高了机器学习项目的效率和可扩展性。MLRun提供了全面的MLOps解决方案，包括特征存储、模型训练、服务部署和应用监控。它自动化了数据和模型的生命周期管理，简化了机器学习工作流程。通过整合各个开发阶段，MLRun帮助团队更快地将机器学习模型转化为生产级应用。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号