#Apple Silicon
mlx-llm 学习资源汇总 - 在Apple芯片上实时运行大型语言模型的工具库
whisper.cpp学习资料汇总-OpenAI Whisper模型的高性能C/C++推理实现
MLX ParaLLM: 加速Apple Silicon上的大语言模型并行推理
LangGraph Studio: 革新LLM应用开发的专业Agent IDE
whisper.cpp
whisper.cpp是基于OpenAI Whisper的C/C++自动语音识别(ASR)模型实施,针对Apple Silicon经过优化,并支持多平台部署。该项目以极低的内存消耗和CPU/GPU推理能力,覆盖Mac OS、iOS、Android等主流平台,提供灵活的API与多样的定制模型,使开发者能够轻松地融合语音功能。
mlx-llm
mlx-llm支持用户在Apple Silicon设备上实时运行高级语言模型(LLMs)的应用和工具。该项目支持多种预训练模型,并提供简便的安装方法。用户可以加载新版预训练权重、进行模型量化及嵌入提取。此外,mlx-llm还覆盖了多种应用场景,包括命令行聊天、LoRA或QLoRA微调及检索增强生成(RAG)等。
photo-similarity-search
Embed-Photos是一个高效的照片相似性搜索引擎,利用CLIP模型根据文本描述寻找视觉相似的图像。该项目仅支持Apple Silicon平台,使用SQLite和Chroma实现图像嵌入的持久存储,提供便捷的网络接口以便用户进行交互和探索。其特点包括安全的图像处理、性能监控和可配置的设置,用户只需简单设置环境变量即可启动使用。
MochiDiffusion
Mochi Diffusion使Mac用户可以本地运行Stable Diffusion,充分利用Apple Silicon的Neural Engine来提升性能和速度,并减少内存消耗。应用具有图像生成、图像转高分辨率和离线操作等功能,还支持自定义模型,并保留生成图像的元数据。
langgraph-studio
LangGraph Studio是一款专为开发语言模型应用而设计的专业工具,提供可视化、交互和调试复杂代理应用环境。用户借助直观的图形和状态编辑功能,能够深入理解代理工作流程,加速开发迭代。与LangSmith集成后,团队协作调试变得更加便捷。目前,LangGraph Studio Beta版对所有LangSmith用户免费开放,支持Apple Silicon Macs,并需安装Docker-compose 2.22.0或更高版本。
mlx_parallm
MLX ParaLLM是一个为Apple Silicon设备开发的开源项目,利用MLX框架实现批处理KV缓存技术,从而提高并行推理效率。项目支持Meta-Llama、Phi-3和Gemma等多种模型,兼容量化和float16格式。通过batch_generate方法,MLX ParaLLM实现自动填充、提示模板格式化和多种采样策略,适用于大规模并行文本生成任务。
chat-with-mlx
chat-with-mlx是一个基于Apple MLX框架的本地AI聊天平台,专为Apple Silicon Mac打造。该平台集成了Llama-3、Phi-3、Yi等多种开源大语言模型,注重用户数据隐私保护。项目特点包括简易安装、便捷使用,支持集成HuggingFace和MLX兼容模型。此外,平台还提供文档和YouTube视频处理功能,是一个全面的MLX语言模型聊天界面。
mlx-examples
MLX-Examples项目提供了MLX框架在文本、图像、音频和多模态等领域的应用示例。包含语言模型、图像生成、语音识别等实现,支持Hugging Face预训练模型。这些示例展示了MLX在Apple Silicon上的应用,为机器学习开发者提供了参考资源。
mactop
mactop是一款专为Apple Silicon芯片开发的终端监控工具。它实时显示CPU和GPU使用率、E核心和P核心状态以及功耗等系统指标。该工具支持所有Apple Silicon型号,界面清晰易读,提供可自定义的布局和颜色主题。作为一款功能强大的系统性能监控工具,mactop为Mac用户提供了便捷的性能分析方案。