Project Icon

Heat

适配OpenAI、Mistral、Anthropic等流行LLM平台的iOS与macOS开源客户端

Heat是一款开源的iOS和macOS客户端,支持与OpenAI、Mistral、Anthropic等热门LLM平台交互,还能够本地运行Ollama的开源LLM。其他功能包括图像生成(如Stable Diffusion和Dall-e)、多步工具操作、网页搜索与浏览、日历读取与理解、文件系统搜索(仅限桌面版)、基本内存持久化等,无需依赖服务器。用户可通过TestFlight或本地构建运行Heat,目标是让更多人体验开源LLM的强大功能。

easyllm - 开源工具库助力简化大语言模型应用开发
API客户端EasyLLMGithubOpenAI兼容大语言模型开源项目
EasyLLM是一个开源项目,为开发者提供简化大语言模型操作的工具和方法。该项目实现了兼容OpenAI API的客户端,支持HuggingFace、Amazon SageMaker和Amazon Bedrock等平台的模型。EasyLLM允许开发者轻松切换不同语言模型,实现聊天、文本补全和嵌入等功能。此外,项目还包含进化指令生成和提示词工具等辅助模块,有效简化了大语言模型的应用开发流程。
Le-AI - 开源AI助手集成平台 提升工作效率利器
AI助手GithubLe-AI多语言支持开源项目部署
Le-AI是一个开源的AI助手集成平台,整合了多种AI服务,包括OpenAI和Azure OpenAI。它提供语音阅读、markdown显示和代码高亮等功能,采用响应式设计和暗黑模式,确保跨设备使用体验。Le-AI注重用户隐私,将会话记录和系统配置存储在本地浏览器。该项目支持自定义角色模板,并可便捷部署到Vercel平台。
Phi-3-Vision-MLX - 为Apple Silicon优化的多模态AI框架
AI框架Apple SiliconGithubPhi-3-MLX开源项目视觉模型语言模型
Phi-3-MLX是一个为Apple Silicon优化的AI框架,整合了Phi-3-Vision多模态模型和Phi-3-Mini-128K语言模型。该框架提供简洁接口,支持文本生成、视觉问答和代码执行等AI任务。项目特性包括批量处理、模型量化和LoRA微调,并可通过API扩展功能。Phi-3-MLX为开发者提供了高效灵活的AI工具,专为Apple Silicon设备设计。
mlx-swift-examples - MLX Swift机器学习示例程序与开发工具集
GithubMLX SwiftiOSmacOS开源项目机器学习示例程序
MLX Swift示例项目包含多个机器学习应用实例,涵盖MNIST训练器、LLM评估器等iOS和macOS跨平台程序,以及线性模型训练、LLM文本生成等命令行工具。项目还提供MLXLLM和MLXMNIST库作为Swift Package,便于开发者在自有项目中集成和使用MLX Swift框架进行机器学习开发。
vllm - 高性能与易用性的LLM推理与服务平台
GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量
vLLM是一个高性能且易用的LLM推理与服务平台,具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型,兼容多种硬件设备,支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。
swift-coreml-diffusers - Swift应用中集成Core ML实现Stable Diffusion模型
Core MLGithubStable DiffusionSwiftiOSmacOS开源项目
swift-coreml-diffusers项目展示如何在Swift应用中集成Apple的Core ML Stable Diffusion实现。该应用支持macOS和iOS设备,采用DPM-Solver++调度器提高性能。首次启动时自动下载量化Core ML模型,可利用CPU、GPU和Neural Engine加速。项目适合快速迭代开发,也可作为在Apple设备上实现AI图像生成的示例代码。
litellm - 简化管理多个LLM API,兼容多种部署平台
AzureGithubHuggingfaceLLM APIsLiteLLMOpenAI开源项目
使用OpenAI格式调用各大LLM API,如Bedrock、Huggingface、VertexAI等,支持统一输出、重试机制和预算管理。LiteLLM提供易用的代理服务器、企业级服务和丰富的日志功能,确保性能稳定可靠。支持异步和流式响应,适配众多LLM平台,为开发者提供高效便捷的集成方案。
react-native-ai - 跨平台移动AI应用框架,支持实时文本和图像处理
Anthropic ClaudeChatGPTFal.aiGithubOpenAIReact Native AI开源项目
React Native AI框架是一种用于构建跨平台移动AI应用的完整解决方案。它支持多种大语言模型(如OpenAI ChatGPT、Anthropic Claude、Cohere等)的实时和流媒体文本聊天界面,还提供多种图像服务和自然语言生成图像功能。功能包括OpenAI助理、代码解释、身份验证、授权、主题定制和图像处理等。项目设置简单,只需几行代码即可添加新主题,并支持扩展和配置新的LLM和图像模型。
Ollamac - 免费开源的Mac应用,全面支持Ollama模型
GithubMacOllamaOllamac免费开源开源项目
Ollamac是一款适用于macOS 14.0及以上版本的免费开源应用,支持所有Ollama模型。用户可通过Homebrew或从GitHub下载最新版本进行安装,特点包括自定义主机、语法高亮等多种功能。该项目由社区支持,用户还可探索类似功能丰富的离线应用BoltAI。
mlx_parallm - 为Apple Silicon设备实现高效并行推理
Apple SiliconGithubMLX ParaLLM并行推理开源项目批处理KV缓存语言模型
MLX ParaLLM是一个为Apple Silicon设备开发的开源项目,利用MLX框架实现批处理KV缓存技术,从而提高并行推理效率。项目支持Meta-Llama、Phi-3和Gemma等多种模型,兼容量化和float16格式。通过batch_generate方法,MLX ParaLLM实现自动填充、提示模板格式化和多种采样策略,适用于大规模并行文本生成任务。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号