Project Icon

podman-desktop-extension-ai-lab

Podman Desktop本地LLM开发实验环境

Podman AI Lab是Podman Desktop的开源扩展,为开发者提供本地LLM开发环境。它包含AI用例配方目录、精选开源模型和实验playground,支持GGUF、Pytorch和Tensorflow等格式。该扩展提供模型服务、实验环境和AI应用配方,适用于聊天机器人、代码生成等场景,既确保数据隐私安全,又便于快速将AI引入应用开发。

awesome-local-ai - 全面收录开源本地AI工具和解决方案
AI应用Github大语言模型开源工具开源项目推理引擎本地AI
awesome-local-ai收录了多种开源本地AI工具和解决方案,包括推理引擎、用户界面、完整平台、开发工具、用户工具和AI代理等。项目旨在为开发者和用户提供丰富的本地AI资源,便于探索和应用最新AI技术,同时确保数据隐私。此外,还涵盖了LLM排行榜和相关研究论文,为AI领域从业者和爱好者提供全面参考。
LocalAI - 开源OpenAI替代品,支持本地AI推理与多模型兼容
GPTGithubLocalAI人工智能开源开源项目本地推理热门
LocalAI是一个自由开源的OpenAI替代项目,提供与OpenAI兼容的REST API,支持本地或预置的消费级硬件上运行大型语言模型、生成图像和音频。该项目由Ettore Di Giacinto创建和维护,不需要GPU即可支持多种模型系列,实现了多种AI推理的独立化和去中心化。LocalAI致力于为开发者提供全面的开源AI模型使用方案,包括文本生成、语音转换、图像生成等功能,并通过Docker容器化技术实现了高效的部署和使用。
lablab.ai - 全球AI创新者协作与学习平台
AI创业AI创新AI工具AI应用开发AI黑客马拉松人工智能社区
lablab.ai是全球领先的AI创新社区平台,汇聚开发者、创业者和AI爱好者。平台组织AI黑客马拉松,提供前沿技术资源和教程,举办多样化竞赛活动。通过培育充满活力的AI创新生态系统,lablab.ai助力参与者实现创意,推动AI技术发展和应用。
backend.ai - 灵活高效的容器化计算集群平台 支持多种框架与加速器
APIBackend.AIGithub多租户容器化计算平台开源项目计算资源管理
Backend.AI是一个基于容器的计算集群平台,支持多种计算和机器学习框架及编程语言。平台提供CUDA GPU、ROCm GPU、TPU和IPU等异构加速器支持,可按需分配和隔离计算资源,适合多租户环境。通过REST、GraphQL和WebSocket API暴露功能,为用户提供灵活高效的计算环境。此平台集成了先进的资源调度功能,可实现按需或批量分配计算资源。Backend.AI采用容器技术实现资源隔离,确保多租户环境的安全性和效率。其开放的API架构便于与现有系统集成,为科研、教育和企业用户提供了强大而灵活的计算解决方案。
OpenLLM - 一键部署开源LLM,支持企业级云部署和OpenAI兼容API
GithubOpenAI兼容APIOpenLLM云部署开源项目热门自托管LLM量化模型
OpenLLM为开发者提供一键部署各种开源大型语言模型(LLM)到企业级云环境的解决方案,支持OpenAI兼容的API端点。该项目集成最新的加速解码技术,并提供内置的ChatGPT界面,能够快速实现模型的互动和部署。用户只需简单的命令,即可本地运行或部署到云端,轻松管理和使用各种顶尖LLM,如Llama 3.1、Mistral和Qwen2等。
aikit - 简化部署和优化大型语言模型的平台
AIKitDockerGithubKubernetesLocalAIOpenAI API开源项目
AIKit是一个全方位平台,专为快速部署、构建和微调大型语言模型(LLM)而设计。它支持OpenAI API兼容的推理和灵活的微调接口,无需GPU即可使用。AIKit还支持多模式模型、图像生成、多平台CPU和GPU加速推理以及Kubernetes部署,简化了开发流程并确保供应链安全,适用于各种环境。
docker-nvidia-glx-desktop - KDE Plasma容器化桌面环境支持NVIDIA GPU远程访问
DockerGithubKDE PlasmaKubernetesNVIDIAWebRTC开源项目
这是一个基于KDE Plasma的容器化桌面环境项目,为Kubernetes优化设计。支持通过NVIDIA GPU实现OpenGL、Vulkan和Wine/Proton功能,利用WebRTC和HTML5技术提供远程云/HPC图形或游戏流媒体服务。采用独立X.Org X11服务器,无需额外主机配置。提供Selkies-GStreamer和KasmVNC两种Web界面,满足不同远程访问需求。
worker-vllm - 基于vLLM的OpenAI兼容无服务器LLM推理端点
GithubLLMOpenAIRunPodvLLM开源项目推理引擎
worker-vllm是一个基于vLLM推理引擎的OpenAI兼容无服务器端点部署工具。该项目可在RunPod Serverless上快速部署高性能的大语言模型(LLM)推理端点,操作简单便捷。worker-vllm充分利用vLLM的高效推理能力,为开发者提供快速、易用的LLM部署方案,有助于简化AI应用的构建过程。
LabEx - AI实践型技术学习平台
AI工具AI辅助在线环境实践学习技能树项目实战
LabEx是一个创新的技术学习平台,通过结构化技能树、实时动手实验和AI辅助,提供交互式、实践导向的学习体验。平台涵盖Linux、DevOps、编程、数据科学等领域,提供从入门到精通的学习路径。特色包括无视频全实践模式和ChatGPT驱动的AI助手Labby,为学习者提供即时帮助。
what-llm-to-use - 主流开源与商业LLM模型的选择标准、特点及应用场景的详细介绍
DevAIGithubLLM商业模型开源模型开源项目编程
DevAI领域发展迅速,开发者需选择适合的LLM模型。本文详细介绍主流开源与商业LLM模型的选择标准、特点及应用场景,包含从本地环境到托管服务的部署指南,提供全面对比与建议,帮助开发者提升开发效率。欢迎贡献意见以完善此LLM索引。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号