Logo
Project Icon

TinyChatEngine

面向边缘设备的高效语言模型推理库

TinyChatEngineLLMVLMAWQSmoothQuantGithub开源项目

TinyChatEngine是一个专为边缘设备设计的语言模型推理库,支持运行大型语言模型(LLM)和视觉语言模型(VLM)。该库采用SmoothQuant和AWQ等先进的模型压缩技术,兼容x86、ARM和CUDA等多种平台架构,无需依赖外部库。TinyChatEngine具备跨平台兼容性、高性能和易用性等特点,能在笔记本电脑、汽车和机器人等设备上实现实时推理,提供快速响应的同时保护数据隐私。

GithubGithubHuggingfaceHuggingface
介绍相关项目
web-llm-chat - 浏览器原生运行的隐私保护AI聊天工具
GithubWebLLM Chat开源框架开源项目浏览器原生AI离线访问隐私保护
WebLLM Chat是一个创新型AI聊天界面，结合了WebLLM技术和用户友好设计。该项目利用WebGPU在浏览器中原生运行大型语言模型，提供高度隐私保护和离线访问功能。其特点包括直观界面、自定义模型支持和开源可定制性。作为MLC.ai项目的一部分，WebLLM Chat旨在通过浏览器端AI技术推动人工智能的普及。
chat - 开源智能对话平台 支持多种模型和高效会话管理
APIGithubOllamachat开发开源项目部署
Chat是一个开源的智能对话平台，集成OpenAI、Claude和Ollama等多种模型。平台提供上下文对话、多媒体处理、会话快照和分享功能。它支持用户管理和访问控制，适用于个人和团队。Chat具有提示词管理和全文搜索等特性，便于整理检索会话记录。其开放架构便于二次开发，支持快速部署到多种云平台。
smalltalk - 即时消息沟通与AI聊天模型交互
ChatGPTGithubJavaOpenAIsmalltalk即时通讯开源项目
smalltalk是一个开放源代码项目，基于tinystruct框架，支持即时消息、文件共享等功能。项目允许用户通过CLI和Web界面与OpenAI的ChatGPT语言模型进行交互。同时，smalltalk提供多种部署选项，易于安装和设置。
chatty - 利用WebGPU在浏览器中本地运行大型语言模型
AI模型ChattyGithubWebGPU开源项目浏览器支持离线使用
Chatty利用WebGPU在浏览器中本地运行大型语言模型，保障数据隐私。其特点包括离线使用、聊天记录管理、支持多种开源模型、响应式设计和直观的用户界面。用户还可以加载本地文件、生成并保存聊天记录，并使用语音输入。此AI支持光明和暗模式，适用于所有支持WebGL的设备，极大地丰富了浏览器内的AI体验。
Yi-Coder-9B-Chat - 支持长文本上下文理解的多语言编程模型
GithubHuggingfaceYi-Coder代码生成开源开源项目模型编程语言高效
Yi-Coder-9B-Chat是一个开源的代码语言模型，拥有不到10亿个参数，具备优异的表现。它支持包括Python、Java在内的52种主要编程语言，最大上下文长度可达128K tokens。该模型在LiveCodeBench评测中取得了23%的通过率，超越了一些更大参数模型。Yi-Coder-9B-Chat可以通过transformers库进行快速推理，适用于多场景的文本生成。该项目提供详尽的技术文档和支持，便于开发者上手使用。
ChatTTS - 高质量中英文对话场景文本转语音模型
AI工具ChatTTS多语言支持对话场景开源模型语音合成
ChatTTS是专注于对话场景的语音生成模型，支持中英双语。经过约10万小时的数据训练，该模型能生成高质量、自然的语音，适用于大型语言模型助手的对话任务和会话式音视频制作。项目团队计划开源基础模型，推动相关研究发展。ChatTTS具有多语言支持和易用性，为开发者和研究人员提供了便捷的文本转语音解决方案。
geek_chat - 跨平台AI助手，兼容多种设备与高级LLM模型
AI 客户端Geek ChatGithubOpenAI开源项目跨平台隐私安全
Geek Chat是一款跨平台AI助手，兼容MacOS、Windows、iPhone、iPad、Android Phone和Android Tablet。它具备增强的提示功能、本地数据存储保护隐私、支持多种先进LLM模型（如OpenAI和Azure OpenAI）、Markdown和代码高亮功能，以及夜间模式。免费开源，提供各平台的安装包，无需额外部署。
tiny-random-whisper - 轻量级随机耳语模型为语音识别提供高效解决方案
Apache 2.0GithubHuggingface代码共享开源许可开源项目模型知识产权软件协议
tiny-random-whisper是一个轻量级随机耳语模型，用于语音识别。该项目采用随机化技术，在保持小型模型体积的同时实现良好的识别性能。适用于资源受限设备和快速部署场景，为开发者提供灵活的语音识别工具。
ChatGLM3 - 突破性能与功能的开源对话模型
AIChatGLM3Github大语言模型对话系统开源模型开源项目
ChatGLM3是智谱AI与清华大学KEG实验室联合开发的开源对话模型。该模型在保持对话流畅和易于部署的基础上，引入了更强大的基础架构、更全面的功能支持和多个开源版本。ChatGLM3-6B不仅支持多轮对话，还能进行工具调用和代码执行，在10B以下模型中表现出色。此外，项目还开源了基础模型和长文本版本，为学术研究和商业应用提供了多样化选择。
tailchat - 新一代开源企业级即时通讯协作平台
GithubTailchat即时通讯开源开源项目微服务插件系统
Tailchat是一款现代化的开源即时通讯平台，采用前端微内核和后端微服务架构，支持大规模部署。该平台通过插件系统实现功能扩展，便于二次开发。Tailchat注重用户隐私，提供安全的好友添加机制和自定义群组空间，适合个人和企业使用。其灵活的架构设计使其不仅是一个聊天工具，更是一个可定制的协作平台。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号