Project Icon

Lumimaid-v0.2-12B-GGUF-IQ-Imatrix

高效量化与SillyTavern兼容的Lumimaid角色扮演模型

采用GGUF-IQ-Imatrix量化方法,高效转换和运行Lumimaid v0.2模型。兼容SillyTavern角色扮演预设,并建议使用最新版本KoboldCpp进行运行。支持低温度预设优化性能,并通过丰富的预设和示例提升角色扮演体验。如有疑问,可参与讨论获取更多支持。

Interactive-LLM-Powered-NPCs - 为热门游戏NPC提供逼真对话体验的项目
GithubInteractive LLM Powered NPCsNPC人工智能对话开源项目游戏
项目利用麦克风互动、面部识别和无限存储等技术,为热门游戏中的NPC提供逼真对话体验,无需修改源代码即可无缝整合。
vllm - 高性能与易用性的LLM推理与服务平台
GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量
vLLM是一个高性能且易用的LLM推理与服务平台,具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型,兼容多种硬件设备,支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。
LitRPG Adventures - 先进的桌面角色扮演游戏内容生成平台
AIAI工具DNDOpenAIRPG生成器角色背景
LitRPG Adventures为桌面角色扮演游戏提供丰富的内容生成工具。平台集成了GPT-3.5、GPT-4和DALLE-3等技术,提供30多种RPG生成器,覆盖角色背景、地牢、怪物和咒语等多个方面。内容库已积累超过10万条资源,包括各类角色、物品和场景。用户可以自行创建内容或浏览现有资源,为游戏增添创意元素。这个平台旨在为游戏主持人和玩家提供多样化的素材,丰富游戏体验。
Llama3-Chinese-Chat - 基于Llama 3的中英双语优化大语言模型
ChineseGithubLlama3人工智能开源项目自然语言处理语言模型
Llama3-Chinese-Chat项目基于Meta-Llama-3-8B-Instruct模型开发,采用ORPO方法优化训练,大幅提升中英双语交互能力。该模型具备角色扮演、工具使用等功能,提供多种版本选择。最新v2.1版本在数学、角色扮演和函数调用方面性能显著提升,训练数据集扩充至10万对。项目同时提供Ollama模型和量化版本,便于快速部署使用。
rwkv.cpp - 多精度量化推理和CPU优化的大语言模型
GithubPythonRWKVcuBLASggmlhipBLAS开源项目
该项目将RWKV-LM移植到ggerganov的ggml,支持FP32、FP16及量化的INT4、INT5和INT8推理,主要针对CPU使用,同时兼容cuBLAS。项目提供C库和Python封装。RWKV是一种不同于Transformer的大语言模型架构,只需前一步状态计算logits,适合长上下文使用。支持RWKV v5和v6模型以及LoRA检查点加载,适用于高质量和高性能需求的场景。
AQLM - 加性量化技术实现大型语言模型高效压缩
AQLMGithubPyTorch大语言模型开源项目推理量化
AQLM项目开发了一种名为加性量化的新技术,可将大型语言模型压缩至原规模的1/16左右,同时基本保持原始性能。该技术适用于LLaMA、Mistral和Mixtral等多种模型架构,并提供了预量化模型。项目包含PyTorch实现代码、使用教程和推理优化方案,为大规模语言模型的实际应用提供了新思路。
LoftQ - 大型语言模型低资源量化微调新方法
GithubLoRALoftQ大语言模型开源项目微调量化
LoftQ是一种为大型语言模型设计的量化微调方法。它通过寻找最佳的量化LoRA初始化,实现有限GPU资源下的高效模型微调。LoftQ支持LLAMA、Falcon、Mistral等主流模型,提供相关工具和示例代码。在WikiText-2和GSM8K等任务上,LoftQ展现出优秀性能,为低资源环境中的LLM应用开发创造了新可能。
trainable-agents - 可训练的角色扮演AI,实现动态个性化互动
Character-LLMGithubLLM开源项目数据集角色扮演训练
Character-LLMs是一款专为角色扮演设计的可训练智能体,利用经验重建技术生成丰富的角色体验数据,无需额外提示即可模拟特定角色,如贝多芬或埃及艳后。项目提供九个角色的模型和数据集,支持角色个性化构建与互动。详情请见论文和代码仓库。
chatllm.cpp - 跨多模型的高效纯C++实时推理工具
CPU推理ChatLLM.cppGPT模型Githubggml开源项目量化模型
ChatLLM.cpp项目支持从1B到300B多种模型的高效推理,适用于本地电脑的实时聊天。通过优化的KV缓存和并行计算提升内存使用效率,并提供int4/int8量化以减少内存占用。该项目基于ggml库实现,支持Retrieval Augmented Generation、LoRA以及Python和JavaScript绑定等功能。发布了多种最新模型和工具调用,适合深度学习和自监督学习研究者。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号