Project Icon

Mythomax-L2-13b-Q4_K_M-GGUF

MythoMax L2 13b模型的Q4_K_M量化版本

项目中包含MythoMax L2 13b模型的Q4_K_M量化版本,基于mradermacher的GGUF方案。这一版本能通过Text Gen Webui与llamacpp_hf结合实现个性化应用,适合希望优化资源利用和提升模型性能的开发者与研究人员。

Hermes-2-Theta-Llama-3-8B-GGUF - Hermes-2-Theta量化文件的选择与使用指南
GithubHermes-2-Theta-Llama-3-8BHuggingfaceI-quantsK-quants开源项目模型模型大小量化
Hermes-2-Theta-Llama-3-8B项目使用llama.cpp技术产生多种量化文件,适合多种硬件架构和性能需求。用户可依据设备的RAM和VRAM选择恰当的量化文件。项目提供Q和I两种量化格式,涵盖从低到高的质量选项,并可通过huggingface-cli轻松下载。项目还包括性能表现图表及功能矩阵,为用户优化模型提供指南。
glm-4-9b-chat-1m-GGUF - 基于GLM-4的轻量级中文对话模型量化版本
GGUFGLM-4GPU优化GithubHuggingface大语言模型开源项目模型模型量化
该项目基于GLM-4-9b-chat-1m模型开发,通过llama.cpp实现多种精度的模型量化。从18GB的F16版本到4GB的IQ2版本,提供了丰富的量化选项。项目中包含详细的性能对比和部署建议,方便开发者根据硬件条件选择合适的量化版本进行本地化部署。
Llama-2-7B-GPTQ - Llama 2 7B的GPTQ量化版本 支持多种参数选项
GithubHuggingfaceLlama 2Meta人工智能大语言模型开源项目模型自然语言处理
该项目提供Meta Llama 2 7B模型的GPTQ量化版本,包含4位精度、多种组大小和Act Order等参数选项。模型文件兼容AutoGPTQ、ExLlama等框架,适用于GPU推理。项目提供了在text-generation-webui使用的说明,以及Python代码调用示例。这些量化版本在保持性能的同时降低显存占用,便于更多用户部署使用Llama 2模型。
Mixtral_Erotic_13Bx2_MOE_22B-GGUF - Mixtral Erotic 22B模型的GGUF量化版本集合
GGUFGithubHuggingfaceMixtral_Erotic_13Bx2_MOE_22B开源项目机器学习模型自然语言处理量化模型
本项目提供Mixtral_Erotic_13Bx2_MOE_22B模型的16种GGUF量化版本,涵盖Q2至Q8不同规格,文件大小在8.2GB到23.1GB之间。项目详细比较了各版本特点和性能,推荐使用速度较快的Q4_K_S和Q4_K_M版本,质量较好的Q6_K版本,以及最佳质量的Q8_0版本。用户可根据需求选择适合的量化版本。
Hathor_Gamma-L3-8B-0.6-GGUF - 量化技术优化文本模型,适应多样硬件需求
GithubHathor_Gamma-L3-8B-0.6Huggingface开源项目性能优化文本生成模型模型下载量化
该项目使用llama.cpp的最新功能实现模型量化,提供多种质量和大小的量化文件选择。通过imatrix选项进行的量化,支持多种硬件需求。结合K-quant和I-quant技术,实现速度与性能的平衡,适用于内存受限环境。
Nemotron-Mini-4B-Instruct-GGUF - 量化模型应用指南与选择推荐
项目通过llama.cpp实现模型的imatrix量化,支持多种格式用于文本生成。用户可在LM Studio中运行这些量化模型,选择合适版本以优化内存与性能。推荐Q6_K_L、Q5_K_L等高质量版本,适用于嵌入与输出权重要求高的场景。支持ARM芯片的Q4_0_X_X版本提供显著加速。使用huggingface-cli简单易用,确保资源充足以提升体验。
Midnight-Miqu-70B-v1.5-i1-GGUF - Midnight-Miqu-70B-v1.5量化模型:优化AI实施的多样化策略
GithubHuggingfaceMidnight-Miqu-70B-v1.5变压器库合并工具开源项目模型模型使用量化
此项目提供Midnight-Miqu-70B-v1.5的多种GGUF量化文件,采用权重和imatrix量化,支持多种规格和类型如IQ1至IQ4及Q5、Q6,适应速度、质量和空间需求的平衡。用户可参考TheBloke的README获取操作指南,适合寻求优化AI模型效率的开发者,助力高效机器学习模型部署。
Qwen2.5-14B_Uncensored_Instruct-GGUF - 高性能量化版本适用于多种设备和场景
GGUFGithubHuggingfaceQwen2.5-14B开源项目文本生成模型模型压缩量化
此项目为Qwen2.5-14B无审查指令模型提供多种量化版本,涵盖从29.55GB的F16到5.36GB的IQ2_M等不同规格。量化类型包括Q8_0、Q6_K、Q5_K、Q4_K、Q3_K和IQ系列,适应不同硬件配置需求。项目详细介绍了各版本特点、文件大小和适用场景,并提供选择指南和下载方法,方便用户根据设备性能选择合适版本。
gemma-2-2b-it-GGUF - Gemma 2B-it模型的多种量化版本及使用指南
GGUFGemmaGithubHuggingfaceLLMhuggingface开源项目模型量化模型
本项目提供Google Gemma 2B-it模型的11种量化版本,使用llama.cpp处理。量化级别从F32到IQ3_M,文件大小1.39GB至10.46GB。详细介绍各版本特点、使用场景和选择建议,并提供下载方法、提示词格式等说明。适合不同硬件配置的轻量级Gemma模型部署需求。
codegemma-1.1-7b-it-GGUF - 文本生成的多样化量化模型选择
GithubHugging FaceHuggingfacetransformers开源项目文本生成模型模型下载量化
项目使用llama.cpp进行模型量化,提供多种模型版本以优化文本生成性能。用户可以依据硬件配置选择合适的模型版本,推荐选用Q6_K等高质量量化格式。多样化的模型版本在内存占用和性能表现之间提供灵活选择,适用于多种硬件平台。I-quant模型在较低量化级别上表现优异,适合需要高效运行的场景。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号