#LLM

MythoMax-L2-13B-GGUF

MythoMax-L2-13B是一个基于Llama2的GGUF量化语言模型,提供2-8比特共13种量化版本。模型支持llama.cpp等多种终端工具,具备更强的分词能力和特殊令牌支持。模型文件大小从5.43GB到13.83GB不等,可根据设备配置选择合适版本。该模型遵循Meta Llama 2许可协议。

dolphin-2.0-mistral-7B-GGUF

Dolphin-2.0-mistral-7B的GGUF格式模型提供多个量化版本,从2比特到8比特不等。模型支持CPU和GPU推理,可在llama.cpp等框架上运行。采用ChatML提示模板格式,适用于文本生成和对话任务。项目提供完整使用文档,支持多种部署方式。

Llama3-Med42-8B

Med42-v2套件提供访问8亿或70亿参数的临床大语言模型，通过LLaMA-3开发，其在医学问答任务中的表现卓越，特别是Med42-v2-70B，在MCQA任务中超越了GPT-4.0，位居临床Elo评分榜首，并在MedQA零样本测试中取得79.10的优秀成绩。目前，该模型尚需进一步评估以确保安全，并计划应用于医疗问答、患者记录总结等领域，以增强临床决策支持。

laser-dolphin-mixtral-2x7b-dpo-GGUF

GGUF格式开创了一种新的模型优化方法，适用于多平台的机器学习应用，带来更优的性能与存储管理。该项目兼容多个用户界面，如llama.cpp和KoboldCpp，并支持多种量化文件格式，推荐选用Q4_K_M和Q5_K_M以实现性能与资源消耗的最佳平衡。

TinyTroupe

TinyTroupe是一个基于Python的实验库，使用GPT-4等大型语言模型，模拟具有个性及目标的人物在虚拟环境中的互动。通过该工具，用户可以探索广告评估、软件测试、合成数据生成，以及产品和项目管理等应用，帮助提升生产力和获取商业洞察。项目处于早期开发阶段，欢迎反馈和贡献以推动其发展。

HarmBench-Llama-2-13b-cls

该项目提供一款先进的文本行为分类工具，专为在HarmBench框架中使用而设计，采用Llama-2-13b模型支持标准和上下文行为识别。此工具不仅在文本中检测行为，还能全面分析其上下文。用户可通过官网获得使用指南和示例。经过与现有指标与分类器的比较，该分类器的性能显著优于大多数竞争对手，尤其在与GPT-4进行的性能对比中表现卓越。HarmBench环保倚赖自动化红队评估和分类技术，为用户提供稳定可靠的文本行为分类方案。

Wizard-Vicuna-13B-Uncensored-GGUF

Wizard Vicuna 13B模型的GGUF量化版本，提供2-bit至8-bit多种量化精度选项。GGUF作为llama.cpp最新支持的模型格式，可实现高效的本地部署和推理。模型支持CPU与GPU加速，采用Vicuna对话模板，适用于多种文本生成场景。

distilroberta-base-rejection-v1

这是一个基于DistilRoBERTa的微调模型，用于检测大型语言模型(LLM)输出中的拒绝响应。模型将输入分为正常输出和拒绝检测两类，评估准确率达98.87%。采用Apache 2.0许可证，支持Transformers和ONNX运行时，易于集成。适用于内容审核和安全防护，可识别LLM对不当内容的拒绝响应。

zephyr-7B-beta-GGUF

Zephyr-7B-beta是Hugging Face H4团队基于Mistral-7B-v0.1开发的开源大语言模型。通过UltraChat和UltraFeedback数据集微调,该模型在对话场景中表现出色。采用MIT许可证发布,支持英语并可用于多种推理任务。开发者可使用提供的prompt模板与模型交互,探索其对话生成能力。