#AI模型
OPT-2.7B-Erebus
该高性能文本生成模型旨在生成成人主题内容，结合六个不同的数据源。易于集成至文本生成管道，但内容性质限制其不适合未成年人使用。
MythoMax-L2-13B-GGUF
MythoMax-L2-13B是一个基于Llama2的GGUF量化语言模型,提供2-8比特共13种量化版本。模型支持llama.cpp等多种终端工具,具备更强的分词能力和特殊令牌支持。模型文件大小从5.43GB到13.83GB不等,可根据设备配置选择合适版本。该模型遵循Meta Llama 2许可协议。
distilbert-NER
distilbert-NER是DistilBERT的精简版本，专为命名实体识别（NER）任务优化，能够识别地点、组织、人物等实体。相比BERT，参数更少，具备更小的模型体积和更高的速度，并在CoNLL-2003数据集上精细调优，具备良好的精度和性能。
Moistral-11B-v3-GGUF
Moistral 11B v3通过增强算法与更大数据集的精细调优，提升文本生成的智能性与多样性。版本更新增添多个类别如浪漫、家庭、科幻等的创作能力，从而实现更广泛的内容生成。Alpaca Instruct模式便于用户创作角色对话与叙述，优化于小说及故事写作，适用于多样化文本生成场景，提供自然流畅的创作体验。
OpenHermes-2.5-Mistral-7B-AWQ
AWQ通过4-bit量化提供高效、快速的Transformer推理体验，与GPTQ相比具有更优性能。它在Text Generation Webui、vLLM、Hugging Face的Text Generation Inference和AutoAWQ等多个平台上支持，为AI应用带来了显著的性能提升，适用于多用户推理服务器的开发以及Python代码中的集成使用。
dolphin-2.7-mixtral-8x7b-GGUF
Dolphin 2.7 Mixtral 8X7B使用GGUF格式，支持在多种硬件平台上高效推理。兼容llama.cpp等多个第三方UI和库，提供GPU加速与CPU+GPU并行推理解决方案，满足不同应用需求。GGUF取代GGML，提供多种量化策略，适用于多种操作系统。
Phi-3-mini-4k-instruct-llamafile
Phi-3-Mini-4K-Instruct项目采用llamafile格式，提供可在Linux、MacOS、Windows等多平台运行的AI权重，适用于文本生成任务。其优化推理能力在语言理解、数学和代码等领域表现优异，尤其在内存和计算资源受限环境中有效。使用者需结合具体场景考虑模型适用性及潜在限制。
ZephRP-m7b
ZephRP-m7b模型集成了Zephyr模型的知识和LimaRP的风格，实现了文本生成的增强。模型采用Alpaca指令格式，支持响应长度调整，适用于角色扮演和故事模拟。注意模型可能在特定论坛中表现出偏见，不适合用于提供真实信息或建议。训练过程中使用了8-bit lora PEFT适配器，并以Mistral-7B-v0.1为基础严格优化，以确保生成质量。
ultravox-v0_4
Ultravox是一种多模态语言模型，结合了Llama3.1-8B和Whisper-medium技术，支持语音和文本的输入。通过特殊音频标记，该模型将音频转换为文本嵌入以生成输出。未来版本计划支持直接生成语音。Ultravox可以应用于语音代理、翻译和音频分析。模型使用多语种语音识别数据集进行训练，并在8x H100 GPU上运用BF16精度。最新版本在A100-40GB GPU上实现首次生成标记时间约为150毫秒。