#LLM

JamAI Base集成了SQLite和LanceDB，提供内存管理和RAG功能。平台通过直观界面和API实现LLM、向量嵌入和重排序管理。它支持多种表格功能，高效处理大规模数据。采用声明式范式，简化操作，易用性强，可扩展性高。适用于需要AI增强检索功能的后端系统开发。

RuLES是一个评估语言模型遵循规则能力的基准测试项目。它提供多种测试场景，如身份验证和问答。项目包括评估脚本、红队测试工具和测试用例可视化工具。研究人员可以评估不同语言模型遵循简单规则的表现，并计算RuLES得分。项目还包含GCG攻击和模型微调的相关代码与指南。

Moatless Tools是一个开源项目，致力于探索大语言模型在编辑大型代码库中的应用。该项目通过构建工具插入上下文并处理响应，而非依赖代理推理。在SWE-Bench基准测试中，Moatless Tools使用GPT-4o和Claude 3.5 Sonnet取得了显著成果。项目采用基于有限状态机的循环，包含搜索、识别和计划编码等功能，实现了高效的代码编辑。

Llama2 70B Chat Uncensored项目引入了采用GGUF格式的新模型文件，与传统GGML相比，增强了性能与功能。GGUF格式在词元化和特殊标记支持方面表现出色，并支持元数据，提升了第三方UI和库的兼容性。由llama.cpp团队于2023年8月21日发布的此新格式，适合用于聊天机器人、文本生成等机器学习应用。

该项目展示了Meta的CodeLlama 7B模型在GGUF格式中的优势，取代不再支持的GGML格式。GGUF提供了更好的标记和特别符号支持，并具有元数据和扩展性。适用于多种第三方客户端和库，如llama.cpp和text-generation-webui。量化模型可满足不同计算需求，实现CPU+GPU推理的最佳性能，适配多种平台，为高性能编码需求提供多样化解决方案。

llm-starter-pack是一个云原生LLM入门工具包，简化了在Kubernetes环境中部署和运行大语言模型的过程。项目提供完整脚本和工具，用于创建kind集群、应用Kubernetes配置，并启动LLM聊天机器人演示。包含从启动到关闭的全流程操作指南，支持macOS、Linux和Windows系统。适合开发者快速上手云原生LLM部署。

这是一个基于Kubernetes的开源机器学习Notebook平台，提供统一的跨云环境支持，实现类似Colab的无缝体验。用户可通过低代码或无代码方式微调LLM模型，安装简单且依赖最小化。该平台简化了机器学习工作流程，使模型训练和部署更为便捷。它支持多种主流云平台，适用于需要高效管理和运行机器学习任务的研究人员和开发者，尤其适合大规模分布式训练和推理场景。

本项目采用llama.cpp和imatrix量化技术，提高了多语言文本生成的能力。结合Bartowski的校准文件，以及IQ和Q系列多种量化方法，明显降低了模型的困惑度并提高了文本生成的准确性。这些优化在多种条件下保持高效，且降低了存储空间的需求，提供更灵活的AI应用优化和部署方案。

本文档提供了对Wizardlm 7B Uncensored模型的GGUF格式的全面介绍，涵盖了与其兼容的各种客户端和库。GGUF是一种新推出的模型格式，取代了不再支持的GGML，支持多种量化方法，可用于GPU加速并适应多种平台。该项目由Eric Hartford设计，由TheBloke进行量化，包含不同比特级别的量化版本，以便用户依据需求选择适当的模型格式和质量。本文还详细说明了下载、安装和运行这些模型的多种方法，包括Python代码示例和LangChain集成演示，为开发者提供详尽指南。

LLaMA-1B-dj-refine-150B是一个采用LLaMA-1.3B架构的开源语言模型，基于Data-Juicer精炼的150B tokens RedPajama和Pile数据预训练。模型在16个HELM任务上的平均得分达34.21，优于同级别的Falcon-1.3B、Pythia-1.4B和Open-LLaMA-1.3B。项目提供了详细的训练数据集信息和性能对比，可作为语言模型研究的参考资源。

本项目提供Google Gemma 2B-it模型的11种量化版本，使用llama.cpp处理。量化级别从F32到IQ3_M，文件大小1.39GB至10.46GB。详细介绍各版本特点、使用场景和选择建议，并提供下载方法、提示词格式等说明。适合不同硬件配置的轻量级Gemma模型部署需求。

该项目基于llama.cpp框架，将Phi-3.5-mini-instruct模型转换为GGUF格式，提供从F16到IQ2_M共19种量化版本。模型文件大小范围在1.32GB至7.64GB之间，适配CPU和GPU环境。Q6_K、Q5_K系列及IQ4_XS等版本在性能与体积上表现均衡，可根据硬件配置选择适合的版本使用。

Meta-Llama-3.1-8B-Instruct优化版本采用abliteration技术对原模型进行调整，移除了默认的输出限制。项目基于transformers库开发，继承原版核心性能的同时提供更自由的输出空间。模型使用llama3.1许可证，适用于需要更灵活输出的AI开发场景。

Zephyr-7B-beta是Hugging Face H4团队基于Mistral-7B-v0.1开发的开源大语言模型。通过UltraChat和UltraFeedback数据集微调,该模型在对话场景中表现出色。采用MIT许可证发布,支持英语并可用于多种推理任务。开发者可使用提供的prompt模板与模型交互,探索其对话生成能力。

这是一个基于DistilRoBERTa的微调模型，用于检测大型语言模型(LLM)输出中的拒绝响应。模型将输入分为正常输出和拒绝检测两类，评估准确率达98.87%。采用Apache 2.0许可证，支持Transformers和ONNX运行时，易于集成。适用于内容审核和安全防护，可识别LLM对不当内容的拒绝响应。

Wizard Vicuna 13B模型的GGUF量化版本，提供2-bit至8-bit多种量化精度选项。GGUF作为llama.cpp最新支持的模型格式，可实现高效的本地部署和推理。模型支持CPU与GPU加速，采用Vicuna对话模板，适用于多种文本生成场景。

该项目提供一款先进的文本行为分类工具，专为在HarmBench框架中使用而设计，采用Llama-2-13b模型支持标准和上下文行为识别。此工具不仅在文本中检测行为，还能全面分析其上下文。用户可通过官网获得使用指南和示例。经过与现有指标与分类器的比较，该分类器的性能显著优于大多数竞争对手，尤其在与GPT-4进行的性能对比中表现卓越。HarmBench环保倚赖自动化红队评估和分类技术，为用户提供稳定可靠的文本行为分类方案。

TinyTroupe是一个基于Python的实验库，使用GPT-4等大型语言模型，模拟具有个性及目标的人物在虚拟环境中的互动。通过该工具，用户可以探索广告评估、软件测试、合成数据生成，以及产品和项目管理等应用，帮助提升生产力和获取商业洞察。项目处于早期开发阶段，欢迎反馈和贡献以推动其发展。

GGUF格式开创了一种新的模型优化方法，适用于多平台的机器学习应用，带来更优的性能与存储管理。该项目兼容多个用户界面，如llama.cpp和KoboldCpp，并支持多种量化文件格式，推荐选用Q4_K_M和Q5_K_M以实现性能与资源消耗的最佳平衡。

Med42-v2套件提供访问8亿或70亿参数的临床大语言模型，通过LLaMA-3开发，其在医学问答任务中的表现卓越，特别是Med42-v2-70B，在MCQA任务中超越了GPT-4.0，位居临床Elo评分榜首，并在MedQA零样本测试中取得79.10的优秀成绩。目前，该模型尚需进一步评估以确保安全，并计划应用于医疗问答、患者记录总结等领域，以增强临床决策支持。

Dolphin-2.0-mistral-7B的GGUF格式模型提供多个量化版本,从2比特到8比特不等。模型支持CPU和GPU推理,可在llama.cpp等框架上运行。采用ChatML提示模板格式,适用于文本生成和对话任务。项目提供完整使用文档,支持多种部署方式。

MythoMax-L2-13B是一个基于Llama2的GGUF量化语言模型,提供2-8比特共13种量化版本。模型支持llama.cpp等多种终端工具,具备更强的分词能力和特殊令牌支持。模型文件大小从5.43GB到13.83GB不等,可根据设备配置选择合适版本。该模型遵循Meta Llama 2许可协议。