Project Icon

vigil-llm

多层防御工具,评估和保护LLM提示安全

Vigil-llm是一款评估大型语言模型提示和响应安全性的开源工具。它集成了向量数据库、启发式规则、变压器模型等多种扫描模块,能够有效检测提示注入、越狱等潜在威胁。该工具支持本地和OpenAI嵌入,内置常见攻击签名库,可作为Python库或REST API使用,为LLM应用构建全方位的安全防护体系。

modelz-llm - 开源大语言模型推理服务器,支持本地和云端部署并兼容OpenAI API
GithubModelz LLMOpenAI兼容 API云原生开源LLMs开源项目自托管
Modelz LLM 是一款推理服务器,支持在本地或云端环境中运行开源大语言模型(LLM),如FastChat、LLaMA和ChatGLM,并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互,支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境,便于开发者快速上手和灵活部署各种AI应用。
mlx-llm - 在Apple Silicon上实时运行的高级语言模型应用与工具
Apple SiliconGithubHuggingFaceLarge Language ModelsQuantizationmlx-llm开源项目
mlx-llm支持用户在Apple Silicon设备上实时运行高级语言模型(LLMs)的应用和工具。该项目支持多种预训练模型,并提供简便的安装方法。用户可以加载新版预训练权重、进行模型量化及嵌入提取。此外,mlx-llm还覆盖了多种应用场景,包括命令行聊天、LoRA或QLoRA微调及检索增强生成(RAG)等。
LazyLLM - 低代码开发大语言模型应用的工具
AI应用GithubLazyLLM低代码开发多智能体应用开源项目模型微调
LazyLLM,一个创新的低代码平台,旨在帮助开发者低成本构建多智能体大语言模型应用。它简化了AI应用的构建及部署流程,支持一键式部署和跨平台操作,有效简化了初学者和技术专家的AI开发工作。
llm-app-stack - 全面的大语言模型应用开发资源集合
AIGithubLLM应用程序架构开源开源项目数据处理
LLM-App-Stack项目汇总了构建大语言模型应用所需的各类工具和服务。该资源集合涵盖数据管道、嵌入模型、向量数据库、编排工具和API插件等关键组件。项目同时整合了专有和开源的LLM API,以及应用托管平台和云服务选项,为开发者提供了全面的技术栈参考。这一资源库旨在帮助开发者更高效地构建和部署智能应用。
Awesome-LLMs-Evaluation-Papers - 大型语言模型评估研究论文综述
GithubLLMs评估大语言模型安全性评估对齐性评估开源项目知识能力评估
该项目汇总了大型语言模型(LLMs)评估领域的前沿研究论文,涵盖知识能力、对齐性和安全性评估等方面。还包括特定领域的LLMs评估和综合评估平台介绍。旨在为研究人员提供全面的LLMs评估资源,推动语言模型的可靠发展,平衡社会效益与潜在风险。
NeMo-Guardrails - 开源工具包为LLM对话应用提供可编程安全护栏
ColangGithubLLMNeMo Guardrails安全保护对话应用开源项目
NeMo Guardrails是一个开源工具包,为基于LLM的对话应用添加可编程安全护栏。它支持五种类型的护栏,兼容多种LLM模型,并引入Colang语言设计对话流程。工具包提供内置护栏库、CLI工具、服务器功能、LangChain集成和评估工具,帮助开发者构建可靠安全的LLM应用。
TensorRT-LLM - NVIDIA开发的大型语言模型推理优化工具
AI推理GPU加速GithubNVIDIATensorRT-LLM大语言模型开源项目
TensorRT-LLM是一个用于优化大型语言模型推理的开源工具。它提供Python API来定义模型和构建TensorRT引擎,支持多GPU和多节点部署。该工具集成了多种量化技术,如INT4/INT8权重量化和SmoothQuant,以提升性能和降低内存占用。TensorRT-LLM预置了多个常用模型,可根据需求进行修改和扩展。
xllm - 便捷微调大语言模型,集成最新优化技术
GithubX—LLM大语言模型开源项目模型训练训练优化集成开发
X—LLM是一个便捷的微调大语言模型工具,集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法,显著提升训练效率。用户可以专注于模型和数据的优化,而不需要繁琐的代码编写。该工具支持多种Transformer模型,并可无缝对接HuggingFace Hub,适用于生产环境和快速原型设计,有助于用户更好地掌控模型训练进度并降低开销。
Safety-Prompts - 中文大语言模型安全评估与优化
GithubSafety-PromptsSafetyBenchShieldLM大模型安全开源项目评测平台
Safety-Prompts项目提供用于评测和提升中文大语言模型安全性的prompts,确保模型输出与人类价值观一致。项目包含10万条安全场景prompts和ChatGPT回复,涵盖各类安全场景和指令攻击,并提供多选题评测平台,适用于训练和微调更安全的模型,帮助研究人员评估大模型安全性。
Lunary - 开源平台助力LLM应用的管理、优化与安全
AI工具AI监控LLM应用开源平台数据安全用户评测
Lunary是专为AI开发者打造的开源平台,致力于LLM应用的管理、优化和安全。平台提供LLM代理日志记录、调试、安全防护和数据分析等功能。支持多种LLM和框架,具备SOC 2 Type II和ISO 27001认证的安全性能。Lunary提供丰富工具增强决策能力,核心平台完全开源,支持自托管或云端部署,便于快速集成和使用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号