garak
该工具检查LLM的潜在故障,包括幻觉、数据泄露、提示注入、错误信息、生成有害内容和越狱等。作为免费的命令行工具,支持多种生成模型,如Hugging Face、Replicate、OpenAI等。用户可通过pip或GitHub安装最新版本,并提供详尽的日志记录和报告功能,帮助识别和修复语言模型的漏洞。