Nosey Parker: 在文本数据中寻找秘密信息
概述
Nosey Parker 是一个命令行工具,用于在文本数据中查找秘密和敏感信息。它对攻击性和防御性安全测试都很有用。
主要特点:
- 可以原生扫描文件、目录和Git仓库历史
- 使用正则表达式匹配,基于经验和攻击性安全项目的反馈选择了144个高信噪比的模式
- 对发现进行去重,将共享相同密钥的匹配分组,在实践中可以将审查工作量减少100倍或更多
- 速度快:在单核上可以以每秒数百兆字节的速度扫描,能够在较旧的MacBook Pro上不到2分钟内扫描100GB的Linux内核源代码历史
- 可扩展:在安全项目中扫描过高达20TiB的输入
Nosey Parker的内部版本在Praetorian的数百次攻击性安全项目中发现了秘密信息。内部版本具有额外的误报抑制功能和基于机器学习的无规则检测引擎。更多信息请阅读博客文章。
安装
Homebrew公式
Nosey Parker可以通过Homebrew安装:
$ brew install noseyparker
预构建二进制文件
x86_64 Linux和x86_64/aarch64 macOS的预构建二进制文件可在最新发布页面获取。这是一种简单的入门方式,性能也很好。
Docker镜像
最新发布版本的多平台Docker镜像适用于x86_64和aarch64:
$ docker pull ghcr.io/praetorian-inc/noseyparker:latest
最新提交的多平台Docker镜像适用于x86_64和aarch64:
$ docker pull ghcr.io/praetorian-inc/noseyparker:main
最新发布版本的基于Alpine的多平台Docker镜像适用于x86_64和aarch64:
$ docker pull ghcr.io/praetorian-inc/noseyparker-alpine:latest
最新提交的基于Alpine的多平台Docker镜像适用于x86_64和aarch64:
$ docker pull ghcr.io/praetorian-inc/noseyparker-alpine:main
注意: Docker镜像运行速度明显慢于原生二进制文件,尤其是在macOS上。
Arch Linux软件包
Nosey Parker可在Arch用户仓库中获取。
Windows
Nosey Parker目前不提供Windows原生二进制文件。可以使用WSL1和原生Linux版本在Windows上运行。
从源代码构建
1. 安装先决条件
这已在x86_64上的多个Ubuntu Linux版本和x86_64/aarch64上的macOS上测试过。
必需的依赖项:
cargo
: 推荐方法:从https://rustup.rs安装cmake
: 用于构建vectorscan-sys
crate和其他一些依赖项boost
: 用于构建vectorscan-sys
crate (支持的版本>=1.57
)git
: 用于将版本信息嵌入noseyparker
CLIpatch
: 用于构建vectorscan-sys
cratepkg-config
: 用于构建vectorscan-sys
cratesha256sum
: 用于计算摘要(通常由coreutils
包提供)zsh
: 用于构建脚本
2. 使用create-release.zsh
脚本构建
$ rm -rf release && ./scripts/create-release.zsh
如果成功,这将在release
目录生成包含发布工件的目录结构。命令行程序将位于release/bin/noseyparker
。
使用方法
概述
Nosey Parker本质上是一个用于检测秘密的专用grep
类工具。典型的工作流程分为三个阶段:
- 使用
scan
命令扫描感兴趣的输入 - 使用
report
命令报告扫描结果详情 - 审查和分类发现
扫描和报告步骤被实现为单独的命令,因为您可能希望从一次昂贵的扫描运行中生成多个报告。
获取帮助
不带参数运行noseyparker
二进制文件会打印顶级帮助并退出。您可以通过运行noseyparker COMMAND -h
获取特定命令的简略帮助。更详细的帮助可通过help
命令或长格式的--help
选项获得。
预构建的发布版本还包括将命令行帮助收集在一处的手册页。这些手册页转换为Markdown格式也包含在存储库中。
如果您有文档中未回答的问题,请随时开始讨论。
术语和数据模型
数据存储
大多数Nosey Parker命令使用数据存储,这是Nosey Parker用来记录其发现并维护其内部状态的特殊目录。如果需要,scan
命令会隐式创建数据存储。
二进制大对象
Nosey Parker扫描的每个输入称为二进制大对象,并有一个唯一的二进制大对象ID,这是以与git
相同的方式计算的SHA-1摘要。
来源
每个二进制大对象都有一个或多个与之关联的来源条目。来源条目是描述输入如何被发现的元数据,例如文件系统上的文件或Git仓库历史中的条目。
规则
Nosey Parker是一个基于规则的系统,使用正则表达式。每个规则都有一个单一的模式,至少有一个捕获组将匹配内容与周围上下文隔离。您可以使用noseyparker rules list
列出可用的规则。
规则集
规则的集合被组织成规则集。Nosey Parker的默认规则集包括检测似乎是硬编码秘密的规则。其他规则集也可用;您可以使用noseyparker rules list
列出它们。
匹配
当规则的模式匹配输入时,它会产生一个匹配。匹配由规则、二进制大对象ID、起始字节偏移量和结束字节偏移量定义;这些字段用于确定唯一的匹配标识符。
发现
由同一规则产生并共享相同捕获组的匹配被分组为一个发现。换句话说,发现是一组匹配。这是Nosey Parker的顶级报告单位。
使用示例
注意:使用Docker时...
如果您使用Docker镜像,请将以下命令中的noseyparker
替换为使用挂载卷的Docker调用:
docker run -v "$PWD":/scan ghcr.io/praetorian-inc/noseyparker:latest <参数>
Docker容器以/scan
作为其工作目录运行,因此将$PWD
挂载到容器中的/scan
将使命令行调用中的tab补全和相对路径正常工作。
扫描输入以查找秘密
文件系统内容,包括本地Git仓库
Nosey Parker内置支持扫描文件、递归扫描目录和扫描Git仓库的整个历史。
例如,如果您在本地的cpython.git
中有CPython的Git克隆,您可以使用scan
命令扫描其整个历史。Nosey Parker将在np.cpython
创建一个新的数据存储并将其发现保存在那里。(np.cpython
这个名称并不重要;它可以是您想要的任何名称。)
$ noseyparker scan --datastore np.cpython cpython.git
找到28.30 GiB,来自18个普通文件和1个Git仓库的427,712个二进制大对象 [00:00:04]
扫描内容 ████████████████████ 100% 28.30 GiB/28.30 GiB [00:00:53]
在54秒内扫描了427,730个二进制大对象的28.30 GiB (538.46 MiB/s); 4,904/4,904个新匹配
规则 不同组数 总匹配数
───────────────────────────────────────────────────────
PEM编码私钥 1,076 1,192
通用秘密 331 478
netrc凭据 42 3,201
通用API密钥 2 31
md5crypt哈希 1 2
接下来运行`report`命令以显示发现详情。
给定URL、GitHub用户名或GitHub组织名称的Git仓库
Nosey Parker还可以扫描尚未克隆到本地文件系统的Git仓库。scan
命令的--git-url URL
、--github-user NAME
和--github-org NAME
选项允许您指定感兴趣的仓库。
例如,要扫描Nosey Parker仓库本身:
$ noseyparker scan --datastore np.noseyparker --git-url https://github.com/praetorian-inc/noseyparker
例如,要扫描属于octocat
的可访问仓库:
$ noseyparker scan --datastore np.noseyparker --github-user octocat
如果NP_GITHUB_TOKEN
环境变量中有可用的GitHub令牌,这些输入指定符将使用它。提供访问令牌会提高API速率限制,并可能使您可以访问更多仓库。
有关更多详细信息,请参阅noseyparker help scan
。
报告发现
要查看Nosey Parker发现的详细信息,请使用report
命令。这会打印出一个为人类消费设计的基于文本的报告:
$ noseyparker report --datastore np.cpython
发现1/1452: 通用API密钥
匹配: QTP4LAknlFml0NuPAbCdtvH4KQaokiQE
显示3/29个出现:
出现1:
Git仓库: clones/cpython.git
二进制大对象: 04144ceb957f550327637878dd99bb4734282d07
行: 70:61-70:100
e buildbottest
notifications:
email: false
webhooks:
urls:
- https://python.zulipchat.com/api/v1/external/travis?api_key=QTP4LAknlFml0NuPAbCdtvH4KQaokiQE&stream=core%2Ftest+runs
on_success: change
on_failure: always
irc:
channels:
# This is set to a secure vari
出现2:
Git仓库: clones/cpython.git
二进制大对象: 0e24bae141ae2b48b23ef479a5398089847200b3
行: 174:61-174:100
j4 -uall,-cpu"
notifications:
email: false
webhooks:
urls:
- https://python.zulipchat.com/api/v1/external/travis?api_key=QTP4LAknlFml0NuPAbCdtvH4KQaokiQE&stream=core%2Ftest+runs
on_success: change
on_failure: always
irc:
channels:
# This is set to a secure vari
...
(注:以上发现是合成的,无效的秘密。)
支持其他输出格式,包括JSON、JSON行和SARIF(实验性),通过--format=FORMAT
选项。
人类可读的文本格式
JSON格式
总结发现
Nosey Parker在完成扫描时会打印出发现的摘要。 你也可以单独运行这一步骤:
$ noseyparker summarize --datastore np.cpython
规则 不同组数 总匹配数
───────────────────────────────────────────────────────────
PEM编码私钥 1,076 1,192
通用秘密 331 478
netrc凭证 42 3,201
通用API密钥 2 31
md5crypt哈希 1 2
支持其他输出格式,包括JSON和JSON行,通过--format=FORMAT
选项。
从GitHub枚举仓库
要列出属于GitHub用户或组织的仓库URL,使用github repos list
命令。
此命令使用GitHub REST API枚举属于一个或多个用户或组织的仓库。
例如:
$ noseyparker github repos list --user octocat
https://github.com/octocat/Hello-World.git
https://github.com/octocat/Spoon-Knife.git
https://github.com/octocat/boysenberry-repo-1.git
https://github.com/octocat/git-consortium.git
https://github.com/octocat/hello-worId.git
https://github.com/octocat/linguist.git
https://github.com/octocat/octocat.github.io.git
https://github.com/octocat/test-repo1.git
可以通过NP_GITHUB_TOKEN
环境变量提供可选的GitHub个人访问令牌。
提供访问令牌可以获得更高的API速率限制,并可能使你能够访问更多仓库。
支持其他输出格式,包括JSON和JSON行,通过--format=FORMAT
选项。
有关更多详细信息,请参阅noseyparker help github
。
集成
Nosey Parker有几个第三方集成:
- Nosey Parker在Homebrew中打包
- Nosey Parker在Arch Linux中打包
- 有一个运行Nosey Parker的GitHub Action可用
- DefectDojo包含Nosey Parker v0.16 JSON解析器
- Nemesis包含对Nosey Parker的支持
如果你有想分享的集成但未在此列出,请创建一个PR。
贡献
欢迎在讨论页面提问或分享想法。
欢迎贡献,尤其是新的正则表达式规则。 开发新的正则表达式规则的详细信息在单独的文档中。
如果你考虑进行重大代码更改,请先开启一个issue或开始一个讨论。
本项目启用了一些pre-commit钩子,我们鼓励你使用它们。
要在本地仓库中安装它们,请确保你已安装pre-commit
并运行:
$ pre-commit install
这些检查将帮助快速检测简单错误。
许可
Nosey Parker根据Apache License, Version 2.0许可。
根据Apache 2.0许可的定义,你有意提交以包含在Nosey Parker中的任何贡献,都应按上述方式许可,无需任何额外条款或条件。
Nosey Parker还包含几个根据Apache许可和其他宽松许可发布的其他包的供应副本;详情请参阅LICENSE
。