ripgrep (rg)
ripgrep 是一个面向行的搜索工具,可以递归搜索当前目录中的正则表达式模式。默认情况下,ripgrep 会遵守 gitignore 规则,并自动跳过隐藏文件/目录和二进制文件。(要默认禁用所有自动过滤,请使用 rg -uuu
。)ripgrep 在 Windows、macOS 和 Linux 上都有一流的支持,每个发布版本都提供二进制下载。ripgrep 类似于其他流行的搜索工具,如 The Silver Searcher、ack 和 grep。
采用 MIT 或 UNLICENSE 双重许可。
更新日志
请查看 CHANGELOG 获取发布历史。
文档快速链接
搜索结果截图
工具比较快速示例
这个示例在整个 Linux 内核源代码树(运行 make defconfig && make -j8
后)中搜索 [A-Z]+_SUSPEND
,所有匹配必须是单词。计时是在一个配备 Intel i9-12900K 5.2 GHz 处理器的系统上收集的。
请记住,单个基准测试永远不够!请查看我的 关于 ripgrep 的博客文章 获取更详细的比较,包含更多基准测试和分析。
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep (Unicode) | rg -n -w '[A-Z]+_SUSPEND' | 536 | 0.082s (1.00x) |
hypergrep | hgrep -n -w '[A-Z]+_SUSPEND' | 536 | 0.167s (2.04x) |
git grep | git grep -P -n -w '[A-Z]+_SUSPEND' | 536 | 0.273s (3.34x) |
The Silver Searcher | ag -w '[A-Z]+_SUSPEND' | 534 | 0.443s (5.43x) |
ugrep | ugrep -r --ignore-files --no-hidden -I -w '[A-Z]+_SUSPEND' | 536 | 0.639s (7.82x) |
git grep | LC_ALL=C git grep -E -n -w '[A-Z]+_SUSPEND' | 536 | 0.727s (8.91x) |
git grep (Unicode) | LC_ALL=en_US.UTF-8 git grep -E -n -w '[A-Z]+_SUSPEND' | 536 | 2.670s (32.70x) |
ack | ack -w '[A-Z]+_SUSPEND' | 2677 | 2.935s (35.94x) |
这里是在相同语料库上的另一个基准测试,忽略 gitignore 文件并使用白名单进行搜索。语料库与前一个基准测试相同,传递给每个命令的标志确保它们执行等效的工作:
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep | rg -uuu -tc -n -w '[A-Z]+_SUSPEND' | 447 | 0.063s (1.00x) |
ugrep | ugrep -r -n --include='*.c' --include='*.h' -w '[A-Z]+_SUSPEND' | 447 | 0.607s (9.62x) |
GNU grep | grep -E -r -n --include='*.c' --include='*.h' -w '[A-Z]+_SUSPEND' | 447 | 0.674s (10.69x) |
现在我们将转向搜索单个大文件。这里是在内存中缓存的文件(~13GB,OpenSubtitles.raw.en.gz
,解压后)上 ripgrep、ugrep 和 GNU grep 之间的直接比较:
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep (Unicode) | rg -w 'Sherlock [A-Z]\w+' | 7882 | 1.042s (1.00x) |
ugrep | ugrep -w 'Sherlock [A-Z]\w+' | 7882 | 1.339s (1.28x) |
GNU grep (Unicode) | LC_ALL=en_US.UTF-8 egrep -w 'Sherlock [A-Z]\w+' | 7882 | 6.577s (6.31x) |
在上述基准测试中,传递 -n
标志(显示行号)会增加 ripgrep 的时间到 1.664s
,GNU grep 的时间增加到 9.484s
。ugrep 的时间不受 -n
标志的影响。
但要注意性能悬崖:
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep (Unicode) | rg -w '[A-Z]\w+ Sherlock [A-Z]\w+' | 485 | 1.053s (1.00x) |
GNU grep (Unicode) | LC_ALL=en_US.UTF-8 grep -E -w '[A-Z]\w+ Sherlock [A-Z]\w+' | 485 | 6.234s (5.92x) |
ugrep | ugrep -w '[A-Z]\w+ Sherlock [A-Z]\w+' | 485 | 28.973s (27.51x) |
当搜索大文件中没有字面优化机会的模式时,性能可能会急剧下降:
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep | rg '[A-Za-z]{30}' | 6749 | 15.569s (1.00x) |
ugrep | ugrep -w '[A-Z]\w+ Sherlock [A-Z]\w+' | 6749 | 21.857s (1.40x) |
GNU grep | LC_ALL=C grep -E '[A-Za-z]{30}' | 6749 | 32.409s (2.08x) |
GNU grep (Unicode) | LC_ALL=en_US.UTF-8 grep -E '[A-Za-z]{30}' | 6795 | 8m30s (32.74x) |
最后,高匹配次数也往往会降低性能并缩小工具之间的差异(因为性能主要取决于处理匹配的速度,而不是用于检测匹配的算法):
工具 | 命令 | 行数 | 时间 |
---|---|---|---|
ripgrep | rg the | 83499915 | 6.948s (1.00x) |
ugrep | ugrep the | 83499915 | 11.721s (1.69x) |
GNU grep | LC_ALL=C grep the | 83499915 | 15.217s (2.19x) |
为什么我应该使用 ripgrep?
-
它可以替代许多其他搜索工具的用途,因为它包含了大部分其他工具的功能,而且通常更快。(有关ripgrep是否真的可以替代grep的更多详细信息,请参阅FAQ。)
-
与其他专门用于代码搜索的工具一样,ripgrep默认进行递归搜索和自动过滤。具体来说,ripgrep不会搜索被
.gitignore
/.ignore
/.rgignore
文件忽略的文件,不会搜索隐藏文件,也不会搜索二进制文件。可以使用rg -uuu
禁用自动过滤。 -
ripgrep可以搜索特定类型的文件。例如,
rg -tpy foo
将搜索限制在Python文件中,而rg -Tjs foo
则从搜索中排除JavaScript文件。ripgrep可以通过自定义匹配规则来学习新的文件类型。 -
ripgrep支持
grep
中的许多功能,如显示搜索结果的上下文、搜索多个模式、用颜色突出显示匹配项以及完全的Unicode支持。与GNU grep不同,ripgrep在支持Unicode的同时保持高速(Unicode支持始终开启)。 -
ripgrep可选择切换其正则表达式引擎以使用PCRE2。这使得可以在模式中使用前瞻、后顾和反向引用,这些在ripgrep的默认正则表达式引擎中是不支持的。可以使用
-P/--pcre2
(始终使用PCRE2)或--auto-hybrid-regex
(仅在需要时使用PCRE2)启用PCRE2支持。另一种语法是通过--engine (default|pcre2|auto)
选项提供。 -
ripgrep支持基本的替换功能,可以根据匹配内容重写输出。
-
ripgrep支持搜索UTF-8以外的文本编码的文件,如UTF-16、latin-1、GBK、EUC-JP、Shift_JIS等。(提供了一些自动检测UTF-16的支持。其他文本编码必须使用
-E/--encoding
标志明确指定。) -
ripgrep支持使用
-z/--search-zip
标志搜索常见格式(brotli、bzip2、gzip、lz4、lzma、xz或zstandard)压缩的文件。 -
ripgrep支持任意输入预处理过滤器,可以进行PDF文本提取、不太常见的解压缩、解密、自动编码检测等。
-
ripgrep可以通过配置文件进行配置。
换句话说,如果你喜欢速度、默认过滤、更少的bug和Unicode支持,请使用ripgrep。
为什么我不应该使用ripgrep?
尽管最初不想给ripgrep添加所有功能,但随着时间的推移,ripgrep已经增加了对其他文件搜索工具中大多数功能的支持。这包括搜索跨多行的结果,以及对PCRE2的可选支持,后者提供了前瞻、后顾和反向引用支持。
目前,不使用ripgrep的主要原因可能包括以下一项或多项:
-
你需要一个可移植和普遍存在的工具。虽然ripgrep可以在Windows、macOS和Linux上工作,但它并不普遍存在,也不符合任何标准(如POSIX)。这项工作最适合的工具是经典的grep。
-
在本README中未列出的其他工具中存在你依赖的某些其他功能(或bug),而这些功能在ripgrep中不存在。
-
存在ripgrep表现不佳而其他工具表现良好的性能边缘情况。(请提交错误报告!)
-
无法在你的机器上安装ripgrep,或者ripgrep不支持你的平台。(请提交错误报告!)
它真的比其他所有工具都快吗?
通常是的。我的博客上提供了大量带有详细分析的基准测试。
总结一下,ripgrep之所以快速,是因为:
-
它建立在Rust的正则表达式引擎之上。Rust的正则表达式引擎使用有限自动机、SIMD和积极的字面优化来使搜索非常快速。(可以使用
-P/--pcre2
标志选择使用PCRE2支持。) -
Rust的正则表达式库通过将UTF-8解码直接构建到其确定性有限自动机引擎中,在完全支持Unicode的同时保持性能。
-
它支持使用内存映射或使用中间缓冲区进行增量搜索。前者更适合单个文件,后者更适合大型目录。ripgrep会自动为你选择最佳的搜索策略。
-
使用
RegexSet
应用.gitignore
文件中的忽略模式。这意味着单个文件路径可以同时与多个glob模式匹配。
功能比较
ack的作者Andy Lester发布了一个优秀的表格,比较了ack、ag、git-grep、GNU grep和ripgrep的功能:https://beyondgrep.com/feature-comparison/
请注意,ripgrep最近增加了一些重要的新功能,这些功能尚未出现在Andy的表格中。这包括但不限于配置文件、passthru、搜索压缩文件的支持、多行搜索和通过PCRE2提供的可选高级正则表达式支持。
试玩场
如果你想在安装前试用ripgrep,有一个非官方的试玩场和一个交互式教程。
如果你对这些有任何问题,请在教程仓库中开一个issue。
安装
ripgrep的二进制名称是rg
。
Windows、macOS和Linux的预编译二进制文件存档可在此处获取。 Linux和Windows二进制文件是静态可执行文件。未明确提到的平台的用户建议下载这些存档中的一个。
如果你是macOS Homebrew或Linuxbrew用户,可以从homebrew-core安装ripgrep:
$ brew install ripgrep
如果你是MacPorts用户,可以从官方端口安装ripgrep:
$ sudo port install ripgrep
如果你是Windows Chocolatey用户,可以从官方仓库安装ripgrep:
$ choco install ripgrep
如果你是Windows Scoop用户,可以从官方bucket安装ripgrep:
$ scoop install ripgrep
如果你是Windows Winget用户,可以从winget-pkgs仓库安装ripgrep:
$ winget install BurntSushi.ripgrep.MSVC
如果你是Arch Linux用户,可以从官方仓库安装ripgrep:
$ sudo pacman -S ripgrep
如果你是Gentoo用户,可以从官方仓库安装ripgrep:
$ sudo emerge sys-apps/ripgrep
如果你是Fedora用户,可以从官方仓库安装ripgrep:
$ sudo dnf install ripgrep
如果你是openSUSE用户,ripgrep包含在openSUSE Tumbleweed和自15.1版本起的openSUSE Leap中:
$ sudo zypper install ripgrep
如果你是RHEL/CentOS 7/8用户,可以从copr安装ripgrep:
$ sudo yum install -y yum-utils
$ sudo yum-config-manager --add-repo=https://copr.fedorainfracloud.org/coprs/carlwgeorge/ripgrep/repo/epel-7/carlwgeorge-ripgrep-epel-7.repo
$ sudo yum install ripgrep
如果你是Nix用户,可以从nixpkgs安装ripgrep:
$ nix-env --install ripgrep
如果你是Flox用户,可以按以下方式安装ripgrep:
$ flox install ripgrep
如果你是Guix用户,可以从官方包集合安装ripgrep:
$ guix install ripgrep
如果你是Debian用户(或Debian衍生版如Ubuntu的用户),可以使用每个ripgrep发布版本中提供的二进制.deb
文件安装ripgrep:
$ curl -LO https://github.com/BurntSushi/ripgrep/releases/download/14.1.0/ripgrep_14.1.0-1_amd64.deb
$ sudo dpkg -i ripgrep_14.1.0-1_amd64.deb
如果你运行的是Debian稳定版,ripgrep是由Debian官方维护的,尽管其版本可能比上一步中可用的deb
包更旧:
$ sudo apt-get install ripgrep
如果你是Ubuntu Cosmic (18.10)(或更新版本)用户,ripgrep可用,使用与Debian相同的打包方式:
$ sudo apt-get install ripgrep
(注意:Ubuntu上也有各种ripgrep的snaps可用,但它们似乎都无法正常工作,并产生了许多非常奇怪的错误报告,我不知道如何修复,也没有时间修复。因此,这不再是推荐的安装选项。)
如果你是ALT用户,可以从官方仓库安装ripgrep:
$ sudo apt-get install ripgrep
如果你是FreeBSD用户,可以从官方ports安装ripgrep:
$ sudo pkg install ripgrep
如果你是 OpenBSD 用户,你可以从官方端口安装 ripgrep:
$ doas pkg_add ripgrep
如果你是 NetBSD 用户,你可以从 pkgsrc 安装 ripgrep:
$ sudo pkgin install ripgrep
如果你是 Haiku x86_64 用户,你可以从官方端口安装 ripgrep:
$ sudo pkgman install ripgrep
如果你是 Haiku x86_gcc2 用户,你可以使用 x86 次要架构构建从与 Haiku x86_64 相同的端口安装 ripgrep:
$ sudo pkgman install ripgrep_x86
如果你是 Void Linux 用户,你可以从官方仓库安装 ripgrep:
$ sudo xbps-install -Syv ripgrep
如果你是 Rust 程序员,可以使用 cargo
安装 ripgrep。
- 请注意,ripgrep 支持的最低 Rust 版本是 1.72.0,尽管 ripgrep 可能在更旧的版本上也能工作。
- 请注意,二进制文件可能比预期的要大,因为它包含调试符号。这是有意为之的。要移除调试符号并减小文件大小,请在二进制文件上运行
strip
。
$ cargo install ripgrep
或者,可以使用 cargo binstall
直接从 GitHub 安装 ripgrep 二进制文件:
$ cargo binstall ripgrep
构建
ripgrep 是用 Rust 编写的,所以你需要获取一个 Rust 安装 来编译它。ripgrep 可以用 Rust 1.72.0(稳定版)或更新版本编译。通常,ripgrep 会跟踪 Rust 编译器的最新稳定版本。
要构建 ripgrep:
$ git clone https://github.com/BurntSushi/ripgrep
$ cd ripgrep
$ cargo build --release
$ ./target/release/rg --version
0.1.3
注意: 过去,ripgrep 在使用 Rust 每日构建版编译器时支持 simd-accel
Cargo 特性。这只对 UTF-16 转码有益。由于它需要不稳定的特性,这种构建模式容易出现问题。因此,对它的支持已被移除。如果你想要 UTF-16 转码的 SIMD 优化,那么你需要向 encoding_rs
项目请愿使用稳定的 API。
最后,可以通过启用 pcre2
特性来构建带有可选 PCRE2 支持的 ripgrep:
$ cargo build --release --features 'pcre2'
启用 PCRE2 特性可以使用稳定版 Rust 编译器,并会尝试通过 pkg-config
自动查找和链接你系统的 PCRE2 库。如果不存在,那么 ripgrep 将使用你系统的 C 编译器从源代码构建 PCRE2,然后将其静态链接到最终的可执行文件中。即使有可用的 PCRE2 系统库,也可以通过使用 MUSL 目标构建 ripgrep 或设置 PCRE2_SYS_STATIC=1
来强制进行静态链接。
在 Linux 上,可以通过首先在系统上安装 MUSL 库(请咨询你友好的邻居包管理器)来使用 MUSL 目标构建 ripgrep。然后你只需要将 MUSL 支持添加到你的 Rust 工具链并重新构建 ripgrep,这将产生一个完全静态的可执行文件:
$ rustup target add x86_64-unknown-linux-musl
$ cargo build --release --target x86_64-unknown-linux-musl
上面的 --features
标志可以按预期工作。如果你想用 MUSL 和 PCRE2 构建一个静态可执行文件,那么你需要安装 musl-gcc
,这可能在一个与实际 MUSL 库分开的包中,具体取决于你的 Linux 发行版。
运行测试
ripgrep 经过了相对充分的测试,包括单元测试和集成测试。要运行完整的测试套件,请在仓库根目录使用:
$ cargo test --all
相关工具
- delta 是一个支持
rg --json
输出格式的语法高亮分页器。所以你只需要运行rg --json pattern | delta
就可以让它工作。更多详情请参见 delta 的手册中关于 grep 的部分。
漏洞报告
要报告安全漏洞,请联系 Andrew Gallant。联系页面有我的电子邮件地址和 PGP 公钥,如果你希望发送加密消息。
翻译
以下是已知的 ripgrep 文档翻译列表。这些是非官方维护的,可能不是最新的。