language_tool_python: 一个用于 Python 的语法检查器 📝

当前 LanguageTool 版本：6.4

这是 LanguageTool 的一个 Python 封装库。LanguageTool 是开源的语法工具，也被称为 OpenOffice 的拼写检查器。这个库允许你通过 Python 脚本或命令行界面检测语法错误和拼写错误。

本地和远程服务器

默认情况下，language_tool_python 会下载一个 LanguageTool 服务器 .jar 并在后台运行，以便在本地检测语法错误。然而，LanguageTool 还提供了一个 公共 HTTP 校对 API 也受到支持。关于速率限制的详细信息，请点击链接。（本地运行将没有相同的限制。）

本地使用 language_tool_python

本地服务器是默认设置。要使用它，只需初始化一个 LanguageTool 对象：

import language_tool_python
tool = language_tool_python.LanguageTool('en-US')  # 使用本地服务器（自动设置），语言为英语

使用公共 LanguageTool 远程服务器的 language_tool_python

还有一个内置类可以查询 LanguageTool 的公共服务器。这样初始化它：

import language_tool_python
tool = language_tool_python.LanguageToolPublicAPI('es') # 使用公共 API，语言为西班牙语

使用另一个远程服务器的 language_tool_python

最后，你可以将自己的远程服务器作为参数传递给 LanguageTool 类：

import language_tool_python
tool = language_tool_python.LanguageTool('ca-ES', remote_server='https://language-tool-api.mywebsite.net')  # 使用远程服务器 API，语言为加泰罗尼亚语

使用 utils.correct 应用自定义匹配列表

如果你想决定哪些 Match 对象应用到你的文本中，使用 tool.check（生成匹配列表）和 language_tool_python.utils.correct（将匹配列表应用到文本中）结合使用。以下是生成、过滤和应用匹配列表的示例。在这种情况下，忽略大写单词的拼写检查建议：

>>> s = "Department of medicine Colombia University closed on August 1 Milinda Samuelli"
>>> is_bad_rule = lambda rule: rule.message == 'Possible spelling mistake found.' and len(rule.replacements) and rule.replacements[0][0].isupper()
>>> import language_tool_python
>>> tool = language_tool_python.LanguageTool('en-US')
>>> matches = tool.check(s)
>>> matches = [rule for rule in matches if not is_bad_rule(rule)]
>>> language_tool_python.utils.correct(s, matches)
'Department of medicine Colombia University closed on August 1 Melinda Sam'

使用示例

在解释器中：

>>> import language_tool_python
>>> tool = language_tool_python.LanguageTool('en-US')
>>> text = 'A sentence with a error in the Hitchhiker’s Guide tot he Galaxy'
>>> matches = tool.check(text)
>>> len(matches)
2
...
>>> tool.close() # 完成后调用 `close()` 关闭服务器。

查看一些 Match 对象的属性：

>>> matches[0].ruleId, matches[0].replacements # ('EN_A_VS_AN', ['an'])
('EN_A_VS_AN', ['an'])
>>> matches[1].ruleId, matches[1].replacements
('TOT_HE', ['to the'])

打印 Match 对象：

>>> print(matches[1])
Line 1, column 51, Rule ID: TOT_HE[1]
Message: Did you mean 'to the'?
Suggestion: to the
...

自动将建议应用到文本上：

>>> tool.correct(text)
'A sentence with an error in the Hitchhiker’s Guide to the Galaxy'

从命令行：

$ echo 'This are bad.' > example.txt
$ language_tool_python example.txt
example.txt:1:1: THIS_NNS[3]: Did you mean 'these'?

关闭 LanguageTool

language_tool_python 在后台运行一个 LanguageTool Java 服务器。当创建的 language_tool_python.LanguageTool 对象超出作用域时，它将关闭服务器。但是，如果垃圾回收需要一段时间，进程可能不会立即被删除。如果你看到很多进程被生成但没有被删除，你可以显式地关闭它们：

import language_tool_python
tool = language_tool_python.LanguageToolPublicAPI('de-DE') # 启动一个进程
# 使用 `tool` 进行操作
tool.close() # 显式关闭 LanguageTool

你还可以使用上下文管理器 (with .. as) 显式控制何时启动和停止服务器：

import language_tool_python

with language_tool_python.LanguageToolPublicAPI('de-DE') as tool:
  # 使用 `tool` 进行操作
# 不需要调用 `close()`，它将在 with 语句末尾自动执行

客户端-服务器模型

你可以在一个主机上运行 LanguageTool，并从另一个主机连接到它。这在一些分布式场景中非常有用。下面是一个简单的例子：

服务器

>>> import language_tool_python
>>> tool = language_tool_python.LanguageTool('en-US', host='0.0.0.0')
>>> tool._url
'http://0.0.0.0:8081/v2/'

客户端

>>> import language_tool_python
>>> lang_tool = language_tool_python.LanguageTool('en-US', remote_server='http://0.0.0.0:8081')
>>>
>>>
>>> lang_tool.check('helo darknes my old frend')
[Match({'ruleId': 'UPPERCASE_SENTENCE_START', 'message': 'This sentence does not start with an uppercase letter.', 'replacements': ['Helo'], 'offsetInContext': 0, 'context': 'helo darknes my old frend', 'offset': 0, 'errorLength': 4, 'category': 'CASING', 'ruleIssueType': 'typographical', 'sentence': 'helo darknes my old frend'}), Match({'ruleId': 'MORFOLOGIK_RULE_EN_US', 'message': 'Possible spelling mistake found.', 'replacements': ['darkness', 'darkens', 'darkies'], 'offsetInContext': 5, 'context': 'helo darknes my old frend', 'offset': 5, 'errorLength': 7, 'category': 'TYPOS', 'ruleIssueType': 'misspelling', 'sentence': 'helo darknes my old frend'}), Match({'ruleId': 'MORFOLOGIK_RULE_EN_US', 'message': 'Possible spelling mistake found.', 'replacements': ['friend', 'trend', 'Fred', 'freed', 'Freud', 'Friend', 'fend', 'fiend', 'frond', 'rend', 'fr end'], 'offsetInContext': 20, 'context': 'helo darknes my old frend', 'offset': 20, 'errorLength': 5, 'category': 'TYPOS', 'ruleIssueType': 'misspelling', 'sentence': 'helo darknes my old frend'})]
>>>

配置

LanguageTool 提供了许多内置的配置选项。

示例：启用缓存

下面是一个使用配置选项启用缓存的例子。有些用户报告说，这有助于大大提高性能。

import language_tool_python
tool = language_tool_python.LanguageTool('en-US', config={ 'cacheSize': 1000, 'pipelineCaching': True })

示例：设置最大文本长度

下面是一个配置 LanguageTool 设置语法检查文本最大长度的例子。如果文本太长，会抛出一个错误（在 Python 中表现为 language_tool_python.LanguageToolError）。

import language_tool_python
tool = language_tool_python.LanguageTool('en-US', config={ 'maxTextLength': 100 })

完整的配置选项列表

以下是完整的配置选项列表。详情请参阅 LanguageTool HTTPServerConfig 文档。

'maxTextLength' - 最大文本长度，超过此长度的文本会引发错误（可选）
'maxTextHardLength' - 最大文本硬长度，即使用户有特殊的秘钥参数也适用（可选）
'secretTokenKey' - 用户设置并有效的秘密JWT密钥，可以让用户增加 maxTextLength（可选）
'maxCheckTimeMillis' - 每次检查允许的最大时间（毫秒）（可选）
'maxErrorsPerWordRate' - 如果每个单词的规则匹配数量超过一定数量，将中止检查并报错（可选）
'maxSpellingSuggestions' - 出于性能原因，仅对这么多拼写错误提供建议（可选，仅适用于基于 Hunspell 的语言）
'maxCheckThreads' - 最大并行工作的线程数（可选）
'cacheSize' - 内部缓存的大小，以句子数量为单位（可选，默认值：0）
'cacheTTLSeconds' - 句子在缓存中保留的时间（秒）（可选，默认值：300，如果设置了'cacheSize'）
'requestLimit' - 每个 requestLimitPeriodInSeconds 的最大请求数量（可选）
'requestLimitInBytes' - 每个 requestLimitPeriodInSeconds 的最大请求累计大小（可选）
'timeoutRequestLimit' - 最大超时请求数量（可选）
'requestLimitPeriodInSeconds' - requestLimit 和 timeoutRequestLimit 适用的时间周期（可选）
'languageModel' - 一个包含 '1grams', '2grams', '3grams' 子目录的目录，每个子目录包含一个 Lucene 索引，包含 ngram 出现计数；如果支持则激活混淆规则（可选）
'word2vecModel' - 一个目录包含 Word2Vec 数据（可选），详见
https://github.com/languagetool-org/languagetool/blob/master/languagetool-standalone/CHANGES.md#word2vec
'fasttextModel' - 更好语言检测的模型文件（可选），详见
                  https://fasttext.cc/docs/en/language-identification.html
'fasttextBinary' - 用于语言检测的编译 fasttext 可执行文件（可选），详见
                  https://fasttext.cc/docs/en/support.html
'maxWorkQueueSize' - 如果请求队列变得太大则拒绝请求（可选）
'rulesFile' - 包含规则配置的文件，例如 .langugagetool.cfg（可选）
'warmUp' - 设置为 'true' 在启动时进行预热，即用所有语言运行一个短检查（可选）
'blockedReferrers' - 被阻止的 HTTP 引用者（和 'Origin' 头）列表，以逗号分隔（可选）
'premiumOnly' - 仅激活高级规则（可选）
'disabledRuleIds' - 对此服务器关闭的规则 ID 列表，以逗号分隔（可选）
'pipelineCaching' - 设置为 'true' 以启用内部管道缓存以提高性能
'maxPipelinePoolSize' - 如果设置了 'pipelineCaching' 则缓存大小
'pipelineExpireTimeInSeconds' - 管道缓存条目的过期时间
'pipelinePrewarming' - 设置为 'true' 在启动时填充管道缓存（可能会大大减慢启动速度）

安装

通过 pip 安装：

$ pip install --upgrade language_tool_python

LanguageTool 有哪些规则？

在寻找要启用或禁用的特定规则吗？好奇 LanguageTool 应用的规则范围吗？此页面包含了所有 5000 多条编程到 LanguageTool 中的语法规则的列表：https://community.languagetool.org/rule/list?lang=en&offset=30&max=10

自定义下载 URL 或路径

如果您的系统上已安装 LanguageTool，您可以定义以下环境变量：

$ export LTP_JAR_DIR_PATH = /path/to/the/language/tool/jar/files

否则，language_tool_python 可以自动为您下载 LanguageTool。

要覆盖用于下载 LanguageTool-{version}.zip 的 URL 主机部分：

$ export LTP_DOWNLOAD_HOST = [alternate URL]

这可以用来降级到旧版本，例如，或者从镜像下载。

要选择下载服务器到的特定文件夹：

$ export LTP_PATH = /path/to/save/language/tool

默认的下载路径是 ~/.cache/language_tool_python/。LanguageTool 服务器约为 200 MB，因此在选择下载文件夹时需要考虑这一点。（或者，如果你没有足够的磁盘空间，可以使用远程 URL！）

前提条件

• Python 3.6+
• LanguageTool （Java 8.0 或更高版本）

安装过程应包括下载 LanguageTool（可能需要几分钟）。否则，您可以手动下载 LanguageTool-stable.zip 并将其解压缩到 language_tool_python 包所在的位置。

LanguageTool 版本

截至 2020 年 4 月，language_tool_python 从 language-check 分叉而来，不再支持低于 4.0 的 LanguageTool 版本。

致谢

这是 https://github.com/myint/language-check/ 的一个分叉，它从命令行生成更易于解析的结果。