访问官网
Github
Huggingface
文档
论文pyp
在命令行轻松运行Python！神奇但从不神秘。
安装
运行 pip install pypyp (注意多了一个"yp"!)
pyp 需要 Python 3.8 或更高版本。
工作原理
pyp 会静态分析输入代码以检测未定义的变量。根据发现的结果，它会根据需要对输入代码的AST进行转换。然后我们编译并执行结果，或者如果使用 --explain，则将AST反解析回源代码。
示例
本节将引导您了解使用pyp的详细信息，希望能替代您对许多常见shell工具的需求。要获取速查表/简要说明，请运行 pyp --help。
pyp可以轻松用于对输入的每一行应用Python代码。
只需使用魔术变量 x、l 或 line 来引用当前行。
# pyp 类似 cut
ls | pyp 'x[:3]'
ps x | pyp 'line.split()[4]'
pyp也可以轻松地对整个输入应用Python代码。
使用魔术变量 lines 获取去除右侧空白的行列表，或使用 stdin 获取 sys.stdin。
# pyp 类似 wc -c
cat /usr/share/dict/words | pyp 'len(stdin.read())'
# pyp 类似 awk
seq 1 5 | pyp 'sum(map(int, lines))'
pyp 会自动导入您使用的模块。
# pyp 类似 sh
echo echo echo | pyp 'subprocess.run(lines[0], shell=True); pass'
# pyp 类似 jq
curl -s 'https://api.github.com/repos/hauntsaninja/pyp/commits?per_page=1' | pyp 'json.load(stdin)[0]["commit"]["author"]'
# pyp 类似 egrep
cat /usr/share/dict/words | pyp 'x if re.search("(p|m)yth", x) else None'
对于 collections、math、itertools、pathlib.Path、pprint.pp，即使您不使用完全限定名，pyp也能识别。
# pyp 类似 bc
pyp 'sqrt(5)'
# pyp 类似 ${x##*.}
ls | pyp 'Path(x).suffix'
pyp 可以使用魔术变量 i、idx 或 index 访问循环索引。
# pyp 类似行号
cat setup.py | pyp 'f"{idx+1: >3} {x}"'
注意到目前为止您还没有调用 print！
默认情况下，pyp 会打印代码中的最后一个表达式 — 除非它的值为 None（或最后一条语句是 pass）。
您随时可以显式调用 print，这种情况下 pyp 不会干扰您的输出。
# pyp 类似 grep
cat /usr/share/dict/words | pyp 'x if "python" in x else None'
cat /usr/share/dict/words | pyp 'if "python" in x: print(x); "this will not be printed"'
pyp 会尝试智能地打印字典和可迭代对象。
这使得 pyp 的输出更容易与shell工具组合使用。
同样，显式打印会停止这种魔法行为，但如果您确实想要显式选择这种行为，pyp 提供了 pypprint 函数。
# pyp 类似 tail
ls | pyp 'lines[-10:]'
# pyp 类似 sort
ls | pyp 'sorted(lines)'
ls | pyp 'print(f"Sorting {len(lines)} lines"); pypprint(sorted(lines))'
# pyp 类似 sort | uniq
ls | pyp 'sorted(set(lines))'
pyp 允许您在处理输入之前和之后运行Python代码片段。
注意，如果您在使用分号时遇到麻烦，想要换行（而不在shell中使用多行字符串），您可以直接向pyp传递另一个字符串。您也可以随时将pyp的输出管道到另一个pyp命令！
# pyp 可以做任何事！
ps aux | pyp -b 'd = defaultdict(list)' 'user, pid, *_ = x.split()' 'd[user].append(pid)' -a 'del d["root"]' -a 'd'
pyp 可以是神奇的，但它不必是神秘的！
使用 --explain 或 --script，pyp 将输出一个等效于它将运行的脚本。这也可以作为更复杂脚本的有用起点。
pyp --explain -b 'd = defaultdict(list)' 'user, pid, *_ = x.split()' 'd[user].append(pid)' -a 'del d["root"]' -a 'd'
#!/usr/bin/env python3
from collections import defaultdict
from pyp import pypprint
import sys
d = defaultdict(list)
for x in sys.stdin:
x = x.rstrip('\n')
(user, pid, *_) = x.split()
d[user].append(pid)
del d['root']
if d is not None:
pypprint(d)
如果您的命令遇到异常，pyp 将重构一个指向生成代码的回溯。
pyp 是可配置的。
将环境变量 PYP_CONFIG_PATH 指向一个包含以下内容的文件，例如：
import numpy as np
import tensorflow as tf
from pipetools import *
def p95(data):
return np.percentile(data, 95)
class PotentiallyUsefulClass: ...
在尝试定义未定义的名称时，pyp 会静态*分析这个文件作为可能定义的来源。这意味着如果您不使用 tf，我们就不会导入 tensorflow！当然，--explain 会准确显示运行的内容（因此也会显示未运行的内容！）：
pyp --explain 'print(p95(list(map(float, stdin))))'
#!/usr/bin/env python3
import sys
import numpy as np
def p95(data):
return np.percentile(data, 95)
stdin = sys.stdin
print(p95(list(map(float, stdin))))
注意，在配置中从像 pipetools 这样的库导入可以让您实现高度的语法糖：
seq 1 110 | pyp 'lines > foreach(int) | where(X > 100) | group_by(X % 3) | sort_by(X[0])'
*如果您使用通配符导入，如果还有未定义的名称，我们将需要导入这些模块，尽管在正常情况下我们会跳过这一步。如果这对您很重要，请绝对不要在配置中使用 from tensorflow import *！
pyp 允许您配置自己的魔法！
如果您的配置文件中的定义依赖于魔术变量，pyp 会以合理的方式替换它们。例如，在您的配置中放入以下内容...
n = int(x)
f = x.split()
j = json.load(stdin)
import pandas as pd
csv = pd.read_csv(stdin)
...让pyp更容易满足您的自定义用例:
ps | pyp 'f[3]'
cat commits.json | pyp 'j[0]["commit"]["author"]'
< cities.csv pyp 'csv.to_string()'
我有问题!
在FAQ中有更多文档和示例。 如果那里没有回答您的问题,请提出issue!
相关项目
Pyed Piper 又名 Python Power at the Prompt
pypyp从这里获得灵感(和命令名称!)。
当pypyp编写时,Pyed Piper已经死亡且只支持Python 2十年了;
最近它似乎又复活了。Pyed Piper比pypyp更远离正常的Python语法和API。特别是,Pyed Piper强调在Python内部管道,类似于您可以在上面的配置示例中将pypyp与pipetools结合使用的方式。
Pyped
Pyped非常相似;如果我知道它的存在,可能就不会写pyp了。但我很高兴我不知道,因为Pyped没有我们做的AST内省和操作。这意味着:
- Pyped依赖您传入标志来告诉它该做什么,而pyp可以从输入中明确推断意图。
- 它不提供简单的自动打印,或智能打印迭代器和字典。
- 它硬编码了一个导入列表,并在您的系统上安装了一些库。这个项目的自动导入可以用于您使用的任何库。
- 它没有类似
--explain/--script的功能。
然而,
- 它有一些便利功能,比如输入的正则表达式拆分,在这里您必须自己完成。
- 它支持Python 2和早期版本的Python 3。
- 它存在的时间要长得多。
piep / spy / pyfil / pythonpy / oneliner
自从编写pyp以来,我发现比我想象的更多的替代方案 :-) 一些简短的说明:
- 大多数都像Pyped一样依赖用户传入标志。
- 大多数在自动打印方面有限制,比如只能自动打印单个表达式或不能很好地处理迭代器和字典。
- 有些有用于进程内命令链接的自定义语法,这可能很方便。
- 有些对JSON输入或运行shell命令等有专门的支持。
- 有些以有趣的方式通过自定义行/文件/流对象公开输入。
- 有些有更高级的错误处理选项(尽管没有一个有pyp的出色回溯)。
- 没有一个像pyp那样有强大的配置。
- 没有一个有类似
--explain的功能。
无论如何,我按照个人喜好的大致顺序列出了上述项目。
mario
mario是一个功能丰富的shell处理Python方案。它不使用未定义名称检测,而是依赖可插拔的子命令系统。虽然子命令可能比pyp更冗长,但mario通过自动应用函数和自定义命令链接语法弥补了一些差距。结果可能感觉有点像DSL,而pyp试图感觉非常接近编写Python。
如果以下情况,请考虑使用mario:
- 您发现自己串联了很长的pyp命令序列,并希望能够在单个进程中进行命令链接。
- 您经常需要重用复杂的pyp命令,或者进行大量特定领域的shell处理,希望可以用一个命令重用。
- 您想轻松使用异步函数。
如果以下情况,请考虑使用pyp:
- 您想最大限度地减少应该快速简单的操作的按键次数。
- 您想要一个简单轻量级的,感觉非常接近Python的工具。您不想记住命令。
- 您乐于使用Python库进行特定领域的繁重工作,以便于命令链接或语法糖。您不介意(或希望能够)通过
--script回退到脚本来处理复杂性。
xonsh
xonsh是一个语言为Python超集的shell;这比pyp更有野心,也非常不同。pyp更容易用于一行命令管道用例,但如果您需要在shell中使用更多Python,请查看xonsh。
awk
如果awk适合您,您是怎么找到这里的?
