NODRIVER

点击此处查看文档

这个软件包提供了使用相对简单的接口进行下一代网页抓取和浏览器自动化的功能。

• 这是 Undetected-Chromedriver Python 软件包的官方继任者。
• 不再需要 webdriver，不再需要 selenium

直接通信提供了更好的抵抗网络应用防火墙（WAF）的能力，同时性能得到了巨大提升。 与 undetected-chromedriver 不同，这个模块是完全异步的。

这个软件包与其他已知软件包的不同之处在于，它针对大多数反机器人解决方案进行了优化，以保持不被检测。

另一个关注点是易用性和快速原型开发，所以大多数方法参数都有"最佳实践"默认值，使得很多功能都可以"开箱即用"。 只需 1 到 2 行代码，就可以启动并运行，提供最佳实践配置作为默认设置。

虽然易用性和便利性很重要，但也可以使用全套可用的 CDP 域、方法和事件来完全自定义所有内容。

一些特性

• 一个速度极快的不可检测的 Chrome（类似）自动化库
• 无需 chromedriver 二进制文件或 Selenium 依赖
• 这意味着性能大幅提升和更少的检测！
• 只需一行代码即可启动并运行*
• 每次运行时使用新的配置文件，退出时自动清理
• 将 cookie 保存到文件并从文件加载，避免重复繁琐的登录步骤
• 智能元素查找，通过选择器或文本，包括 iframe 内容。 这也可以用作等待元素出现的条件，因为它会在 时间内重试直到找到元素。 使用 tab.find() 通过文本查找单个元素，接受 best_match 标志，不会 简单地返回第一个匹配项，而是通过最接近的文本长度匹配候选项。
• 元素的描述性 __repr__，以 HTML 形式表示元素
• 实用函数，用于将正在运行的 undetected_chromedriver.Chrome 实例 转换为 nodriver.Browser 实例并从那里继续
• packed 用于最常用和最重要操作的辅助方法和实用函数

安装

由于它是 undetected-chromedriver 的一部分，安装方式如下：

pip install undetected-chromedriver

如果你不想安装 undetected-chromedriver，可以使用以下命令安装此软件包：

pip install nodriver

使用示例

这个项目的目标（就像 undetected-chromedriver 很久以前一样） 是保持简短和简单，以便你可以快速打开编辑器或交互式会话， 输入或粘贴几行代码就可以开始使用。

import asyncio
import nodriver as uc

async def main():
    browser = await uc.start()
    page = await browser.get('https://www.nowsecure.nl')

    await page.save_screenshot()
    await page.get_content()
    await page.scroll_down(150)
    elems = await page.select_all('*[src]')
    for elem in elems:
        await elem.flash()

    page2 = await browser.get('https://twitter.com', new_tab=True)
    page3 = await browser.get('https://github.com/ultrafunkamsterdam/nodriver', new_window=True)

for p in (page, page2, page3):
    await p.bring_to_front()
    await p.scroll_down(200)
    await p   # 等待事件处理完成
    await p.reload()
    if p != page3:
        await p.close()


if __name__ == '__main__':

    # 由于asyncio.run从未正常工作(对我来说)
    uc.loop().run_until_complete(main())

一个更具体的例子，可以在./example/文件夹中找到， 展示了一个创建Twitter账户的脚本

import random
import string
import logging

logging.basicConfig(level=30)

import nodriver as uc

months = [
    "january",
    "february",
    "march",
    "april",
    "may",
    "june",
    "july",
    "august",
    "september",
    "october",
    "november",
    "december",
]


async def main():
    driver = await uc.start()

    tab = await driver.get("https://twitter.com")

    # 等待文本出现而不是静态等待几秒钟
    # 由于速度原因，这并不总是按预期工作。
    print('寻找"创建账户"按钮')
    create_account = await tab.find("create account", best_match=True)

    print('"创建账户" => 点击')
    await create_account.click()

    print("寻找邮箱输入框")
    email = await tab.select("input[type=email]")

    # 有时不显示邮箱字段，因为要求输入电话号码
    # 当这种情况发生时，找到写着"使用邮箱代替"的小字
    if not email:
        use_mail_instead = await tab.find("use email instead")
        # 并点击它
        await use_mail_instead.click()

        # 现在再次查找邮箱字段
        email = await tab.select("input[type=email]")

    randstr = lambda k: "".join(random.choices(string.ascii_letters, k=k))

    # 向邮箱字段发送键值
    print('填写"邮箱"输入框')
    await email.send_keys("".join([randstr(8), "@", randstr(8), ".com"]))

    # 寻找姓名输入框
    print("寻找姓名输入框")
    name = await tab.select("input[type=text]")

    # 再次发送随机文本
    print('填写"姓名"输入框')
    await name.send_keys(randstr(8))

    # 由于标签页上有3个选择字段，我们可以使用解包
    # 来为每个字段赋值
    print('一次性寻找"月"、"日"和"年"字段')
    sel_month, sel_day, sel_year = await tab.select_all("select")

    # await sel_month.focus()
    print('填写"月"输入框')
    await sel_month.send_keys(months[random.randint(0, 11)].title())

    # await sel_day.focus()
    # 我不想bothered计算月份长度和闰年
    print('填写"日"输入框')
    await sel_day.send_keys(str(random.randint(0, 28)))

    # await sel_year.focus()
    # 我不想bothered计算年龄限制
    print('填写"年"输入框')
    await sel_year.send_keys(str(random.randint(1980, 2005)))

    await tab

    # 让我们也处理cookie提示
    cookie_bar_accept = await tab.find("accept all", best_match=True)
    if cookie_bar_accept:
        await cookie_bar_accept.click()

    await tab.sleep(1)

    next_btn = await tab.find(text="next", best_match=True)
    # for btn in reversed(next_btns):
    await next_btn.mouse_click()

    print("睡眠2秒")
    await tab.sleep(2)  # 直观地看到我们实际处于哪个部分

    print('寻找"下一步"按钮')
    next_btn = await tab.find(text="next", best_match=True)
    print('点击"下一步"按钮')
    await next_btn.mouse_click()

    # 在继续之前等待某个按钮
    await tab.select("[role=button]")

    print('寻找"注册"按钮')
    sign_up_btn = await tab.find("Sign up", best_match=True)
    # 我们需要第二个
    print('点击"注册"按钮')
    await sign_up_btn.click()
print('剩余的"实现"部分超出了范围')
# 进一步的实现超出范围
await tab.sleep(10)
driver.stop()

# 通过邮件进行验证码验证


if __name__ == "__main__":
    # 由于asyncio.run从未成功运行（对我而言）
    # 我使用
    uc.loop().run_until_complete(main())