Project Icon

browserforge

Python库生成真实浏览器指纹和HTTP请求头

BrowserForge是一个Python库,用于生成模拟真实网络流量的浏览器指纹和HTTP请求头。该库利用贝叶斯生成网络技术,支持多种浏览器、操作系统和设备类型。BrowserForge提供简洁的API,可快速生成符合特定约束的指纹和请求头,适用于网络爬虫和自动化测试等场景。此外,BrowserForge能与Playwright和Pyppeteer等自动化工具集成,有助于实现更精确的浏览器模拟。

BrowserForge

PyPI PyPI

🎭 智能浏览器头部和指纹生成器


这是什么?

BrowserForge是一个浏览器头部和指纹生成器,能模仿现实世界中不同浏览器、操作系统和设备的使用频率。

它是用Python重新实现的Apify's fingerprint-suite

特性

  • 使用贝叶斯生成网络来模仿实际的网络流量
  • 极快的运行时间(0.1-0.2毫秒)
  • 简单易用
  • 对浏览器、操作系统、设备、语言环境和HTTP版本提供广泛的自定义选项
  • 采用类型安全的编写方式

安装

pip install browserforge[all]
python -m browserforge update

[all]额外选项将包含可选库,如orjson。

使用python -m browserforge update来获取必要的模型文件。如果不运行此命令,文件将在首次导入时下载。


使用方法

生成头部

简单使用

>>> from browserforge.headers import HeaderGenerator
>>> headers = HeaderGenerator()
>>> headers.generate()
{'sec-ch-ua': '"Chromium";v="122", "Not(A:Brand";v="24", "Google Chrome";v="122"', 'Sec-Ch-Ua-Mobile': '?0', 'Sec-Ch-Ua-Platform': '"Windows"', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-User': 'document', 'Sec-Fetch-Dest': 'navigate', 'Accept-Encoding': 'gzip, deflate, br, zstd', 'Accept-Language': 'en-US;q=1.0'}

与requests一起使用

可以通过将头部分配给headers属性,将其添加到requests(或类似库)的会话中:

import requests
session = requests.Session()
# 设置会话头部
session.headers = headers.generate()
HeaderGenerator的参数
参数:
    browser (Union[ListOrString, Iterable[Browser]], 可选):浏览器或浏览器对象。
    os (ListOrString, 可选):要为其生成头部的操作系统。
    device (ListOrString, 可选):要为其生成头部的设备。
    locale (ListOrString, 可选):Accept-Language头部的最多10种语言列表。默认为'en-US'。
    http_version (Literal[1, 2], 可选):用于生成头部的HTTP版本。默认为2。
    strict (bool, 可选):如果无法根据输入生成头部,则抛出错误。默认为False。
HeaderGenerator.generate的参数
使用默认选项及其可能的覆盖生成头部。

参数:
    browser (Optional[Iterable[Union[str, Browser]]], 可选):要为其生成头部的浏览器。
    os (Optional[ListOrString], 可选):要为其生成头部的操作系统。
    device (Optional[ListOrString], 可选):要为其生成头部的设备。
    locale (Optional[ListOrString], 可选):要包含在Accept-Language头部中的语言。
    http_version (Optional[Literal[1, 2]], 可选):用于生成头部的HTTP版本。
    user_agent (Optional[ListOrString], 可选):要使用的User-Agent。
    request_dependent_headers (Optional[Dict[str, str]], 可选):请求相关头部的已知值。
    strict (Optional[bool], 可选):如果为true,则在无法根据输入生成头部时抛出错误。

约束头部

单一约束

通过传递以下可选字符串来为浏览器设置约束:

headers = HeaderGenerator(
    browser='chrome',
    os='windows',
    device='desktop',
    locale='en-US',
    http_version=2
)

多重约束

设置多个约束以供选择。选项基于它们在现实世界中的实际频率进行选择:

headers = HeaderGenerator(
    browser=('chrome', 'firefox', 'safari', 'edge'),
    os=('windows', 'macos', 'linux', 'android', 'ios'),
    device=('desktop', 'mobile'),
    locale=('en-US', 'en', 'de'),
    http_version=2
)

浏览器规格

为浏览器设置规格,包括版本范围和HTTP版本:

from browserforge.headers import Browser

browsers = [
    Browser(name='chrome', min_version=100, max_version=110),
    Browser(name='firefox', max_version=80, http_version=1),
    Browser(name='edge', min_version=95),
]
headers = HeaderGenerator(browser=browsers)

注意,所有传入HeaderGenerator构造函数的约束都可以通过将它们传入generate方法来覆盖。

给定User-Agent生成头部

可以根据现有的用户代理生成头部:

>>> headers.generate(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36')

根据多个User-Agent在现实世界中的频率进行选择:

>>> headers.generate(user_agent=(
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0'
))

生成指纹

简单用法

初始化FingerprintGenerator:

from browserforge.fingerprints import FingerprintGenerator
fingerprints = FingerprintGenerator()
fingerprints.generate()
FingerprintGenerator的参数
参数:
    screen (Screen, 可选): 生成指纹的屏幕约束。
    strict (bool, 可选): 约束过于严格时是否抛出异常。默认为False。
    mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
    slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
    **header_kwargs: HeaderGenerator的头部生成选项
FingerprintGenerator.generate的参数
生成指纹和匹配的有序头部集,使用构造函数中指定的默认选项和此处提供的可能覆盖的组合。

参数:
    screen (Screen, 可选): 生成指纹的屏幕约束。
    strict (bool, 可选): 约束过于严格时是否抛出异常。
    mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
    slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
    **header_kwargs: HeaderGenerator.generate的附加头部生成选项。
示例响应 ``` 指纹(屏幕=屏幕指纹(可用高度=784, 可用宽度=1440, 可用顶部=25, 可用左侧=0, 颜色深度=30, 高度=900, 像素深度=30, 宽度=1440, 设备像素比=2, 页面X偏移=0, 页面Y偏移=0, 内部高度=0, 外部高度=718, 外部宽度=1440, 内部宽度=0, 屏幕X=0, 客户端宽度=0, 客户端高度=19, 支持HDR=True), 浏览器=浏览器指纹(用户代理='Mozilla/5.0 (Macintosh; ' 'Intel Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 用户代理数据={'架构': 'arm', '位数': '64', '品牌': [{'品牌': 'Not ' 'A(Brand', '版本': '99'}, {'品牌': 'Google ' 'Chrome', '版本': '121'}, {'品牌': 'Chromium', '版本': '121'}], '完整版本列表': [{'品牌': 'Not ' 'A(Brand', '版本': '99.0.0.0'}, {'品牌': 'Google ' 'Chrome', '版本': '121.0.6167.160'}, {'品牌': 'Chromium', '版本': '121.0.6167.160'}], '移动设备': False, '型号': '', '平台': 'macOS', '平台版本': '13.6.1', 'UA完整版本': '121.0.6167.160'}, 不跟踪=None, 应用代码名='Mozilla', 应用名称='Netscape', 应用版本='5.0 (Macintosh; Intel ' 'Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 操作系统CPU=None, webdriver=False, 语言='en-US', 语言列表=['en-US'], 平台='MacIntel', 设备内存=8, 硬件并发数=10, 产品='Gecko', 产品子版本='20030107', 厂商='Google Inc.', 厂商子版本=None, 最大触点数=0, 额外属性={'全局隐私控制': None, '已安装应用': [], '支持蓝牙': False, 'PDF查看器启用': True, '厂商特性': ['chrome']}), 头部信息={'接受': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', '接受编码': 'gzip, deflate, br', '接受语言': 'en-US;q=1.0', 'Sec-Fetch-Dest': 'navigate', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-User': 'document', '升级不安全请求': '1', '用户代理': 'Mozilla/5.0 (Macintosh; Intel Mac OS X ' '10_15_7) AppleWebKit/537.36 (KHTML, like ' 'Gecko) Chrome/121.0.0.0 Safari/537.36', 'sec-ch-ua': '"Not A(Brand";v="99", "Google ' 'Chrome";v="121", "Chromium";v="121"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"macOS"'}, 视频编解码器={'h264': 'probably', 'ogg': '', 'webm': 'probably'}, 音频编解码器={'aac': 'probably', 'm4a': 'maybe', 'mp3': 'probably', 'ogg': 'probably', 'wav': 'probably'}, 插件数据={'MIME类型': ['便携式文档 ' '格式~~application/pdf~~pdf', '便携式文档 ' '格式~~text/pdf~~pdf'], '插件': [{'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chrome PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chromium PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Microsoft Edge PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'WebKit内置PDF'}]}, 电池={'充电': False, '充电时间': None, '放电时间': 29940, '电量': 0.98}, 显卡=显卡(渲染器='ANGLE (Apple, ANGLE Metal Renderer: ' 'Apple M2 Pro, 未指定版本)', 厂商='Google Inc. (Apple)'), 多媒体设备={'麦克风': [{'设备ID': '', '组ID': '', '类型': '音频输入', '标签': ''}], '扬声器': [{'设备ID': '', '组ID': '', '类型': '音频输出', '标签': ''}], '网络摄像头': [{'设备ID': '', '组ID': '', '类型': '视频输入', '标签': ''}]}, 字体=['Arial Unicode MS', 'Gill Sans', 'Helvetica Neue', 'Menlo'] 模拟WebRTC: False, 精简版: False) ``` ### 约束指纹

屏幕宽度/高度

约束最小/最大屏幕宽度和高度:

from browserforge.fingerprints import Screen

screen = Screen(
    min_width=100
    max_width=1280
    min_height=400
    max_height=720
)

fingerprints = FingerprintGenerator(screen=screen)

注意:并非所有边界都需要定义。

浏览器规格

FingerprintGeneratorFingerprintGenerator.generate 继承了与 HeaderGenerator 相同的参数。

因此,用户代理、浏览器规格、设备类型和操作系统约束也可以传递给 FingerprintGenerator.generate

以下是一个使用示例:

fingerprint.generate(browser='chrome', os='windows')

注入指纹

BrowserForge 与您现有的 Playwright 和 Pyppeteer 代码完全兼容。您只需更改上下文/页面初始化。

Playwright

异步 API:

# 导入 AsyncNewContext 注入器
from browserforge.injectors.playwright import AsyncNewContext

async def main():
    async with async_playwright() as playwright:
        browser = await playwright.chromium.launch()
        # 创建一个带有注入指纹的新异步上下文
        context = await AsyncNewContext(browser, fingerprint=fingerprint)
        page = await context.new_page()
        ...

在您现有的 Playwright 代码中,将 await browser.new_context 替换为 await AsyncNewContext

AsyncNewContext 的参数
使用指纹注入异步 API Playwright 上下文。

参数:
    browser (Browser):用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
    fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项
    **new_context_options:新上下文的其他选项

同步 API:

# 导入 NewContext 注入器
from browserforge.injectors.playwright import NewContext

def main():
    with sync_playwright() as playwright:
        browser = playwright.chromium.launch()
        # 创建一个带有注入指纹的新上下文
        context = NewContext(browser, fingerprint=fingerprint)
        page = context.new_page()
        ...

在您现有的 Playwright 代码中,将 browser.new_context 替换为 NewContext

NewContext 的参数
使用指纹注入同步 API Playwright 上下文。

参数:
    browser (Browser):用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
    fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项
    **new_context_options:新上下文的其他选项

Undetected-Playwright

Undetected-Playwright 也在 browserforge.injectors.undetected_playwright 包中得到支持。使用方法与 Playwright 注入器相同。

Pyppeteer

# 导入 NewPage 注入器
from browserforge.injectors.pyppeteer import NewPage
from pyppeteer import launch

async def test():
    browser = await launch()
    # 创建一个带有注入指纹的新页面
    page = await NewPage(browser, fingerprint=fingerprint)
    ...

在您现有的 Pyppeteer 代码中,将 browser.newPage 替换为 NewPage

NewPage 的参数
使用指纹注入 Pyppeteer 浏览器对象。

参数:
    browser (Browser):用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
    fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项

卸载

要完全移除所有文件,请运行以下命令:

python -m browserforge remove
pip uninstall browserforge

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号