BrowserForge
🎭 智能浏览器头部和指纹生成器
这是什么?
BrowserForge是一个浏览器头部和指纹生成器,能模仿现实世界中不同浏览器、操作系统和设备的使用频率。
它是用Python重新实现的Apify's fingerprint-suite。
特性
- 使用贝叶斯生成网络来模仿实际的网络流量
- 极快的运行时间(0.1-0.2毫秒)
- 简单易用
- 对浏览器、操作系统、设备、语言环境和HTTP版本提供广泛的自定义选项
- 采用类型安全的编写方式
安装
pip install browserforge[all]
python -m browserforge update
[all]
额外选项将包含可选库,如orjson。
使用python -m browserforge update
来获取必要的模型文件。如果不运行此命令,文件将在首次导入时下载。
使用方法
生成头部
简单使用
>>> from browserforge.headers import HeaderGenerator
>>> headers = HeaderGenerator()
>>> headers.generate()
{'sec-ch-ua': '"Chromium";v="122", "Not(A:Brand";v="24", "Google Chrome";v="122"', 'Sec-Ch-Ua-Mobile': '?0', 'Sec-Ch-Ua-Platform': '"Windows"', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-User': 'document', 'Sec-Fetch-Dest': 'navigate', 'Accept-Encoding': 'gzip, deflate, br, zstd', 'Accept-Language': 'en-US;q=1.0'}
与requests一起使用
可以通过将头部分配给headers
属性,将其添加到requests(或类似库)的会话中:
import requests
session = requests.Session()
# 设置会话头部
session.headers = headers.generate()
HeaderGenerator的参数
参数:
browser (Union[ListOrString, Iterable[Browser]], 可选):浏览器或浏览器对象。
os (ListOrString, 可选):要为其生成头部的操作系统。
device (ListOrString, 可选):要为其生成头部的设备。
locale (ListOrString, 可选):Accept-Language头部的最多10种语言列表。默认为'en-US'。
http_version (Literal[1, 2], 可选):用于生成头部的HTTP版本。默认为2。
strict (bool, 可选):如果无法根据输入生成头部,则抛出错误。默认为False。
HeaderGenerator.generate的参数
使用默认选项及其可能的覆盖生成头部。
参数:
browser (Optional[Iterable[Union[str, Browser]]], 可选):要为其生成头部的浏览器。
os (Optional[ListOrString], 可选):要为其生成头部的操作系统。
device (Optional[ListOrString], 可选):要为其生成头部的设备。
locale (Optional[ListOrString], 可选):要包含在Accept-Language头部中的语言。
http_version (Optional[Literal[1, 2]], 可选):用于生成头部的HTTP版本。
user_agent (Optional[ListOrString], 可选):要使用的User-Agent。
request_dependent_headers (Optional[Dict[str, str]], 可选):请求相关头部的已知值。
strict (Optional[bool], 可选):如果为true,则在无法根据输入生成头部时抛出错误。
约束头部
单一约束
通过传递以下可选字符串来为浏览器设置约束:
headers = HeaderGenerator(
browser='chrome',
os='windows',
device='desktop',
locale='en-US',
http_version=2
)
多重约束
设置多个约束以供选择。选项基于它们在现实世界中的实际频率进行选择:
headers = HeaderGenerator(
browser=('chrome', 'firefox', 'safari', 'edge'),
os=('windows', 'macos', 'linux', 'android', 'ios'),
device=('desktop', 'mobile'),
locale=('en-US', 'en', 'de'),
http_version=2
)
浏览器规格
为浏览器设置规格,包括版本范围和HTTP版本:
from browserforge.headers import Browser
browsers = [
Browser(name='chrome', min_version=100, max_version=110),
Browser(name='firefox', max_version=80, http_version=1),
Browser(name='edge', min_version=95),
]
headers = HeaderGenerator(browser=browsers)
注意,所有传入HeaderGenerator
构造函数的约束都可以通过将它们传入generate
方法来覆盖。
给定User-Agent生成头部
可以根据现有的用户代理生成头部:
>>> headers.generate(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36')
根据多个User-Agent在现实世界中的频率进行选择:
>>> headers.generate(user_agent=(
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0'
))
生成指纹
简单用法
初始化FingerprintGenerator:
from browserforge.fingerprints import FingerprintGenerator
fingerprints = FingerprintGenerator()
fingerprints.generate()
FingerprintGenerator的参数
参数:
screen (Screen, 可选): 生成指纹的屏幕约束。
strict (bool, 可选): 约束过于严格时是否抛出异常。默认为False。
mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
**header_kwargs: HeaderGenerator的头部生成选项
FingerprintGenerator.generate的参数
生成指纹和匹配的有序头部集,使用构造函数中指定的默认选项和此处提供的可能覆盖的组合。
参数:
screen (Screen, 可选): 生成指纹的屏幕约束。
strict (bool, 可选): 约束过于严格时是否抛出异常。
mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
**header_kwargs: HeaderGenerator.generate的附加头部生成选项。
示例响应
``` 指纹(屏幕=屏幕指纹(可用高度=784, 可用宽度=1440, 可用顶部=25, 可用左侧=0, 颜色深度=30, 高度=900, 像素深度=30, 宽度=1440, 设备像素比=2, 页面X偏移=0, 页面Y偏移=0, 内部高度=0, 外部高度=718, 外部宽度=1440, 内部宽度=0, 屏幕X=0, 客户端宽度=0, 客户端高度=19, 支持HDR=True), 浏览器=浏览器指纹(用户代理='Mozilla/5.0 (Macintosh; ' 'Intel Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 用户代理数据={'架构': 'arm', '位数': '64', '品牌': [{'品牌': 'Not ' 'A(Brand', '版本': '99'}, {'品牌': 'Google ' 'Chrome', '版本': '121'}, {'品牌': 'Chromium', '版本': '121'}], '完整版本列表': [{'品牌': 'Not ' 'A(Brand', '版本': '99.0.0.0'}, {'品牌': 'Google ' 'Chrome', '版本': '121.0.6167.160'}, {'品牌': 'Chromium', '版本': '121.0.6167.160'}], '移动设备': False, '型号': '', '平台': 'macOS', '平台版本': '13.6.1', 'UA完整版本': '121.0.6167.160'}, 不跟踪=None, 应用代码名='Mozilla', 应用名称='Netscape', 应用版本='5.0 (Macintosh; Intel ' 'Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 操作系统CPU=None, webdriver=False, 语言='en-US', 语言列表=['en-US'], 平台='MacIntel', 设备内存=8, 硬件并发数=10, 产品='Gecko', 产品子版本='20030107', 厂商='Google Inc.', 厂商子版本=None, 最大触点数=0, 额外属性={'全局隐私控制': None, '已安装应用': [], '支持蓝牙': False, 'PDF查看器启用': True, '厂商特性': ['chrome']}), 头部信息={'接受': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', '接受编码': 'gzip, deflate, br', '接受语言': 'en-US;q=1.0', 'Sec-Fetch-Dest': 'navigate', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-User': 'document', '升级不安全请求': '1', '用户代理': 'Mozilla/5.0 (Macintosh; Intel Mac OS X ' '10_15_7) AppleWebKit/537.36 (KHTML, like ' 'Gecko) Chrome/121.0.0.0 Safari/537.36', 'sec-ch-ua': '"Not A(Brand";v="99", "Google ' 'Chrome";v="121", "Chromium";v="121"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"macOS"'}, 视频编解码器={'h264': 'probably', 'ogg': '', 'webm': 'probably'}, 音频编解码器={'aac': 'probably', 'm4a': 'maybe', 'mp3': 'probably', 'ogg': 'probably', 'wav': 'probably'}, 插件数据={'MIME类型': ['便携式文档 ' '格式~~application/pdf~~pdf', '便携式文档 ' '格式~~text/pdf~~pdf'], '插件': [{'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chrome PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chromium PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Microsoft Edge PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'WebKit内置PDF'}]}, 电池={'充电': False, '充电时间': None, '放电时间': 29940, '电量': 0.98}, 显卡=显卡(渲染器='ANGLE (Apple, ANGLE Metal Renderer: ' 'Apple M2 Pro, 未指定版本)', 厂商='Google Inc. (Apple)'), 多媒体设备={'麦克风': [{'设备ID': '', '组ID': '', '类型': '音频输入', '标签': ''}], '扬声器': [{'设备ID': '', '组ID': '', '类型': '音频输出', '标签': ''}], '网络摄像头': [{'设备ID': '', '组ID': '', '类型': '视频输入', '标签': ''}]}, 字体=['Arial Unicode MS', 'Gill Sans', 'Helvetica Neue', 'Menlo'] 模拟WebRTC: False, 精简版: False) ``` ### 约束指纹屏幕宽度/高度
约束最小/最大屏幕宽度和高度:
from browserforge.fingerprints import Screen
screen = Screen(
min_width=100
max_width=1280
min_height=400
max_height=720
)
fingerprints = FingerprintGenerator(screen=screen)
注意:并非所有边界都需要定义。
浏览器规格
FingerprintGenerator
和 FingerprintGenerator.generate
继承了与 HeaderGenerator
相同的参数。
因此,用户代理、浏览器规格、设备类型和操作系统约束也可以传递给 FingerprintGenerator.generate
。
以下是一个使用示例:
fingerprint.generate(browser='chrome', os='windows')
注入指纹
BrowserForge 与您现有的 Playwright 和 Pyppeteer 代码完全兼容。您只需更改上下文/页面初始化。
Playwright
异步 API:
# 导入 AsyncNewContext 注入器
from browserforge.injectors.playwright import AsyncNewContext
async def main():
async with async_playwright() as playwright:
browser = await playwright.chromium.launch()
# 创建一个带有注入指纹的新异步上下文
context = await AsyncNewContext(browser, fingerprint=fingerprint)
page = await context.new_page()
...
在您现有的 Playwright 代码中,将 await browser.new_context
替换为 await AsyncNewContext
。
AsyncNewContext 的参数
使用指纹注入异步 API Playwright 上下文。
参数:
browser (Browser):用于创建上下文的浏览器
fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项
**new_context_options:新上下文的其他选项
同步 API:
# 导入 NewContext 注入器
from browserforge.injectors.playwright import NewContext
def main():
with sync_playwright() as playwright:
browser = playwright.chromium.launch()
# 创建一个带有注入指纹的新上下文
context = NewContext(browser, fingerprint=fingerprint)
page = context.new_page()
...
在您现有的 Playwright 代码中,将 browser.new_context
替换为 NewContext
。
NewContext 的参数
使用指纹注入同步 API Playwright 上下文。
参数:
browser (Browser):用于创建上下文的浏览器
fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项
**new_context_options:新上下文的其他选项
Undetected-Playwright
Undetected-Playwright 也在 browserforge.injectors.undetected_playwright
包中得到支持。使用方法与 Playwright 注入器相同。
Pyppeteer
# 导入 NewPage 注入器
from browserforge.injectors.pyppeteer import NewPage
from pyppeteer import launch
async def test():
browser = await launch()
# 创建一个带有注入指纹的新页面
page = await NewPage(browser, fingerprint=fingerprint)
...
在您现有的 Pyppeteer 代码中,将 browser.newPage
替换为 NewPage
。
NewPage 的参数
使用指纹注入 Pyppeteer 浏览器对象。
参数:
browser (Browser):用于创建上下文的浏览器
fingerprint (Optional[Fingerprint]):要注入的指纹。如果为 None,将生成一个
fingerprint_options (Optional[Dict]):如果未传递 `fingerprint`,则为指纹生成器的选项
卸载
要完全移除所有文件,请运行以下命令:
python -m browserforge remove
pip uninstall browserforge