scrapeghost入门学习资料 - 基于GPT的实验性网页抓取库

scrapeghost是一个实验性的Python库,旨在利用OpenAI的GPT API来进行网页抓取。它提供了一种无需编写页面特定代码就能从HTML中提取结构化数据的方法。如果你对使用AI进行网页抓取感兴趣,scrapeghost是一个值得关注的项目。本文汇总了scrapeghost的主要学习资源,帮助你快速入门并深入了解这个有趣的工具。

🌟 项目概览

GitHub仓库: https://github.com/jamesturk/scrapeghost
文档: https://jamesturk.github.io/scrapeghost/
PyPI: https://pypi.org/project/scrapeghost/

scrapeghost logo

📚 核心功能

基于Python的schema定义 - 可以使用任意Python对象定义要提取的数据结构。
预处理
- HTML清理 - 移除不必要的HTML标签和属性,减少API请求的大小和成本。
- CSS和XPath选择器 - 通过单个CSS或XPath选择器预过滤HTML。
- 自动分割 - 可选择将HTML分割成多个调用,允许抓取更大的页面。
后处理
- JSON验证 - 确保响应是有效的JSON。
- Schema验证 - 使用pydantic模型验证响应。
- 幻觉检查 - 验证响应中的数据是否真实存在于页面中。
成本控制
- 跟踪已发送和接收的token数量,以便追踪成本。
- 支持自动回退(例如默认使用成本较低的GPT-3.5-Turbo,需要时回退到GPT-4)。
- 允许设置预算,并在超出预算时停止抓取。

scrapeghost screenshot

🚀 快速开始

安装scrapeghost:

pip install scrapeghost

设置OpenAI API密钥:

export OPENAI_API_KEY=sk-...

创建一个简单的抓取器:

from scrapeghost import SchemaScraper

scrape_legislators = SchemaScraper(
  schema={
      "name": "string",
      "url": "url", 
      "district": "string",
      "party": "string",
      "photo_url": "url",
      "offices": [{"name": "string", "address": "string", "phone": "string"}],
  }
)

result = scrape_legislators("https://www.ilga.gov/house/rep.asp?MemberID=3071")
print(result.data)