免责声明：

请以学习为目的使用本仓库，爬虫违法违规案例：https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

仓库描述

小红书爬虫，抖音爬虫，快手爬虫，B站爬虫，微博爬虫，百度贴吧...。 目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。

原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数。 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低。

MediaCrawlerPro版本经过2个周的通宵，已经迭代出来了，相较于现在有一些优势：

• 多账号+IP代理支持（重点！）
• 去除Playwright依赖，使用更加简单
• 支持linux部署（Docker docker-compose）
• 代码重构优化，更加易读易维护

功能列表

使用方法

创建并激活 python 虚拟环境

# 进入项目根目录
cd MediaCrawler

# 创建虚拟环境
# 注意python 版本需要3.7 - 3.9 高于该版本可能会出现一些依赖包兼容问题
python -m venv venv

# macos & linux 激活虚拟环境
source venv/bin/activate

# windows 激活虚拟环境
venv\Scripts\activate

安装依赖库

pip install -r requirements.txt

安装 playwright浏览器驱动

playwright install

运行爬虫程序

### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
python main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail

# 打开对应APP扫二维码登录
  
# 其他平台爬虫使用示例，执行下面的命令查看
python main.py --help    

数据保存

• 支持保存到关系型数据库（Mysql、PgSQL等）
  • 执行 python db.py 初始化数据库数据库表结构（只在首次执行）
• 支持保存到csv中（data/目录下）
• 支持保存到json中（data/目录下）

加入MediaCrawler爬虫项目交流群。点击跳转加入

开发者服务

• MediaCrawler视频课程：

  课程介绍飞书文档链接：https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh 如果你想很快入门这个项目，或者想了解具体实现原理，我推荐你看看这个视频课程，从设计出发一步步带你如何使用，门槛大大降低

  同时也是对我开源的支持，如果你能支持我的课程，我将会非常开心～
  

• 知识星球：沉淀高质量常见问题、最佳实践文档、多年编程+爬虫经验分享，提供付费知识星球服务，主动提问，作者会定期回答问题（每天1块钱订阅我的知识服务）

  

  星球精选文章：

  • 【独创】使用Playwright获取某音a_bogus参数流程（包含加密参数分析）
  • 【独创】使用Playwright低成本获取某书X-s参数流程分析（当年的回忆录）
  • MediaCrawler-基于抽象类设计重构项目缓存
  • 手把手带你撸一个自己的IP代理池

Thanks to the following Sponsors for supporting this repository

• 【Fast Proxy】Enterprise-level proxy IP service, fast and stable, safe and reliable. The best choice for crawler engineers.
  

• Sider, the most popular ChatGPT plugin on the internet. I've been using it for free for almost a year, and the experience is excellent.

Become a sponsor and showcase your product here to gain daily exposure. Contact the author on WeChat: yzglan

Donations

If you find this project helpful, you can make a donation. Your support is my greatest motivation!

When making a donation, you can leave a note with your name, and I will add you to the donation list.

View donation list Click to jump

MediaCrawler Crawler Project Discussion Group:

Common Q&A for Runtime Errors

Try to search and solve problems on your own first. AI is very popular now, and ChatGPT can solve most of your problems in many cases Free ChatGPT

➡️➡️➡️ Common Issues

Douyin and Xiaohongshu now use Playwright for login, which will have slider verification + SMS verification. Please manually complete this process.

Project Code Structure

➡️➡️➡️ Project Code Structure Description

Proxy IP Usage Instructions

➡️➡️➡️ Proxy Usage Instructions

Word Cloud Related Operation Instructions

➡️➡️➡️ Word Cloud Related Instructions

Mobile Number Login Instructions

➡️➡️➡️ Mobile Number Login Instructions

Crawler Beginner Course

I've started a new crawler tutorial Github repository CrawlerTutorial. Interested friends can follow it. It's continuously updated and completely free.

项目贡献者

感谢你们的贡献，让项目变得更好！（贡献比较多的可以加我微信，免费拉你进我的知识星球，后期还有一些其他福利。）

程序员阿江-Relakkes	leantli	Rosyrain	包诸涵	周楠	helloteemo
二梦	花生溅射	HIRO	亨利 何	leonardoqiuyu	jayeeliu
吕文博	ZhouXsh	ZuWard	Zendrix	张振鹏	谭鹏
xbsheng	马丁	zhihuiio	任	王天赐	Styunlen
Schofi	Klu5ure	科米特	KEXNA	张健	欧阳
天青	康景阳

参考

• 小红书客户端 ReaJason 的 xhs 仓库
• 短信转发 参考仓库
• 内网穿透工具 ngrok

捐赠信息

免责声明

感谢JetBrains提供的免费开源许可证支持