数据工程手册
这个仓库拥有你成为出色数据工程师所需的所有资源!
请务必查看项目部分以获取更多实践示例!
请务必查看面试部分以获取更多关于如何通过数据工程面试的建议!
资源
优秀书籍:
- 数据工程基础
- 设计数据密集型应用
- 设计机器学习系统
- 百页机器学习书
- Kimball - 数据仓库工具包
- 数据网格
- 机器学习系统设计面试
- 流式系统
- 高性能Spark
- 构建演进式架构,第2版
- 大规模数据管理,第2版
- 解密数据架构
- 每个数据工程师都应该知道的97件事:专家集体智慧
- 数据治理:权威指南
- Trino:权威指南
- Delta Lake:权威指南
- Hadoop:权威指南
- 使用Apache Spark进行现代数据工程:构建关键任务流应用的实践指南
- 使用dbt进行数据工程:使用SQL构建可靠数据平台的实用指南
- 使用AWS进行数据工程
- 实用DataOps:大规模交付敏捷数据科学
- 数据工程设计模式
- Snowflake数据工程
- 解锁dbt
- 学习Spark,第二版
社区:
- Seattle Data Guy Discord
- EcZachly数据工程Discord
- Chip Huyen MLOps Discord
- 数据工程事物社区
- DBT社区
- r/dataengineering
- Microsoft Fabric社区
- r/MicrosoftFabric
- Data Talks Club Slack
- 数据工程维基
公司:
- 编排
- 数据湖/云
- 数据仓库
- 数据质量
- 教育公司
- 分析/可视化
- 数据集成
- 现代OLAP
公司数据工程博客:
数据工程白皮书:
优秀YouTube频道:
- 10万+订阅者
- 1万+订阅者
- 1千+订阅者
优秀播客
- The Data Engineering Show
- Data Engineering Podcast
- DataTopics
- The Data Engineering Side Of Data
- DataWare
- The Data Coffee Break Podcast
- Thd datastack show
- Intricity101 Data Sharks Podcast
- Drill to Detail with Mark Rittman
- Analytics Power Hour
- Catalog & cocktails
- Datatalks
- Data Brew by Databricks
- The Data Cloud Podcast by Snowflake
- What's New in data
- Open||Source||Data by Datastax
- Streaming Audio by confluent
- The Data Scientist Show
- MLOps.community
- Monday Morning Data Chat
- The Data Chief
通讯:
- DataEngineer.io通讯
- Seattle Data Guy
- Joe Reis
- Data Engineering Weekly
- Data Engineering Central
- Dutch Engineer
- ByteByteGo
- Start Data Engineering
- Developing Dev
- High Growth Engineer
- Learn Analytics Engineering
- Marvelous MLOps
- medium数据工程通讯
- Benn Stancil
- [Metadata Weekly](https://metadata
- 10万+关注者
- 5万+关注者
- 1万+关注者
- 5千+关注者
- 1千+关注者
推特 / X
- Zach Wilson
- Seattle Data Guy
- Sumit Mittal
- Joseph Machado
- Alex Xu
- Eric Roby
- Andreas Kretz
- Marc Lamberti
- Dipankar Mazumdar
- Start Data Engineering
- Data Cyborg
- Simon Späti
- Marcos Ortiz
TikTok
设计模式
课程 / 学院
- DataExpert.io 课程 使用代码 HANDBOOK10 获得折扣!
- LearnDataEngineering.com
- 技术自由职业者学院 使用代码 zwtech 获得折扣!
- IBM 面向所有人的数据工程
- Qwiklabs
- DataCamp
- Shruti Mantri 的 Udemy 课程
- Rock the JVM 教授 Spark(Scala 语言)、Flink 等
- DataTalksClub 的数据工程 Zoomcamp
- Spark 高效数据处理
- Scaler
认证课程
- Google Cloud 认证 - 专业数据工程师
- Databricks - 数据工程师专业
- Azure 数据工程师助理
- Microsoft Fabric 分析工程师助理
- 考试 DP-203:Microsoft Azure 上的数据工程
- AWS 认证数据工程师 - 助理
会议