访问官网
Github
文档机器学习
这是一个不断更新的仓库，记录了个人在学习数据科学、机器学习相关主题方面的旅程。
目标： 以Jupyter Notebook格式介绍机器学习内容。内容旨在在数学符号、从头开始使用Python科学库（包括numpy，numba，scipy，pandas，matplotlib，pyspark等）的教育实现与开源库的使用（如scikit-learn，fasttext，huggingface，onnx，xgboost，lightgbm，pytorch，keras，tensorflow，gensim，h2o，ortools，ray tune等）之间取得良好平衡。
文档列表
深度学习
精选深度学习笔记。
- 从零开始的Softmax回归。[nbviewer][html]
- Softmax回归 - Tensorflow入门案例。[nbviewer][html]
- 多层神经网络 - Tensorflow。[nbviewer][html]
- 卷积神经网络 (CNN) - Tensorflow。[nbviewer][html]
- 循环神经网络 (RNN)。
- 使用Gensim的Word2vec（skipgram + 负采样）。[nbviewer][html]
- 序列到序列神经网络 (Seq2Seq)。
- 子词分词。
- Fasttext。
- 图神经网络 (GNN)。
- Transformer。
- Transformer，注意力机制是你所需要的一切 - PyTorch, Huggingface Datasets。[nbviewer][html]
- 使用Huggingface Transformers mT5进行机器翻译。[nbviewer][html]
- 在问答任务中微调预训练编码器。[nbviewer][html]
- 通过对比学习笔记训练双编码器模型。[nbviewer][html]
- 句子Transformer：通过对比损失训练双编码器。[nbviewer][html]
- CLIP（对比语言-图像预训练）、LiT、ViT简介。[nbviewer][html]
- 自监督 (SIMCLR) 与有监督对比学习。[nbviewer][html]
- 使用LLM和PEFT LoRA（PyTorch Lightning）进行多语言句子嵌入。[nbviewer][html]
- 表格数据
模型部署
- FastAPI与Azure Kubernetes集群。训练模型并将其作为服务托管的端到端示例。[folder]
- 梯度提升树推断快速介绍。[nbviewer][html]
- 加速Transformers推断。[folder]
- 使用AWS（亚马逊网络服务）。[folder]
运筹学
强化学习
广告
与广告领域相关的笔记。
搜索
信息检索，部分示例使用ElasticSearch进行演示。
时间序列
用于基于时间序列数据的预测方法。
- 入门时间序列分析与指数平滑 (Holt-Winters)。[nbviewer][html]
- 将时间序列问题框架化为监督学习。[nbviewer][html]
- 首次涉足离散/快速傅里叶变换。[nbviewer][html]
项目
端到端项目包括数据预处理，模型构建。
- Kaggle: Rossman 商店销售 预测每日商店销售。也介绍了用于表格数据的深度学习。[文件夹]
- Kaggle: Quora 不真诚问题分类 预测不真诚问题。[文件夹]
A/B 测试
A/B 测试，即实验设计。包括：必要统计概念的快速回顾。进行测试的方法和流程/思维过程以及需注意的陷阱。
模型选择
选择、改进、评估模型/算法的方法。
- K 折交叉验证，网格/随机搜索从头开始。[nbviewer][html]
- 从头构建AUC（ROC 曲线下的面积和精准/召回率曲线），包括构建自定义 scikit-learn 变换器的过程。[nbviewer][html]
- 不平衡数据集的评估指标。[nbviewer][html]
- 检测特征之间的共线性（数值特征的方差膨胀因子和类别特征的克莱默 V 统计量），还介绍了最大似然角度的线性回归和R平方评估指标。[nbviewer][html]
- 技术和软技能的精心整理的提示和技巧。[nbviewer][html]
- 偏依赖图（PDP），方向特征影响的模型不可知论方法。[nbviewer][html]
- 库尔贝克-莱布勒（KL）散度。[nbviewer][html]
- 基于 Platt Scaling、直方图分箱、保序回归的分类模型概率校准。[nbviewer][html]
- 使用温度缩放进行深度学习分类模型的概率校准。[nbviewer][html]
- 使用 Ray Tune 和 Hyperband 进行超参数调优。[nbviewer][html]
维度减少
降维方法。
推荐系统
推荐系统，侧重矩阵分解方法。新手应先通过第一个笔记本了解矩阵分解方法的基础知识。
- 带加权正则化的交替最小二乘法 (ALS-WR) 从头开始。[nbviewer][html]
- 从头开始的 ALS-WR 隐式反馈数据 & k的平均精度 (mapk) 和归一化累计折扣增益 (ndcg) 评估。[nbviewer][html]
- 从头开始的贝叶斯个性化排序 (BPR) & AUC 评估。[nbviewer][html]
- 使用 lightfm 的 WARP（加权近似秩对损失）。[nbviewer][html]
- 从头开始的因子分解机。[nbviewer][html]
- 基于内容的推荐系统：
- 近似最近邻 (ANN)：
- 校准推荐，以减少偏见/增加推荐多样性。[nbviewer][html]
- 最大内积，加速生成推荐。[nbviewer][html]
树模型
树模型，用于回归和分类任务。
- 从零开始的决策树。[nbviewer][html]
- 从零开始的随机森林和额外树。[nbviewer][html]
- 从零开始的梯度提升机（GBM）。[nbviewer][html]
- Xgboost API 漫步（包括通过 scikit-learn 类 API 调整超参数）。[nbviewer][html]
- LightGBM API 漫步以及关于基于树的模型中分类特征的讨论。[nbviewer][html]
- 使用提升树的单调约束。[nbviewer][html]
聚类
TF-IDF 和主题建模是专门用于文本分析的技术。
- 从零开始的 TF-IDF（文本频率 - 逆文档频率）。[nbviewer][html]
- 从零开始的 K 均值、K 均值++；选择 K 的曲肘法。[nbviewer][html]
- 从零开始的高斯混合模型；使用 AIC 和 BIC 选择高斯数量。[nbviewer][html]
- 使用 gensim 的潜在狄利克雷分配（LDA）进行主题建模。[nbviewer][html]
keras
对那些感兴趣的人也有一个 keras 速查表 可能会派上用场。
- 多层神经网络（keras 基础）。[nbviewer][html]
- 通过 scikit-learn 类的 API 调整多层神经网络的超参数。[nbviewer][html]
- 卷积神经网络（CNN）
- 循环神经网络（RNN） - 语言建模基础。[nbviewer][html]
- 文本分类
文本分类
文本分类的深度学习技术被分类在自己的一节中。
- 使用 scikit-learn 进行垃圾邮件分类的直观建设（scikit-learn hello world）。[nbviewer][html]
- 从零开始的伯努利和多项式朴素贝叶斯。[nbviewer][html]
- 从零开始的逻辑回归（随机梯度下降）。[nbviewer][html]
- 从零开始的卡方特征选择。[nbviewer][html]
正则化
使用 scikit-learn 构建对岭回归和套索回归的直观理解。
networkx
也讨论了除了 networkx 之外的图库。
- PyCon 2016：简单实用的网络分析。快速入门 networkx 的 API。包括一些基本的图形绘制和算法。[nbviewer][html]
- PageRank 的简短漫步。[nbviewer][html]
- 从零开始的影响最大化。包括对独立级联（IC）、次可加优化算法，包括贪婪和惰性贪婪（又称成本效益惰性前进（CELF））的讨论。[nbviewer][html]
关联规则
也称为市场篮分析。
大数据
探索大数据工具，如 Spark 和 H2O.ai。对于那些感兴趣的人，还有一个 pyspark rdd 速查表 和 pyspark dataframe 速查表 可能会派上用场。
- 在 Mac 上安装本地 Hadoop 集群。[markdown]
- 在 Mac 上安装 PySpark。[markdown]
- 使用 PySpark MLlib 处理数据（犯罪数据）并构建随机森林模型的示例。[nbviewer][html]
- 使用 PySpark MLlib 进行主成分分析（PCA）。[nbviewer][html]
- 调整 Spark 分区。[nbviewer][html]
- H2O API 漫步（以 GBM 为例）。[nbviewer][html]
- Spark MLlib 二元分类（以 GBM 为例）。[raw zeppelin notebook][Zepl]
数据科学是软件
在 Python 中进行数据科学的最佳实践。
遗传算法
遗传算法。从零开始的无数学解释和代码。
不平衡
在您的数据集中包含不平衡的二元类时，使用成本敏感错误（意味着两类之间的误分类成本可能不同）为逻辑回归选择最佳截断值。例如，数据集中大多数数据点具有正面结果，而很少有负面结果，或者相反。这种概念可以扩展到任何其他可以预测类概率的分类算法，此文档仅使用逻辑回归进行说明。
- 使用ggplot2可视化标准的2x2混淆矩阵和带有成本的ROC曲线。
- 查看 [Rmarkdown]
聚类旧
一系列散落的R中的旧聚类文档。
- LDA算法（Gibbs采样）和topicmodels库的玩具样本代码。[Rmarkdown]
- 解决查找文本相似文档问题的k-shingle, Minhash和局部敏感散列。[Rmarkdown]
- 介绍tf-idf（词频-逆文档频率），一种文本挖掘技术。并通过层次聚类来执行文本聚类。[Rmarkdown]
- 在使用层次聚类和K-means聚类（这里使用了K-means++）时的一些有用评估。包括Calinski-Harabasz指数，用于确定聚类的正确K（聚类数）以及聚类结果稳定性的自举评估。[Rmarkdown]
线性回归
- 在R中使用梯度下降训练线性回归，简要介绍线性回归总结输出的解释和可视化。[Rmarkdown]
Python编程
- 非常快速的Unicode指南。[markdown]
- 工厂设计模式的快速示例。[nbviewer][html]
- 使用Python的并行编程（线程，进程，concurrent.futures，joblib）。[nbviewer][html]
- 理解可迭代对象，迭代器和生成器。[nbviewer][html]
- 队列分析。使用seaborn的热图可视化用户保留情况并说明pandas的unstack。[nbviewer][html]
- 日志模块。[nbviewer][html]
- 从头开始的数据结构和算法。[folder]
- 用于高性能Python的Cython和Numba快速启动。[nbviewer][html]
- 优化Pandas（例如，使用类别类型减少内存使用）。[nbviewer][html]
- 单元测试。[Python script]
- 使用内置数据结构和算法。[nbviewer][html]
- 字符串和文本的技巧。[nbviewer][html]
- Python装饰器（用于记录和计时函数的有用脚本）。[nbviewer][html]
- Pandas的数据透视表。[nbviewer][html]
- 对类方法，静态方法和属性的快速介绍。[nbviewer][html]
