LLM(大型语言模型)微调项目和常见实用技术笔记 在这里找到我.. 🐦 推特: https://twitter.com/rohanpaul_ai 🟠 YouTube: https://www.youtube.com/@RohanPaul-AI/featured 👨🏻💼 领英: https://www.linkedin.com/in/rohan-paul-b27285129/ 👨🔧 Kaggle: https://www.kaggle.com/paulrohan2020 微调 LLM(和YouTube视频解释) 笔记本🟠 YouTube视频使用Unsloth 4bit量化与ORPO微调Llama-3-8B在自定义数据集上使用Unsloth微调Llama-3CodeLLaMA-34B——对话代理使用KV缓存推断Yarn-Llama-2-13b-128k回答非常长的教科书上的问题使用PEFT和QLORA微调Mistral 7B在OpenAssistant-Guanaco上微调Falcon使用PEFT和QLORA微调 Phi 1_5使用AnthropicAI和LangChainAI进行大语言模型(LLM)爬网 微调LLM 笔记本Colab📌 全精度Gemma-2b微调ORPO📌 Jamba_Colab-Pro微调📌 使用QLoRA微调CodeLama-34B📌 使用Gradio的Mixtral聊天机器人📌 使用TogetherAI的 Mixtral📌 与LangChain整合TogetherAI 🦙📌 Mistral-7B-Instruct_GPTQ - 在finance-alpaca数据集上微调 🦙📌 DPO直接偏好优化微调Mistral 7B📌 微调Llama_2_GPTQ📌 使用Unsloth和RoPE扩展的TinyLlama与Dolly-15k数据集📌 使用Taylor_Swift歌曲歌词微调Tinyllama LLM技术和工具解释 LLM 概念📌 DPO (直接偏好优化) 训练及其数据集📌 使用 GPTQ 的 4 位 LLM 量化📌 使用 HF Transformers 进行量化📌 理解 LoRA 中的等级 r 和相关矩阵数学📌 旋转嵌入 (RopE) 是 LlaMA-2 实现的基本构建模块之一📌 HuggingFace 中的聊天模板📌 Mixtral 8x7B 是如何成为一个致密的 47Bn 参数模型📌 LLM 训练中的 验证对数困惑度 概念 - 基础知识笔记📌 为什么需要识别 LoRA/QLoRA 的 目标层📌 每秒令牌评估📌 遍历 PyTorch 模块的嵌套属性(或子模块)📌 从 Mistral 官方仓库在 PyTorch 中实现稀疏专家混合层📌 用于从 transformer 模型的最后隐藏状态中提取特定令牌表示的工具方法📌 将 PyTorch 模型的参数和张量转换为半精度浮点格式📌 使用 GPTQ 方法量化 🤗 Transformers 模型📌 将 Mixtral-8x7B 量化以便在 24GB GPU 上运行📌 在大型语言模型的世界中,什么是 GGML 或 GGUF? 其他较小的语言模型 DeBERTa 在 Amazon Review 数据集上的微调 Pytorch 在自定义数据集上微调 BERT 用于多类分类 在 NLP 项目中使用 HuggingFace Transformer 进行令牌化时的文档 STRIDE [预训练 Transformer 模型的微调 - 权重(参数)发生了什么]() Cerebras-GPT 新大型语言模型开源,采用 Apache 2.0 许可证 Roberta-Large 在 Kaggle NLP 比赛中进行命名实体识别,使用 PyTorch 使用 Longformer 完成 Kaggle NLP 比赛的端到端解决方案 使用 PyTorch Lightning 进行零样本多语言情感分类 微调 Transformer (BERT) 进行客户评价预测 | NLP | HuggingFace 理解 BERT 嵌入和令牌化 | NLP | HuggingFace 使用 BERTopic 进行主题建模 | arxiv 摘要数据集 主题建模的潜在狄利克雷分布 (LDA) 为 HuggingFace 预训练模型添加自定义任务特定层 微调 DistilBERT 进行多类别文本分类 微调 BERT 进行命名实体识别 (NER) 通过微调 Transformer 模型进行文本摘要 | NLP Transformer 的文本摘要 - BART + T5 + Pegasus Debarta-v3-large 模型在 Kaggle 比赛反馈奖中的微调 | NLP 使用BERT进行主题建模和自动聚类标签 使用GPT-2生成文本的解码策略 使用LSTM和TensorFlow进行假新闻分类 使用FinBERT进行超长文本情感分析(超过512个标记)| 第2部分 使用FinBERT进行超长文本语料库情感分析(超过512个标记)| 第1部分 使用Transformers HuggingFace计算句子间的余弦相似度 零样本学习 - 使用XLM-Roberta进行跨语言命名实体识别 Hugging Face的BERT - 一些基准应用 | 自然语言处理 从零开始实现带有缩放点积的Transformer编码器 自然语言处理中的模糊字符串匹配 | 自然语言处理 理解词向量在Spacy中的使用及句子相似度 使用spaCy进行命名实体识别(NER) - 提取主谓宾结构 微调DistilBert - Hugging Face Transformer用于诗歌情感预测 | 自然语言处理 在Kaggle仇恨言论数据集上微调Uncased Hugging Face BERT模型 推特情感文本分析 - 使用Plotly进行探索性数据分析 使用TextBlob和Vader进行情感分析