LLMs 千面郎君

介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。

大模型（LLMs）基础面

1. 目前 主流的开源模型体系 有哪些？
2. prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？
3. 大模型LLM的 训练目标 是什么？
4. 涌现能力是啥原因？
5. 为何现在的大模型大部分是Decoder only结构？
6. 简单 介绍一下 大模型【LLMs】？
7. 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？
8. 大模型【LLMs】具有什么优点？
9. 大模型【LLMs】具有什么缺点？
10. ...

• 点击查看答案

大模型（LLMs）进阶面

1. LLMs 复读机问题
   1. 什么是 LLMs 复读机问题？
   2. 为什么会出现 LLMs 复读机问题？
   3. 如何缓解 LLMs 复读机问题？
2. llama 系列问题
   1. llama 输入句子长度理论上可以无限长吗？
3. 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
4. 各个专业领域是否需要各自的大模型来服务？
5. 如何让大模型处理更长的文本？
6. ...

• 点击查看答案

大模型（LLMs）微调面

大模型（LLMs）微调面

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
2. 为什么SFT之后感觉LLM傻了?
3. SFT 指令微调数据 如何构建?
4. 领域模型Continue PreTrain 数据选取？
5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
6. 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
7. 进行SFT操作的时候，基座模型选用Chat还是Base?
8. 领域模型微调 指令&数据输入格式 要求？
9. 领域模型微调 领域评测集 构建？
10. 领域模型词表扩增是不是有必要的？
11. 如何训练自己的大模型？
12. 训练中文大模型有啥经验？
13. 指令微调的好处？
14. 预训练和微调哪个阶段注入知识的？
15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
16. 多轮对话任务如何微调模型？
17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
18. 微调模型需要多大显存？
19. 大模型LLM进行SFT操作的时候在学习什么？
20. 预训练和SFT操作有什么不同
21. 样本量规模增大，训练出现OOM错
22. 大模型LLM进行SFT 如何对样本进行优化？
23. 模型参数迭代实验
24. 微调大模型的一些建议
25. ...

• 点击查看答案

大模型（LLMs）训练经验帖

• 分布式训练框架选择？

• LLMs 训练时 有哪些有用的建议？

• 模型大小如何选择？

• 加速卡如何选择？

• ...

• 点击查看答案

大模型（LLMs）langchain 面

大模型（LLMs）langchain 面

• 1. 什么是 LangChain?
• 2. LangChain 包含哪些 核心概念？
  • 2.1 LangChain 中 Components and Chains 是什么？
  • 2.2 LangChain 中 Prompt Templates and Values 是什么？
  • 2.3 LangChain 中 Example Selectors 是什么？
  • 2.4 LangChain 中 Output Parsers 是什么？
  • 2.5 LangChain 中 Indexes and Retrievers 是什么？
  • 2.6 LangChain 中 Chat Message History 是什么？
  • 2.7 LangChain 中 Agents and Toolkits 是什么？
• 3. 什么是 LangChain Agent?
• 4. 如何使用 LangChain ?
• 5. LangChain 支持哪些功能?
• 6. 什么是 LangChain model?
• 7. LangChain 包含哪些特点?
• 8. LangChain 如何使用?
  • 8.1 LangChain 如何调用 LLMs 生成回复？
  • 8.2 LangChain 如何修改 提示模板？
  • 8.3 LangChain 如何链接多个组件处理一个特定的下游任务？
  • 8.4 LangChain 如何Embedding & vector store？

• LangChain 存在哪些问题及方法方案？

  • 1. LangChain 低效的令牌使用问题
  • 2. LangChain 文档的问题
  • 3. LangChain 太多概念容易混淆，过多的“辅助”函数问题
  • 4. LangChain 行为不一致并且隐藏细节问题
  • 5. LangChain 缺乏标准的可互操作数据类型问题

• LangChain 替代方案？

• ...

• 点击查看答案

基于LLM+向量库的文档对话 经验面

• 一、基于LLM+向量库的文档对话 基础面

  • 1.1 为什么 大模型 需要 外挂(向量)知识库？
  • 1.2. 基于LLM+向量库的文档对话 思路是怎么样？
  • 1.3. 基于LLM+向量库的文档对话 核心技术是什么？
  • 1.4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？

• 二、基于LLM+向量库的文档对话 存在哪些痛点？

• 三、基于LLM+向量库的文档对话 工程示例面

• ...

• 点击查看答案

LLM文档对话 —— pdf解析关键问题

• 一、为什么需要进行pdf解析？

• 二、为什么需要 对 pdf 进行解析？

• 三、pdf解析 有哪些方法，对应的区别是什么？

• 四、pdf解析 存在哪些问题？

• 五、如何 长文档（书籍）中关键信息？

• 六、为什么要提取标题甚至是多级标题？

• 七、如何提取 文章标题？

• 八、如何区分单栏还是双栏pdf？如何重新排序？

• 九、如何提取表格和图片中的数据？

• 十、基于AI的文档解析有什么优缺点？

• ...

• 点击查看答案

大模型（LLMs）参数高效微调(PEFT) 面

大模型（LLMs）参数高效微调(PEFT) 面

• 微调方法是啥？如何微调？

• 为什么需要 PEFT？

• 介绍一下 PEFT？

• PEFT 有什么优点？

• 微调方法批处理大小模式GPU显存速度？

• Peft 和 全量微调区别？

• 多种不同的高效微调方法对比

• 当前高效微调技术存在的一些问题

• 高效微调技术最佳实践

• PEFT 存在问题？

• 能不能总结一下各种参数高效微调方法？

• ...

• 点击查看答案

配器微调（Adapter-tuning）篇

• 一、为什么 需要 适配器微调（Adapter-tuning）？

• 二、适配器微调（Adapter-tuning）思路？

• 三、 适配器微调（Adapter-tuning）特点是什么？

• 四、AdapterFusion 思路 是什么？

• 五、AdapterDrop 思路 是什么？

• 六、AdapterDrop 特点 是什么？

• 七、MAM Adapter 思路 是什么？

• 八、MAM Adapter 特点 是什么？

• ...

• 点击查看答案

提示学习（Prompting）

• 一、为什么需要 提示学习（Prompting）？

• 二、什么是 提示学习（Prompting）？

• 三、提示学习（Prompting） 有什么优点？

• 四、提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？

  • 4.1 前缀微调（Prefix-tining）篇
    • 4.1.1 为什么需要 前缀微调（Prefix-tining）？
    • 4.1.2 前缀微调（Prefix-tining）思路是什么？
    • 4.1.3 前缀微调（Prefix-tining）的优点是什么？
    • 4.1.4 前缀微调（Prefix-tining）的缺点是什么？
  • 4.2 指示微调（Prompt-tuning）篇
    • 4.2.1 为什么需要 指示微调（Prompt-tuning）？
    • 4.2.2 指示微调（Prompt-tuning）思路是什么？
    • 4.2.3 指示微调（Prompt-tuning）优点是什么？
    • 4.2.4 指示微调（Prompt-tuning）缺点是什么？
    • 4.2.5 指示微调（Prompt-tuning）与 Prefix-tuning 区别 是什么？
    • 4.2.6 指示微调（Prompt-tuning）与 fine-tuning 区别 是什么？
  • 4.3 P-tuning 篇
    • 4.3.1 为什么需要 P-tuning？
    • 4.3.2 P-tuning 思路是什么？
    • 4.3.3 P-tuning 优点是什么？
    • 4.3.4 P-tuning 缺点是什么？
  • 4.4 P-tuning v2 篇
    • 4.4.1 为什么需要 P-tuning v2？
    • 4.4.2 P-tuning v2 思路是什么？
    • 4.4.3 P-tuning v2 优点是什么？
    • 4.4.4 P-tuning v2 缺点是什么？

• ...

• 点击查看答案

LoRA 系列篇

• 一、LoRA篇

  • 1.1 什么是 LoRA？
  • 1.2 LoRA 的思路是什么？
  • 1.3 LoRA 的特点是什么？

• 二、QLoRA篇

  • 2.1 QLoRA 的思路是怎么样的？
  • 2.2 QLoRA 的特点是什么？

• 三、AdaLoRA篇

  • 3.1 AdaLoRA 的思路是怎么样的？

• 四、LoRA权重是否可以合入原模型？

• 五、ChatGLM-6B LoRA后的权重多大？

• 六、LoRA 微调优点是什么？

• 七、LoRA微调方法为啥能加速训练？

• 八、如何在已有LoRA模型上继续训练？

• 九、LoRA 缺点是什么？

• 十、LoRA这种微调方法和全参数比起来有什么劣势吗？

• ...

• 点击查看答案

大模型（LLMs）推理面

大模型（LLMs）推理面