LLMs Interview 八股文

问题来源：大模型（LLMs） 算法工程师相关的面试题

更新记录

• 2023.11.27 ： 15.token及模型参数， 16.tokenize分词
• 2023.11.25 ： 13.分布式训练
• 2023.11.23 ： 6.推理， 7.预训练， 8.评测，9.强化学习， 11.训练数据集，12.显存问题,14.agent
• 2023.11.22 ： 5.高效微调
• 2023.11.10 ： 4.LangChain
• 2023.11.08 ： 建立仓库；1.基础，2.进阶，3.微调

注意：

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

目录

1.基础

2.进阶

3.微调

4.LangChain

5.参数高效微调（PEFT）

• 5.1 基本概念
• 5.2 Prompting
• 5.3 Aadapter-tuning
• 5.4 LoRA
• 5.5 总结

6.推理

7.预训练

8.评测

9.强化学习

10.软硬件配置

11.训练数据集

12.显存问题

13.分布式训练

• 13.1 概述
• 13.2 数据并行
• 13.3 流水线并行
• 13.4 张量并行
• 13.5 序列并行
• 13.6 多维度混合并行
• 13.7 自动并行
• 13.8 MOE并行
• 13.9 总结

14.agent

15.Token及模型参数

16.tokenize分词

17.位置编码

18.Layer Normalization

19.激活函数

20.加速

21.Attention升级

22.幻觉

23.思维链（COT）