0-前言.md

上一篇在公众号写的神经网络调试Checklist详细地介绍了神经网络调试的步骤和技巧。本文将进一步学习深度学习网络中另一核心内容：求导和反向传播。笔者认为，在熟练使用诸如Pytroch/Tensorflow等深度学习工具之外，咱们也有必要对背后的数学知识有所理解。因此，本文将从简单的标量谈起，深入解析神经网络中张量求导和反向传播所涉及的数学计算，希望能成为深度学习初学者的参考资料。

提几个问题，读者朋友看下是否可以自如回答：

• 1. 什么是链式法则？
• 2. 什么是Jacobin矩阵，它有什么用处？
• 3. 梯度的定义是什么？方向导数和梯度的关系是什么？
• 4. 神经网络中张量反向传播有什么特点？哪些特性保证了神经网络中高效的梯度计算？

• 1.1 标量、向量、矩阵、张量
• 1.2 简单的线性代数
• 2.1-标量：导数的概念
• 2.2-标量：链式法则
• 2.3-标量：求导常用公式
• 2.4-多个标量：多元函数求导、偏导数
• 2.5-方向导数和梯度
• 2.6-向量的梯度和Jacobian矩阵
• 2.7-矩阵和张量的梯度
• 2.8-神经网络中几个实用的梯度计算
• 3.1-神经网络中的反向传播
• 3.2-单层神经网络梯度计算例子
• 4.1-Pytorch自动求梯度
• 4.2-Tensorflow自动求梯度