From 878782d000a045bc3b42e63a510f4a6cb2668ce9 Mon Sep 17 00:00:00 2001 From: ShusenTang Date: Thu, 14 Mar 2019 20:42:04 +0800 Subject: [PATCH] add 4.3 --- docs/chapter04_DL_computation/4.3_deferred-init.md | 4 ++++ 1 file changed, 4 insertions(+) create mode 100644 docs/chapter04_DL_computation/4.3_deferred-init.md diff --git a/docs/chapter04_DL_computation/4.3_deferred-init.md b/docs/chapter04_DL_computation/4.3_deferred-init.md new file mode 100644 index 000000000..5f6131a31 --- /dev/null +++ b/docs/chapter04_DL_computation/4.3_deferred-init.md @@ -0,0 +1,4 @@ +# 4.3 模型参数的延后初始化 + +由于使用Gluon创建的全连接层的时候不需要指定输入个数。所以当调用`initialize`函数时，由于隐藏层输入个数依然未知，系统也无法得知该层权重参数的形状。只有在当形状已知的输入`X`传进网络做前向计算`net(X)`时，系统才推断出该层的权重参数形状为多少，此时才进行真正的初始化操作。但是使用PyTorch在定义模型的时候就要指定输入的形状，所以也就不存在这个问题了，所以本节略。有兴趣的可以去看看原文，[传送门](https://zh.d2l.ai/chapter_deep-learning-computation/deferred-init.html)。 +