RandomMatrixAnalysisDNNWeight.md

Random matrix analysis of deep neural network weight matrices

https://arxiv.org/abs/2203.14661

https://journals.aps.org/pre/abstract/10.1103/PhysRevE.106.054124

概要

random行列の固有値分布と学習したWeightを比較、Porter Thomas分布と比較した。

分布が一般にテール インデックスによって特徴付けられないこと、つまりべき乗則タイプではない