Truncated Normal Distribution とNeural Network(ニューラルネットワーク)の初期化(Initialization)

Tensorflowを利用してもらった初めてに、どうしてもニューラルネットワークの初期化を迷っていることが避けない。
実はルールがあります、そしてやり方は簡単し、ご注意のところが薄がって、なんの困りがありませんはずだ。

まずコードの欠片を見せてください！

import

tensorflow

as

tf

def

get_conv_weights
(
w
,

h
,

chn_in
,

chn_out
):

dim

=

[
w
,

h
,

chn_in
,

chn_out
]

init_op

=

tf
.
truncated_normal
(
dim
,

mean
=
0.0
,

stddev
=
0.1
)

return

tf
.
get_variable
(

name
=
‘weights‘
,

initializer
=
init_op
)

def

get_fc_weights
(
chn_in
,

chn_out
):

dim

=

[
chn_in
,

chn_out
]

init_op

=

tf
.
truncated_normal
(
dim
,

mean
=
0.0
,

stddev
=
0.1
)

return

tf
.
get_variable
(

name
=
‘weights‘
,

initializer
=
init_op
)

ここに書いてあるものはパラメーターの初期化です。stddevはその一番重要なセットだ。普通には０．１ー０．２に限定している。この範囲以外のセットはダメだ。
なぜダメだろうか、実際に運転すればすぐ分かるぞ。
とくにsoftmax-cross-entrophy lossとのお使い場合には立派な程度で役に立つ。