読んでいる中で、解釈があってるか微妙なところが何点かあったので、それをインターネッツに投げておいて、通りがかりの人に間違いを指摘してもらったり、逆に誰かの助けになったらいいなと思った次第です。コメントでもツイッター(@8_deg_50)でもどっちでも大丈夫ですので、ぜひよろしくお願いします。
・p7右中、式35の下 "there is a twist."
この表現はyahoo知恵袋()によると「予期しなかったことが起きる」という意味合いを持つらしい。個人的にはその後の"on each trial we need to modify the model parameters just a little bit"がそんなに予期しないことでもないと思ったので、Howeverとまとめて「しかし」として読み進めた。しかしおそらく何かしらの意味があって入っているフレーズだと思うので、何かの解釈もしくはニュアンスを間違えているような気がする。事実、末尾の"(rather than～)"の一節の意味がよくわからん。
現在の自分の解釈としては「Fを最大化するパラメータも近似分布も求まるけど、現実では観測ごとに解が異なるため、長いスパン(多くの試行)で最善の予測となる分布・パラメータとなるように、少しずつパラメータを調整する必要がある」といったところです。
・p8左上、式(36)
昔々に多変量正規分布の式を一度勉強した気がするがまったく意味わからなくなってたので、ググって勉強しなおし。HEELO CYBERNETICSさんの記事がわかりやすかった。
・4.2節
脳内の処理が低次から高次へとなされていくのを模して、i層がi+1層に依存するようにシステムを組むので、つまりiが大きいほど低次。なので式(52)の下の文章の"the mean value of features in one level depends on the next"の"next"は「次のインデックスの層」であり、「情報伝達的に次の層」ではない。(今これ書いてて自分でもそんな読み違いするかよと思うんだけど、実際読み違えてごちゃごちゃしたんだよなぁ…)
・p11左上
式(66)の話はストロガッツの5.2節あたりと対応。トレースと行列式から収束することはわかるが、相図を書くことで収束することを確認した。
定数項が鬱陶しいので定数項C=Φi-gi(Φi+1)とした上で進める。
まずΣi=1, C=0の時、τ=-1<0、Δ=1>0、τ^2-4Δ<0により安定スパイラル。ベクトル場と、試しに[ε, e]=[±0.5, ±0.75]の4点を始点として軌道を見てみる。
Σi=3にした場合、τ=-1<0、Δ=3>0、τ^2-4Δ<0により、同様に安定スパイラルとなる。
イメージとしては、分散が大きくなり収束に時間がかかるのを反映して、スパイラルが大きくなったという理解でよさそう。
Σiを小さい場合をみる。Σi=0.2にした場合、τ=-1<0、Δ=0.2>0、τ^2-4Δ>0により安定ノード。
定数項Cを変えてみる。局所の傾きが[0, 0]となる点を計算すると[ε, e]=[C/Σi, C]である。行列式が変わるわけではないので、結局のところベクトル場そのものが平行移動したものになりそうだと考えられますね。
Σi=1, C=0.5の時、局所の傾きが[0, 0]となるのは[0.5, 0.5]であり、そこを中心にした安定スパイラルになる。
いずれにせよ安定ノードか安定スパイラルになるので、目的の値に収束してくれる。
・Appendix B 式(84)
転置マークは誤植ですかね。
---------------------------------------------------------------
この記事書いてる時にすごいアホなミスや勘違いに気付き4つくらい解決したので、アウトプットも捨てたものではないな。
なおこのチュートリアルだが、求められる数学知識は「行列が含まれてた頃の高校数学」まででほぼ事足りる程度でした。説明もめちゃ丁寧にどの式をどうすればいいかとか書いてあるのでよかったです。
さて、FEPの面白い点は「Fが小さくなるように行動する」と考えられるところにあると思っているので、行動の要素を追加したモデルを考えてみたい。さすがにここまで初学者にやさしいチュートリアルはないと思うが……。
