メトロポリス・ヘイスティングス法のようなサンプリングでやりたいことの自分なりの理解。正しさは保証しません。 問題設定 データ・確率モデルは固定 データxが与えられたとき、あるパラメータθの確率(密度) P(θ|x) の値を求めることはできる θの定義域のあ…

(自分用メモ) 重回帰と勾配降下法 - gneioagineの日記 の続き。正しさは保証しません。 確率的勾配降下法 勾配降下法では、D個の教師データに対して誤差関数の勾配を求めて重みを更新した。 勾配: 勾配の各次元(i): 重み更新: D個の教師データを全部読んで勾…

正しさは保証しません。 重回帰 n個の説明変数によって目的変数yの予測をしたいとする。 予測モデルとして、の重み付き線形和を採用してみる。 (は目的変数yの予測値。は説明変数に関わらず一定値のバイアス。) このとき、適切な重みを教師データから推定し…