AI

機械学習 #3

(線形回帰の)目的関数を最小化することを考える

 

最急降下法

最急降下法とはどのようなことをするのか

\theta_0 = 0\theta_1 = 0に初期化して、\theta_0\theta_1の値を少しずつ変えて、目的関数の値を減少させていくことをします。そうすることによって、極小値または最小値に到達します。

この方法の特徴は、初期値によって最終的な目的関数の値が違うということです。\thetaを更新する具体的な式は、\theta_j := \theta_j - \alpha\frac{\partial}{\partial \theta_j}J(\theta_0,\theta_1)