EMアルゴリズム †

  • どんなもの？
    • 潜在変数を考えると推定がぐっと簡単になるときに有用なアルゴリズム
    • 正確には、p(Z | X, θ)が計算可能かつp(X, Z| θ)が最大化可能ならば、p(X | θ)が繰り返し計算により局所最適化可能
    • 最尤推定の局所最適解を E ステップ と M ステップ の二つのステップの繰り返しにより求める．
  • EMアルゴリズムの抽象化
    • IMG_3311.JPG
    1. 混合ガウス：アドホックに
    2. 期待値Qの最大化（完全データの生起確率の潜在変数に対する期待値Qの最大化）
    3. 自由エネルギー（自由エネルギー-Fをminとするqを前提とした時、-Fをminとするパラメータθの探求）
  • Tips
    • Dynamic Time WarpingのEMアルゴリズム的解釈がある？ [Jur van den Berg+, 2010]
    • Kalman SmoothingがEMアルゴリズムのEステップをになう [Jur van den Berg+, 2010; M, Jordan]
↑

SVM †

  • どんなもの？
    • 超平面とデータの距離を最大化するように学習する。
    • 学習は二次計画問題となる。不等号付きラグランジュ（KKT条件）を利用することで双対問題に帰着することで解く。
  • 種類
    • ハードSVM
    • ソフトSVM
    • 高次元写像SVM（←カーネルトリック）
トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS