*概要 [#r2366110]
-Deep Learning->xgboost->ランダムフォレスト最強->ロジスティック回帰最強->ビジネス理解
-データのバイアスはつらいね（grapmaは白人の高齢のおばあちゃん、男性より女性のほうが給料が低い提示がされる、黒人の再犯率が余計に高く見積もられる）
-人類には線型が限界。ビジネスで説明するときには線形性を前提させられる
-「機械学習に興味ある」はワールドカップの年に「サッカー好きです」って言うくらいの感覚
*参考 [#bd4144ee]
-[[PRML演習問題完全解答>http://prml.yutorihiro.com/category/studies/ai/prml-exercise-solutions/chapter-1/]]
-[[演習問題解答>https://drive.google.com/drive/u/0/folders/0Bz9yuvZCp4qSY05fWDVqOHpzSmc]]
-機械学習の良さそうなスライド
--https://www.dropbox.com/sh/p18txj1afik4pm4/AABVx4XMd_8JUiNjg2Su_Dara?dl=0
*目次 [#r4e428bd]
#contents
*下位ページ [#k0c25dde]
-[[TensorFlow]]
-[[DeepLearning]]
-[[統計解析]]
*機械学習の発達過程 [#w816555a]
-あのね、ちゃんとした順番で学ばないとイライラして死にます
-順序
++プログラマのための確率統計
++グラフィカルモデル http://machine-learning.hatenablog.com/entry/2016/02/10/184755
++PRML 3章をグラフィカルモデルを使って理解
++PRML演習2-19で出てくる、$U U^t = \sum_{1\le i \le n} u_i u_i^t$を理解する。
---行列をベクトルに分解した時の式が導けないのを何とかする
---横のケースはこれ。これは要するに、式を並べただけなので簡単。http://tau.doshisha.ac.jp/lectures/2005.linear-algebra-I/html.dir/node55.html
---縦のケースはこれ。$AB=(a_1, \cdots a_n) \begin{pmatrix} b_1 \\ \vdots \\ b_n\end{pmatrix} = \sum_{1\le i \le n} a_i b_i$, 例としては$\begin{pmatrix} a & b \\ c & d \end{pmatrix}\begin{pmatrix} e & f \\ g & h \end{pmatrix} = (\begin{pmatrix} a & 0 \\ c & 0 \end{pmatrix} + \begin{pmatrix} 0 & b \\ 0 & d \end{pmatrix})(\begin{pmatrix} e & f \\ 0 & 0 \end{pmatrix} + \begin{pmatrix} 0&0\\g&h \end{pmatrix})$だが、行と列の番号がずれているところはかけても全部0になるので。
++Coming soon
*勉強するべきこと [#u30a6730]
-逆教科学習
-NLP
-one-shot learning
-モードってなに？PRML 154
-どうやって尤度を描画するの？PRML 154
*ビジネス事例 [#md70f5fa]
大規模データ解析のトレーニングはどうするの？かなり才能と特殊な経験と、才能があるかを判断すること自体が極めてむつかしいと思うのだけど。
製造・石油→Apple, Googleなどテック企業へ
キューピーで食料品の不良品検知をやる、ドローン空撮で車の数を検知するなど
寿司ネタの需要予測、状態空間モデルを使う。ネタがはける量を予測する。
採用は難しいので数理を重視している。
だいたい600-1000万円。3人で3ヶ月でやるらしい。
データサーバは会社にある、クラウドを使うこともあるが、場合による
キューピーはマシンごと納品したらしい。
*数学 [#c15ff06d]
**行列演算 [#f36651ec]
-$t_i \in \mathbf{R}, \bf{x_i} \in \mathbf{R}^m (0 \le i < n)$について、$\displaystyle \sum_{0 \le i < n} t_i \bf{x_i}^t = \begin{pmatrix} t_0 & \cdots & t_{n-1} \end{pmatrix} \begin{pmatrix} \bf{x_0} \\ \vdots \\ \bf{x_{n-1}} \end{pmatrix} = \bf{t}^t \bf{X}$
--行列のように並べられる方を行列のように並べて普通に内積を取る感じ（並べられないほうを並べようとするとテンソルになってしまうので）
--$t_i$に相当する部分が横ベクトルでもよい
-$\nabla$は横ベクトルでの微分
--$\bf{\omega}$に関する微分、$\nabla (t - \bf{\omega}^t \bf{x})^2 = -2(t-\bf{\omega}^t \bf{x})\bf{x}^t$
--納得していないのできちんと理解すること
-「事前分布に尤度分布をかけ合わせると事後分布になる」とは数学的にはどういうことか？
-めっちゃ絡みあうベイズの定理
--http://d.hatena.ne.jp/n_shuyo/20110617/bayes
*ベイズの立式手順 [#s9c7f740]
-以下の手順を踏む。
++まず、モデル化の式を全列挙する。
++次に、欲しい確率分布を列挙する。話はそれからだ
++モデル化の式の中で、定数をgiven、変数を左辺として同時確率分布を書く。これはモデルの式を全部掛けあわせて、足りない変数を全てP(X)のように独立にして書くことによって得られる。
++確率分布のダイエット＝givenを減らすことを考える。左の変数は1変数のみであることを想定する。すると、givenと左のもののみからなるグラフィカルモデルを書いて、「着目した変数以外」を黒塗りした条件付きで、着目した変数と左の変数が独立かを判定すればよい。全て独立ならば、着目した変数は削除できる。
++周辺化をすると、「興味のない変数」を除去できる
++ここまで来ればただひたすら計算
*グラフィカルモデル [#s00dc9d8]
-グラフィカルモデルめっちゃわかりやすいやつ。普通の教師あり学習でも書いてる
http://machine-learning.hatenablog.com/entry/2016/02/10/184755
http://machine-learning.hatenablog.com/entry/2016/02/14/123945
定数は小さい黒丸で書くことがおおい
http://machine-learning.hatenablog.com/entry/2016/02/20/213512
グラフィカルモデルを使うと、事前分布を限定しなくて多峰性にしても行けるよというはなし
http://machine-learning.hatenablog.com/entry/2016/02/20/213512
多くの場合では我々はパラメータの確率分布には関心がありません。だから周辺化する。周辺化はいらない左の変数を消すこと。
変分近似のモデルなども統一的に書ける。
http://machine-learning.hatenablog.com/entry/2016/01/23/123033
*EMアルゴリズム [#b63564ba]
-どんなもの？
--潜在変数を考えると推定がぐっと簡単になるときに有用なアルゴリズム
--正確には、p(Z | X, θ)が計算可能かつp(X, Z| θ)が最大化可能ならば、p(X | θ)が繰り返し計算により局所最適化可能
--最尤推定の局所最適解を E ステップ と M ステップ の二つのステップの繰り返しにより求める．
-EMアルゴリズムの抽象化
--&ref(./IMG_3311.JPG,10%);
++混合ガウス：アドホックに
++期待値Qの最大化（完全データの生起確率の潜在変数に対する期待値Qの最大化）
++自由エネルギー（自由エネルギー-Fをminとするqを前提とした時、-Fをminとするパラメータθの探求）
-Tips
--Dynamic Time WarpingのEMアルゴリズム的解釈がある？ [Jur van den Berg+, 2010]
--Kalman SmoothingがEMアルゴリズムのEステップをになう [Jur van den Berg+, 2010; M, Jordan]
-EMアルゴリズムを血液型の非常にミニマルな例でやってる
--http://ebsa.ism.ac.jp/ebooks/sites/default/files/ebook/1881/pdf/vol3_ch9.pdf
*SVM [#l4c00386]
-参考
--[[基本コンセプト>http://www.slideshare.net/mknh1122/svm-13623887]]
--[[ちょっと詳しい>http://www.slideshare.net/ShinyaShimizu/ss-11623505]]
-どんなもの？
--超平面とデータの距離を最大化するように学習する。
--学習は二次計画問題となる。不等号付きラグランジュ（KKT条件）を利用することで双対問題に帰着することで解く。
-種類
--ハードSVM
--ソフトSVM
--高次元写像SVM（←カーネルトリック）
*確率論 [#x46a7994]
-確率は以下で形式的に解ける
--確率の公理: $\displaystyle \sum_X P(X_1|Y) = 1$, $\displaystyle \sum_{X_1} \sum_{X_2} P(X_1, X_2|Y_1, Y_2) = 1$
--加法定理: $\displaystyle P(X) = \sum_Y P(X, Y)$
--乗法定理: $P(X, Y) = P(X | Y) P(Y) = P(Y | X) P(X)$
--ベイズの定理: $P(X|Y)P(Y)=P(Y|X)P(X)$
--「依存」を条件付き確率として表す: $\alpha$を1つのみの値をとる定数確率変数とする。$P(\bf{w}|\alpha)$がgivenの時、$p(\bf{w}(\alpha)|x)$を$pい(\bf{w}|x, \alpha)$と表記することがある
--条件付き確率にするということは、全事象をいじること！
-パラメータ$\bf{w}$とデータ$\mathcal{D}$に対して、$P(\mathcal{D}|\bf{w})$を尤度関数、$p(\bf{w})$を事前確率、$p(\bf{w}|\mathcal{D})$を事後確率と呼ぶ。
--尤度関数は、「このモデルを前提した時、このデータが得られる確率」という意味
*頻度主義 v.s. ベイズ主義 [#qab036cd]
-頻度主義は、パラメータ$\bf{w}$を点として推定。ベイズはその分布も推定
--頻度主義で分布を推定する方法：ブートストラップ。データの一部のみから推定するのを何回もモンテカルロ的に繰り返す
--頻度への批判
---サンプル分散が$(N-1)/N$だけ分散が過小評価される
--ベイズへの批判
---分布を与えると恣意的になる。しかも大抵与え方が数学的便宜。
---分布を与えない無条件事前分布というのがあるが、モデル間比較が困難
---交差確認で回避できる
*深層学習 [#c1028146]
-ImageNetもそうだけど、Deepは結構転移学習が効くらしい。Deep Learningの優れている点として、汎用的なモデルをひとつ作ってしまえば、様々なタスクに転移できることが挙げられます(imagenetの画像分類タスクで学習したモデルが、画像からのキャプション生成に使えるなど)。
バラ積み取出しにおいても、複数種類のワークで学習を行ったり、シミュレータ上で大量に学習したものを、転移学習することも可能でしょう
-Deepのブレイクスルーは単純なもの
--http://postd.cc/deep-reinforcement-learning-pong-from-pixels-1/
アニメ画像データセットを作成する
https://github.com/musyoku/cv-animeface
http://musyoku.github.io/implementation/
なんか大量にchainerの実装がある（3日に一つ実装しててやばい）
ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしい。
学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ
CNNをグラフに対して適用する
http://tkipf.github.io/graph-convolutional-networks/
心理のp値はほぼ不正、バグで成果がでる
2次元は行ける、三次元はできていない。モノクロが強い。
三次元は原理的になのか、データが足りないのか？
ニューラルネットワークのスリム化
新皮質は基本的に後天的、方位特異性ニューロンも後天的。特徴量は後天的に抽出されている
ニューラルネットでアニメーションのぎこちなさをへらす
http://jp.techcrunch.com/2017/05/02/20170501this-neural-network-could-make-animations-in-games-a-little-less-awkward/
毎日30分でもISLARやcs231nやcs224dやUCLの強化学習の動画講義で独学すれば、圧倒的にできるようになる
CourseraのNg先生のコース
動画の途中までから、次に何をするかを文章レベルで予測
http://www.kdnuggets.com/2016/09/predicting-future-human-behavior-deep-learning.html
*強化学習 [#p561541f]
-強化学習のだめなところ
--強化学習は探索フェーズはただのランダム探索。リーチングだと勾配関数を与える。だからここからここまで手を動かす、などといったカリキュラムを作る。創発だと、とりあえず動く、というのが面白い
-Q(s, a)がs固定した時にaに対して多峰性なら、それがグローバルダイナミクスの分かれ目、ということない？
-Q(s, a)=「状態sで行動aを行った時の、次の行動s'での状態価値」の期待値（ダイナミクスの確率性次第で、いろんなs'に行くので）
-SARSAの意味
--当然「sでaを取る確率」「s'でa'を取る確率」の両方を確率過程からサンプリングすれば、正しく収束する（SARSA）
--ここで、後者「s'でa'を取る確率」をargmaxするなど、サボっても正しく収束する、という理論的進展が本質的（Q-Learning）
-OpenAI Gymなるものがある
--http://wired.jp/2016/05/02/openai-gym-train-atari-games/
--http://qiita.com/icoxfog417/items/242439ecd1a477ece312
-A3C(AsynchronousのDQN) Prefferedの勉強動画
--https://www.youtube.com/watch?v=uiEtfyBAAHQ
-DQNのChainer実装
--http://qiita.com/Ugo-Nama/items/08c6a5f6a571335972d5
--http://qiita.com/HirofumiYashima/items/16da52eaea74e55d75da
カリキュラムというもので、簡単なものから複雑なものを学習させると良いらしい
劣微分
https://research.preferred.jp/2010/12/subgradient-optimization-3/
ChainerRLというのに、DQNとかDouble DQNとか、A3Cとか、とにかく一杯実装されているライブラリが公開されている（Double DQN は行動価値の見積もり値である Q 値の過大評価を防ぎ、ニューラルネットの発散を防ぐことで学習を安定させるという特徴）
https://research.preferred.jp/2017/02/chainerrl/
ロボによる折りたたみ
https://www.ipsj.or.jp/award/9faeag0000004ej9-att/1P-04.pdf
ライントレーサをDQNするデモ（結構良さそう）
http://qiita.com/chachay/items/555638e3079fce9d59c9
半教師有り学習のRL
この論文いい感じっぽい
GENERALIZING SKILLS WITH SEMI-SUPERVISED REINFORCEMENT LEARNING
Chelsea Finn†, Tianhe Yu†, Justin Fu†, Pieter Abbeel†‡, Sergey Levine†(2017)
https://openreview.net/pdf?id=ryHlUtqge
Chelsea Finn, Tianhe Yu, Justin Fu, Pieter Abbeel, Sergey Levine
https://arxiv.org/abs/1612.00429
Hybrid Deep Belief Networks
Shusen Zhou , Qingcai Chen, Xiaolong Wang
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0107122
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
Zhang, Y., Lee, K., & Lee, H. (2016) [29]
これがA3Cみたいなやつ？
Asynchronous Methods for Deep Reinforcement Learning
Mnih, V., Badia, A. P., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D., Kavukcuoglu, K., … (2016) [18]
http://nkdkccmbr.hateblo.jp/entry/2016/10/08/205107
決定論的ただのQラーニングの良い例
http://qiita.com/hogefugabar/items/74bed2851a84e978b61c
どうがあり面白い
http://jnns.org/pastpage/niss/2000/lecturenote/lecturenote_koike.pdf
意外とQ learningまでの道のりは長い。あとアクタークリティックはQ learningのあと。数学的厳密で良い。ノートで勉強したい。2001年の資料
http://yamaimo.hatenablog.jp/entry/2015/09/03/200000
数学が読める！！しゅごい。書いてる人頭いい。連載記事。モンテカルロはRubyで6s
ギャンブル問題を強化学習で。100行くらいでわかりやすそう
http://kivantium.hateblo.jp/entry/2015/09/29/181954
そもそも収束しない、みたいな空間や、カリキュラム分け自体がコツになっている可能性
起き上がりでやりたいね
Qテーブルの時間的分散、空間的分散、トライアル的分散
敏感な空間はイプシロングリーディによる失敗率が激上がる
予測可能性の低さ、このままでは無理！自然なダイナミクスにどれだけ支配されるか？
タイミングの制御
*TensorFlow [#n45c4fbc]
Tensor Flowのシンプルな実装からいい実装
https://github.com/TensorFlowKR/awesome_tensorflow_implementations
*Chainer [#aa100cc7]
*事例 [#zd786ed0]
-[[Deep Loco>https://www.youtube.com/watch?v=G4lT9CLyCNw]]
--歩行の足の起き方の目標と、その起き方にするための動かし方を深層教科学習。
-写真から動きを生成
--http://web.mit.edu/vondrick/tinyvideo/
-イラストを見れば、投稿する前から閲覧数がわかってしまうという、ディープラーニングのソフトができたとのこと。ものすごい正の相関です。
--「広告があればどうか？」というのは重要っぽい
--広告があってもだめなやつ、広告があれば化けるやつ
--なぜなら広告費のスケジューリングを効果量最大化によってできるようになるから。
-画像中の不要な物体を削除
--https://twitter.com/stsiizk/status/858517661889646592
-fMRI画像からなんの文字を考えているかを当てるゲーム
--https://www.technologyreview.com/s/604332/mind-reading-algorithms-reconstruct-what-youre-seeing-using-brain-scan-data/
*サンプリングアルゴリズム [#wec84efc]
-http://qiita.com/ysekky/items/16cd279c9be0dfb75217
*時系列 [#dec0af45]
経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)
Time series analysis, James D hamilton
単変量
https://www.amazon.co.jp/exec/obidos/ASIN/4254127928/hatena-blog-22/
多変量
http://tjo.hatenablog.com/entry/2013/07/25/194546
因果解析を非線形にすることができるかも。予測器だけ非線形に機械学習手法を使うことによって。
http://tjo.hatenablog.com/entry/2015/08/06/190000
https://www.slideshare.net/takashijozaki1/tokyo-r130831-tjo
LSTMで平均株価の予測
http://tekenuko.hatenablog.com/entry/2017/07/25/005348
*未整理 [#qb0f0b7e]
深層学習の翻訳プロジェクト
http://nnadl-ja.github.io/nnadl_site_ja/chap3.html
silver, 2015によると、工夫が本質らしい
またSpragueによると、超パラメータはグリットサーチで極めて疎らしい。アルファ、ろー、ベータに対して。target Qは
https://www.slideshare.net/mobile/mooopan/dqn-58511529
UCCという先読みのやつがすごいらしい
TD誤差
TD学習とは、強化学習の一つ
報酬にたどりついて初めて自分の行動の良し悪しを判断すると効率が悪いので、
常に自分の選択肢の価値を評価し更新することがTD学習の特徴。
TD誤差とは、自分が行動する前に思っていた行動の評価値と、実際行動してみて評価したその行動の評価値との誤差のことである。
TD誤差が正ならば、思っていたよりも良い行動
TD誤差が負ならば、思っていたよりも悪い行動
TD誤差が0に近づけば、行動前の行動の評価と行動後の行動の評価が一致することになり、自分の行動が報酬にどのくらい結びつく行動であるかが正確に予測できるようになり、
その場その場で評価が最大となる行動をとっていけば、報酬が最も期待できる一連の行動となる。
experience replayは大切。
三目ならべのAI
打ってはいけない手を教えるのが大変らしい
http://qiita.com/narisan25/items/e64a5741864d5a3b0db0
機械学習の3大メソッド
http://d.hatena.ne.jp/echizen_tm/20111206/1323180144
クラウドTPU
https://twitter.com/iruka3/status/865504304630611969
Optimizerの種類について
http://qiita.com/tokkuman/items/1944c00415d129ca0ee9
様々な手法を紹介してみましたが、やっぱりAdamが最強！！って訳でもないみたいで、学習モデルによってはAdaGradの方が高い精度を出すみたいな話も聞いたりします。結局使うOptimizerもモデルごとに最適なものを選ばないといけないってことなんですかね。。まあ少なくともSGDに比べたら精度も収束時間も格段に上がることはわかっているので、次はもう少しこれらのアルゴリズムがそれぞれどのような問題に適しているのかということを理解することが課題だと考えています。
次回はこれらのアルゴリズムを用いた簡単な精度の比較検証を行いたいと思っています。
http://qiita.com/tokkuman/items/33c66fcff7337a1c0fa8#_reference-c7525374ea798b596a77
基本Adamが強いが、モデルによっては学習のVarianceが変わってくる
http://www.iandprogram.net/entry/2016/02/11/181322
まあ強いOptimizerの評価について
Adam は広い学習問題で安定して学習できる手法です。(chainerチュートリアルで)
安定して最適化できるのでAdam，ハイパーパラメータを選ぶが安定して精度が出やすいのはRMSPropという特徴があります。
pythonは3.4を使いましょう
Clasifyerってなんやねん…（100で入力にしてるけど、reshapeしている）
Chainerではヤコビアン行列の計算はサポートしていません。 スカラー値でない場合，ユーザーが手動でgradを設定をすればbackwardを呼び出して計算することができます。
これは要するに数値微分しているということ
最後， self.l3(h2) には F.relu を適用していないことに注意してください。 softmaxを使う際によくある間違いとして，最後の出力にもReLUを適用してしまうというのがあります。 softmaxの定義域は負を含む実数ですので，その入力を非負に制約すると，想定しない制約を課して学習することになります。
マルコフ連鎖のししゅうそくは、エルゴード性が必要。数学的には固有値1が一個とほかが1以下になるだけ。だから必ず収束する
https://m.chiebukuro.yahoo.co.jp/detail/q11159853521
http://yusuke-ujitoko.hatenablog.com/entry/2016/12/31/230118
計算グラフ、筋がびみょいがforward backward がわかりやすい。境界条件としてda/daをつかうか、dedeを使うか。前者は分母を固定し、後者は分子を固定して漸化式
https://www.google.co.jp/amp/s/deepage.net/amp/deep_learning/2017/04/02/backpropagation
こっちはいいんだけどだぐじゃなくて木なので、それ連鎖率せつめいできてないやろ？？というかんじ
ノードがベクトルの時の説明が両方ない
http://qiita.com/t-tkd3a/items/031c0a4dbf25fd2866a3
ノードがベクトルのとき
りんごとみかんでの簡単な説明
http://qiita.com/m-hayashi/items/c5ace811333364d887f5
誤差の逆伝播は、伝言ゲームのようなものです。もし間に８人も人が入れば、まともな話も最後はどうなるものか。。。。。
まったく当てにならないですよね。
このため、何層もあるディープなニューラルネットワークは使いものにならない、と2000年頃までは言われていました。
多層ニューラルネットワーク（ディープラーニング）への対応
そこに彗星のように現れたのがトロント大学のヒントン氏です。
ヒントン氏はGoogleにも所属しています。
ヒントン氏は、オートエンコーダやＲＢＭ（制約付きボルツマンマシン）といった仕組みを利用し、多層のニューラルネットワークでも精度を損なわない方法（事前学習方式）を提案しました。
それが現在のディープラーニングのブームにつながっています。
すごそうなひとの強化学習スライド、論文紹介
https://www.slideshare.net/mobile/sotetsukoyamada
backward 自動微分は一出力に対する微分、chainerで線形回帰を自動微分できる。教師消えない？？
https://www.slideshare.net/mobile/beam2d/chainer-64567959
EMアルゴリズム
http://pianopiano.sakura.ne.jp/ml/em-algorithm/
http://www.meti.go.jp/committee/summary/eic0009/pdf/020_02_00.pdf
EMアルゴリズムのいい具体例
http://ebsa.ism.ac.jp/ebooks/sites/default/files/ebook/1881/pdf/vol3_ch9.pdf
EMは山登りなのでやたら局所に落ちます。
Stanをさわり始めて事前分布とか事後分布とか尤度になじみ深くなったおかげで、改めてPRML読み始めたら面白いと思えるようになったという謎
http://logics-of-blue.com/%E3%83%99%E3%82%A4%E3%82%BA%E3%81%A8mcmc%E3%81%A8%E7%B5%B1%E8%A8%88%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E9%96%A2%E4%BF%82/
MCMCは事後分布の期待値を求めたいが積分むりぽよなので乱数サンプリングして近似する。pfみたいなやつですね。ギブスサンプラやメトロポリスハスティングをする
ではそのｘはどう選ぶのかというと、次のxの条件付き確率p(x|y,z)によって選びます。
ギブスサンプリングが有効になるのは、この条件付き確率が簡単な場合です。なぜなら、結局は新しい点は、その条件付き確率（提案分布）から選んでこないといけませんから、この条件付き確率が難しい形をしていると意味がないからです。http://nykergoto.hatenablog.jp/entry/2015/08/06/033534
という感じでギブス・サンプリングも解説おしまいです．M-H法よりも適応範囲は狭いですが，使えるときには力を発揮する方法です．
MHは結構大変
猫の問題、競技プログラミングに出せないかなあ
https://www.slideshare.net/mobile/matsukenbook/4-56002293
詳細つりあいって満たされないことあるの？分布が時間で変化しないってことっぽい。詳細つりあいを満たすように分布を弄る方法らしい。
固有値の問題だけでMHはいらないということがないのは何故？
マルコフ連鎖を用いることで、モンテカルロ法を強化したものです。
後で詳しく書きますが、
モンテカルロ法は、真にランダムにサンプリングを行うため
・計算コストがかさむ
・精度も向上しない
という課題があります。
そこでマルコフ連鎖モンテカルロ法は、
その課題をマルコフ連鎖を用いることで改善したものです。
https://tatsyblog.wordpress.com/
A3Cの論文を探してくる
https://arxiv.org/pdf/1610.00633.pdf
A3Cをロボットに適用したらちゃんと2倍速になりました。分散で方策オフで、方策をコレクタにコピーしてデータを集めている。PFNのと何が違うのだろう？
http://journals.sagepub.com/doi/pdf/10.1177/1687814016668077
グラスプのマルチモーダルで拘束に。意味ない。
このエビデンス近似は線形回帰モデルだけでなくロジスティック回帰やニューラルネットワークの超パラメータを推定するのにも用いられるそうです。機会があれば、それらの実装もしていこうと思います。
ベイズの定理で「比例」としていたところを、比例ではなくて下の部分を最小化するようにすると、超パラメータを推定できる。ベイズ線形回帰だけでなく、いろいろ使える。
ニューラルネットの識別アルゴリズムを動画にするの結構おもしろい！http://qiita.com/Gordian_knot/items/507f2f1531b870a973bf
通常のニューラルネットワークを回帰問題に使う場合、コスト関数は単峰のガウス関数をモデルにしているので、多峰の状況に対処できません。混合密度ネットワークでは混合ガウスをコスト関数に用いることでこのことを解決します。
誤差関数は、
回帰→二条和誤差
２クラス分類→ロジスティックシグモイド
多クラス分類→ソフトマックス
ロジスティックシグモイドとソフトマックスは、出力層の総和が1になるからうれしい（くらすAになる確率、Bになる確率…の総和が1が陽に入るので）
ミニバッチ処理
学習がうまくいかないことがあったので急遽使用した手法の一つ。
学習データ全てを使って勾配を計算するのではなく、学習データからいくつかを取ってきて勾配計算を行う。こうすることで、局所解から抜け出せるかもしれません。
そういう意味もあったのか…
カーネルトリック
要するに特徴ベクトルを[1, x, x^2, ...]とか[1, x, y, xy]とかにするのではなく、得られたデータとの近さで定義するというだけ。
http://qiita.com/Gordian_knot/items/4c4607edf15072cddc46
普通、ベイズ回帰では特徴量を定義するが、ガウス過程（入力のガウスノイズが出力のガウスノイズになること？）が前提できれば、これを明示的にやらずに、ガウス関数(2DoF)のようなカーネル（＝入力間が近い→出力間が近い、という要件を満たす関数）を定義して、カーネルトリックしたうえで、超パラメータをエビデンス近似するといい感じになる。
何が欲しいかによって出力層の関数を買えなければいけない、という面白い例。
http://qiita.com/Gordian_knot/items/19c4a4f205b855cf6a05
混合係数πkπkは∑kπk=1∑kπk=1という制約条件があるので、ソフトマックス関数により混合係数を出力します。
πk=exp(aπk)∑Kl=1exp(aπl)
πk=exp(aπk)∑l=1Kexp(aπl)
平均は非線形変換を用いずにμk=aμkμk=aμkとします。
標準偏差σσは０以上なので指数関数を使ってσk=exp(aσk)σk=exp(aσk)。
これで、混合ガウス分布を計算するのに必要な関数πk,μk,σkπk,μk,σkが求まりました。
関連ベクトルマシン
http://qiita.com/Gordian_knot/items/ee512530618a5eeccd1a
よくわからなかった。
高速らしい
回帰のパラメータそれぞれに分散を割り当てると、関連する部分だけが得られる？？なのに、関連するベクトルとしてデータ点が色をつけられている？？？どういうこと？
データ点がない場所で分散が少なくなるという非直感的なことが起きるらしい
積和アルゴリズム
ノイズ除去を目的とするのであればグラフカットという手法が一番精度が良いらしいです。
ギブスサンプリングはいちじく固定なので僕の非同期運動学系に合いそう。何らかのノイズがあるばあいの運動学の確率密度を推定し、誤差領域を明確化するなど。安全に寄与しそう。
女子高出身東大卒女子と話してるとわかる残念なことは、ほとんどの女子高には理系教育の(まともな)機能がない。先生がいない。おしとやかで型にはめた女子を量産することに、親と学校が合意をして入れてる。大学ががんばるのにも限界がある。
http://www.fashionsnap.com/the-posts/2017-05-22/heart-closet-strategy/
pythonで数式処理
http://myenigma.hatenablog.com/entry/2016/02/20/183423
かの有名な黄金比（1:1.618）と白銀比(1:√2)の長方形を見せて、「美しいと思うものはどれ？」と質問すると欧米人は黄金比が多いんですけど、なぜか日本人は白銀比の方が多くて、例えば五重塔の1段目と5段目の長さの比は白銀比だし、けものフレンズのボスの縦横比は1:√2の白銀比です
質問の意図が掴みきれてるかわからないのですが、DeepとConvolutionは相反するものではなく、Deep=層の数、Convolution↔Linearという関係ですね。
あと今回のタスクは入力が1次元なのでconvつかってもlinear使っても中身はどちらも一緒です。
CNNのConvolutionというやつはDNNにいれる前の前処理らしい。プーリング？
http://vaaaaaanquish.hatenablog.com/entry/2015/01/26/060622
もうちょっとわかりやすそう（畳み込みできちんとしらべるべき）
http://hiro2o2.hatenablog.jp/entry/2016/02/05/215919
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html#cnnで解決できる問題
ドグラマグラの続きを書く、一緒に高速読解アプリも一緒にくっつけたい
https://anopara.net/2016/01/29/%E3%80%8C%E3%83%89%E3%82%B0%E3%83%A9%E3%83%BB%E3%83%9E%E3%82%B0%E3%83%A9%E3%80%8D%E3%81%AE%E7%B6%9A%E3%81%8D%E3%81%8C%E8%AA%AD%E3%81%BF%E3%81%9F%E3%81%84%E3%81%8B%E3%82%89%E4%BA%BA%E5%B7%A5%E7%9F%A5/
研究：教科学習の学習曲線とゲームを人がやった時の面白さって相関しないか？
ナブラ演算子の学習AIとレーティング
強化学習トレード
http://andoo.hatenablog.com/entry/dqn_fx
ランダムフォレスト
http://shindannin.hatenadiary.com/entry/2014/12/26/184624
決定木をエントロピー基準で構築。予測は決定木をランダムにいっぱい作って、多数決。先生、好きなテーマだと饒舌になるね
ベイズ的信頼区間
http://hikaru1122.hatenadiary.jp/entry/2015/10/08/235814 青いスライドに入ってる
http://hikaru1122.hatenadiary.jp/entry/2015/10/08/235814
学部生向けベイズ統計イントロ(公開版)
これが、一番最後に統計検定の頻度とベイズ的なのの違いを書いている
確率的こうばいこうかほう
http://qiita.com/kenmatsu4/items/d282054ddedbd68fecb0
勾配計算を全データではなくて一部20個とかのみを使う方法
最急降下法はバッジ勾配降下法とも呼ぶ
確率的勾配降下法SGDは、実は1つのデータだけでも動くが、普通はミニバッジにする（両方確率的勾配降下法と呼ぶ、http://postd.cc/optimizing-gradient-descent/#gradientdescentvariants）。確率的勾配降下法は評価関数がめっちゃバタバタする
http://www.iandprogram.net/entry/2016/02/11/181322 まあいろんな勾配計算がある。この中に30踏んでわかるAdamなるものもある。http://saiias.hatenablog.com/entry/2015/03/07/223056 AdamのC++実装
グラフィカルモデルとベイジアンネットの違いは？
ベイジアンネット
http://www.sist.ac.jp/~kanakubo/research/reasoning_kr/bayesiannetwork.html
CpTは条件付き確率表といういみ、わかりやすい
左の場合は、P(B,E,A)＝P(A|B,E)P(B|E)P(E)となる。右の場合は、P(B,E,A)＝P(A|B,E)P(B)P(E)となる。つまり、グラフの逆辺をクラスカル法的に辿っていく（しゅつじすうが0になったやつから削ってくといういみ、Dagだからいける）
このページめっちゃ計算例が詳しくて良い。理解したい
ベイジアンモデル、ギブスサンプリングなど
http://qiita.com/sergeant-wizard/items/d0ec93f625e596258182
一般的な機械学習 ベイジアンモデル
学習 MCMC等
学習パラメータ 確率モデルのパラメータ
評価関数 事後確率
解析力学
http://www.research.kobe-u.ac.jp/csi-viz/members/kageyama/lectures/H25_FY2013_latter/Analytical_Mechanics/note_140129a.pdf
スパーズコーディング
「データを教師なしで変換する行列分解手法」として、(1) 主成分分析（直交）・独立成分分析（エントロピー誤差）・スパースコーディング（L0（））の３つ。要するに、データいっぱいあるやつを、別の基底で表して次元削減したりする方法。
http://shiten4.hatenablog.com/entry/2014/01/10/125704
実装においては、主成分分析は固有値計算するのみで計算が早い一方、独立成分分析とスパースコーディングが目的関数の最適化に繰り返しが必要となり、比較的計算が遅い。Pythonにはライブラリがある
decomposer = PCA()
decomposer = FastICA()
decomposer = DictionaryLearning()
http://tjo.hatenablog.com/entry/2014/02/08/173324
Mcmc
http://hosho.ees.hokudai.ac.jp/~kubo/ce/BayesianMcmc.html
要するに複雑なモデルのパラメータ推定方法。決まった形があるわけではなく、全探索や固定や山登りを併用。有名なのがギブスサンプリングとメトロポリスってこと http://d.hatena.ne.jp/hoxo_m/touch/20140911/p1
複雑すぎると次元の呪いに引っかかるので、これを使う。
バーンイン区間といって初めの値は使わない（http://hikaru1122.hatenadiary.jp/entry/2015/10/08/235814 マルコフ連鎖モンテカルロ法 これは検定にMcmcを使おうとしてる）
その意義：複雑過ぎて解析的にはパラメータが求まらないケースでもパラメータが求まる
では、何でこんな大変な思いをしてMCMCなんてやるんでしょうか？ 確かに、ただの正規線形モデルなら最小二乗法で推定できますし、一般化線形モデル(GLM)ならニュートン＝ラフソン法などの数値解析的求解法が必要ながら最尤法で推定できます。個体差や場所差といった変量効果を含む一般化線形混合モデル(GLMM)でも、一応何とかならなくもないです。この辺をひとまとめにした図が、久保先生のサイトにあるのでご参考までに。
しかし、さらにそれを超えた複雑なモデルになるともはや限界です。例えば2次元空間上の場所差のように変量同士でも相関があったり*13、パラメータ同士や目的変数の中に自己回帰や自己相関があるようなデータや、そもそも単一のモデル式では記述できず要素ごとに別々のモデルが介在（小売店における曜日効果・イベント効果・長期トレンド・季節成分など）した上で1つの目的変数（売上高など）を説明するような複合モデルを、最尤法でパラメータ推定しようにもモデル式が複雑過ぎてほぼほぼ不可能です*14。
変分法
http://d.hatena.ne.jp/Zellij/touch/20121101/p1
何かを最小化する関数そのものを求める方法
数値的に求めることもできるらしいが、どうやるの？
http://libir.soka.ac.jp/dspace/bitstream/10911/4472/1/%E9%87%9C_%E5%89%B5%E4%BE%A1%E7%B5%8C%E6%B8%88%E8%AB%96%E9%9B%8644%E5%B7%BB.pdf
詳しい変分法の説明
実はL2正則化はMAP推定と同じ結果にぬる。違う場所がまとめられてる
http://s0sem0y.hatenablog.com/entry/2016/04/24/055832
なんで情報量の送受信って話になるの？何と戦ってるの？
エントロピーは、情報量の期待値。雨晴れどちらか神のお告げを聞くとして、重要なのは半々の時に最大。エントロピーが大きいというのは平等であるということ
http://s0sem0y.hatenablog.com/entry/2016/04/21/132645
KLダイバージェンスは、確率密度pをpで送った時と自作のqで送った時のエントロピーの差
https://bellcurve.jp/statistics/course/9490.html
この統計のページわかりやすい
OpenPose 姿勢推定Ｗ
https://twitter.com/izm/status/861171349036736513
統計検定、結構良さそう
http://www.toukei-kentei.jp/about/grade1semi/
データ解析を目的ベースに解説した良い
http://tjo.hatenablog.com/entry/2016/03/07/080000
時系列の分散付き予測
http://tjo.hatenablog.com/entry/2017/03/07/190000
DQNのまとめ。これはしっかり読まないといけない
https://www.slideshare.net/mooopan/dqn-58511529?next_slideshow=1
奈良先端技術大学 安並さんの修士論文
反復型軌道積分最適制御の近似解法に関する検討
https://library.naist.jp/mylimedio/dllimedio/showpdf2.cgi/DLPDFR009754_P1-47
ベルマンの最適性原理
file:///home/hamko/Downloads/201115519-59650-0-9.pdf
連続からナップザックまで結構きちんとまとまっていて良さそう
「この章では動的計画法 (DP) のアイデアを説明します。DP はベルマン（R.E.Bellman) によっ て案出され、工学、経済学、その他の多くの分野において使用されてきました。線形計画法は線形関 数の場合だけを取り扱うのに対して、動的計画法は非線形の関数、解析的な形になっていない関数も 取り扱えます。しかし、一般的な数理計画問題に常に適用できるわけではなく、問題が多段決定問題、 つまり、各段における決定の系列を求めるような問題に変換できれば、動的計画法によって解くこと が可能です。動的計画法の特徴は、再帰方程式 (漸化式) を巧妙につくるところにあります。 ✓ DP の考え方を理解するため、まず、次の例を見ましょう。」
制御理論
-STRIPS
-iLQG
-PIPI
-GPS
モデル予測制御は最適制御のリアルタイム版
コロモフとC\Gresとの違い、これらは両方モデル予測制御のアルゴ
https://www.usss.kyoto-u.ac.jp/uchugaku/seminar/2016/20160704_Ohtsuka.pdf これめちゃいい。実時間の最適制御は、今までに解いた問題の初期値を使ってるっぽい
基本的に最適制御は、
ある時間ホライズンで「ゴールコスト＋目標軌道中のコスト」を積分、を最小化することで実現される。
これだとよくわからんので、ある時間ホライズンが無限だったり、積分が離散だったり連続だったり、コストに確率が入っていたりするけど、基本的には大して変わらない
http://www.orsj.or.jp/archive2/or57-07/or57_7_367.pdf
HJB方程式は、システムが線形の場合は解析解がある。
非線形の場合、ロボットモデルが与えられて更に「確率システムでない場合でも」解析解がない
DDP（有限horizon離散時間問題。非線形ダイナミクス、コストは微分可能を前提）
教科学習（無限horizon MDP）
数学的便宜で導入した線形化を行うことによって、
非線形HJB方程式が線形化するので解ける
更に、(3)は2つのすごいポイントがあって、(a)モンテカルロサンプリングによるモデルフリー
ロボットモデルが与えられない→低次元しかできない
高次元→極めて正確なモデルが必要でロボットでの応用が限定的
確率的な場合、システムが線形であっても操作量 に制限を受ける場合は解析的に解けなかったりする。
LQG
プロセス・観測ノイズを加えて、微分コスト関数Cを二次形式前提すると、HJBがリカッチになるので解ける
https://jp.mathworks.com/help/control/ref/lqg.html
本稿では，多自由度のロボットが運動学習を行う枠
組みを中心に紹介した．近年の HJB 方程式の線形化
手法の導出を背景に，高次元の状態空間をもつ多自由
度ロボットの運動学習が現実的となってきた．応用と
して，歩行運動学習を行った事例を紹介した．周期的
な運動課題に対して，位相依存での表現を用いること
により学習性能が向上することを実験的に示した．現
在，我々の研究グループでは，ヒューマノイドロボッ
ト CB-i（図 3a）への実装を目指して学習アルゴリズ
ムの改良を進めている．
本稿では，制御則の最適化に焦点を当てた紹介を行っ
たが，他にも，見まね学習など多自由度システムにお
いて効率的に運動学習を行うアプローチが多く提案さ
れている．それらロボット学習の研究事例を集めた論
文特集号として [23, 24, 25] を紹介しておく．
多くの自由度を有するシステムのための学習メカニ
ズムを開発することは，同様に多自由度システムであ
るヒトが日々直面している学習問題を理解することに
も通じる可能性がある．たとえば，新学術領域研究「予
測と意思決定の脳内計算機構の解明による人間理解と
応用」(http://www.decisions.jp) では，神経科学，分
子生物学，精神医学，哲学，心理学，機械学習，ロボ
ティクスなどの分野の研究グループが協力し人間の学
習システムの理解を目指した取り組みを行っている．今
後，工学応用のみならず，ロボット学習の知見が人間
理解にも貢献することが期待される．
E. Theodorou, J. Buchli, and S. Schaal. A generalized
path integral control approach to reinforcement
learning. The Journal of Machine Learning Research,
11(Nov): 3137–3181, 2010.
これが線形化HJB eqによる強化学習の初めのやつ
https://library.naist.jp/mylimedio/dllimedio/show.cgi?bookid=100084582
https://library.naist.jp/mylimedio/dl/page.do;jsessionid=19685e30591370e490466c9f2856?bookid=100199387&tocid=0
DMPの詳しい説明が載っているもの:
Ijspeert, Auke Jan, et al. "Dynamical movement primitives: learning attractor models for motor behaviors." Neural computation 25.2 (2013): 328-373.
再試しようとしているもの:
Kober, Jens, et al. "Reinforcement learning to adjust parametrized motor primitives to new situations." Autonomous Robots 33.4 (2012): 361-379.
です。
誰でもレビュー無しでアップロードできるので、玉石混合との批判もあります。しかし、2002年のペレルマンのポアンカレ予想の証明のような、ものすごい成果が早々と出回ったりもします。http://arxiv.org/abs/math/0211159から始まる３部作です。ジャーナルへ投稿しても、証明の正しさの検証が難しく、なかなか世に出ることはなかったでしょう。
joyportさんオススメの深層強化学習
https://twitter.com/joyport/status/875648941995327490
SI出身の人と機械学習のモデルの組み立て方についてはいつも、議論になる
（精度が出るまで反復してがんばって精度はベストエフォートでいいと思ってるのだが、SIはなんか最初から完成形のずに落とそうとするスタイル）
誰もやったことがない道のもので、研究の要素を多分に含んでるのに、なぜ計画的にシステムに落とせると思うのか割と謎
機械学習とSIがめっちゃ相性悪いのが。。
http://qiita.com/icoxfog417/items/67764a6756c4548b5fb8
機械学習
疑問をまとめる必要性
機械学習のテスト
Zero-shot learning というのは最近流行っている機械学習の話なのだが、学習時には未知のラベルを推定する、という問題で、たとえば画像にキャプションや説明文をつけたりするようなタスクがこれに当たる
対訳コーパスが一切ない（ZeroShot）、あるいは少ししか存在しない場合（Few-Shot）
における CLDR のための学習手法
CLDRはある言語の文書をクエリとして、多言語の関連する文書を見つけるタスク
-[[Graph convolutionの説明>http://tech-blog.abeja.asia/entry/2017/04/27/105613]]
PIPI (2010)
Stochastic Dynamics、ただしノイズはstateに依存せず、出力に載る
Iterative Reinforcement Learning of stochastic DMPがこの問題の特殊ケースになっている…と言っているが実際にやってることはDMPのパラメータ最適化（初期DMPは与えられて改善のみ）。学習してるのはパラメータだけで、ゴールと初期位置を動かすことはしていない。
やっていること
MPPI (2017)
Stochastic Dynamics、ノイズはstateにのみ依存
Reinforcement Learningはできない！これはただのMPC
多数クワッドロータ(144次元)や、Aggresive Drivingなどをやっている
Information Theoretic MPC (2017)
Stochastic Dynamics、ノイズはstateに依存せず、出力に載る。
決定論的なダイナミクスの学習ならば、q, qdot, fの対応を学習させればよいだけ。
こうすると、何がいいかというと、ダイナミクスの学習を決定論的に行い、MPCのサンプリングだけを乱択にすることができる
MPC
MPC
非常に詳細（1時間）な良さそうな説明。モチベーションレベルもありそう
https://jp.mathworks.com/videos/cda-model-predictive-control-90293.html
MPCのメリット
大きくは、一つは操作量と制御量にハードあるいはソフトの制約を入れられる（トルク、関節可動域、電圧、他の車両とぶつからない、道路からはみ出さない、横滑りしない、加速しすぎない、などなど）。MIMOでできて、最適状態フィードバック制御なので、普通に使える。毎回軌道最適化する。制御系の性能を最大限引き出せる。
MPCは、走りながら、計測しながら、予測しながら、常に最適な経路の再設定や車両の動き方の生成を行う
デメリットは毎回QPをとくので計算速度キツイ。あと線形かモデルを前提しているので、ニューラルネットを使う必要があったりして険しい
普通、操作量がハード制約で、制御量がソフト制約（操作量はしばしば物理的制約なので）
追従誤差の重みを増やすと、急激な制御に
ソフト制約はスラック変数あり、ハードはなし
予測ホライズンは、制御対象の時定数を初期値に調整していくと、よく言われている
制御ホライゾンはいきなり長い値は取らず、まず2, 3ステップから始める（最適化する自由度は制御ホライゾンに依存するので、あんまり増やすと時間キツイし最適化が過学習して不安定になりがち）。予測に足りないぶんは、同じ制御出力を仮定してやる。
具体的な解き方は、大きく三つ。ハミルトンヤコビベルマン方程式をDP、変分を勾配方法か連続変形方で解く、非線形計画問題とする。連続変形方法C/GMRESは非線形MPC=NMPCにも使えてすごい
ロボットアームでは、終端制約集合なるものを定義できたりして面白そう（途中と最後のロスが別）http://www.fl.ctrl.titech.ac.jp/paper/2005/SICE_Seminar_Fujita_MPC.pdf
http://www.fl.ctrl.titech.ac.jp/paper/2005/SICE_Seminar_Fujita_MPC.pdf 27ページに、早い分野への応用がまとまってる
ピースワイズアフィンみたいなことをしなくてもNNでいけるとかないかな
クーロン摩擦を考慮したロボットアーム http://www.econ.nagasaki-u.ac.jp/RAMP2007/paper/4-2.pdf
やたら詳しい制御のブログ
https://www.google.co.jp/amp/myenigma.hatenablog.com/entry/2016/07/25/214014%3Famp%3D1#amph=1
Alpha Zero
GPUだと70年ぐらいかかるっていうし、TPUが休息成長促進剤みたいなオーバーテクノロジーっぽい。TPUは3日。つまり、TPUは70000倍早いらしい。
機械学習をビジネスで使うということ
https://t.co/6nafmYEDnF?amp=1
アンセンブル学習
ここ、とても大事です。一つ一つのモデルの性能を上げるより、それらのモデルが似ていないほうがよいです。ランダムに説明変数やサンプルを選択した理由はここにあります。
ランダムに選択する以上にすぐれた方法もあります。積極的に似ていないモデルを作る方法です。Adaboostと呼ばれている方法は、たくさんクラス分類モデルを作るときに、これまでのモデルで、不正解になってしまったサンプルにより大きな重みをつけて、新しいモデルを作ります。これを繰り返すことで以前のモデルが正解できなかったサンプルを正解するモデル、つまり以前のモデルと異なるモデルを作ることができます。
異なるモデルを作るという点では、いろいろな回帰分析手法を使うとよいです。たとえば、最初の100個のモデルはPLSでつくって、次の100個のモデルはSVRでつくって、最後の100個のモデルはRFでつくる、といった具合です。
http://univprof.com/archives/17-02-09-12105097.html
変数選択（変数を減らす方法）
RGF Regularized Greedy Forest(RGF)で多クラス分類を試してみました
http://segafreder.hatenablog.com/entry/2016/06/12/211050
python
from multiprocessing import *
インフラに10億以上は突っ込んだ前職と、今の職場では同じことがAWS Elastic MapReduceで一イタレーション2500円ぐらいでできるんだから、本当に必要な時まで投資しなくていいし、インフラとか物や知識を持ってるとかが武器だとか言った時点で、陳腐化との戦いになる
AdaBoostは、分類器の間違いに基づいて、それをフィードバッックとして、調整された次の分類器を作るという点で、適応的（Adaptive）であり、ノイズの多いデータや、異常値に影響を受けやすい
http://univprof.com/archives/16-05-28-3515242.html
機械学習のきょうプロでいうところのライブラリ。
基本的にクロスバリデーションは 2-fold か 5-fold にしましょう。
モデル構築用データセットにだけ合うようなモデルを作るハイパーパラメータの値が選ばれてしまうんです。もともとはこのオーバーフィッティングを防ぐことがクロスバリデーションの目的だったはずだよね
そして、新規データに対する
実際
http://tjo.hatenablog.com/entry/2015/02/06/190000
http://tjo.hatenablog.com/entry/2015/02/20/190000
https://www.slideshare.net/teppeibaba5/ss-37143977
バイアス＝モデルの単純性と、バリアンス＝過学習。
情報ゲインの具体的な計算もしていて良い。
オッズ比と有意確率
有意確率は、0.1%の確率でその変数は意味がない
オッズ比は、連続なら100万年収が上がるとDM反応率が1.12倍になる。女性なら1.32倍DMに反応しやすい、など。
Out-of-bagが説明変数の重要性を表現する方法。
mがデータ数、dがデータ次元として、RFはRandom Forest O(D^2m)。SVMはO(Dm^2)
https://www.youtube.com/watch?v=ECJRMBjX4PE
ナイーブベイズをベイジアン と紹介してる人がいて、俺の左手がやつを滅亡させよと、呻いて、抑えるのがやっとだぜ…
ベスト住宅を機械学習で見つける
https://twitter.com/guiltydammy/status/928603711059804160
Graph Embed
http://yamaguchiyuto.hatenablog.com/entry/2016/02/14/105803
Leak
http://threeprogramming.lolipop.jp/blog/?p=921
http://gihyo.jp/dev/serial/01/machine-learning/0020?page=2
ロジスティック回帰は、2クラス分析。データxを突っ込むとデータがクラス0か1かしか無いときに、クラス1になるような確率を返す重みを見つける。多クラスの場合、iかi出ないかの分析をするロジスティック回帰をn個作って、最も確率の高いものを選ぶ。（ one-vs-rest (OvR) scheme）
2値ロジスティック回帰はダイレクトマーケティングでよく使われ、ある提案に反応する人々を特定するのに使われる（従属変数は「反応する=1」と「反応しない=0」である）。
基本、random_state=0にしとかないと、デバッグが大変になる
http://noumenon-th.net/programming/2016/04/27/logisticregression/
pd.describeが割と便利っぽい
次にAgeの欠損値ですが、今回は男女それぞれの平均年齢で補間しておきます。
pd.crosstabを使うと、離散データのカウントを表にしてくれる。
pd.get_dummies
123を取る離散データの場合で、変数は3つ作るのではなくて2個でいい。なぜなら、1+2+3=1という依存完成があると、ランクが落ちるから。そこでPclassをダミー変数に分け、3を除外して1と2を説明変数としてモデルに組み込んでいきます。これはダミー変数を全て含めると完全に相関する変数をモデルに含めてしまうことを避けるためでもあります（多重共線性）。
学習の評価
問題意識によって違う評価が重要
http://data.gunosy.io/entry/2016/08/05/115345
log_lossは確率の距離を図るためのやつ
ROC AUCは、２値分類のための評価。FFFFFFFFTTTTTTTTTTTTTみたいな分類になっていて欲しいとする。で、色んな所で切った時に、偽陽性横、真陽性が縦になるようにプロットしたもの。AUCの値は，TとFからランダムに1個ずつ選んだとき，Tの値がFの値以上になる確率です（正確には，Tの値がFの値より大きくなる確率に，Tの値がFの値に等しくなる確率の半分を加えた値）。
https://oku.edu.mie-u.ac.jp/~okumura/stat/ROC.html
pandas
sorted_valuesがindexでソートする奴
tqdm
進捗バーをだすやつ
http://wonderwall.hatenablog.com/entry/2017/07/23/222856
Pbdって何？？
https://www.kaggle.com/c/porto-seguro-safe-driver-prediction/discussion/42841
htop
メモリとかの使用料をいい感じに出す奴
LRの数学もあるやつ
http://www.tsjshg.info/udemy/Lec76-79.html
これは実は授業の課題が競プロっぽいらしい
https://www.coursera.org/learn/machine-learning
*特徴量 [#k9490a81]
特徴量何突っ込めばわかんなくなったら、とりあえず、勾配ブースティングして、モデルの2/3ぐらいを切り出して、svmでレグレッションすると大きすぎる次元でも、特徴量の独立性が全く担保できなくても、なんとかなる
*VAE [#lcd013e0]
https://www.slideshare.net/ssusere55c63/variational-autoencoder-64515581
*Deep Learning [#x328a392]
-http://weblab.t.u-tokyo.ac.jp/en/deep-learning%E5%9F%BA%E7%A4%8E%E8%AC%9B%E5%BA%A7%E6%BC%94%E7%BF%92%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84-%E5%85%AC%E9%96%8B%E3%83%9A%E3%83%BC%E3%82%B8/
*未整理 [#l19a7a2f]
Joyportさんのおすすめのサンプルベースモーションプラニング http://ieeexplore.ieee.org/document/6722915/
https://twitter.com/moe_moe_moegi/status/888018467575574528
KLダイバージェンスのわかりやすい説明
http://yasuke.hatenablog.com/entry/2016/06/07/145455
情報量＝log(確率の逆数)。起きにくいと高いが、あまりにたかくなるのでlogで抑えてる
KLダイバージェンス＝2つの確率分布の情報量の差の期待値
KL(P||Q)=E_{x in P} [I_Q - I_P]。Pから出てくる値の上で、Qのびっくり度-Pのびっくり度の期待値をとっている。ある値xで、I_Q-I_P>0ということは、Qのほうが出にくい、ということ（違う確率密度から生成しているんだからふつうそう）。一方、I_Q-I_P<0ということは、Pから生成したにもかかわらず、Qから出したほうが実は生成しやすかったということ（あまり普通ではない）。同じ分布のKLダイバージェンスだとだとそういう状況が1:1で出てくるので0になるが、違う分布の場合には正になっているケースのほうが多くなる。
多変量正規分布同士のKLダイバージェンス、これは何もみずに導出できるようになる価値がある。http://sucrose.hatenablog.com/entry/2013/07/20/190146
KLダイバージェンスの別の解釈
http://s0sem0y.hatenablog.com/entry/2016/04/21/132645#KLダイバージェンスの応用上の意義
エントロピー＝これから何か質問をするときに、その質問によってどれだけの情報量が得られるかの期待値。「明日は雨」「明日は晴れ」という二択に関して、これから神からお告げを貰おうと思った時に、得られるであろう情報量はどれほどでしょうか。まだ「晴れ」か「雨か」お告げをもらう前に、この情報をこれから教えてもらえるとなったときに、どれくらい情報量を獲得できそうかというのは、現実的に単なる情報量よりも重要な問題だと思います。もちろん現実には神からのお告げはありませんが、これから本腰を入れて何かを調べようと考えたときに、一体努力の末にどれだけの事を知れるのかというのは興味がある問題。具体的には、全xの空間上で、xが出る情報量の期待値を取る。。このxは珍しいのでめっちゃ情報量あるけど、あまりに珍しいから、重み付けして少なめに足す、みたいな感じ。（不確定なほどエントロピーは高い。）
KLダイバージェンス＝pのエントロピーをqでモデル化して送りたい。今、pでpをモデル化してエントロピーを計算するのが普通なので、pをqでモデル化して送るのは邪道で、普通に送った時との差を見ているということになる。
周辺化の定義
というかこのページ良さそう
http://sitest.jp/blog/?p=5484#213
フィッシャー情報量は最尤推定のピーク付近での曲率
フィッシャー情報量が大きいと、ピーク付近での広がりが鋭い。実験を無限に繰り返した場合、最尤推定の最尤値の分散は、フィッシャー情報量の逆数で下から抑えられるよ（クラメールラオの不等式）
girsanovの定理
マルチンゲールなんとか
importance sampling methodというらしい
https://www.google.co.jp/search?q=girsanov+%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0&oq=girsanov+%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0&gs_l=psy-ab.3...40747.41922.0.42090.12.9.0.0.0.0.328.1208.0j1j3j1.5.0....0...1.1j4.64.psy-ab..11.0.0.dj_fcueSjl4
重点サンプリング例題
https://www.google.co.jp/search?site=&source=hp&q=%E9%87%8D%E7%82%B9%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0%E6%B3%95+%E4%BE%8B%E9%A1%8C&oq=%E9%87%8D%E7%82%B9%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0%E6%B3%95+%E4%BE%8B%E9%A1%8C&gs_l=psy-ab.3...26.5654.0.5871.18.13.3.0.0.0.199.1284.0j8.8.0..2..0...1.1j4.64.psy-ab..9.8.792.6..0i23k1j0i30i23k1j35i39k1j0i30k1j0i4k1j0i131k1.7ZTPBZpPpgU
重点サンプリングのわかりやすい動画
http://www.singularpoint.org/blog/r/importance-sampling-1/
*Leakage [#c3b14e51]
ただし、この気象データは未来の売上を予測したいときには、知り得ない情報（天気予報なら使えるが数日先までしか確度がない…）なので、実ビジネスでは使えません。。データリーク（Leakage）と呼ばれる問題の一つですが、それも分かった上で他のKagglerも使っているようなので今回は利用することにしました。
*ブートストラップサンプリング [#r680755e]
https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%BC%E3%83%88%E3%82%B9%E3%83%88%E3%83%A9%E3%83%83%E3%83%97%E6%B3%95
ブートストラップサンプリング法 サンプル集合 X={xi}N から，重複を許してサンプリングして新たなサンプル集合 X' を作る方法
1000点を見るとよくわからないので、1000点からランダムに100点選んだ平均値の分布を真の分布の近似とする、という意味
そもそもブートストラップというのはことわざで、不可能のたとえとして「靴紐を持ち上げて自分を浮かす」みたいな感じに由来する（正確には、極めて不条理で不可能なことを表すアデュナトンとして、"pull oneself over a fence by one's bootstraps" (柵ごしに自分自身をブートストラップで引っ張り上げる)）
http://ibisforest.org/index.php?%E3%83%96%E3%83%BC%E3%83%88%E3%82%B9%E3%83%88%E3%83%A9%E3%83%83%E3%83%97
これわかりやすい
http://sugisugirrr.hatenablog.com/entry/2016/03/13/%E7%AC%AC%EF%BC%97%EF%BC%98%E5%9B%9E_%E3%83%96%E3%83%BC%E3%83%88%E3%82%B9%E3%83%88%E3%83%A9%E3%83%83%E3%83%97%E6%B3%95
*ベイズ最適化 [#c2da4468]
-うまくいってもCMA-ESに勝てない
--クエリ回数がそれなりに多くクエリ上限が決まっているなら勝てるが、珍しい
--事前知識を入れやすいように「定式化が確率モデルで閉じる」という利点はある
*GPS [#s1bcc60a]
TD学習ではない
強化学習におけるランダム探索を効率的な探索に置き換える手法
近傍のダイナミクスを線形近似してローカルに最適解を解析的に解く制御理論による強化学習
https://kaigi.org/jsai/webprogram/2017/pdf/1152.pdf
http://sssslide.com/www.slideshare.net/MasatoNakai1/end-to-end-training-with-deep-visiomotor-66596957
*MPPI [#o23d203d]
-MPPIってパッシブダイナミクスとの差分がなるべく少ないような制御量を得ているので、実はタイミングだとマズイのでは
*GAN [#yb9f8bf7]
-正常なデータだけで学習したGANは異常データを生成シないことを利用した異常検知
--https://qiita.com/NakaokaRei/items/231ec4efe42dfe79d1ff
*学習済みNLPで最強(2018/12/1) [#ef3894e6]
-https://github.com/google-research/bert/blob/master/multilingual.mdfbclid=IwAR1O7_204Sm65pI5zc4VviyuocsbyTu2OPjUSK2475gT2HSg0EXXLLHagGM
*エントロピーボーナス [#f84b7770]
*いい感じの機械学習の特徴まとめ [#y81040df]
-https://qiita.com/tomomoto/items/b3fd1ec7f9b68ab6dfe2
scikit-learnにはEnsembleの回帰も入っている。
http://scikit-learn.org/stable/modules/ensemble.html
http://neuro-educator.com/ml20/
http://neuro-educator.com/mlcontentstalbe/
*時系列解析 [#g8391237]
-OpenTSDBは時系列解析ができる。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
