確率 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 確率 へ行く。
• 確率 の差分を削除

[[FrontPage]]

*概要 [#k69f9613]
-確率を直感的に考えていると、式変形が哲学的になりがち
-「解説はこう書いてあるが、俺はこう考える」みたいなのを避けましょう

*心構え [#t0105d00]
-確率論ではパラレルワールドがいっぱいあるような状況を想定して、それぞれの世界での結果をまとめるという気持ちでいる
--具体的な計算に置いては、パラレルワールドを面積1の正方形で表現する感じで考察する
-確率密度関数はインクのにじみ

*変数変換 [#de3362e8]
-$Z=g(X)$とする。確率密度関数$f_X(x)$は知っているとして、$f_Z(z)$を求めたい。
--$\displaystyle f_Z(z) = \frac{1}{\det(\partial Z / \partial X)} f_X(g^{-1}(z))$
--$Z=2X$を想定すれば簡単で、要するにZの空間では範囲が広くなった分だけ確率密度関数が薄まる

*正規分布 [#we39a0f2]
-$\bf{Z}$をn次元標準正規分布とする。
--これを変数変換して、$N(\mu, V)$を構成したい
-$X=RDZ+\mu$なる変換を噛ませばいける
--$V[X] = RDZD^t R^t = RD^2R^t$である（R, Dが揺らがないため、多次元の分散の公式から。また、$V[Z] = I$）
--ここで、$V=RD^2R^t$なる、直交行列Rと対角行列Dを探してきたい。
--これは簡単で、$R^t V R = D^2$なるR, Dを探すのは、固有値と固有ベクトルそのままである。
--$X$の等高線を図示するためには、$col(R, i)$方向に$D_{ii}$の長さの主軸を持つ楕円を描けば良い。

*擬似乱数 [#m30192b9]
-一様分布を加工する
-$F(y)$を確率変数Yの累積分布関数とする。ここで、$Y=F^{-1}(X)$が計算できる場合は、$X$に[0, 1)上の一様分布をぶっこむと$Y$の擬似乱数が得られる
-正規分布はBox-Mullerで生成しましょう
--$X_1, X_2$を[0, 1)上の一様分布として、$\sqrt{-2 \log X_1} \cos(2 \pi X_2)$, $\sqrt{-2 \log X_1} \sin(2 \pi X_2)$は二次元標準正規分布に従う

*いろんな不等式 [#t28ad85c]
-Starlingの公式
-Jensenの不等式
--先に下に凸関数をかますと下がる
-Gibbsの不等式
--KLは正
-Markovの不等式
--$P(X \ge c) \le E[X] / c$
--当たり前（$s = P(X \ge c)$とすると、その時点で$E[X] \ge sc$）
-Chebyshevの不等式
--Markovから言える。$P(|Y-\mu| \ge a \sigma) \le a^{-2}$（期待値から$a$だけかけ離れた値が出る確率の低さは$a^{-2}以下$）
--正規分布に限らず、任意の分布について言えているのがすごいね
-Chernoff限界
-Minkowskiの不等式
--$E[|X+Y|^p]^{1/p} \le E[|X|^p]^{1/p} + E[|Y|^p]^{1/p}$ （これは任意ノルムの三角不等式に対応している）
-Hoelderの不等式
--$E[|XY|] \le E[|X|^q]^{1/q} E[|Y|^q]^{1/q}$ （これは任意ノルムのシュワルツの不等式に対応している）

*いろんな収束 [#debd6848]
-概収束
--これが満たされていると個々の世界線$\omega$に縛られた人間でも収束を直接感じることができる。
-確率収束
--パラレルワールドを横断しても、どの時間についても収束している
-二次平均収束
--$E(|X_n-X|^2) \rightarrow 0$ならば必ず確率収束する
-法則収束
--確率分布に着目した収束

-成り立つもの
--概収束->確率収束
--二次平均収束->確率収束
--確率収束->法則収束

*特性関数 [#sb59b2d3]
-特性関数は、確率密度関数のフーリエ変換らしきものになっている

*KLと大偏差原理 [#d308f27b]
-確率$t$で表になるコインを$n$回投げて、表の割合が$s$になるような確率は、$n \rightarrow \infty$の時どれくらいの速度で下がるか？
-結論、$\log P(表がs割) \approx -nD(p||q) + o(n)$
--ただし$p$が確率$t$で表になる二項分布で、$q$が確率$s$で表になる二項分布
--このことで面白いのは、$t=0.1$と$s=0.2$を区別するより、$t=0.5$と$t=0.6を区別するほうが圧倒的に難しいということ$

*測度論 [#d40e3914]
-確率は面積。
神視点：完全に確定した面積の問題→面積の答え
人視点：不確定に揺らぐ確率の問題→確率の答え
Ωは1x1の正方形だと思っとくとよい
確率変数は、Ω上の3次元に突き出る関数だと思うと良い。
確率の話は、「おれはこう考える」の水かけ論になりがちである（モンティ・ホール問題）。結局、人の世界で考えると、妙に哲学的な話や錯覚に陥り、ただの式変形もまままならない。