概要

心構え

確率論ではパラレルワールドがいっぱいあるような状況を想定して、それぞれの世界での結果をまとめるという気持ちでいる
- 具体的な計算に置いては、パラレルワールドを面積1の正方形で表現する感じで考察する
確率密度関数はインクのにじみ

$Z=g(X)$ $Z = g (X)$ とする。確率密度関数 $f_X(x)$ $f_{X} (x)$ は知っているとして、 $f_Z(z)$ $f_{Z} (z)$ を求めたい。
- $\displaystyle f_Z(z) = \frac{1}{\det(\partial Z / \partial X)} f_X(g^{-1}(z))$
- $Z=2X$ を想定すれば簡単で、要するにZの空間では範囲が広くなった分だけ確率密度関数が薄まる

$\bf{Z}$ $Z$ をn次元標準正規分布とする。
- これを変数変換して、 $N(\mu, V)$ を構成したい
$X=RDZ+\mu$ $X = R D Z + μ$ なる変換を噛ませばいける
- $V[X] = RDZD^t R^t = RD^2R^t$ である（R, Dが揺らがないため、多次元の分散の公式から。また、 $V[Z] = I$ ）
- ここで、 $V=RD^2R^t$ なる、直交行列Rと対角行列Dを探してきたい。
- これは簡単で、 $R^t V R = D^2$ なるR, Dを探すのは、固有値と固有ベクトルそのままである。
- $X$ の等高線を図示するためには、 $col(R, i)$ 方向に $D_{ii}$ の長さの主軸を持つ楕円を描けば良い。

一様分布を加工する
$F(y)$ を確率変数Yの累積分布関数とする。ここで、 $Y=F^{-1}(X)$ が計算できる場合は、 $X$ に[0, 1)上の一様分布をぶっこむと $Y$ の擬似乱数が得られる
正規分布はBox-Mullerで生成しましょう
- $X_1, X_2$ を[0, 1)上の一様分布として、 $\sqrt{-2 \log X_1} \cos(2 \pi X_2)$ , $\sqrt{-2 \log X_1} \sin(2 \pi X_2)$ は二次元標準正規分布に従う

Starlingの公式
Jensenの不等式
- 先に下に凸関数をかますと下がる
Gibbsの不等式
- KLは正
Markovの不等式
- $P(X \ge c) \le E[X] / c$
- 当たり前（ $s = P(X \ge c)$ とすると、その時点で $E[X] \ge sc$ ）
Chebyshevの不等式
- Markovから言える。 $P(|Y-\mu| \ge a \sigma) \le a^{-2}$ （期待値から $a$ だけかけ離れた値が出る確率の低さは $a^{-2}以下$ ）
- 正規分布に限らず、任意の分布について言えているのがすごいね
Chernoff限界
Minkowskiの不等式
- $E[|X+Y|^p]^{1/p} \le E[|X|^p]^{1/p} + E[|Y|^p]^{1/p}$ （これは任意ノルムの三角不等式に対応している）
Hoelderの不等式
- $E[|XY|] \le E[|X|^q]^{1/q} E[|Y|^q]^{1/q}$ （これは任意ノルムのシュワルツの不等式に対応している）

確率 $t$ で表になるコインを $n$ 回投げて、表の割合が $s$ になるような確率は、 $n \rightarrow \infty$ の時どれくらいの速度で下がるか？
結論、 $\log P(表がs割) \approx -nD(p||q) + o(n)$ $lo g P (表が s 割) \approx - n D (p ∣∣ q) + o (n)$
- ただし $p$ が確率 $t$ で表になる二項分布で、 $q$ が確率 $s$ で表になる二項分布
- このことで面白いのは、 $t=0.1$ と $s=0.2$ を区別するより、 $t=0.5$ と $t=0.6を区別するほうが圧倒的に難しいということ$

確率は面積。神視点：完全に確定した面積の問題→面積の答え人視点：不確定に揺らぐ確率の問題→確率の答え Ωは1x1の正方形だと思っとくとよい確率変数は、Ω上の3次元に突き出る関数だと思うと良い。確率の話は、「おれはこう考える」の水かけ論になりがちである（モンティ・ホール問題）。結局、人の世界で考えると、妙に哲学的な話や錯覚に陥り、ただの式変形もまままならない。