オセロの評価値・単純な規則の打ち手どうしの総当たり・Edax の評価関数の形はオセロのページにある。

概要

このページは、オセロの AI を作った実験を材料にして、強化学習を勉強するための資料である。強化学習は、行動の結果として得た得点を手がかりに、得点が高くなる行動のしかたを学ぶ機械学習である。このページでは、「なるべく負ける」オセロ AI と「勝つ」オセロ AI を、方策勾配法（打った手の確率を、その対局の結果が平均より良ければ上げ、悪ければ下げる方法）・AlphaGo・AlphaZero の方式で学習させ、既製のプログラム Edax の作り（評価関数と αβ 探索）と比べ、同じ作りの「負けたがる AI」の点数表を自己対戦から当てはめ、強さを 1 つの数（レーティング）で測り、計算をどう分ければ速くなるかを調べた。数値は、手元と Colab で動かした記録、出典を示した外部の値（論文・公開されているベンチマーク・連盟のレーティングの一覧・機器の公称値）、それらからの計算のどれかで、本文に出どころを書く。第2章の方策勾配法の学習プログラムの全文は GPU のページにある。そのほかのプログラム（AlphaGo・AlphaZero の学習、評価、負けたがる AI、並列の測定）は手元の othello-lose/ にあり、本文ではファイル名で指す。

読む順路

上から順に読む。記号と用語は前の章で定義したものを使う。実験の結果は、後の章で扱うものを先に使う所がある（第3章が第5章のレーティングの値を、第2章が第6章の速さの比較の実行を使うなど）。そうした所は「第5章の…」のように章を書いて指す。各章の終わりに確かめ問題を置き、解答は折りたたみに入れた。

章	扱うこと	読むと分かるようになること
第1章問題と方法の選び方	何を学習させるか、学習の方法の選択肢、記号	問題（相手・目的）の決め方と、方法を選ぶ観点（何を学習し、1 手にどれだけ計算するか）
第2章方策勾配法	方策・目的・勾配の式、ベースライン、実装する損失、学習中に見る量、学習の前後の打ち方（実行の条件の一部は第6章の速さの比較で示す）	得点の期待値の勾配が、対局して記録した量の平均で書ける理由。損失の値が進み具合を表さない理由
第3章価値と先読み	Q 学習、AlphaZero の損失、モンテカルロ木探索、AlphaGo と AlphaZero の学習と結果	局面の見込み（価値）を学ぶ方法と、先読みの結果を学習の目標にする方法の違い。先読みの回数で強さがどう変わるか
第4章探索と評価関数	オセロのドメイン知識、Edax の評価関数と αβ 探索、このページの打ち手との対比、このページの対局での Edax の条件、第3章の先読みの回数と Edax の深さの違い、Edax にならった作りで、点数表を自己対戦から当てはめた「負けたがる AI」	点数表で局面に点を付け、深さを決めた探索で打つ作りの仕組みと、点数表を自己対戦から当てはめる方法（ネットワークの方式との強さの比較は第5章）
第5章強さの測り方（レーティング）	Bradley–Terry モデル、当てはめとブートストラップ、人間の値の換算、段位の意味、結論とほかの AI との比較、αβ 探索と AlphaZero の方式の比較、Egaroucid の評価関数、負ける強さのレーティング	対局の勝ち負けから強さを 1 つの数にする方法と、その数の確かさ。オセロで αβ 探索と点数表の作りが強い理由と、AlphaZero の方式が弱いとは言えない理由
第6章計算資源と並列学習	計算量、1 台の GPU での速さ、並列に計算できる条件（データ並列と BatchNorm の統計、通信と計算の比、Amdahl の法則、データを集める部分と学習する部分の分担、古いパラメータで集めたデータ、モデル並列、そのまま並列にできる仕事と並列にしにくい仕事、並列の数と速くなる倍率）、Colab の費用、途中からの再開	どういう性質があれば計算を複数の GPU や CPU のプロセスに分けられるか、分けたときにどこまで速くなるか
確認できていない点	確かめていない事項	どこまでが確かめた事実か

本文では、記録や計算で確かめた事実と、推測（「推測」と書く）と、確かめていないこと（「確かめていない」「未確認」と書く）を分けて書く。

第1章問題と方法の選び方

この章では、AI に何を学ばせるか（問題）と、学ばせる方法の選択肢を決め、以降の章で共通に使う記号を定義する。読む順は、問題の設定、ゲームの機械学習の方法、記号である。

問題の設定

この節では、AI が何を目指し、誰と対局するかを決める。

相手：合法手（その局面で打てる手）の中から等確率で1つ選んで打つ。この相手を以下「ランダムな相手」と呼ぶ。
AI の色：対局ごとに、黒（先手）か白（後手）かを等確率で決める。
目的：終局時に、AI の石の数が相手の石の数より少ないこと（AI の負け）。
パス：打てる手が無い側はパスし、両者が続けてパスしたら終局とする。

ゲームの機械学習の方法

この節では、ゲームを打つ AI を学習させる方法の選択肢を挙げ、このページで使う方法を決める。どの方法も、局面ごとの打ち方を決める数（パラメータ）を持ち、対局をくり返して集めた結果からその数を決める（Edax の点数表だけは決め方が公開されていない。第4章の負けたがる AI（なるべく負けることを目指して、Edax にならって作った AI）は、点数表を自己対戦の結果に当てはめる）。違いは、何を学習するかと、どうやって手を選ぶかにある。

方法	学習するもの	手の選び方
方策勾配法	局面ごとに、各合法手を選ぶ確率	学習した確率に従って選ぶ
見込みに基づく方法（Q 学習など）	局面と手の組ごとに、その手を打った後に得られる得点の見込み	見込みが最大の手を選ぶ
探索と組み合わせる方法（AlphaZero の方式）	手を選ぶ確率と、局面の得点の見込みの両方	学習した確率と見込みを使って先を読み、その結果で選ぶ
点数表と αβ 探索（Edax の方式）	盤の決まったマスの組（形）ごとの点数表の値	点数表で局面に点を付け、何手か先まで読み、点が最大の手を選ぶ。αβ 探索は結果を変えない枝を省き、Edax の一部の設定では、浅く読んだ値から結果が変わらないと見込める枝も打ち切る（ProbCut。第4章の αβ 探索）

このページは、最初に第2章で方策勾配法を使う。理由は2つある。1手を選ぶ計算がネットワーク1回で済み、ネットワークで先読みをする方法（第3章のとおり、このページの設定では1手に33回）より計算が軽い。また、学習するのが確率だけなので、必要な式が記号から更新までの節で閉じる（Q 学習も1手の計算は1回で済むが、見込みの目標を作る式が別に要る）。ほかの方法の式と比較は、方策勾配法の式を定義した後の第3章（Q 学習と AlphaZero の方式）と第4章（点数表と αβ 探索）に置く。第3章では AlphaGo と AlphaZero の方式も学習させ、第4章では点数表と αβ 探索で打つ AI も作る。

記号

この節では、以降の節で共通に使う記号をまとめて定義する。1つの節や例の中だけで使う記号は、その場で定義する。

記号	意味
$s$	局面。AI から見た向きの盤面で、64 マスそれぞれが「AI の石」「相手の石」「空き」のどれか
$L (s)$	局面 $s$ で手番側が打てるマス（合法手）の集合。マスは 0〜63 の番号で表す
$θ$	ネットワーク（式(2) で定義する関数）のパラメータ（重みとバイアスをすべて並べたもの）。学習で直す対象
$lo g, exp$	自然対数と、その逆の指数関数 $exp (u) = e^{u}$
$\nabla_{θ} f$	$θ$ で決まる実数 $f$ を、 $θ$ の各成分で偏微分（ほかの成分を定数とみなして微分）した値を並べたベクトル（勾配）。偏微分は $\partial$ で書く
$x (s)$	局面 $s$ をネットワークに入れる形に直した 192 個の 0 か 1（式(1)）
$z_{θ} (s)$	局面 $s$ を入れたときにネットワーク（式(2)）が出す 64 個の実数。マス $j$ の値を $z_{θ, j} (s)$ と書く
$π_{θ} (a ∣ s)$	局面 $s$ で AI がマス $a$ に打つ確率（方策）。青で書く
$τ$	1局分の記録（AI の色、両者が打った手、パスの全部）
$P_{θ} (τ), κ (τ)$	対局 $τ$ が起きる確率と、そのうち $θ$ によらない部分（AI の色と相手の手の確率の積）（式(6)・式(7)）
$T$	1局の中で AI が石を打った回数。パスは数えない
$s_{t}, a_{t}$	AI が $t$ 回目（ $t = 1, \dots, T$ ）に石を打った局面と、打ったマス
$R (τ)$	対局 $τ$ の得点。橙で書く
$J (θ)$	得点の期待値。学習で大きくしたい量
$N$	1回の更新に使う対局の数。全対局を GPU で同時に進めるので「同時に進める対局数」でもある
$n$	対局の番号（ $n = 1, \dots, N$ ）。対局 $n$ の記録を $τ_{n}$ 、AI が打った回数を $T_{n}$ と書く
$s_{n, t}, a_{n, t}$	対局 $n$ で AI が $t$ 回目に石を打った局面と、打ったマス
$b$	ベースライン（得点から引く値）。緑で書く
$η$	学習率（1回の更新でパラメータを動かす幅を決める正の数）

方法	学習するもの	1 手を選ぶのに要る計算
方策勾配法	局面ごとの各合法手の確率	その局面の確率を 1 回計算し、それに従って選ぶ
見込みに基づく方法（Q 学習など）	局面と手の組ごとの得点の見込み	その局面の各合法手の見込みを計算し、最大の手を選ぶ（ネットワークが全部の手の見込みを一度に出すなら 1 回）
探索と組み合わせる方法（AlphaZero の方式）	手の確率と局面の見込みの両方	学習した確率と見込みを使って先の局面を読み、その結果で選ぶ。先の局面ごとに確率と見込みを計算する
点数表と αβ 探索（Edax の方式）	形ごとの点数表	何手か先まで全部の手を読み、読んだ先の局面ごとに点数表で点を付ける

選んだ手	確率	得点	引かない場合（ベースライン 0）	ベースライン 0.5 の場合
A	0.5	1	1 × 0.5 = 0.5	0.5 × 0.5 = 0.25
B	0.5	0	0 × (−0.5) = 0	(−0.5) × (−0.5) = 0.25

マス	出力	確率	偏微分
A	1.0	0.6652	−0.6652
B（打った手）	0.0	0.2447	0.7553
C	−1.0	0.0900	−0.0900

対局の結果	有利さ（得点 − 0.2）	更新後の出力（A, B, C）	更新後の B の確率
負けた（得点 1）	0.8	(0.4678, 0.6042, −1.0720)	0.4855
勝った（得点 −1）	−1.2	(1.7983, −0.9063, −0.8920)	0.0590

回	損失の値	AI が負けた対局の平均の手数	AI が勝った対局の平均の手数	得点と手数の相関係数	得点と手の確率の対数の和の相関係数
1	−0.0189	29.75	30.21	−0.323	0.142
2	−0.0198	29.73	30.22	−0.298	0.145

方策の更新の回数	損失の値	得点の標準偏差	手の確率の対数の和の標準偏差	2つの相関係数	AI の手の数の平均
0	−0.0153	0.982	4.227	0.110	29.963
72	−0.0005	0.296	3.962	0.012	29.543

方策の更新の回数	学習中の対局で負けた割合	評価の対局で負けた割合	損失の値	エントロピーの平均	上限（合法手の数の対数の平均）	勾配の大きさ
0（学習前）	48.9%	35.0%	−0.0153	1.9987	2.0004	0.0137
1	50.5%	77.0%	−0.0205	1.9928	1.9950	0.0139
2	53.6%	89.3%	−0.0230	1.9899	1.9939	0.0162
8	78.5%	93.5%	−0.0183	1.8826	1.9767	0.0257
24	95.9%	96.8%	−0.0004	1.0840	2.0035	0.0171
72	97.2%	97.5%	−0.0005	0.5963	2.0266	0.0188

量	見ること
評価の対局で負けた割合	目的（負けること）がどれだけ達成できているか。約 0.4 ポイントのばらつきより大きく上がっていれば学習が進んでいる
学習中の対局で負けた割合	評価の値に追いついたか。追いつけば、確率に従って選んでも同じ結果になるほど方策が偏った
エントロピーの平均	上限から離れていくか、0 に張りつかないか。0 に近いと、確率が最大でない手はほとんど打たれない。式(21) の推定値は実際に打った手の項だけの和なので、打たれない手の確率を直す材料が入らなくなる
勾配の大きさ	0 に落ちていないか。全対局が同じ結果なら式(20) で有利さがすべて 0 になり、式(26) の勾配も 0 になって、学習の材料が無くなる。Adam は式(31) で勾配をその大きさの移動平均で割るので、大きさの数値そのものは1回に進む幅を決めない
損失の値	最小化している量だが、式(39) のとおり負けた割合以外の因子でも変わるので、値では進み具合を判断しない

相手	学習前に負けた割合	学習後に負けた割合	学習後に勝った割合
ランダムな相手	34.9%	98.4%	1.0%
返す数が最多の相手	50.5%	99.2%	0.6%

方法	学習する関数	更新の目標	手の選び方	1回の対局で必要な計算
方策勾配法	手の確率（式(4)）	対局の得点と打った手（式(21)、実装は式(25)）	確率に従う	各手番でネットワークを1回
Q 学習	局面と手の得点の見込み $q_{ϕ} (s, a)$	次の局面の見込みの最大値（式(41)）	見込みが最大の手	各手番でネットワークを1回
AlphaZero の方式	手の確率 $p_{ψ}$ と局面の得点の見込み $v_{ψ}$ （式(43)）	探索で決めた割合と対局の得点（式(43)）	探索の結果	各手番で探索した局面の数だけネットワーク

回	根を通った回数	根の見込みの平均	係数	A の平均	B の平均	A の値	B の値	C の値	選んだ手	戻った値
1	1	+0.000	1.2501	―	―	0.625	0.375	0.250	A	+0.2
2	2	+0.100	1.2502	+0.20	―	1.442	0.530	0.354	A	−0.4
3	3	−0.067	1.2502	−0.10	―	0.361	0.650	0.433	B	0.0
4	4	−0.050	1.2503	−0.10	0.00	0.417	1.375	0.500	B	0.0
5	5	−0.040	1.2503	−0.10	0.00	0.466	1.280	0.559	B	0.0
6	6	−0.033	1.2504	−0.10	0.00	0.510	1.230	0.613	B	0.0
7	7	−0.029	1.2504	−0.10	0.00	0.551	1.198	0.662	B	0.0
8	8	−0.025	1.2505	−0.10	0.00	0.589	1.177	0.707	B	0.0

項目	AlphaGo（元）	AlphaGo（このページ）	AlphaZero（元）	AlphaZero（このページ）
人の棋譜	KGS（囲碁の対局サーバー）の約 3,000 万局面	WTHOR（フランスのオセロ連盟が配る人の対局の棋譜集）の 13.8 万局（823 万局面）。2024・2025年の約 35 万局面は検証用にし、学習には約 788 万局面を使う	使わない	使わない
自己対戦の方策勾配法	128 局 × 1万回。相手の集まりに 500 回ごとに追加。ベースラインは 0 または見込み	128 局 × 1,000 回。相手の集まりに 100 回ごとに追加。ベースラインは得点の平均	―	―
見込みの学習データ	1局1局面、3,000 万局。乱数の手の前は $p_{SL}$	1局1局面、26 万局。乱数の手の前も $p_{RL}$	自己対戦の全局面	256 手の範囲で終局した対局の局面だけ
学習中の探索	―	―	800 回。PUCT（AlphaGo Zero と同じで、式は論文に無い）。根に乱数（ディリクレ分布）を足し、訪問回数の割合を目標	32 回。Gumbel AlphaZero（式(54)）。根の乱数はガンベル分布
1回の反復	―	―	―	1,024 局を同時に 256 手分（約 26 万局面）打ち、4,096 局面ずつ 64 回更新。過去の反復の対局はためない
損失	―	式(50)・式(51)	式(43)（重みの大きさの項あり）	式(43) から重みの大きさの項を除き、見込みの項を $\frac{1}{2}$ 倍
葉の見込み	見込みのネットワークと終局までの試し打ちを半分ずつ	見込みのネットワークだけ（式(52) で $λ_{mix} = 0$ ）	ネットワーク	ネットワーク
対局と評価での探索	式(47) の折りたたみの論文の形	式(47)（mctx の `muzero_policy`）。事前確率は $p_{SL}$ 、見込みは $v_{AG}$	PUCT（式は論文に無い）	式(47)（mctx の `muzero_policy`。 $\overset{q}{ˉ}$ と $c_{pb} (s)$ は MuZero の形）

打ち手	事前確率	見込み
AlphaZero・先読み（各反復の時点）	その時点のネットワークの手の確率	同じネットワークの見込み
AlphaGo 方式・先読み	段階1 の $p_{SL}$ （24,000 回の更新後）	段階3 の $v_{AG}$ （6,000 回の更新後）
Pgx の基準モデル・先読み	Pgx の基準モデルの手の確率	Pgx の基準モデルの見込み

方式	計算機	時間	学習の量
AlphaZero	Colab の L4 1台	171.6 分	150 回の反復、自己対戦 614,567 局（3,932 万局面）
AlphaGo 方式段階1	Colab の T4 1台	32.5 分	24,000 回の更新（1回 1,024 局面、のべ 2,458 万局面）
AlphaGo 方式段階2	同上	24.0 分	1,000 回の更新（1回 128 局、のべ 12.8 万局）
AlphaGo 方式段階3	同上	17.9 分（対局 10.0 分（学習ログの「value data」の行）＋学習 7.9 分）	26.2 万局から 1 局面ずつ、6,000 回の更新

モデル	角を優先する相手・モデルは先読みなし	角を優先する相手・モデルは先読み 32 回	Pgx の基準モデル・モデルは先読みなし	Pgx の基準モデル・モデルは先読み 32 回	返す数が最多の相手・モデルは先読みなし	返す数が最多の相手・モデルは先読み 32 回
AlphaZero 反復 0 回（学習前）	14.6%	19.5%	0.6%	2.3%	32.4%	48.0%
AlphaZero 反復 10 回	80.7%	96.5%	8.6%	18.4%	86.7%	87.9%
AlphaZero 反復 40 回	86.1%	94.9%	24.6%	64.5%	69.7%	72.7%
AlphaZero 反復 80 回	92.0%	96.9%	38.5%	77.0%	72.3%	71.1%
AlphaZero 反復 150 回	90.6%	95.3%	52.7%	86.7%	67.8%	73.4%
AlphaGo 方式段階1（人の棋譜だけ）	91.4%	―	49.8%	―	63.5%	―
AlphaGo 方式段階2（自己対戦後）	90.4%	―	51.6%	―	60.0%	―
AlphaGo 方式（段階1 の確率＋段階3 の見込みで先読み）	―	98.0%	―	78.1%	―	68.8%
MLP（混合で学習）	82.6%	―	1.0%	―	74.4%	―
MLP（ランダムだけで学習）	23.0%	―	1.2%	―	93.4%	―

時点	AI の石の数	相手の石の数
学習前	34.7	29.3
学習後	18.5	45.5

ベースライン	A を選んだときの値（確率 0.8）	B を選んだときの値（確率 0.2）	平均	分散
0	0.2	0	0.16	0.0064
0.8	0.04	0.64	0.16	0.0576
0.2	0.16	0.16	0.16	0

行のモデル	AlphaZero 150 回・先読み	AlphaZero 150 回・先読みなし	AlphaGo 方式・先読み	AlphaGo 方式段階1	AlphaGo 方式段階2	MLP（混合で学習）	MLP（ランダムだけで学習）	Pgx の基準モデル
AlphaZero 150 回・先読み	―	93.8%	64.8%	85.9%	90.2%	96.9%	98.8%	86.7%
AlphaZero 150 回・先読みなし	4.7%	―	21.5%	44.5%	49.6%	97.3%	96.5%	51.2%
AlphaGo 方式・先読み	26.6%	73.8%	―	83.6%	80.1%	97.3%	98.0%	78.1%
AlphaGo 方式段階1	12.5%	51.2%	12.9%	―	49.6%	96.5%	94.5%	51.6%
AlphaGo 方式段階2	9.4%	46.1%	17.6%	45.7%	―	99.2%	94.9%	50.0%
MLP（混合で学習）	0.8%	1.2%	0.4%	1.2%	0.0%	―	2.0%	0.8%
MLP（ランダムだけで学習）	1.2%	3.5%	0.4%	5.1%	5.1%	96.5%	―	1.6%
Pgx の基準モデル	12.5%	45.3%	19.1%	42.6%	46.1%	98.8%	97.7%	―

形の種類	マスの数	個数	例
隅の 3×3	9	4	a1〜c3 の 9 マス
隅から縦横に 4 マスずつと X マス	10	4	a1〜a5、b1〜e1、b2
辺の 8 マスと X マス 2 つ	10	4	a1〜h1、b2、g2
辺の両隅と c〜f 列の 1・2 行目	10	4	a1、c1〜f1、c2〜f2、h1
外から 2 本目の行・列	8	4	a2〜h2
外から 3 本目の行・列	8	4	a3〜h3
外から 4 本目の行・列	8	4	a4〜h4
隅から隅への斜め	8	2	a1〜h8
7 マスの斜め	7	4	b1〜h7
6 マスの斜め	6	4	c1〜h6
5 マスの斜め	5	4	d1〜h5
4 マスの斜め	4	4	d1〜a4

打ち手	人が与えた知識	学習に使ったもの	手の選び方
ランダムな相手	ルールだけ	無し	打てる手から等確率
返す数が最多の相手	「石を多く返す手が良い」という素朴な規則	無し	返す石が最も多い手（同数は乱数）
角を優先する相手	隅・X マス・C マスの良し悪しを書いた点数表	無し	点数が最も高い手（同点は乱数）
方策勾配法の MLP	ルールだけ（入力は盤面と打てるマス）	相手との対局の勝敗。混合で学習した MLP は、角を優先する相手とも対局した	ネットワークの確率が最大の手
AlphaGo 方式	ルールと人の棋譜	人の棋譜（WTHOR）、自己対戦の勝敗	先読みなし、または先読み
AlphaZero	ルールだけ	自己対戦の勝敗	先読みなし、または先読み
Pgx の基準モデル	ルールだけ（Pgx の論文による。手元では確かめていない）	自己対戦の勝敗（同上）	先読みなし、または先読み
Edax	形を選んだ評価関数、打てる手の数などによる読む順番、終盤の読み切り	不明（点数表の値の作り方は非公開）	αβ 探索の最善手

行	a	b	c	d	e	f	g	h
1	100	−20	10	5	5	10	−20	100
2	−20	−50	−2	−2	−2	−2	−50	−20
3	10	−2	−1	−1	−1	−1	−2	10
4	5	−2	−1	−1	−1	−1	−2	5
5	5	−2	−1	−1	−1	−1	−2	5
6	10	−2	−1	−1	−1	−1	−2	10
7	−20	−50	−2	−2	−2	−2	−50	−20
8	100	−20	10	5	5	10	−20	100

深さの設定	終盤より前に読む深さ	終盤より前の ProbCut	読み切る空きマスの数	読み切りの ProbCut
1〜10	設定と同じ	使わない	設定の 2 倍以下（設定 10 なら 20 以下）	使わない
12	12	確からしさ 73%	24 以下	22〜24 で 98%、21 以下は使わない
16	16	確からしさ 73%	27 以下	25〜27 で 87%、22〜24 で 98%、21 以下は使わない
21	21	確からしさ 73%	30 以下	28〜30 で 87%、25〜27 で 98%、24 以下は使わない

項目	先読みの回数（このページの探索）	Edax の深さの設定
数の意味	シミュレーションの回数	何手先まで読むか（終盤では読み切り）
読む手	式(47) で選んだ手だけ。手ごとに深さが違う	全部の手。αβ 探索で結果を変えない枝を省き、設定 11 以上では ProbCut で結果を変えうる枝も省く
末端の評価	ネットワークの見込み $v$	評価関数 $v_{E}$ （式(56)）
1 手で数える量	局面の評価：回数＋1（32 回なら 33）	調べた局面：OLIVAW の論文の深さ 10 で平均 200 万。手元の深さの設定 10 では、10〜22 手目の 10 局面の平均で約 335 万（対局全体の平均ではないので、論文の値と比べられない）
終盤	特別な扱いは無い	空きマスが少なくなると終局まで読む

項目	Edax	負けたがる AI
目指す値	手番側の石 − 相手の石（終局の空きマスは勝った側に数える）	相手の石 − 手番側の石（空きマスは数えない）
形	12 種類 46 個	11 種類 46 個（上のとおり 2 種類を「隅の 2×5」に替えた）
点数表の組	空きマスの数ごとに 61 組	段階ごとに 13 組
点の丸めと切り詰め	128 で割って丸め、±63 で切り詰める	しない
深さ 0 の局面が終局のとき	式(57) では終局の値。実装の深さ 1 の読み（`search_eval_1`）は、相手の石を全部返す手を除いて評価関数の点	点数表の点
中盤の探索の工夫	反復深化、置換表、ProbCut、打てる手の数などで手を読む順番を決める	根を除き、残りの深さが 3 以上のとき、点数表の点で手を読む順番を決める。置換表・反復深化・ProbCut は無い
読み切り	空きマス 15 以上は中盤の探索、14 以下は終盤用の探索	根の下で、置換表（空きマス 7 以上）、相手の打てる手が少ない順（空きマス 6 以上）、PVS を使う。根の手はマスの番号順

段階	空きマスの数	世代 0・点数表の誤差	世代 0・定数で予想した誤差	世代 5・点数表の誤差	世代 5・定数で予想した誤差
3	13〜15	6.46	10.97	7.36	11.30
6	24〜27	8.87	10.91	9.25	11.46
9	36〜39	10.03	10.88	10.35	11.46
12	48〜51	10.51	10.89	10.95	11.52
13	52〜55	10.45	10.98	10.93	11.51
14	56〜59	10.07	10.83	10.79	11.52

行の打ち手	相手	行の打ち手が勝った割合	引き分け	石の差
世代 5・深さ 4	ランダムな相手	100%	0%	−40.8
世代 5・深さ 4	世代 0・深さ 4	99%	0%	−24.1
世代 5・深さ 4	負けたがる MLP（2,000 回）	100%	0%	−30.9
世代 5・深さ 8・読み切り 20	世代 5・深さ 6・読み切り 18	70%	12%	−5.1
世代 5・深さ 8・読み切り 20	負けたがる MLP（2,000 回）	100%	0%	−35.7
点数表をすべて 0 にした深さ 4	ランダムな相手	68%	3%	−12.6
点数表をすべて 0 にした深さ 4	負けたがる MLP（2,000 回）	14%	3%	+12.2

出どころ	打ち手
このページで学習	方策勾配法の MLP（勝ちたがる・負けたがる）、AlphaZero、AlphaGo 方式
Pgx に付属の学習済み	Pgx の基準モデル（先読みなし、先読み 8・32・100 回）
既製のプログラム（Edax）	Edax の深さの設定 1・2・3・4・6・8・10・12・16・21（オセロのドメイン知識。評価関数 `eval.dat` と αβ 探索）
手書きの規則	ランダムな相手、返す数が最多の相手、角を優先する相手
人間（換算）	日本オセロ連盟・世界オセロ連盟の値を、下の人間の値の換算でこの尺度に直した値

段位	何をした人か（例）	人数	日本の値の中央値	換算の中央値	換算の 10%〜90%
九段	八段の人が、全日本選手権・名人戦・王座戦・世界選手権のどれかでさらに 2 回優勝（通算 5 回の優勝）。最高の段位（九段）	8	1456	2171	1920〜2495
八段	七段の人が、全日本選手権・名人戦・王座戦・世界選手権のどれかでさらに 2 回優勝（通算 3 回の優勝）（八段）	3	1514	2265	2181〜2401
七段	全日本選手権・名人戦・王座戦のどれかで優勝（七段。規程では世界選手権の優勝も）	16	1402.5	2084	1872〜2296
六段	全日本選手権・名人戦・王座戦で準優勝か 3 位（六段）	26	1328.5	1965	1626〜2160
五段	メジャー大会で 8 位以内。五段以上を「高段者」と呼ぶことが多い（五段）	54	1301	1920	1618〜2131
四段	地区名人戦や全日本選手権のブロック予選で優勝など。四段以上は特別に認められた大会でしか認定されない（四段）	58	1243.5	1827	1619〜2087
三段	各ブロックで開かれるオープン大会（例：品川シーサイドオープン）で優勝など（三段）	97	1159	1691	1456〜1915
二段	参加資格が 1 級〜三段の大会（りんかいチャレンジカップのインターミディエイト部門）で優勝、または品川シーサイドオープンで 6 戦 5 勝（二段）	134	1075.5	1555	1351〜1770
初段	品川シーサイドオープンで 6 戦 4 勝、または品川シーサイドオープンやりんかいチャレンジカップの、級位者だけが出られるビギナー部門（ここでの級位者は段位を持たない人を指し、級を持たない人も含む。級位者）で 1 年に 2 回優勝。段位の中で最も下だが、級位者から見れば相当強い（初段）	184	984	1407	1210〜1650
1 級	―	141	914	1294	1111〜1509
2 級	―	88	873.5	1229	1032〜1388
3 級	―	76	865.5	1216	1040〜1370
4 級	―	38	845.5	1183	1027〜1338
5 級	―	22	836.5	1169	1019〜1273
6 級	―	6	836.5	1169	904〜1238
7 級	―	2	776.5	1072	980〜1163
段級位なし	一覧に載っているが段級位を持たない人	702	861	1209	1129〜1310

順位	打ち手	出どころ	レーティング	95% 区間	元の値
1	世界1位・Keisuke FUKUCHI（日本でも1位）	人間（世界の値から換算）	2441	換算のため無し	世界 2754
2	Edax 深さ 21	既製のプログラム（Edax）	2352	2103〜2596	―
3	Edax 深さ 16	既製のプログラム（Edax）	2310	2111〜2556	―
4	日本九段の中央値（8 人）	人間（日本の値から換算）	2171	換算のため無し	日本 1456
5	Edax 深さ 12	既製のプログラム（Edax）	2125	1973〜2311	―
6	世界 10位の選手	人間（世界の値から換算）	2125	換算のため無し	世界 2438
7	日本七段の中央値（16 人）	人間（日本の値から換算）	2084	換算のため無し	日本 1402.5
8	Edax 深さ 10	既製のプログラム（Edax）	2063	1919〜2248	―
9	元世界王者 Borassi（換算の基準に使った）	人間（世界の値から換算）	2037	換算のため無し	世界 2350
10	世界 50位の選手	人間（世界の値から換算）	2003	換算のため無し	世界 2316
11	世界 100位の選手（同順位あり）	人間（世界の値から換算）	1929	換算のため無し	世界 2242
12	日本五段の中央値（54 人）	人間（日本の値から換算）	1920	換算のため無し	日本 1301
13	Edax 深さ 8	既製のプログラム（Edax）	1907	1785〜2059	―
14	Edax 深さ 6	既製のプログラム（Edax）	1766	1681〜1868	―
15	日本三段の中央値（97 人）	人間（日本の値から換算）	1691	換算のため無し	日本 1159
16	Edax 深さ 4	既製のプログラム（Edax）	1614	1554〜1688	―
17	Pgx の基準モデル・先読み 100 回	Pgx に付属の学習済み	1436	1356〜1506	―
18	Edax 深さ 3	既製のプログラム（Edax）	1417	1352〜1498	―
19	世界中央値（891・892 番目。一覧では T890）の選手	人間（世界の値から換算）	1410	換算のため無し	世界 1723
20	日本初段の中央値（184 人）	人間（日本の値から換算）	1407	換算のため無し	日本 984
21	AlphaZero 反復 150 回・先読み 32 回	このページで学習	1338	1313〜1364	―
22	Pgx の基準モデル・先読み 32 回	Pgx に付属の学習済み	1320	1259〜1393	―
24	日本 1 級の中央値（141 人）	人間（日本の値から換算）	1294	換算のため無し	日本 914
26	AlphaGo 方式・先読み 32 回	このページで学習	1226	1204〜1246	―
27	Edax 深さ 2	既製のプログラム（Edax）	1217	1165〜1283	―
28	日本 3 級の中央値（76 人）	人間（日本の値から換算）	1216	換算のため無し	日本 865.5
30	日本段級位なしの中央値（702 人）	人間（日本の値から換算）	1209	換算のため無し	日本 861
31	AlphaZero 反復 80 回・先読み 32 回	このページで学習	1197	1150〜1249	―
32	Pgx の基準モデル・先読み 8 回	Pgx に付属の学習済み	1165	1093〜1242	―
33	AlphaZero 反復 40 回・先読み 32 回	このページで学習	1097	1054〜1141	―
34	Edax 深さ 1	既製のプログラム（Edax）	1010	916〜1102	―
35	Pgx の基準モデル・先読みなし（基準）	Pgx に付属の学習済み	1000	固定	―
36	AlphaGo 方式段階1・24000 回（先読みなし）	このページで学習	998	981〜1015	―
37	AlphaZero 反復 150 回・先読みなし	このページで学習	997	981〜1012	―
38	AlphaGo 方式段階2・1000 回（先読みなし）	このページで学習	993	978〜1012	―
44	AlphaZero 反復 10 回・先読み 32 回	このページで学習	845	814〜871	―
47	AlphaZero 反復 10 回・先読みなし	このページで学習	706	684〜727	―
49	MLP（ランダムだけで学習）・2000 回	このページで学習	558	545〜571	―
54	MLP（混合で学習）・2000 回	このページで学習	525	512〜538	―
58	角を優先する相手	手書きの規則	512	499〜526	―
68	返す数が最多の相手（後から当てはめ）	手書きの規則	235	―	―
72	ランダムな相手	手書きの規則	96	83〜111	―
77	負けたがる MLP（2,000 回）	このページで学習	-381	-399〜-360	―

🔗概要

🔗読む順路

🔗第1章 問題と方法の選び方

🔗問題の設定

🔗ゲームの機械学習の方法

🔗記号

🔗第1章の確かめ問題

🔗第2章 方策勾配法

🔗方策

🔗目的

🔗方策勾配

🔗ベースライン

🔗対局の集まりからの推定

🔗1手の確率の勾配

🔗更新

🔗学習の手順

🔗学習中に見る量

🔗記録する量

🔗損失の値の意味

🔗記録した値

🔗方策勾配法の学習の結果

🔗第2章の確かめ問題

🔗第3章 価値と先読み

🔗ほかの方法との比較

🔗Q 学習

🔗AlphaZero の方式

🔗比較

🔗AlphaGo と AlphaZero

🔗先読みの手順

🔗先読みの回数

🔗小さな例

🔗回数を増やすと変わること

🔗ブラウザで対戦するときの先読み

🔗AlphaGo の学習

🔗人の棋譜での教師あり学習

🔗自己対戦の方策勾配法

🔗見込みのネットワーク

🔗対局時の探索

🔗AlphaZero の学習

🔗Gumbel AlphaZero

🔗このページの実装

🔗学習の結果

🔗第3章の確かめ問題

🔗第4章 探索と評価関数

🔗オセロのドメイン知識

🔗盤の呼び方

🔗知識の例

🔗隅と辺の石の返りにくさ

🔗隅の隣に打つと隅を与えやすい

🔗打てる手の数

🔗辺の形

🔗終盤は最後まで読める

🔗Edax の作り

🔗評価関数

🔗αβ 探索

🔗終盤の読み切り

🔗定石の本

🔗このページの打ち手との対比

🔗このページの対局での Edax の条件

🔗Edax の深さとの違い

🔗負けたがる AI（Edax にならった作り）

🔗作り

🔗学習

🔗結果

🔗第4章の確かめ問題

🔗第5章 強さの測り方（レーティング）

🔗レーティング（AI と人間）

🔗尺度の定義

🔗求め方

🔗打ち手の出どころ

🔗Pgx の基準モデル

🔗人間の値の換算

🔗段位の意味

🔗レーティングの表

🔗1000 はどれくらいか

🔗結論と、ほかの AI との比較

🔗αβ 探索と AlphaZero の方式のどちらが強いか

🔗αβ 探索と形の点数表が向く理由

🔗AlphaZero の方式が弱いとは言えない理由

🔗Egaroucid の評価関数が学んだもの

概要

読む順路

第1章問題と方法の選び方

問題の設定

ゲームの機械学習の方法

記号

第1章の確かめ問題

第2章方策勾配法

方策

目的

方策勾配

ベースライン

対局の集まりからの推定

1手の確率の勾配

更新

学習の手順

学習中に見る量

記録する量

損失の値の意味

記録した値

方策勾配法の学習の結果

第2章の確かめ問題

第3章価値と先読み

ほかの方法との比較

Q 学習

AlphaZero の方式

比較

AlphaGo と AlphaZero

先読みの手順

先読みの回数

小さな例

回数を増やすと変わること

ブラウザで対戦するときの先読み

AlphaGo の学習

人の棋譜での教師あり学習

自己対戦の方策勾配法

見込みのネットワーク

対局時の探索

AlphaZero の学習

Gumbel AlphaZero

このページの実装

学習の結果

第3章の確かめ問題

第4章探索と評価関数

オセロのドメイン知識

盤の呼び方

知識の例

隅と辺の石の返りにくさ

隅の隣に打つと隅を与えやすい

打てる手の数

辺の形

終盤は最後まで読める

Edax の作り

評価関数

αβ 探索

終盤の読み切り

定石の本

このページの打ち手との対比

このページの対局での Edax の条件

Edax の深さとの違い

負けたがる AI（Edax にならった作り）

作り

学習

結果

第4章の確かめ問題

第5章強さの測り方（レーティング）

レーティング（AI と人間）

尺度の定義

求め方

打ち手の出どころ

Pgx の基準モデル

人間の値の換算

段位の意味

レーティングの表

1000 はどれくらいか

結論と、ほかの AI との比較

αβ 探索と AlphaZero の方式のどちらが強いか

αβ 探索と形の点数表が向く理由

AlphaZero の方式が弱いとは言えない理由

Egaroucid の評価関数が学んだもの

打ち手	負ける強さのレーティング
世代 5・深さ 8・読み切り 20	2961
世代 5・深さ 6・読み切り 18	2756
世代 5・深さ 4	2451
世代 3・深さ 4	2439
世代 4・深さ 4	2431
世代 2・深さ 4	2369
世代 1・深さ 4	2124
世代 0・深さ 4	1827
負けたがる MLP（2,000 回）	1454
負けたがる MLP（73 回）	1381
角を避ける相手	1312
点数表をすべて 0 にした深さ 4	1137
返す数が最少の相手	1072
ランダムな相手（基準）	1000
返す数が最多の相手	958
角を優先する相手	781

例	ゲーム	方式	計算機	時間	学習の量	強さ
AlphaGo（2016）	囲碁	人の棋譜＋自己対戦＋探索	各段階 50 GPU	人の棋譜で約3週間、自己対戦で1日、見込みで1週間	3,000 万局面＋128 万局＋3,000 万局	プロ棋士に勝利
AlphaZero（2017）	チェス・将棋・囲碁	自己対戦＋探索	自己対戦に TPU 5,000 台、学習に TPU 64 台	囲碁で 8 時間（16.5 万回の更新）の時点で AlphaGo Lee を上回る	70 万回の更新（1回 4,096 局面）	既存の最強プログラムを上回る
OLIVAW（2021）	オセロ	AlphaGo Zero 方式	無料の Colab。自己対戦は 19 人が複数のノートブックで分担（K80 GPU など）。学習は TPU を使うと K80 の約 10 倍速いと書いている	30 日	20 世代、約 5 万局。1手 100〜400 回の探索	イタリア王者に 4-0、元世界王者に 1 勝 2 敗
Pgx の例（2023）	オセロ	Gumbel AlphaZero	A4000 GPU 1 台	11.4 時間	1手 32 回の探索、自己対戦 1,024 局を同時に、400 回の反復（約 1.05 億局面）	レーティングの推移を論文の図5に掲載（Pgx の基準モデルに先読み 32 回をさせた強さを 1,000 とした値）
Liskowski ら（2018）	オセロ	人の棋譜だけ（探索なし）	GTX Titan 1 台	数時間〜数十時間	WTHOR 11.9 万局（687 万局面）	人の手を当てる割合は単一のネットワークで 62.7%（bagging で 64.0%）。2手読みの Edax に勝利

機種	同時に進める対局数	更新の回数	1回の更新にかかった秒数	1秒あたりの対局数
RTX 3070 Ti	4,096	73	0.208	19,706
RTX 3070 Ti	8,192	41	0.370	22,135
RTX 3070 Ti	16,384	メモリ不足で停止	―	―
A100 40GB	16,384	37	0.411	39,839

機種と同時に進める対局数	記録した時点	その時点までの更新の回数	学習中の対局で負けた割合
RTX 3070 Ti、4,096	4.2秒	20	95.5%
RTX 3070 Ti、8,192	4.1秒	11	88.7%
A100、16,384	4.1秒	10	86.7%

分け方	各台が持つもの	台の間で送るもの	このページでの例
データ並列	同じパラメータの写しと、1 回の更新に使うデータの一部	更新のたびに勾配（BatchNorm を合わせるなら、その統計も）	このページでは使っていない。Pgx の AlphaZero の例が使う
データを集める部分と学習する部分の分担	自己対戦の台はパラメータの写し、学習の台はパラメータと最適化の状態	パラメータ（学習の台から）と対局の記録（自己対戦の台から）	OLIVAW が Colab のノートブックで自己対戦を分担した
モデル並列・パイプライン並列	パラメータの一部（各層の一部、または一部の層）	層の途中の値	このページでは要らない
そのまま並列	互いに独立な仕事の全部	無し（終わった結果を集めるだけ）	別々の実験、評価の対局、ブートストラップ（並列にできるが、このページでは順に計算した）、負けたがる AI の自己対戦と当てはめ

ネットワーク	パラメータの数	パラメータの大きさ（FP32）	all-reduce の時間（31.5 GB/s）	all-reduce の時間（1.25 GB/s）
方策勾配法の MLP（式(3)）	131,648	526,592 B	0.029 ミリ秒	0.74 ミリ秒
AlphaZero（Pgx の基準モデルの節で数えた値）	458,827	1,835,308 B	0.10 ミリ秒	2.57 ミリ秒
Pgx の基準モデル（同上）	1,793,995	7,175,980 B	0.40 ミリ秒	10.0 ミリ秒

今の方策の更新の回数	遅れ（更新の回数）	有効な標本の数（4,096 局のうち）	有効な標本の割合	重みの対数の標準偏差	最も大きい重みが重みの和に占める割合
8	1	3,152	77.0%	0.56	0.12%
8	2	1,750	42.7%	1.10	0.45%
8	4	476	11.6%	1.95	1.1%
8	8	61	1.5%	2.86	9.3%
32	1	3,505	85.6%	0.41	0.10%
32	2	2,122	51.8%	0.85	0.44%
32	4	653	15.9%	1.79	0.97%
32	8	14	0.35%	4.15	24.9%
32	16	1.05	0.03%	12.38	97.6%

仕事	互いに独立な理由	このページでの実行
別々の実験（学習のしかた・設定・乱数の種が違う学習）	別のパラメータを別のデータで学習し、途中で何も共有しない	2026-10-20 に、AlphaZero を Colab の L4、AlphaGo 方式を別の Colab の T4 で同時に学習した
評価の対局	パラメータを固定した 2 人の対局は、局ごとに独立（式(79) と同じ理由）。組どうしも独立	`eval_all.py` は組を順に、1 組の局は GPU でまとめて同時に打った。`rr_mlp.py` は 253 組を CPU（8 スレッド）で順に打った。`arena.py` は 1 組の 100 局を 8 プロセスに分けた（`league.py` から呼ぶ）
ブートストラップ	200 回の引き直しは、それぞれ別の乱数で記録を引き直して式(63) を当てはめるだけで、互いの結果を使わない	`elo_ci_raw.py` は 200 回を 1 プロセスで順に計算した（並列にはしていない）
負けたがる AI の自己対戦	前の世代の点数表を固定すれば、局ごとに独立。プロセスごとに別の乱数の種	1 世代の 96,000 局を 8 プロセスに 12,000 局ずつ分けた
負けたがる AI の当てはめ	下の式(91) のとおり、損失が段階ごとの和に分かれ、段階どうしで点数表を共有しない	段階ごとに別のプロセス（同時に 8 つまで）で当てはめた

プロセスの数	かかった時間（2 回の平均）	1 プロセスに比べて速くなった倍率
1	17.93 秒	1.00
2	9.24 秒	1.94
4	4.69 秒	3.82
8	2.53 秒	7.09
16	2.20 秒	8.14

スレッドの数	かかった時間（2 回の平均）	速くなった倍率	調べた局面の数（2 回の平均）	1 本のときに比べた局面の数	1 スレッドあたりの 1 秒の局面の数
1	67.67 秒	1.00	22.7 億	1.00	3,360 万
2	38.01 秒	1.78	25.0 億	1.10	3,280 万
4	21.81 秒	3.10	26.2 億	1.16	3,010 万
8	13.29 秒	5.09	27.9 億	1.23	2,620 万
16	11.95 秒	5.66	32.3 億	1.42	1,690 万