オセロの強化学習 / ゲーム

🔗概要

このページは、オセロを打つ人が勉強に使う知見をまとめたものである。強化学習とは関係ない。ただし、レーティングの尺度と Edax の作りの詳しい説明は、強化学習の資料 オセロの強化学習 にあり、このページはその節へリンクする。読むと次のことが分かる。

• 評価値は、その手を打ったあと双方が最善を尽くしたときの最終石差である。最善の手の値がその局面の値なので、不利な局面では最善の手でもマイナスになる。
• 「隅を取る」「X を避ける」「開放度」「置けるマスの差」などの単純な規則で打つ打ち手を総当たりで対局させると、レーティングは隅と X の規則で約 300 上がり、そこに一般の開放度や置けるマスの差を足すと、さらに 32〜56 上がる（著者の定義の開放度を足した差 14 は、差があるとは言えない）。
• 全体のレーティングの順と、2 人の直接対決の勝ち越しは食い違うことがある。
• オセロのプログラム Edax の評価関数は、盤の上の 46 個のマスの組（形）ごとの点数表の値と定数の和で、隅・X の規則はその一部を人の手で単純にしたものと解釈できる（解釈であり、確かめた事実ではない）。
• 手元で作った勉強用の対局画面（以下 勉強盤）で、評価値と判定を見ながら対局と復習ができる。

数値は、手元で打ち手どうしを対局させた記録（2026-10-23）、手元の Edax の速さと誤差の測定（2026-10-22）、Edax 4.7 のソース、それらとランダムに作った局面からの計算（2026-10-24）のどれかで、本文に出どころを書く。記録や計算で確かめた事実と、推測（「推測」と書く）と、確かめていないこと（「確かめていない」と書く）を分けて書く。

🔗読む順路

この節では、章の並びと各章で扱うことを示す。 抽象から具体へ、上から順に読む。各章の終わりに確かめ問題を置き、解答は折りたたみに入れた。

🔗盤の呼び方

この節では、以下で使うマスと側の呼び方を決める。マスは、列を左から a〜h、行を上から 1〜8 として「d3」のように呼ぶ。4 つの角のマス a1・h1・a8・h8 を隅、隅と斜めに接する b2・g2・b7・g7 を X（X マス）、隅と縦か横に接する b1・a2・g1・h2・a7・b8・h7・g8 を C マスと呼ぶ。打つ番の側を手番、その反対を相手と呼ぶ。先手は黒、後手は白である。双方とも打てるマスが無い局面を終局と呼ぶ。石の差は「手番の石の数 − 相手の石の数」で数える。

🔗第1章 評価値

この章では、評価値が何の数かを式で定め、読み切りの値と探索の見込みの違い、損と判定、不利な局面で最善の手もマイナスになる理由を示す。

🔗評価値の定義

この節では、局面の値と手の値（評価値）を定義する。局面 $s$ は盤面と手番の組とする。局面 $s$ で手番が打てるマスの集合を $L(s)$、手 $a\in L(s)$ を打った後の局面を $s\cdot a$、$L(s)$ が空のときにパスして手番が替わった局面を $s_{\mathrm{pass}}$ と書く。

終局の局面 $t$ で、$t$ の手番（終局では打つ手は無いが、手番は局面の一部として決まっている）の石の数を $n_{\mathrm{P}}(t)$、相手の石の数を $n_{\mathrm{O}}(t)$、空きマスの数を $e(t)$ とする。終局の石差 $D(t)$ を、空きマスを勝った側の石に数えて次で定義する（$\mathrm{sgn}$ は正なら 1、0 なら 0、負なら −1）。

例えば 40 対 20 で空き 4 で終われば $D=40-20+4=24$ で、44 対 20 と同じに数える。空きを勝った側に数えるのは、Edax の終局の計算（endgame.c の solve）と同じである。

局面 $s$ の値 $V(s)$ を、双方が最善を尽くしたときの終局の石差として、次で定義する。