将棋方程式を発見した！(4)

今回は、将棋の形勢の数値化を別の角度から見ていく。

「局面を精緻に評価する」と言うと、たくさんの優秀な棋譜からたくさんのパラメータのなるべく正確な値を最急降下法か何かで調整して、それによって局面を評価するのだと思うかも知れない。

大筋は、間違ってはいないが、その演算にどれくらいの精度が必要か考えたことがあるだろうか？

ほとんどのコンピュータ将棋は形勢評価のための演算は整数演算であり、浮動小数演算ではない。

「えっ？それ浮動小数演算にしたら、評価の精度あがるんじゃね？」

と最初に疑問に思うかも知れないが、実際には、ほとんど変わらない。ほとんど変わらないどころか、浮動小数演算にすることで速度が低下して、それによる棋力低下のほうが著しい。

まず、この理由を正しく理解しておく必要がある。

いま、優秀な棋譜から、Bonanzaのように学習させ、駒の価値として歩が10点、香が25点、桂が32点、銀は45点と評価すると良いことがわかったとする。しかし実際は銀を45ではなく47であろうが50であろうが、棋力にはそれほど影響は出ない。銀の価値が桂の価値を下回るようなスコアリングだとおかしくなるだろうが、大小関係が維持されている限りはそこまで弱くならない。

ここを浮動小数にして、銀を45.2712344点のように評価した場合、強くなるかと言うと、ほとんど強くならない。整数演算で済まなくなるので計算コストが増える分、むしろ弱体化するだろう。

このように細かく評価しても、(駒得しか評価しないのでは)やはり銀をそっぽに打ってしまって形勢を損ねるような手を平気で指してしまう。これは、銀の価値が正しく評価できていないことに起因するのではなく、銀をそっぽに打ってしまってはいけないという駒の効率を正しく評価出来ていないことに起因する。

よって、スコアリングをどれだけ高い計算精度で算出しても棋力向上に貢献するのはごくごくわずかなのであり、そんなところに力を入れるぐらいなら、少しでも形勢を正しく評価できるように評価因子(特徴ベクトル)をチューンするほうが良いのである。

Bonanzaが学習に使用したのは、「プロ棋士の棋譜3万局と将棋クラブ24の棋譜3万局(主に入玉)」と書いてある。将棋クラブ24の棋譜の3万局というのは、最強の棋譜データベース (将棋倶楽部)から抜き出したのだと思うが、両対局者がR2000超えは40,639局、(Bonanzaの公開当初のRである)R2450超えは7026局しかない。Bonanzaからすれば、ほとんどはゴミのような棋譜である。3万局のうち、2/3以上はBonanzaより弱い棋力しかない対局者による棋譜である。

「プロ棋士、それも最強であるA級棋士の棋譜からのみ学習させればもっと強くなるんじゃないか？」

と思うかも知れない。これもまたありがちな誤解である。

一つは、(Bonanzaの場合)学習させるための棋譜の数が十分で無いとパラメータが十分に収束しないと言うことである。 二つ目は、前述したように特徴ベクトルとして何を抽出するかが重要であって、その精度はそれほど重要ではないからである。 二つ目の理由から、学習は棋譜からしなくとも将棋の棋力がある程度あれば(精度が要求されないので)手で調整しても構わない。いままでのコンピュータ将棋の開発者はそうやって開発してきた。Bonanzaの開発者の保木さんは将棋の棋力に乏しいので、棋譜から学習させたに過ぎない。 棋譜からの学習によって強くなるかどうかは、人間が恣意的に選出した特徴ベクトル次第である。ニューラルネットを使おうがTD学習法を使おうが、何を使おうが、きちんと意味のある特徴ベクトルが抽出出来てさえいれば棋力は向上する。これは当然のことである。「XXX学習メソッドのコンピュータ将棋プログラムへの応用」と言う論文は書きやすいかも知れないが、そんなものは全部まやかしだろう。

将棋というゲームの性質をあまり考えずに特徴ベクトルを選出してしまうと、時に大量の棋譜を入力しないと値が収束しなくなるかも知れない。(Bonanzaの入玉関係に関するパラメータがそうだった。)　だから、大量の棋譜さえあればコンピュータ将棋が強くなるのではなく、特徴ベクトルの抽出の仕方によっては、大量の棋譜の入力が必要となるだけである。

例えば、手駒の価値だけであれば、300局ぐらいの棋譜があれば、十分それらしい数値に収束する。

この意味において、「大量に棋譜を食わせればコンピュータ将棋はどんどん強くなる」(例えば、dankogai氏の「電脳がいつかは人脳に勝つ理由 - 書評 - ボナンザVS勝負脳」http://blog.livedoor.jp/dankogai/archives/50942633.html)かのように理解するのは、私は少し違うと思う。