先日、電王戦で佐藤名人を破ったPonanzaを開発した、Heroz社リードエンジニアの山本氏のAIに関する公演。メッチャ面白かった！
本当にディープラーニングの強化学習の力は凄まじく、山本氏本人も驚くことばかりだったとか。にしても、一兆対戦させて強化したとか･･･。人間勝てるわけがない！
今日はインテル社主催のAI Dayというイベントだったのですが、関係者とさっきまで飲んでてようやく帰ってきました(笑)
AIに関しては、色々と示唆に富む話が多く、長くなりますが、思ったことをつらつらと書きます。因みに、一切ググらず、今日聞いた話ベースで一気に書きます。
まずは、将棋の話ですが、山本氏曰く、Ponanzaは元々は二つのロジックがベースにあったようです。
一つは将棋のルールのロジック部分。要は桂馬は斜めに飛べるとか、二歩は駄目とか、王手が掛かると、とにかく王は逃げないといないとか、基本的な部分です。ここは一生懸命プログラミングしたようです。ただ、山本氏によると、ルールを一生懸命プログラミングしたけど、こうなったらこうしろとかは、そこには一切組み込んでないそうです。
で、もう一つ組み込んだのは、盤面的にこういうコマの配置の場合、どう動かしたら有利になるのか？という部分。
過去の棋譜を読み込ませて、どうすべきかというのを5千戦の棋譜から導き出したようです。
それで、なんとか、プロに勝てそうなところまで来たらしいです。それが2014年の段階。
しかし、プロの上に行くとなると、プロを超えた先生が必要になるけど、そんな人はいないと。
で、ディープラーニングの登場です。
こんな盤面ならどうするかというのを、とにかく、ランダムで駒を動かして、最終的にその動かし方が、有利だったか、不利だったかを最終局面までやらせて学習させていきます。
ディープラーニングとは、簡単に言うと f(g(h(i(x)))) みたいな、複数の関数の複合体であり、何千という関数を重ね合わせた結果に導き出された結果から、駒をどう動かすか決めるのです。で、その数千の関数の重み付けをどうするかの話なのです。
簡単に f(x), g(x), h(x), i(x) と書きましたが、将棋における評価関数を数千も作ったということですね。その重み付けは、何回もコンピュータで対戦させて決めるといことです。
山本氏は今のアルゴリズムは明かしませんでしたが、そうして、1兆回の対戦をやらせて、この盤面ならどうすれば勝てるのかという、ニューロネットワークを作ったようです。
で、面白い話があって、仮に、先ほどのルールのロジックを削ってみたそうです。
二歩した瞬間負けるし、駒が打ってはいけない所に動いたら負けるし、王手を無視したら当然負けると。
色々やらせたら、彼曰く「ルールなんて作らなくて良かったんだ」と(笑)。それほどディープラーニングは凄くて、ルールは一切教えてないのに、そのうち、二歩はしないし王手掛けられると回避するし、山本氏自分で非常に驚いたそうです。
とにかく、盤面を与えて、最終的に勝てるか、負けるかを辿らせると、必然的にルールに従うんだそうです。
ということで、基本的にツリー構造の分岐はいらない。盤面から、この手が最適だろうと必然的に導き出されるそうです。
ただ、囲碁はそれでも良いそうで、将棋の方が、ディープラーニング的には難しいそうです。囲碁は陣取り合戦だし、禁則が少ないため、結構簡単にディープラーニングで強くなるようです。
一方、将棋は取った駒を再使用できるとか、独特の色々なルールが複雑さを増しているようで、そこで、この手が最適だろうというのが幾つも出てくるので、そこは１秒間に百万手ぐらい読んで、さらに最適な手を選んでいると言ってました。
最後に別の会社の方が言っていたのですが、最近の日本は年齢とスキルに偏りが出ていると。
ハードウェアのエキスパートは40歳代から50歳代に偏っており(あ、自分はココだ)、
ソフトウェアのエキスパートは30歳代、
AIの様なアルゴリズム系は20歳代の人たちが最もスキルが高い。
実は、ハードウェア、ソフトウェア、アルゴリズムが連携して、世界を動かすほどの技術が生まれるのだけれども、日本は年齢がズレまくっていると。そこを何とか繋げないといけないと力説していました。
う～ん、マジ、実感します。
ところで、Ponanzaを開発した山本氏や、その会社、Herozの社長も自信満々に言ってましたが、将棋はもう、誰にも負けない領域に到達したと。それで、今日より、そのアルゴリズムに棋神(きしん)と名付けてビジネス化したそうです。自信気に語っていましたが、もう、将棋の世界は神の領域に入ったと思います。だから神を付けましたと。
そりゃ名人を七十手余りで圧勝したんだから、誰も文句言えませんね(笑)。
で、彼らが言ってて面白かったのは、「AIが進展すると、職を失う人が増えるという話が最近出ているけど、棋士が失業したという話は一向に聞かない。我々がそういう領域に達してみて初めて分かったが、人間社会はそんなに単純じゃない。」と言っていたのが面白かったです。
>Lineの女子高生AIの「りんな」を開発した人も登壇しました。彼の話も面白かったなぁ。とにかく、りんなはエモーショナルな方向に振ったと。つまり、如何に会話が長続きするかにパラメータを振ったらしいです。なんか、え？パラメータかよ？！と・・・・(笑)
りんなは色々他の会社とコラボしてて、これは、りんな開発者も爆笑したらしい。