如何利用 Python 打造一款簡易版 AlphaGo
2017 年伊始，再度出山的 AlphaGo 化名 Master 在網絡圍棋平臺上打遍棋界無敵手。你是否也想打造一個自己的 AlphaGo 呢?GitHub 用戶 Brian Lee(brilee)發布了一個效仿 AlphaGo 的極簡圍棋引擎的 Python 實現 MuGo。
這是 AlphaGo 基本組成部分的一個純 Python 實現。
AlphaGo 邏輯/控制流(logic/control flow)其實并不非常復雜，本項目就是其復現。AlphaGo 的秘密武器是在于其各種神經網絡之中。
就我所知，AlphaGo 在對弈過程中使用了三個神經網絡。
***個神經網絡是一個速度很慢但很準確的策略網絡(policy network)。這個網絡被訓練用來預測人類的走子(大約 57% 的準確度)，它會輸出一個可能走子的列表，并且每一種走子方式都對應了一個概率。這個網絡為蒙特卡洛樹搜索(MCTS)提供了可能的走子起點。這個神經網絡很慢的一大原因是它具有很大的規模，這是因為這個神經網絡的輸入是圍棋棋盤上的各種計算成本高昂的屬性——氣的數量、叫吃、征等等。
第二個神經網絡也是一個策略網絡，它比***個更小更快，但準確度更低(大約 24%)，這個網絡并不使用復雜的屬性作為輸入。一旦到達了當前 MCTS 樹的葉節點(leaf node)，這個第二個更快的網絡就會被用來得到一個棋盤局面的可能走子，并且對這個這個最終局面進行評分。
第三個神經網絡是一個價值網絡：它為棋盤輸出一個預期獲勝的范圍，而不會自己下任何棋。
然后，將使用第二個神經網絡的蒙特卡洛得到的結果和使用第三個神經網絡的價值計算結果進行平均，然后這個值被記為該 MCTS 節點的近似結果。
開始
安裝 TensorFlow
開始需要安裝 TensorFlow，并使用 GPU 驅動器(即英偉達顯卡的 CUDA 支持)
獲取用于監督學習的 SGF
接下來需要一個 SGF 文件源。你可以在 https://u-go.net/gamerecords 獲取 15 年時長的高段位對局數據。你也可以從其它來源下載專業比賽的數據庫。
預處理 SGF
第三，對你的 SGF 文件進行預處理。這需要 SGF 文件中的所有局面并提取出每一個局面的特征以及記錄正確的下一步走子。
然后將這些局面分割成塊(chunk)——一塊用于測試，其它的都用于訓練。這個步驟需要一定時間，而且要是你修改了 features.py 文件中的特征提取步驟，你還需要重新預處理。
- python main.py preprocess data/kgs-*
注：這句代碼用了通配符，比如說：KGS 目錄可以名為 data/kgs-2006-01、data/kgs-2006-02 等等
監督學習(策略網絡)
使用上面預處理過的 SGF 數據(默認輸出目錄是 ./processed_data/)，你可以訓練策略網絡。
- python main.py train processed_data/ --save-file=/tmp/
網絡訓練好了之后，當前模型會被保存在 --save-file。你可以通過如下代碼繼續訓練這個網絡：
- python main.py train processed_data/ --read-file=/tmp/savedmodel
- --save-file=/tmp/savedmodel --epochs=10 --logdir=logs/my_training_run
此外，你也可以使用 TensorBoard 跟蹤你的訓練過程——如果你為每一次運行定義了一個不同的名字(如：logs/my_training_run、logs/my_training_run2)，你可以將這些運行彼此重疊起來：
- tensorboard --logdir=logs/
與 MuGo 對弈
MuGo 使用了 GTP 協議，你可以通過任何兼容 GTP 的程序來使用它。要調用原始策略網絡，使用如下代碼：
- python main.py gtp policy --read-file=/tmp/savedmodel
要調用集成了 MCTS 的策略網絡版本，使用：
- python main.py gtp mcts --read-file=/tmp/savedmodel
通過 GTP 下棋的一種方式是使用 gogui-display(它有一個兼容 GTP 的 UI)。你可以在 http://gogui.sourceforge.net/ 下載 gogui 工具套件。參見 http://gogui.sourceforge.net/doc/reference-twogtp.html 了解使用 GTP 的有趣方式。
- gogui-twogtp -black 'python main.py gtp policy --read-file=/tmp/savedmodel' -white 'gogui-display' -size 19 -komi 7.5 -verbose -auto
另一種通過 GTP 玩的方式是對抗 GnuGo，同時還能觀看比賽：
- BLACK="gnugo --mode gtp"
- WHITE="python main.py gtp policy --read-file=/tmp/savedmodel"
- TWOGTP="gogui-twogtp -black \"$BLACK\" -white \"$WHITE\" -games 10 \
- -size 19 -alternate -sgffile gnugo"
- gogui -size 19 -program "$TWOGTP" -computer-both -auto
還有一種玩法是通過 GTP 連接 CGOS(http://yss-aya.com/cgos/ 計算機圍棋在線服務器)。由 boardspace.net 運營的 CGOS 服務器已經關閉了;你需要在 yss-aya.com 接入 CGOS 服務器。
配置好了你的 cgos.config 文件之后，你可以通過 cgosGtp -c cgos.config 連接到 CGOS，以及使用 cgosView yss-aya.com 6819 查看你自己的游戲。
MuGo 項目地址：https://github.com/brilee/MuGo
