从麻将到“农药” 细数 AI 攻占的游戏领域

按照传统，过年需要走亲访友给长辈拜年的。但是今年情况特殊，相信大家已经不会走街串巷，举行大型聚会了。

但亲朋好友聚仍然可以“云聚会”聊家常、催你结婚。当然线上搓两把麻将也是不错的娱乐方式，毕竟这在促进相互交流的同时，还可以发挥你的聪明才智和运气。

但是要记住，你线上随机匹配对战的话，很容易被AI给“伏击”了。因为这两年除了围棋、DOTA之外，AI已经悄无声息的攻占了些许游戏领域。下面就让 雷锋网 给大家梳理一下已经被AI攻占的娱乐领域，也欢迎读者文末留言补充。

AI麻将获人类顶级水平

2019年8月份微软发布了他们在麻将游戏中取得的重大突破：麻将AI “Suphx”在国际知名专业麻将平台“天凤”上荣升十段。

“天凤”是日本的一个在线麻将竞技平台，创立于2006年。天凤平台的“十段”水平意味着Suphx在麻将界拥有了等同于AlphaGo在围棋界的地位。

Suphx在2019年3月份开始登录天凤平台，经过近三个多月、与人类玩家展开了5000余场四麻对局后，6月份Suphx成功晋级天凤十段，也是首个晋级十段的AI系统。

技术简介以及策略

136张麻将牌的排列组合可能性非常多，再加上打牌过程中4位玩家出牌的顺序并不是固定的（例如碰杠等），导致游戏树不仅不规则而且还是动态变化。

这些特点使得麻将AI很难使用AlphaGo那样的蒙特卡洛树搜索算法。麻将中每个玩家除了手中的13张牌和已经打出的牌外，其他玩家手中的牌和剩余的底牌都是未知的（最多可以有超过120张未知的牌），由于隐藏信息过多导致游戏树的宽度非常大，树搜索算法基本不可行。

对于日本麻将而言，一轮游戏共包含8局，最后根据8局得分总和进行排名，来形成最终影响段位的点数奖惩。所以AI需要审时度势，把握进攻与防守的时机。

对麻将的这些特点，研究者将整个训练过程分为三个阶段。首先是“初始化”阶段，本质上就是用专家数据（天凤平台提供的一些公开数据）做有监督学习，得到一个初始模型。随后在这个初始模型基础上用自我博弈的方式进行强化学习。

在这个阶段，为了克服非完好信息博弈的问题，研究者在训练阶段利用不可见的一些隐藏信息来引导AI模型的训练方向。此外还利用“全盘预测”技术搭建起每轮比赛和8轮过后的终盘结果之间的桥梁。第三个阶段则是在线比赛，通过不断参与到与人类玩家的对局中，从而不断得到自我更新和提高。

AI 赌神升级6人局德扑完胜世界头筹

2017年年初，在卡耐基梅隆大学(CMU)举行了德州扑克人机大战，在比赛中4名人类职业玩家组成的人类大脑败给了人工智能程序Libratus。

如果说当时Libratus擅长的是1V1领域，那么2019年7月份的Pluribus在无限制德州扑克6人局里，战胜了人类顶尖选手。

Pluribus由Facebook与CMU合作开发，相关论文发表在了《Sicence》上面。据《Superhuman AI for multiplayer poker》这篇论文介绍，Pluribus，每小时能赢1千刀且只用了8天的训练时间。

技术简介以及策略

根据论文介绍，整个AI的设计分为两个阶段，初次阶段为蓝图策略，这一阶段是为了降低游戏的复杂性，进行游戏抽象。抽象分为两个部分动作抽象和信息抽象：动作抽象减少了AI需要考虑的不同动作的数量；信息抽象则是把策略上相似的牌局放在一起，并对其进行相同处理。

当然除了抽象之外，这部分所采用的算法是迭代的蒙特卡洛反事实遗憾最小化算法（MCCFR）。在算法的每次迭代中，MCCFR对玩家的某些行为或机会结果进行采样。在迭代结束时，玩家策略会更新，然后对每个可能发生的情况进行概率统计，通过搜索决策树来决定下一步的行为。

其次阶段是深度限制搜索，这一阶段Pluribus会进行实时搜索，制定更精细的策略。

算法假设每个玩家在到达叶子结点时，可以选择四种不同的策略来进行下面的游戏，其中包括预先计算的蓝图策略，修改后偏向于弃牌的蓝图策略，修改后偏向于跟注的蓝图策略，以及修改后偏向于加注的蓝图策略。这样的搜索方法能找到一种更平衡的策略，从而产生更强的整体表现。

总的来说，Pluribus通过将类似的情况打包在一起，减少了关于是否跟注(call)、加注(raise)或弃牌(fold)的决策点的数量。使用蒙特卡罗虚拟遗憾最小化(MCCFR)，将扑克游戏中树搜索的复杂性从一个棘手的问题降低到一个可解决的问题。

AI “绝悟”已达到主宰名誉职业水平

2019 年 8 月 2 日，在吉隆坡举办的《主宰名誉》世界头筹杯（该游戏至上规格的赛事）半决赛的特设环节中，腾讯 AI Lab 策略协作型 AI “绝悟”在与职业选手赛区联队的 5v5 竞技中获胜。这表明绝悟 AI 已经达到了《主宰名誉》电竞职业水平。

“绝悟”名字寓意绝佳领悟力，其技术研发始于2017年12月，并在2018年12月通过了顶尖业余水平测试（前职业选手与主播联队带来）。

技术简介以及策略

“绝悟”版本建立了基于“观察-行动-奖励”的深度强化学习模型，无需人类数据，从白板学习（Tabula Rasa）开始，让 AI 自己与自己对战，一天的训练强度高达人类 440 年。

AI 从0到1摸索成功经验，勤学苦练，既学会了如何站位、打野、辅助保护和躲避伤害等游戏常识。更惊喜的是，AI 也探索出了不同于人类常规做法的全新策略。

游戏中的难点，是 AI 要在不完全信息、高度复杂度的情况作出复杂快速的决策。在庞大且信息不完备的地图上，10位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择，这带来了极为复杂的局面，预计有高达10的20000次方种操作可能性，而整个宇宙原子总数也只是10的80次方。

另外，版本相关的技术论文被顶级学术会议 AAAI 2020 接收。

写作AI 跨界下象棋

OpenAI 的 GPT-2在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。

具体而言这种机器学习算法可以在很多任务上达到了业内至上水平，还可以根据一小段话自动脑补出大段连贯的文本，如有需要，人们可以通过一些调整让计算机模拟不同的写作风格。

然而这个NLP 除了做阅读理解、问答、生成文章摘要、翻译之外，还能用来干嘛？好奇心很强的网友便拿OpenAI 的 GPT-2 做了个实验。它除了能生成文本，竟然还能下象棋、做音乐！

仅仅经过一个小时的训练，GPT-2 1.5B 模型就表现出了国际象棋“天赋”。虽然在下了几步棋之后，就会出现无效移动，但这次实验还是证明了制造 GPT-2 国际象棋引擎并非不可能。

GPT-2 介绍

2018 年 6 月，OpenAI 发表论文介绍了自己的语言模型 GPT，它基于 Transformer 架构，用先在大规模语料上进行无监督预训练、再在小得多的有监督数据集上为具体任务进行精细调节（fine-tune）的方式，不依赖针对单独任务的模型设计技巧就一次性在多个任务中取得了很好的表现。

这也是 2018 年中自然语言处理领域的研究趋势，就像计算机视觉领域流行 ImageNet 预训练模型一样。这次的 GPT-2 是 GPT 的直接技术升级版本，有多 10 倍的模型参数，多达 15 亿个，并在多 10 倍的数据上进行训练。

训练数据是来自互联网的 40GB 高质量语料，具体来说这些语料来自 Reddit 论坛中出现的高评分外链页面；高评分表示这些页面中的内容有较高的质量。这样筛选出的语料内容多达 800 万个页面。模型在无监督训练阶段的目标是，给定一组单词组成的句子之后预测下文的下一个词。

由于数据库有足够高的文本质量和足够高的多样性，模型也有很高的容量，即便这样简单的训练目标也得出了惊人的结果：模型不仅可以根据给定的文本流畅地续写句子，甚至可以形成成篇的文章，就像人类的续写文章一样。

模型生成文本有时会出现失败的现象，比如文字重复、错误的世界常识（比如有时候模型会写到在水下燃烧的火）、不自然地切换话题，但在成功的例子中，模型生成的文本有多样、所有的叙述，对事件的介绍煞有介事，接近人类的表达质量，而且在段落之间甚至全篇文章之中保持连续一致。