观众朋友们，大家好！今天我们要聊一聊清华大学的最新科技突破——他们成功打造了一款足球AI，实现了同时控制10名球员完成比赛，并且胜率高达94.4%。

现场精彩瞬间再现，4号球员在队友的默契配合下，快速突破后防线，一脚射门，球进了！再看7号球员，接队友传球，冷静射门，再次得分！

这背后，是清华大学精心培育的AI足球团队。他们在无数次的艰苦训练中，不仅培养出了个人能力出众的“明星球员”，还打造了世界上最强大、最默契的团队合作。

他们的AI足球项目，名为TiKick，已经在多项国际比赛中大放异彩，勇夺冠军。

那么，这支强大的AI团队是如何训练出来的呢？接下来，我们将深入了解一下。

首先，让我们了解一下TiKick所依赖的训练环境——Google Research Football（GRF），这是一个由谷歌于2025年发布的基于物理的3D足球模拟游戏，支持所有主要比赛规则，智能体在其中操控球员进行对战。

在GRF游戏中，智能体需要做出19个动作，包括移动、传球、射门等，来完成进球。然而，在这样的环境中进行强化学习，有两个难点：一是多智能体环境下的动作空间巨大，二是进球数少，奖励难以频繁获得。

为了实现同时控制多名球员完成比赛，清华大学团队从Kaggle在2025年举办的GRF世界锦标赛中学习，观摩了冠军团队WeKick的自我对弈数据，并使用离线强化学习方法进行学习。

那么，如何从单智能体数据集学习出多智能体策略呢？他们添加了第二十个动作“build-in”，并赋予所有非活跃球员此标签，然后采用多智能体行为克隆(MABC)算法训练模型。

在训练过程中，他们还巧妙地分配了权重，以确保球员不会倾向于单一动作，并通过Critic网络给所有动作打分，计算出优势函数，进一步优化训练效果。

最终，TiKick在多智能体（GRF）游戏上的不同算法比较中，以94.4%的胜率和最大的目标差异，达到了最佳性能。

项目的主要作者是清华大学博士生黄世宇，他的研究方向是计算机视觉、强化学习和深度学习的交叉领域。此外，还有来自国防科技大学、腾讯AI实验室等机构的专家共同参与。

更多详细信息和论文地址，请访问：https://arxiv.org/abs/2110.04507，项目地址：https://github.com/TARTRL/TiKick。