如何操控上百颗卫星更高效地观测宇宙中的爆发源和变源天体?早在CATCH概念提出的时候,科学家们就意识到了这样的挑战。以传统的经验来看,单颗卫星的天文观测往往就需要一支专门的团队来运行;而对于体量高达百颗卫星的CATCH星座来说,这似乎是一个不可能完成的任务。为此,腾讯游戏CROSAI研发团队与空间和天文方面的专家进行了充分的讨论,提出了更为理想的解决方案:利用游戏AI最新的训练技术——多智能体强化学习方法,来控制卫星协同合作,完成各类观测任务,实现观测计划的最优化。
具体来说,该团队为模型训练配备了高并发的分布式环境,可以支持接入上万路模拟环境同时训练,还能利用训练样本,进行分布式训练;同时结合团队最新研发的模型压缩、部署优化方案,以便有效地平衡空间信号的感知、控制精度的要求和卫星算力的限制,高效地完成多颗卫星的协同观测任务。这一方案既包含满足科研目的的精度要求,也符合太空环境实时调度的算力要求,还能够支持大规模算力的基础系统架构要求。
腾讯游戏AI多智能体算法早前已经应用在英雄联盟手游、火影忍者手游等多人在线战术竞技游戏中。具体来说,游戏AI可以通过多智能体深度学习与强化学习训练,使其自身对战水平得以匹配大多数玩家的水平。在“去中心化”的多智能体算法调度下,游戏AI不仅可以和玩家进行能力配合,还能使玩家体验到不同风格的战术。另外,在针对游戏AI的训练中,提升输出强度并非单一的训练目标,而是需要平衡一系列的量化指标:从战斗能力、防守能力,到与队友的配合程度等,多维度量化分析最优博弈策略,并通过不断优化训练参数,提升游戏AI的综合性能。
“腾讯的研发人员很快就理解了我们的研究重点,并对我们的研究方向展现了极高的兴趣。”CATCH计划负责人、青年科学家陶炼这样评价与腾讯游戏的合作,“如果能够提炼出游戏技术中有价值的部分,正确应用于各行各业,这对国家、对科技的发展都是一件很好的事。”