当前位置: 首 页 - 科学研究 - 学术动态 - 学术报告 - 正文

数学学院、所2020年系列学术活动(第240场):徐凯 教授 国防科技大学

发表于: 2020-10-13   点击: 

报告题目:带约束深度强化学习求解在线装箱问题

报 告 人:徐凯教授 国防科技大学

报告时间:2020/10/15 9:40-10:20

报告地点:腾讯会议ID:129 960 052 密码:1230

或点击链接入会:

https://meeting.tencent.com/s/5lCKST0qZSKW

校内联系人:伍铁如wutr@jlu.edu.cn


报告摘要:

本次报告介绍基于带约束深度强化学习实现在线装箱(码垛)问题的求解。装箱问题是一个经典的NP难题。我们聚焦该问题的一个更难的变种——在线装箱问题,即智能体仅能看到即将摆放的有限个箱子,而无法观察到完整的箱子序列,因而很难实现全局优化。同时,一个箱子到来时,智能体必须马上将其摆放好,不允许临时暂存或反复调整。此外,箱子的摆放还必须考虑到箱子间的碰撞和垛体的稳定性。我们将该问题形式化为一个带约束的马尔可夫决策过程。为求解该问题,提出了一种简单且有效的带约束强化学习方法:基于actor-critic框架,提出了“预测-投影”的带约束策略学习方法。该方法训练一个网络来预测可摆放区域作为辅助任务,并用预测的可摆放区域来调制强化学习的动作输出。大量实验表明,该方法在空间利用率、摆放数量和决策时间等方面都远优于已有的、基于启发式规则的方法。此外,我们的方法还可以很容易地扩展到前瞻k个箱子,多垛体同时摆放,以及允许箱子方向调整等诸多情形。


报告人简介:

徐凯,国防科技大学教授。2011年于国防科大计算机学院获得博士学位。西蒙弗雷泽大学、普林斯顿大学访问学者。研究方向为数据驱动的几何处理与建模、三维视觉及其机器人应用等。发表ACM SIGGRAPH/Transactions on Graphics论文20余篇。共发表CCF A类论文40余篇。担任ACM Transactions on Graphics、Computer Graphics Forum、Computers and Graphics和The Visual Computer等期刊的编委。担任CAD/Graphics 2017、ISVC 2018等国际会议的论文共同主席,以及SIGGRAPH、Eurographics等国际会议的程序委员。现任中国图象图形学会三维视觉专委会副主任,中国工业与应用数学学会几何设计与计算专委会秘书长。曾获湖南省自然科学一等奖、军队科技进步二等奖、全军优秀博士论文奖、几何设计与计算青年学者奖、湖湘青年英才奖、陆增镛CAD&CG高科技奖二等奖。获国家优秀青年基金和湖南省杰出青年基金。