浙江省海创科技交流研究院

2019年8月3日聆听了海创院和高促会主办的海创科学沙龙第十五场主题为《强化学习应用》的报告。该场报告在浙江海外高层次人才创新园进行，主讲人是李玉喜博士，主持人是陈羡博士。（因为从下沙赶去，）我在报告进行40分钟后才到达报告厅，过了报告最精彩的开场和一些主要内容。基于一些有监督和无监督分类或聚类算法的应用实践，听了李博士的报告，尤其听了他在报告中提到Yinlam Chow等人2019年初发表的一篇有关于李雅普诺夫稳定性理论在强化学习中的应用的文章，我从机器学习方面理解和领悟到了一些系统性思想，从而对整体思维方式有了进一步的认识。

当前的机器学习算法大致有三大类，即有监督学习、无监督学习和强化学习，深度学习是一种属于监督学习的机器学习。这些机器学习跟人的思维活动在结构上有共性，即系统的结构。无论是机器还是人，都会根据目前（或当前）的信息或状态作为系统的输入，经过其系统控制中心（机器的智能体或人的大脑）进行运算或决策，输出期望的信息或结果。

强化学习作为一个系统，其输入信息也叫输入变量是当前环境的状态和智能体从当前环境获得的奖励值，其输出是这两个输入变量的更新。强化学习有两个特点，一是将环境纳入其系统控制中心的范围（从这一点可以把环境当成系统的一部分），二是存在更新迭代过程。如果把强化学习的系统结构看成是一个函数，x为输入变量，那么就可以将强化学习理解为存在迭代过程x_n+1=G（x_n）。如果把这个系统结构当成一个连续函数，那么就可以把它理解为一个动态系统dx/dt=F(x)。其实，迭代过程也是一种动态系统。无论把强化学习理解程哪种系统结构，其动作和转移函数都是系统函数的内容。尽管报告中提及的论文目前只对连续函数感兴趣，有了动态系统，就可以将动态系统的稳定性理论用于研究强化学习的闭环稳定性（closed-loop stability of the agent）。Yinlam Chow等人的那篇有关于李雅普诺夫稳定性理论在强化学习中的应用的文章，就是应用李雅普诺夫函数的稳定性理论给出safe approximate policy 和value iteration algorithms。理解了李雅普诺夫稳定性理论在强化学习中的应用的思想，这是我在本场海创科学沙龙报告中最大的收获。

也许以上我对强化学习的系统函数理解有偏差，但这并不影响我的思想收获。在报告中，我收悉了一些基础思想方法，也获悉了一些相关论文，这给我以后更进一步在此方面获取知识开辟了道路。

由此收获，使我联想到以前曾经听的一个科技讲座。在那场讲座听到了关于哲学思维方式对中国科学技术影响的评述。有人说：“中国古代知识分子（儒家）对复杂的社会系统有深入的研究，发展了辩证的整体思维方式（道家），善于对政治和军事等复杂问题作综合的判断，但不善于作定量的数学分析和形式逻辑的推理“。其实我国古代知识分子重视群体意识形态的稳固，一方面是效忠国家和阶级利益的需要，另一方面是维护社会正常运行的世界观的需要，中国古代知识分子孕育和发展了辩证的整体思维方式。听了海创科学沙龙关于《强化学习应用》的报告，理解和领悟了系统性思想在强化学习中的应用，更进一步使我认识到中国古代知识分子的这种整体思维方式更能推进新时代中国科技文化的发展。要知道，进入20世纪后，科学技术的发展沿着两条双绞线并行，就像DNA的两个螺旋链一样选择上升，一条是科学发现和理论创新，一条是技术革命和产品研发。前者主要来源于个体思想的创造性开发，而后者主要源自集体智慧和整体努力，这也正适合中国古代知识分子的辩证的整体思维方式的继承和发展。

查沁 杭州者印文化（国际猎头） CEO

海创院和高促会于8月3日中午组织大家在海创园集中学习，请来了人工智能届的大咖李玉喜博士来和大家分享人工智能的趋势，感受很深。 李玉喜博士是学界大咖，他的背景及不必多说，整场活动围绕人工智能的模型创建，近期学界的一些论文展开其中干货满满，收获很多。
由于我个人工作的关系对人工智能的实际落地应用还有一些粗浅的理解，我就结合我实际碰到的一些例子聊聊人工智能的落地的情况，因为和他们都签署了保密协议所以不能提到公司名只能讲讲大致应用的方向和方式。
我们自己公司主要是做高端人才的猎头的工作，而AI落地的企业占了我们合作企业的一半。由于国内多年受物价和房价的影响人力成本已经到了咋舌的地步，一个好一点的大数据研究生刚刚毕业的薪资已经到了30K，对于大多数这方面的创业企业来说已经不堪重负。但是他们不知道的是国际上这方面的人才不仅技术好而且用工成本是国内的一半。所以我们帮我们的合作企业用非常实惠的价格招聘FPGA 嵌入式 大数据算法的工程师，广泛应用在了医疗，网络安全，工业物联网，无人驾驶的相关领域。我可以结合我们合作伙伴的研究方向来和大家聊聊目前已经在落地的一些方向。
1）工业物联网方向。这个方向上我们有一家合作企业是行业内的隐形冠军，做的是流程工业的ERP系统。他们将危险控制，运料，备货，压力等一干要素融合在了一套系统之上，基于他们独有的图谱，运用大数据分析目前在国内有独特优势。他们下一步会结合图像识别技术利用无人机进行海上风力发达机组的巡检。我们帮他们用10K的价格招到了无人机工程师，15K的价格招到了FPGA工程师为他们节省了大量的成本。
2) 无人驾驶领域。目前我们和全国最好的无人驾驶领域的公司开展紧密的合作。因为他们是全国最好的无人驾驶领域的企业，人员流失是他们最大的问题。我们同样帮他们用国内三分之一的价格招聘外籍工程师同时保证了稳定性。这家公司在无人驾驶领域主要是用在卡车的连续驾驶的监控上。目前他们是唯一一家进入美国交通部采购名录的中国公司。
3）医药领域。目前我们和好几家医药公司开展国家人才的交流合作。他们主要的方向还是通过大数据的采集通过机器学习来筛查早期的癌症。他们挑战主要是前期数据太脏，需要投入的科研人员数量很大。我们联合开展国际人才的合作，使他们员工的稳定性技术专业度大幅提高还降低了成本。

目前很多企业都已经在人工智能领域迈出了步伐，有些已经在盈利。未来一定是属于AI的时代。

今日有幸参加了海创院与高促会组织的“海创科学沙龙”活动，聆听了来自阿尔伯塔大学的李玉喜博士的专题讲座。就我个人感受而言，与其说是一个讲座，其实更像是一个研讨会，大家坐在一起，探讨技术、交流工作中的心得体会。

李博士详细地向我们讲述了强化学习在各个领域中的应用，首先，就是强化学习在游戏领域中的应用，目前来说，在这一块领域中，强化学习的应用相对成熟，覆盖的游戏种类有：星际争霸、dota、CS等，李博士提到，由于在游戏领域中，容忍度相对较高，因此强化学习的操作空间大，可以充分地进行探索尝试，算法的优势得到了体现。

然后，李博士向我们介绍了强化学习在推荐系统中的应用，在这一领域中，强化学习的落地应用也是比较多的，例如阿里、京东等公司都会使用强化学习来提升用户体验，增加用户黏度。在推荐系统中使用强化学习的好处之一就是，由于强化学习能够进行探索，因此会给用户带来一些新的推荐产品，带给用户更好的体验。

接下来，李博士给我们讲述了一些他推荐的论文，这其中包含了来自谷歌、Facebook、阿里等团队的研究成果。随后，大家就当前的热点话题进行了充分的沟通与讨论。今天的活动进一步拓宽了我的思维与眼界。

其实，就我个人的经验而言，强化学习也可以应用于交通等领域，例如使用强化学习算法来控制交通灯，但是通过实践，我觉得强化学习不仅需要我们能够设计出合理的状态和回报函数，还需要依托足够多的训练样本，这样训练得到的策略才能在实际中使用，才能应对实际中的各种问题。

最后附上今天的活动照片，留作纪念。

再次感谢主讲人李玉喜博士、主办方海创院与高促会。