数学与统计学院学术报告[2020]147号

(高水平大学建设系列报告500号)

报告题目: Training Neural Networks by Lifted Proximal Operator Machines

报告人：　 林宙辰  教授  （北京大学）

报告时间：2020年12月25日15：00-17：00

报告地点： 腾讯会议  573 607 061

报告内容：

We present the lifted proximal operator machine (LPOM) to train fully-connected feed-forward neural networks. LPOM represents the activation function as an equivalent proximal operator and adds the proximal operators to the objective function of a network as penalties. Due to the novel formulation and the corresponding block coordinate descent solving method, LPOM only uses the activation function itself and does not require gradient steps. Thus it avoids the gradient vanishing or exploding issues in gradient-based methods. Also, it can handle various non-decreasing Lipschitz continuous activation functions. Additionally, LPOM is almost as memory-efficient as SGD and its parameter tuning is very easy. We further implement and analyze the parallel solution of LPOM. We validate the advantages of LPOM on various network architectures and datasets.

报告人简历：

林宙辰，国家杰青，IAPR/IEEE Fellow。2000年毕业于北京大学，获博士学位，现任北京大学信息科学技术学院教授。主要从事机器学习、计算机视觉等领域研究，发表论文200余篇（半数以上为CCF A类）、英文专著2本，谷歌学术引用1万8千余次。

担任中国图象图形学学会机器视觉专委会主任、中国自动化学会模式识别与机器智能专委会副主任、中国计算机学会计算机视觉专委会常务委员、中国人工智能学会模式识别专委会常务委员。曾任CCF A类杂志IEEE T. Pattern Analysis and Machine Intelligence编委，担任CCF A类杂志International J. Computer Vision编委、ICPR 2020 Track Chair，多次担任CCF A类会议CVPR、ICCV、NIPS/NeurIPS、ICML、AAAI、IJCAI领域主席。

欢迎感兴趣的师生参加！

　　　　　　　　　　　　　　　　　　　　　　数学与统计学院

                                                2020年12月23日