报告1:Family weak conjugate gradient algorithms,袁功林 广西大学教授,时间:1月9日15:00。
报告摘要:It is well-known that conjugate gradient algorithms are widely applied in many practical fields, for instance, engineering problems and finance models, as they are straightforward and characterized by a simple structure and low storage. This talk studies family conjugate gradient formulas based on the six classic formulas, PRP, HS, CD, FR, LS, and DY, where the family conjugate gradient algorithms have better theory properties than those of the formulas by themselves. Furthermore, this technique of the presented conjugate gradient formulas can be extended to any two-term conjugate gradient formula. This talk designs family conjugate gradient algorithms for nonconvex functions, which have the following features without other conditions: (i) the sufficient descent property holds, (ii) the trust region feature is true, and (iii) the global convergence holds under normal assumptions. Numerical results show that the given conjugate gradient algorithms are competitive with those of normal methods.
报告2:基于PID的动量梯度算法分析与应用,喻高航,杭州电子科技大学教授,时间1月9日16:00;
报告摘要:机器学习/深度学习很多任务通常转化为求解大规模优化问题。进而采用一阶优化方法求解,如动量梯度算法及随机动量梯度算法等。最近,结合控制领域中经典的“比例-积分-微分” (PID)控制器,有人提出了所谓的PID算法。一定的情形下,PID算法可以退化为传统的动量梯度算法。实验表明PID算法能够克服超调现象,并有效改善动量梯度算法的计算效率。基于一个正则条件,我们给出了PID算法的收敛性分析。进一步,结合PID算法与拟牛顿方程,我们提出了一类预条件动量梯度算法。预条件因子的选取能够有效提高算法效率。对经典的CIFAR数据集,仿真结果验证了算法的有效性。最后,我们也讨论了一类自适应重启的动量梯度算法。
报告地点:腾讯ID:156 293 932
主办单位:数学与统计学院
欢迎光临!
袁功林,广西大学数学与信息科学学院常务副院长,博士,教授,博士生导师。研究方向:优化理论与方法、非线性方程组、非光滑分析以及金融模型的优化方法。主持国家自然科学基金项目2项,主持广西杰出青年自然科学基金项目1项、广西自然科学基金重点项目1项、中央引导地方科技发展基金项目1项、广西面上项目1项。荣获广西十百千第二层次人选,广西特聘青年专家,广西高校卓越学者计划人选,广西高校优秀人才计划人选等荣誉称号。以第一或通讯作者发表SCI收录论文50篇,如COAP、JOTA、JCAM等优化期刊发表多篇论文、Top 0.1%“热点论文”1篇、Top 1%“高被引论文”4篇、出版学术专著一部;获得广西科学技术二等奖1项、广西自然科学二等奖1项、广西教学成果二等奖1项。担任中国数学会理事、中国数学规划分会理事、广西数学会常务理事、广西运筹学会副理事长、广西高等教育学会数学专业委员会副理事长。
喻高航,杭州电子科技大学教授、博导,主要从事张量数据分析、大规模优化计算及其在机器学习、图像处理与医学影像中的应用研究。先后在SIAM Journal on Imaging Sciences, International Journal of Robust and Nonlinear Control,IEEE Signal Processing Letters,Journal of Mathematical Imaging and Vision等国际期刊上发表40余篇SCI论文,主持4项国家自科基金、1项教育部博士点基金、1项教育部新世纪优秀人才支持计划项目和1项浙江省自然科学基金重大项目课题等,有多篇论文入选ESI高被引榜单。自2013年起任国际学术期刊Statistics, Optimization and Information Computing执行编委(Coordinating Editor)。