优化问题是机器学习的核心和本质。在深度学习中，即使有完全相同的数据集和模型框架，使用的优化算法不同，所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降，各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程，那么各个算法之间有什么联系和区别呢？本次学术报告将带大家一起梳理各优化算法的发展历程和特点，并提出应用建议。
原创文章，作者：BFS，如若转载，请注明出处：https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/