机器学习模型可化简为求解一个目标函数/损失函数的最优化问题，根据优化目标及约束的不同，可划分为凸优化（Convex optimization）与非凸优化（Non-convex optimization）两类。本次报告首先回顾了优化问题及凸优化的相关理论知识，进而面向机器学习中因目标函数非凸、可行域非凸或是边缘凸等非凸优化情况，介绍了凸松弛、非凸投影梯度下降、交替优化等非凸优化方法，并对神经网络模型的可优化理论进行了问答式介绍。期望本次报告可对理解算法优化过程及设计易优化目标函数提供帮助。
原创文章，作者：BFS，如若转载，请注明出处：https://www.isclab.org.cn/2019/06/24/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84%e9%9d%9e%e5%87%b8%e4%bc%98%e5%8c%96/