2019_Online MetaLearning.pdf

OnlineLearning有点像自动控制系统，但又不尽相同，二者的区别是：OnlineLearning的优化目标是整体的损失函数最小化，而自动控制系统要求最终结果与期望值的偏差最小。 OnlineLearning训练过程也需要优化一个目标函数（红框标注的），但是和其他的训练方法不同，OnlineLearning要求快速求出目标函数的最优解，最好是能有解析解。 一般的做法有两种：BayesianOnlineLearning和FollowTheRegularizedLeader。