Fastest Convergence for Q-Learning

本文介绍的Zap Q-Learning算法是Watkins原始算法和近期竞争对手在几个方面的改进。 它是一种矩阵增益算法，旨在使其渐近方差达到最优。 此外，ODE分析表明，瞬态行为与确定性Newton-Raphson实现非常接近。 这可以通过矩阵增益序列的两个时间尺度更新方程来实现。 分析表明，即使对于非理想的参数化设置，该方法也将导致稳定且高效的计算。 即使在非理想情况下，数值实验也能确保快速收敛。 第一页的比较图取自本文的图9，是使用新算法收敛的惊人加速度的图示。 本文的第二个目标是教程。 本文的前半部分包含对强化学习算法的调查，重点是最小方差算法。