TDA导向的深度学习架构

基于随机梯度下降(SGD)的优化算法的困局:之前在学校的时候,我曾试图利用内网的论坛给学生洗脑,批判当下深度学习的几个瓶颈和未来TDA可以带来的贡献和突破。说实在,现在看来,那时是 tooyoungtoosimple了:深度学习的梅开二度是有坚实的使用场景和卓越的效果来支撑的。在自己也玩了一阵子一些开源的深度学习框架后,回顾当初的论断(训练的封闭性,数据/信号的单向流动-非双向互动的学习,以及学习流程相对的静态和局部性),虽然仍然难以推翻,但是当下研究的火热的强化学习,主动/线上学习和迁移学习(transfer/gene