树,Bagging树,提升树 发表于 2017-05-03 | 分类于 机器学习 本文首先介绍机器学习中不可避免的Bias-variance tradeoff问题,分析决策树所面临的问题,从减小Bias和减小Variance两方面的思路,介绍Bagging树和提升树两类模型。 阅读全文 »
常见优化算法 PART 2 发表于 2017-04-27 | 分类于 机器学习 本篇博客是介绍在机器学习和深度学习中常用优化算法的第二部分,继续介绍其他优化算法包括Adam、Nadam以及一些常用的梯度算法优化策略。同样,对于每种优化算法,简单介绍其出发点、解决的思路和原理,以及所具备的优缺点。 阅读全文 »
常见优化算法 PART 1 发表于 2017-04-22 | 分类于 机器学习 本篇博客是介绍机器学习和深度学习中常用优化算法的第一部分,包括梯度下降、动量项、Nesterov加速、AdaGrad、RMSProp、AdaDelta对于每种优化算法,简单介绍其出发点、解决问题的思路和原理,以及所具备的优缺点。 阅读全文 »