机器学习经典算法笔记

机器学习经典算法笔记

线性模型

• 线性回归：探索线性关系，理解概率解释和局部加权回归。
• 逻辑回归：分类问题的利器，掌握牛顿法和一般线性模型。
• 生成学习算法：深入高斯判别分析和朴素贝叶斯算法。

支持向量机

• 事件模型：理解函数间隔与几何间隔，为SVM奠定基础。
• 最优间隔分类器：构建拉格朗日对偶，掌握支持向量机原理。
• 核方法：扩展SVM的应用范围，探究序列最小优化算法。

模型评估与选择

• 经验风险最小化：理解过拟合，掌握泛化能力。
• 交叉验证与特征选择：评估模型表现，选择最佳特征组合。
• 贝叶斯统计：应用贝叶斯思想指导机器学习实践。

无监督学习

• $k$-means算法：聚类分析的入门算法。
• 高斯混合模型与EM算法：更强大的聚类方法，深入理解最大期望算法。
• 因子分析：降维利器，解析数据背后的潜在因子。
• PCA与ICA：掌握主成分分析和独立成分分析，实现数据降维和特征提取。