实现李航统计学习方法中的所有算法
《统计学习方法》是李航博士的一本经典著作，涵盖了机器学习领域的诸多核心算法。这本书深入浅出地讲解了各种统计学习模型，包括监督学习、无监督学习、半监督学习和强化学习等方法。现在，您提供的压缩包包含了对书中所有算法的手写实现，这将是一个宝贵的资源，帮助我们理解并实践这些理论知识。
-
线性回归（Linear Regression）：基础回归分析方法，预测连续变量，涉及最小二乘法和梯度下降法。
-
逻辑回归（Logistic Regression）：用于二分类问题，通过sigmoid函数将结果映射到(0,1)之间。
-
支持向量机（Support Vector Machine, SVM）：寻找最大间隔超平面进行分类，包含硬间隔与软间隔的概念。
-
朴素贝叶斯（Naive Bayes）：基于贝叶斯定理的分类方法，常见类型有高斯、 multinomial和伯努利朴素贝叶斯。
-
决策树（Decision Tree）：构建离散特征和连续特征的决策树，应用剪枝策略以避免过拟合。
-
随机森林（Random Forest）：集成学习方法，由多个决策树组成，降低过拟合风险。
-
Adaboost：提升算法，通过迭代调整训练数据的权重。
-
梯度提升机（Gradient Boosting）：与Adaboost类似，适用于任何可微分的损失函数。
-
K近邻（K-Nearest Neighbors, KNN）：利用最近邻的类别决定新样本的类别。
-
神经网络（Neural Networks）：包括前馈、卷积、循环神经网络和深度学习模型。
-
聚类（Clustering）：K-means、层次聚类、DBSCAN等无监督学习中的数据分组方法。
-
主成分分析（PCA）：降维技术，通过最大化方差来保留关键信息。
-
贝叶斯网络（Bayesian Network）：表示变量间的条件依赖关系的概率图模型。
-
马尔科夫随机场（Markov Random Field, MRF）：用于图像处理和计算机视觉领域。
