监督学习之KNN算法

监督学习 原理 监督学习假定训练数据与真实预测数据属于同一分布且相互独立。监督学习通过训练学习到数据的概率分布,并应用到真实的预测上。监督学习可分为回归分析和分类。 回归分析(Regression Analysis):对训练数据进行分析,拟合出误差微小的函数模型y=f(x),yy=f(x),yy=f(x),y称为数据的标签,对于每个新的自变量x,x,x,通过这个函数模型可以得到标签yyy。 分类(Classification):训练数据是特征向量与其对应的标签,同样要通过计算新的特征向量得到其所属的标签。 输入空间、特征空间和输出空间 输入空间与输出空间可以相同,也可以不同,通常输出空间要远小