K 近邻法及其在手写数字识别的实践

文章首发于 个人博客 引言 k 近邻法(k-nearest-neighbor, KNN)是一种基本的分类和回归方法。现在只讨论其分类方面的应用,它不具备明显的学习过程,实际上是利用已知的训练数据集对输入特征向量空间进行划分,并作为其分类的“模型”。 其中 k 值的选择、距离的度量及分类决策规则是 k 近邻模型的三个基本要素。 本文将按照以下提纲进行: k 近邻法阐述 k 近邻的模型 k 近邻在手写数字识别上的实战 k 近邻法阐述 k 近邻算法非常容易理解,因为其本质上就是求距离,这是非常简单而直观的度量方法:对于给定的一个训练数据集,对新的输入实例 M,在训练数据集中找到与该新实例 M 最邻近