KNN

核心思想:一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这类别上样本的特性。KNN算法的结果很大程度上取决于K的选择。 算法的三要素:1,K值得选择;2,距离度量的方式;3,分类决策规则 K值的选择:没有一个固定的经验,一般根据样本的分布,选择一个较小的值,可以通过交叉验证选择一个合适的K值。选择较小的K值:就相当于用较小的领域中的训练实例进行预测,训练误差会减小,容易发生过拟合。选择较大的K值,就相当于用较大领域中的训练实例进行预测,其优点是可以减小泛化误差,但缺点是训练误差会增大。 度量方式:一般选择欧氏距离 分类决策规则:分类:多数表决法;