统计学习方法——K近邻法(学习笔记)

K近邻算法简介 K近邻法是一种基本分类与回归方法。K近邻法的输入为实例的特征向量(特征空间的点),输出为实例的类别,可以取多类。 K近邻算法假设给定一个训练数据集,其训练数据集实例的类别已定,对新的输入实例,找出新实例K个最近邻的训练点,根据K个最近邻训练实例的类别,通过多数表决等方式进行预测。 K近邻法的三个基本要素:K值的选择、距离度量、分类决策规则。 下面介绍一下kd树、搜索kd树的过程以及相关代码。 1.K近邻算法 根据给定的训练数据集,对新的实例,在训练数据集中找出与该实例最近邻的K个实例,这K个实例的多数属于某类,就把输入实例分为这个类。 2.距离度量 特征空间中两个实例点的距离