机器学习入门(二):KNN算法和决策边界(Decision Boundary)绘制

1)KNN算法基础知识: KNN全称K Nearest Neighbor, k是指最近邻居的个数。 俗话说物以类聚,人以群分,我们通常判别一个人是好是坏的方式就是看他周围是一群好人还是坏人。 这个算法也是如此,假如A的周围有一堆好人,我们就认为他是个好人。即使他周围有两个坏人(干扰项),我们也不会把它当成坏人。 而人与人的关系也有远近之分,计算远近,我们就需要用距离来衡量,有时候远亲不如近邻就体现了距离的重要性。 首先看这样一个例子: 现在有一个点,坐标分别是a1=2,a2=4,a3=3,请问它是yes还是no。 很简单,我们就用三维坐标距离公式计算: 可以很直观地发现,他离第二个点是最近