『样本』kNN分类算法及其python实现( 二 ) 算法|样本|类别

1.4.2欧氏距离
我们用欧氏距离来的来计算样本i和样本j之间的距离:

文章图片

文章图片

其中x_i和x_j是两个样本的特征向量。比如我的特征向量取值为(175,70,0) ，和赵本山的距离是：
那么，我与训练集的A类样本的相似度就是：
1.5可以升级的地方
1.4提出的分类器可以升级的地方很多：（1）特征工程，我们可以用PCA之类的方法搞一个降维、把特征里重要的信息突出一下，这样分类器的效果会提升一些；（2）选取合适的距离计算方式，特征目前是有量纲的，要特别注意特征的绝对值大小对欧氏距离影响很大，可以尝试一下余弦距离之类的； (3)资源允许的情况下再加一点训练样本。
2kNN的python实现
import numpy as np
#一个最简单的KNN
class KNN():
def __init__(self):
self.model = {}#存储各个类别的训练样本的特征， key为类别标签， value是一个list ，元素为样本的特征向量
self.training_sample_num = {}#存储训练数据中，各个类别的数量
#训练模型，输入是标签列表，和对应的输入数据列表
def fit(self, X, Y):
for i in range(len(Y)):
#将训练数据按照类别分组
if Y[i] in self.model:
self.model[Y[i]].append(X[i])
else:
self.model[Y[i]] = [X[i]]
#各个类别的样本总数
self.training_sample_num[Y[i]] = self.training_sample_num.get(Y[i], 0) + 1
#预测/判断一个样本的类别。这里模仿sklearn的风格，允许输入单个样本，也允许输入多个样本
def predict(self, X):
result = None
if type(X[0])==list:
for x in X:
result.append(self.predict_one(x))
else:
result = self.predict_one(X)
return result
#判断单个样本的类别
def predict_one(self, x):
label = None#类别标签
min_d = None#目前为止，待分类样本与各类代表性样本的最小平均距离
for class_label in self.model:#遍历每个类别的代表性样本
sum_d = 0#待分类样本与本类别的代表性样本的距离之和
for sample in self.model[class_label]:#遍历这个类别下所有的代表性样本
sum_d += self.distance(x, sample)#累计
mean_d = sum_d/self.training_sample_num[class_label]#待分类样本与本类别的代表性样本的平均距离
if min_d==None or mean_dlabel = class_label
min_d = mean_d
return label
#计算两个样本之间的距离
def distance(self, x1, x2, type="eu"):
d= None
if type=="eu": d = np.sum((x1-x2)**2)#欧氏距离
return d
#评估模型效果
def eveluate(self, X, Y):
pass
#制造训练数据
def generate_training_data(self):
data_str = """类别样本唯一标识身高(cm) 体重(kg) 尾巴长度(cm)
A 高秀敏 160 60 0
A 赵本山 170 70 0
A 范伟 170 70 0
A 宋丹丹 160 60 0
B 孙悟空 120 40 100
B 大熊猫 100 100 10
B 大象 300 3000 50
B 老鼠 10 0.1 10"""
print(data_str)
data_list = data_str.split('')
X = []
Y = []
for line in data_list[1:]:
data = http://www.sos110.com/show/12/102916/line.split(" ")
Y.append(data[0])
X.append(list(map(lambda x: float(x), data[2:])))
return X, Y
if __name__ == '__main__':
M = KNN()

『样本』kNN分类算法及其python实现( 二 )

推荐阅读

央视|因家中有人感染新冠病毒丹麦卫生大臣进行自我隔离

如何看待4g牌照发了，但是中国联通的股票并没有因为这一利好信息，而上涨，反而一直下跌?

财务如何写年终总结财务年度总结

|内审经验——明白了职场中的权力基础，才知道怎么混职场

急性冠周炎

「宝宝缺铁」宝宝缺铁的症状有哪些

特斯拉|特斯拉Model Y刹车灯亮后追尾！车主发声：未踩刹车单踏板的“锅”

李冰冰 |大花、85花、95后新人花同台吸睛比美，47岁的李冰冰赢了？

破次元跨界！梦洁家纺携手超人气国漫玩转国潮家居！

小暖妈妈说|窝外怂”的孩子，多半是性格缺陷，爸妈需要做好这2步，“窝里横

「柠檬」柠檬鸡脚的做法

发型|“发型”对气质的影响太大，在女星身上充分体现，普通人也能学学

「新生儿惊厥」新生儿惊厥是怎么回事三个改变是判断要点

WEEK UP探展 | 时尚，向文化复兴致敬

【人民日报客户端】新一轮强降雨加速入秋进程华南需警惕秋台风影响

伊朗|电竞都准备进奥运了，伊朗女孩们还因为玩电子游戏而流落异国

九游网|《下一站江湖》如来神掌怎么获取如来神掌获取攻略

『高考生门锁坏了被锁家中』高考生门锁坏了被锁家中是怎么回事?原来是这样

找不到人生的主线任务咋办?

绿叶的舞曲|“三顾茅庐”的经过是什么？诸葛亮为何要将刘备两次拒之门外？