行業觀瞻

技術熱點

面試寶典

青鳥動態

資料下載

其他

在線咨詢

本文對KNN算法做一個通俗易懂的介紹,值得收藏！

來源：北大青鳥總部 2020年07月02日 11:54

摘要：本文對KNN算法做一個通俗易懂的介紹,值得收藏！

古語云：“近水樓臺先得月”，意思是臨近在水邊的樓臺就能優先得到月亮的光芒，也比喻由于接近某些人或事物而搶先得到某種利益或便利。還有一句類似的話：“遠親不如近鄰”，說的是人在有需要時，鄰居比遠處的親戚更加能獲得支持和幫助。在人工智能領域，有一種算法，非常貼近上述的形象比喻，這就是KNN算法，即K最近鄰算法（K-NearestNeighbors，簡稱KNN），它是一個比較簡單的機器學習算法，也是一個理論上比較成熟的、運用基于樣本估計的最大后驗概率規則的判別方法。本文對KNN算法做一個通俗易懂的介紹，并通過python進行編碼示范，讓讀者朋友對該算法有較好的理解。

“牛”還是“羊”——理解KNN

K最近鄰算法的比較貼近的一個比喻場景是：一個牧場里，放養著許多牛和羊，它們交叉聚集生活在一起，有時某只動物自己都可能分不清自己是牛還是羊。按照K最近鄰算法，它判別自己是牛或者羊的依據是——“我”周邊離“我”最近的類別（牛或者羊），且在一定范圍內是數量最多的類別，那“我”就是這個類別。歸結到K最近鄰算法中，就是在一個數據集中，新的數據點離哪一類最近且一定范圍內最多，就和這一類屬于同一類。

其中，這個一定范圍就是鄰居們（Neighbors）的數量，也就是K最近鄰算法的“K”這個字母代表的數量（最近鄰的個數）。在人工智能領域，大家所熟知的scikit-learn庫中，K最近鄰算法的K值可以通過n_neighbors參數來調節的，默認值是5。

“近水樓臺”——KNN預測實戰

“近水樓臺先得月”可以很好地詮釋KNN算法，下面我們進行一個KNN算法的實際應用，以方便讀者更好地理解KNN算法。

當今每屆大學生在畢業前一年都非常關注研究生考試，能進入碩士級別進一步深造，也是大多數學生所渴望的，本文將模擬某年部分碩士研究生的入學考試數據集，通過python編程演練一個KNN算法機器學習的建模、訓練、預測過程，展示KNN算法的效果。

一、了解數據集

我們采用的數據集包含如下字段：

其中，2、3、4、5，分別是研究生入學考試的基礎課程、政治課程、外語課程、專業課程的分數。

6是考試學生的本科學校分類，分類粗略的分為三級：3-超一流（如清北）、2-雙一流、1-普通高校。

7是考試學生的目標碩士高校學校的分類，分類粗略的分為四級：3-超一流（如清北）、2-雙一流、1-普通高校、0-表示未被錄取。

二、導入和查看、準備數據集

#載入numpy、pandas，

importnumpy as np

importpandas as pd

#使用pandas加載碩士研究生入學成績信息數據集

data= pd.read_csv('Graduate_Admission.csv')

#顯示以下數據集前5行

data.head()

輸出運行結果如下：

#查看數據特征的統計信息

data.describe()

輸出結果如下：

上表說明：這個數據集總共有500條記錄，其中基礎課程的最高分和最低分是125.7和67.1，政治課程的最高分和最低分是91.8和41.1，外語課的最高分和最低分是91.7和42.2，專業課程的最高分和最低分是133.4和29.2。

下面的代碼針對數據集做預處理：

#丟棄掉SerialNo.這個特征

data.drop(['SerialNo'], axis = 1, inplace = True)

#把去掉預測目標Chanceof Class后的數據集作為訓練數據集X

X= data.drop(['Chance of Class'], axis = 1)

#把預測目標賦值給y

y= data['Chance of Class'].values

三、生成訓練集和測試集、使用KNN算法建模并評估模型分數

#導入數據集拆分工具

fromsklearn.model_selection import train_test_split

#將數據集拆分為訓練數據集和測試數據集

X_train,X_test, y_train, y_test = train_test_split(X, y, random_state=0)

#導入用于分類的KNN模型

fromsklearn.neighbors import KNeighborsClassifier

Clf_KNN= KNeighborsClassifier()

#用模型對數據進行擬合

Clf_KNN.fit(X_train,y_train)

輸出結果為：

KNeighborsClassifier(algorithm='auto',leaf_size=30, metric='minkowski', metric_params=None, n_jobs=None,n_neighbors=5, p=2, weights='uniform')

對模型評估：

#打印模型的得分

print('驗證數據集得分：{:.2f}'.format(Clf_KNN.score(X_test,y_test)))

print('訓練數據集得分：{:.2f}'.format(Clf_KNN.score(X_train,y_train)))

輸出結果為：

驗證數據集得分：0.81

訓練數據集得分：0.87

可以看出模型的訓練集和驗證集的評估分值都在0.80分以上，模型訓練的效果還算不錯。

四、預測新成績的分類

現在有A、B、C三位同學都進行了研究生入學模擬考試，他們的成績和本科學校分別是：

我們可以利用上面步驟建立的KNN模型來預測一下，看看他們目前的考試成績能夠進入研究生高校的類別是哪些：是成功登上清華北大的超一流神圣殿堂或者普通高校，還是遺憾地鎩羽而歸。經過這樣的預測后，相信他們也會有一定的信心或者更加強化自身的學習力度，力爭能考入心儀的理想學校。

下面使用python代碼利用前面已經建好的KNN模型，對三位同學的研究生成績的入學結果進行預測：

#輸入A同學的考試成績和學校分類數據

X_A= np.array([[90.5, 80.6, 67.7, 80, 2]])

#使用.KNN模型對A同學的入學可能分類進行預測

pred_A= Clf_KNN.predict(X_A)

#輸入B同學的考試成績和學校分類數據

X_B= np.array([[120.5, 90.8, 76.5, 98, 3]])

#使用.KNN模型對B同學的入學可能分類進行預測

pred_B= Clf_KNN.predict(X_B)

#輸入C同學的考試成績和學校分類數據

X_C= np.array([[60.5, 50.2, 87.3, 65, 1]])

#使用.KNN模型對C同學的入學可能分類進行預測

pred_C= Clf_KNN.predict(X_C)

print("K最近鄰算法模型預測分類結果如下：")

print("A同學的分類結果：{}".format(pred_A))

print("B同學的分類結果：{}".format(pred_B))

print("C同學的分類結果：{}".format(pred_C))

輸出結果如下：

K最近鄰算法模型預測分類結果如下：

A同學的分類結果：[1]

B同學的分類結果：[3]

C同學的分類結果：[0]

以上結果說明，如果按他們的模擬考試成績，A同學分類預測結果為“1-普通高校”，即KNN模型預測他能夠考入一般的普通高校的研究生；B同學分類預測結果為“3-超一流高校（如清北）”，即KNN模型預測他能進入清北超一流殿堂，值得慶祝；C同學分類預測結果為“0-未被錄取”，很遺憾，KNN模型預測他成績不理想，無法考上研究生。

通過這個數據集和例子可以得出一定的推論：考試成績好且在超一流高校讀本科的學生，更容易被超一流的高校（如清北）的碩士學位錄取，超一流高校（如清北）的學生可以說是“近水樓臺”，比其他學生更容易“先得月”，也比較好地詮釋了KNN算法的工作原理。

結語

K最近鄰算法（KNN）可以說是一個非常經典、原理十分容易理解的算法。本文利用KNN算法解決了一個研究生入學考試成績的被錄取高校的分類預測問題，其實，K最近算法不僅能夠進行分類預測，也可以用于回歸，原理和其用于分類是相同的。

另外，利用KNN算法進行機器學習的過程中，對K值（Neighbors的數量）的選擇會對算法的結果產生重大影響。K值較小意味著只有與輸入實例較近的訓練實例才會對預測結果起作用，但容易發生過擬合；如果K值較大，優點是可以減少學習的估計誤差，但缺點是學習的近似誤差增大。有興趣的讀者朋友可以在上述Python代碼中修改K值，看看是否能得到不同的預測結果。