# 加載庫import numpy as npfrom fancyimpute import KNNfrom sklearn.preprocessing import StandardScalerfrom sklearn.datasets import make_blobs# 創建模擬特征矩陣features, _ = make_blobs(n_samples = 1000, n_features = 2, random_state = 1)# 標準化特征scaler = StandardScaler()standardized_features = scaler.fit_transform(features)standardized_features# 制造缺失值true_value = standardized_features[0,0]standardized_features[0,0] = np.nanstandardized_features# 預測features_knn_imputed = KNN(k=5, verbose=0).fit_transform(standardized_features)# features_knn_imputed = KNN(k=5, verbose=0).complete(standardized_features)features_knn_imputed# #對比真實值和預測值print('真實值:', true_value)print('預測值:', features_knn_imputed[0,0])# 加載庫import numpy as npfrom fancyimpute import KNNfrom sklearn.preprocessing import StandardScalerfrom sklearn.datasets import make_blobs​# 創建模擬特征矩陣features, _ = make_blobs(n_samples = 1000, n_features = 2, random_state = 1)​# 標準化特征scaler = StandardScaler()standardized_features = scaler.fit_transform(features)standardized_features# 制造缺失值true_value = standardized_features[0,0]standardized_features[0,0] = np.nanstandardized_features# 預測features_knn_imputed = KNN(k=5, verbose=0).fit_transform(standardized_features)# features_knn_imputed = KNN(k=5, verbose=0).complete(standardized_features)features_knn_imputed# #對比真實值和預測值print('真實值:', true_value)print('預測值:', features_knn_imputed[0,0])真實值: 0.8730186113995938預測值: 1.0955332713113226

補充：scikit-learn中一種便捷可靠的缺失值填充方法：KNNImputer

在數據挖掘工作中，處理樣本中的缺失值是必不可少的一步。其中對于缺失值插補方法的選擇至關重要，因為它會對最后模型擬合的效果產生重要影響。

在2019年底，scikit-learn發布了0.22版本，此次版本除了修復之前的一些bug外，還更新了很多新功能，對于數據挖掘人員來說更加好用了。其中我發現了一個新增的非常好用的缺失值插補方法：KNNImputer。這個基于KNN算法的新方法使得我們現在可以更便捷地處理缺失值，并且與直接用均值、中位數相比更為可靠。利用“近朱者赤”的KNN算法原理，這種插補方法借助其他特征的分布來對目標特征進行缺失值填充。

使用KNNImputer需要從scikit-learn中導入：

from sklearn.impute import KNNImputer

先來一個小例子開開胃，data中第二個樣本存在缺失值。

data = [[2, 4, 8], [3, np.nan, 7], [5, 8, 3], [4, 3, 8]]

KNNImputer中的超參數與KNN算法一樣，n_neighbors為選擇“鄰居”樣本的個數，先試試n_neighbors=1。

imputer = KNNImputer(n_neighbors=1)imputer.fit_transform(data)

可以看到，因為第二個樣本的第一列特征3和第三列特征7，與第一行樣本的第一列特征2和第三列特征8的歐氏距離最近，所以缺失值按照第一個樣本來填充，填充值為4。那么n_neighbors=2呢？

imputer = KNNImputer(n_neighbors=2)imputer.fit_transform(data)

此時根據歐氏距離算出最近相鄰的是第一行樣本與第四行樣本，此時的填充值就是這兩個樣本第二列特征4和3的均值：3.5。

接下來讓我們看一個實際案例，該數據集來自Kaggle皮馬人糖尿病預測的分類賽題，其中有不少缺失值，我們試試用KNNImputer進行插補。

import numpy as npimport pandas as pdimport pandas_profiling as ppimport matplotlib.pyplot as pltimport seaborn as snssns.set(context='notebook', style='darkgrid')import warningswarnings.filterwarnings(’ignore’)%matplotlib inline from sklearn.impute import KNNImputer

#Loading the datasetdiabetes_data = pd.read_csv(’pima-indians-diabetes.csv’)diabetes_data.columns = [’Pregnancies’, ’Glucose’, ’BloodPressure’, ’SkinThickness’,’Insulin’, ’BMI’, ’DiabetesPedigreeFunction’, ’Age’, ’Outcome’]diabetes_data.head()

在這個數據集中，0值代表的就是缺失值，所以我們需要先將0轉化為nan值然后進行缺失值處理。

diabetes_data_copy = diabetes_data.copy(deep=True)diabetes_data_copy[[’Glucose’,’BloodPressure’,’SkinThickness’,’Insulin’,’BMI’]] = diabetes_data_copy[[’Glucose’,’BloodPressure’,’SkinThickness’,’Insulin’,’BMI’]].replace(0, np.NaN) print(diabetes_data_copy.isnull().sum())

在本文中，我們嘗試用DiabetesPedigreeFunction與Age，對BloodPressure中的35個缺失值進行KNNImputer插補。

先來看一下缺失值都在哪幾個樣本：

null_index = diabetes_data_copy.loc[diabetes_data_copy[’BloodPressure’].isnull(), :].indexnull_index

imputer = KNNImputer(n_neighbors=10)diabetes_data_copy[[’BloodPressure’, ’DiabetesPedigreeFunction’, ’Age’]] = imputer.fit_transform(diabetes_data_copy[[’BloodPressure’, ’DiabetesPedigreeFunction’, ’Age’]])print(diabetes_data_copy.isnull().sum())

可以看到現在BloodPressure中的35個缺失值消失了。我們看看具體填充后的數據（只截圖了部分）：

diabetes_data_copy.iloc[null_index]

到此，BloodPressure中的缺失值已經根據DiabetesPedigreeFunction與Age運用KNNImputer填充完成了。注意的是，對于非數值型特征需要先轉換為數值型特征再進行KNNImputer填充操作，因為目前KNNImputer方法只支持數值型特征(ʘ̆ωʘ̥̆‖)՞。