無監督學習的集成方法：相似性矩陣的聚類
作者：Nielsen Castelo Dama
在機器學習中，術語Ensemble指的是并行組合多個模型，這個想法是利用群體的智慧，在給出的最終答案上形成更好的共識。
在機器學習中，術語Ensemble指的是并行組合多個模型，這個想法是利用群體的智慧，在給出的最終答案上形成更好的共識。
這種類型的方法已經在監督學習領域得到了廣泛的研究和應用，特別是在分類問題上，像RandomForest這樣非常成功的算法。通常應用一些投票/加權系統，將每個單獨模型的輸出組合成最終的、更健壯的和一致的輸出。
在無監督學習領域，這項任務變得更加困難。首先，因為它包含了該領域本身的挑戰，我們對數據沒有先驗知識，無法將自己與任何目標進行比較。其次，因為找到一種合適的方法來結合所有模型的信息仍然是一個問題，而且對于如何做到這一點還沒有達成共識。
在本文中，我們討論關于這個主題的最佳方法，即相似性矩陣的聚類。
該方法的主要思想是：給定一個數據集X，創建一個矩陣S，使得Si表示xi和xj之間的相似性。該矩陣是基于幾個不同模型的聚類結果構建的。
二元共現矩陣
建模型的第一步是創建輸入之間的二元共現矩陣。
它用于指示兩個輸入i和j是否屬于同一個簇。
import numpy as np
from scipy import sparse
def build_binary_matrix( clabels ):
data_len = len(clabels)
matrix=np.zeros((data_len,data_len))
for i in range(data_len):
matrix[i,:] = clabels == clabels[i]
return matrix
labels = np.array( [1,1,1,2,3,3,2,4] )
build_binary_matrix(labels)
用KMeans構造相似矩陣
我們已經構造了一個函數來二值化我們的聚類，下面可以進入構造相似矩陣的階段。
我們這里介紹一個最常見的方法，只包括計算M個不同模型生成的M個共現矩陣之間的平均值。定義為:
這樣，落在同一簇中的條目的相似度值將接近于1，而落在不同組中的條目的相似度值將接近于0。
我們將基于K-Means模型創建的標簽構建一個相似矩陣。使用MNIST數據集進行。為了簡單和高效，我們將只使用10000張經過PCA降維的圖像。
from sklearn.datasets import fetch_openml
from sklearn.decomposition import PCA
from sklearn.cluster import MiniBatchKMeans, KMeans
from sklearn.model_selection import train_test_split
mnist = fetch_openml('mnist_784')
X = mnist.data
y = mnist.target
X, _, y, _ = train_test_split(X,y, train_size=10000, stratify=y, random_state=42 )
pca = PCA(n_components=0.99)
X_pca = pca.fit_transform(X)為了使模型之間存在多樣性，每個模型都使用隨機數量的簇實例化。
NUM_MODELS = 500
MIN_N_CLUSTERS = 2
MAX_N_CLUSTERS = 300
np.random.seed(214)
model_sizes = np.random.randint(MIN_N_CLUSTERS, MAX_N_CLUSTERS+1, size=NUM_MODELS)
clt_models = [KMeans(n_clusters=i, n_init=4, random_state=214)
for i in model_sizes]
for i, model in enumerate(clt_models):
print( f"Fitting - {i+1}/{NUM_MODELS}" )
model.fit(X_pca)下面的函數就是創建相似矩陣
def build_similarity_matrix( models_labels ):
n_runs, n_data = models_labels.shape[0], models_labels.shape[1]
sim_matrix = np.zeros( (n_data, n_data) )
for i in range(n_runs):
sim_matrix += build_binary_matrix( models_labels[i,:] )
sim_matrix = sim_matrix/n_runs
return sim_matrix調用這個函數：
models_labels = np.array([ model.labels_ for model in clt_models ])
sim_matrix = build_similarity_matrix(models_labels)最終結果如下:
來自相似矩陣的信息在最后一步之前仍然可以進行后處理，例如應用對數、多項式等變換。
在我們的情況下，我們將不做任何更改。
Pos_sim_matrix = sim_matrix對相似矩陣進行聚類
相似矩陣是一種表示所有聚類模型協作所建立的知識的方法。
通過它，我們可以直觀地看到哪些條目更有可能屬于同一個簇，哪些不屬于。但是這些信息仍然需要轉化為實際的簇。
這是通過使用可以接收相似矩陣作為參數的聚類算法來完成的。這里我們使用SpectralClustering。
from sklearn.cluster import SpectralClustering
spec_clt = SpectralClustering(n_clusters=10, affinity='precomputed',
n_init=5, random_state=214)
final_labels = spec_clt.fit_predict(pos_sim_matrix)與標準KMeans模型的比較
我們來與KMeans進行性對比，這樣可以確認我們的方法是否有效。
我們將使用NMI, ARI，集群純度和類純度指標來評估標準KMeans模型與我們集成模型進行對比。此外我們還將繪制權變矩陣，以可視化哪些類屬于每個簇。
from seaborn import heatmap
import matplotlib.pyplot as plt
def data_contingency_matrix(true_labels, pred_labels):
fig, (ax) = plt.subplots(1, 1, figsize=(8,8))
n_clusters = len(np.unique(pred_labels))
n_classes = len(np.unique(true_labels))
label_names = np.unique(true_labels)
label_names.sort()
contingency_matrix = np.zeros( (n_classes, n_clusters) )
for i, true_label in enumerate(label_names):
for j in range(n_clusters):
contingency_matrix[i, j] = np.sum(np.logical_and(pred_labels==j, true_labels==true_label))
heatmap(contingency_matrix.astype(int), ax=ax,
annot=True, annot_kws={"fontsize":14}, fmt='d')
ax.set_xlabel("Clusters", fontsize=18)
ax.set_xticks( [i+0.5 for i in range(n_clusters)] )
ax.set_xticklabels([i for i in range(n_clusters)], fontsize=14)
ax.set_ylabel("Original classes", fontsize=18)
ax.set_yticks( [i+0.5 for i in range(n_classes)] )
ax.set_yticklabels(label_names, fontsize=14, va="center")
ax.set_title("Contingency Matrix\n", ha='center', fontsize=20)
from sklearn.metrics import normalized_mutual_info_score, adjusted_rand_score
def purity( true_labels, pred_labels ):
n_clusters = len(np.unique(pred_labels))
n_classes = len(np.unique(true_labels))
label_names = np.unique(true_labels)
purity_vector = np.zeros( (n_classes) )
contingency_matrix = np.zeros( (n_classes, n_clusters) )
for i, true_label in enumerate(label_names):
for j in range(n_clusters):
contingency_matrix[i, j] = np.sum(np.logical_and(pred_labels==j, true_labels==true_label))
purity_vector = np.max(contingency_matrix, axis=1)/np.sum(contingency_matrix, axis=1)
print( f"Mean Class Purity - {np.mean(purity_vector):.2f}" )
for i, true_label in enumerate(label_names):
print( f" {true_label} - {purity_vector[i]:.2f}" )
cluster_purity_vector = np.zeros( (n_clusters) )
cluster_purity_vector = np.max(contingency_matrix, axis=0)/np.sum(contingency_matrix, axis=0)
print( f"Mean Cluster Purity - {np.mean(cluster_purity_vector):.2f}" )
for i in range(n_clusters):
print( f" {i} - {cluster_purity_vector[i]:.2f}" )
kmeans_model = KMeans(10, n_init=50, random_state=214)
km_labels = kmeans_model.fit_predict(X_pca)
data_contingency_matrix(y, km_labels)
print( "Single KMeans NMI - ", normalized_mutual_info_score(y, km_labels) )
print( "Single KMeans ARI - ", adjusted_rand_score(y, km_labels) )
purity(y, km_labels)
data_contingency_matrix(y, final_labels)
print( "Ensamble NMI - ", normalized_mutual_info_score(y, final_labels) )
print( "Ensamble ARI - ", adjusted_rand_score(y, final_labels) )
purity(y, final_labels)
從上面的值可以看出，Ensemble方法確實能夠提高聚類的質量。我們還可以在權變矩陣中看到更一致的行為，具有更好的分布類和更少的“噪聲”。
責任編輯：華軒
來源：
DeepHub IMBA
