Seri Machine Learning | Python Dimension Reduction | Principal Component Analysis (PCA) - #133

#TutorialBelajar #SeriMachineLearning


Halo, jumpa lagi dengan saya di vlog ke 133 melanjutkan tutorial belajar seri machine learning.
Untuk video kali ini, kita akan membahas model dimension reduction dari algoritma unsupervised learning, yang sebelumnya juga sudah ada bahasan 4 video tentang clustering yg juga masih di unsupervised learning.

Pada dasarnya, ada 4 algoritma untuk model dimension reduction, yaitu Principal Componen Analysis, Anomaly Detection (Outlier Detection), Auto-Encoder dan algoritma Hebbian Learning.

Untuk video pertama di model dimensional reduction yang akan kita bahas adalah PCA (1).
Jadi, PCA ini merupakan salah 1 algoritma yang digunakan untuk mereduksi dimensi data dan bekerja secara "misteri" dalam machine learning. Ada 2 alasan saya gunakan istilah "misteri", yg pertama kita gak akan ngerti gmn mesin bisa bekerja (walau ada teorinya) karena hanya ada 2 baris kode yang dipakai yaitu transform & fit transform.
Yg ke2, bahwa PCA bekerja dengan alat bantu algoritma lain yg bisa dgunakan seperti algoritma yg ada pada model regresi, klasifikasi & clustering. Untuk lebih memahami konsep PCA, kalian bisa gugel sendiri lah.

Misi dalam praktek ini, targetnya adalah memprediksi diterima tidaknya calon karyawan yang mengirimkan berkas lamaran pekerjaan, persis sama dengan yang ada di vlog 119, yang membahas tentang regresi logistik. Sehingga, basis library pun kurang lebih sama, cuman ada 3, yaitu pandas, seaborn & scikit. (2).

Oke, jadi langsung aja, source dasarnya pun kita bisa ambil dari vlog 119 (klik) atau regresi logistik fungsinya supaya durasi video ini bisa lebih pendek. Untuk vlog 119, link nya kalian bisa liat ada di atas sini. (3).

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn import metrics
import seaborn as sn
#import matplotlib.pyplot as plt

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

url = 'https://raw.githubusercontent.com/kokocamp/vlog119/main/vlog119.csv'
vlog133 = pd.read_csv(url)
vlog133.describe()

X = vlog133[['gpa', 'gmat','work_experience']]
y = vlog133['admitted']
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.25,random_state=0)

sn.scatterplot(x="gpa",y="admitted",data=vlog133,color="red",alpha=0.5)

sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

pca = PCA(n_components=3)
X_train = pca.fit_transform(X_train)
X_test = pca.transform(X_test)

logistic_regression= LogisticRegression()
logistic_regression.fit(X_train,y_train)
y_pred=logistic_regression.predict(X_test)

confusion_matrix = pd.crosstab(y_test, y_pred, rownames=['Actual'], colnames=['Predicted'])
sn.heatmap(confusion_matrix, annot=True)

print('Accuracy: ',metrics.accuracy_score(y_test, y_pred))
#plt.show()

print (X_test) #test dataset
print (y_pred) #predicted values

new_candidates = {'gpa': [2,3.7,3.3,2.3,3],
'gmat': [590,740,680,610,710],
'work_experience': [3,4,6,1,5]
}

df2 = pd.DataFrame(new_candidates,columns= ['gpa','gmat','work_experience'])
df2 = sc.transform(df2)
df2 = pca.transform(df2)
y_pred=logistic_regression.predict(df2)

print (df2)
print (y_pred)