Unsupervised LDA

클래스 레이블 정보 없이 데이터셋의 판별 정보를 찾는 방법을 탐색

이는 데이터의 구조를 이해하거나 차원을 축소하는 데 사용될 수 있다. 비지도 LDA 는 데이터의 내재된 구조를 발견하려고 시도하며, 이는 주로 데이터의 클러스터링을 통해 이루어진다.

It is basement on classification in supervised learning. Please refer to LDA page in supervised learning, classification.
Linear Discriminant Analysis (LDA)

Unsupervised LDA

---

---

• Discriminant function $p_k(x)$ 에 대한 results 를 return 하는 함수.

• Boundary formation 은 $\sigma_1(x)=\sigma_2(x)$ 를 통해 얻을 수 있다.

Dimension Reduction with LDA

---

---

PCA is unsupervised method. 데이터의 전체적인 variance 을 refer 해 find out principal components, 새로운 feature 로 data projection 하는 것이 목적

LDA is methodology to find an axis in a supervised way and project the data

이전의 method 는 Bayes’ rule’s likelihood model (확률 모형) 으로부터 figure out 된 way.

View to variance, LDA 를 똑같이 figure-out. Usable in dimension reduction.

데이터의 dimension reduction 후에, data in same class 안에서의 variance (within variance) 는 minimize, another class 에서의 variance (between variance) 는 maximize.

Number of class : 2, 2-dimensional data, x 를 previous purpose 를 만족하는 unit vector, w 로 project

Project data x to w, 1-dimensional 에서의 coordinate, p 로 정의.

• $p_i=w^Tx_i$

각각의 class’ center vector $m_1,m_2$ 정의

• $m_1=\frac1{N_1}\sum_{y_i\in C_1}x_i, m_2=\frac1{N_2}\sum_{y_i\in C_2}x_i$

Center vector 또한, unit vector, w 로 projection

• $\overline p_k=w^Tm_k$

Within variance

Between variance

위 두 variance 를 이용한 object function (목적식) $J(w)$

Object function 을 Differential 할 때, 0 이 되는 지점에서 maximum

• $S_Bw-J(w)S_Ww=0$
• $(S^{-1}_WS_B)w=J(w)w$

결국, object function 을 maximize 하는 direction vector 는 $S^{-1}_WS_B$ matrix 의 first eigenvector 이다.

Eigenvalue 가 maximum 일 때, eigenvector 로 data projection 하여 dimension reduction.

이 때의 eigenvector 는 likelihood model 을 통해 얻은 boundary of decision 과 related in perpendicular.