GP 모델링: Gaussian Process Definition

Gaussian Process Regression (GPR)

1. Gaussian Process (GP)는 무엇인가?
   • 전통적으로 Classification이나 Regression과 같은 Supervised Learning은 Parametric 모델들을 통해 풀어왔음
   • 여기서 말하는 Parametric Model 들은 모델 학습동안 Training data의 정보를 model의 parameter에 absorbs(흡수) 시키는 방법들을 의미함
   • 이러한 모델들은 설명 가능하다는 장점을 가지나 복잡한 데이터 셋에서는 제대로 작동하기 힘듦
   • 이러한 상황에서 SVM이나 GP와 같은 Kernel based model의 등장은 보다 유연한 지평을 열게 됨
2. Gaussian Process Definition
   • 임의의 집합 S가 있을 때, S에 대한 GP는 Random variable들의 set임
     • s.t 각 random variable은 joint Gaussian Distribution간단하게, GP는 Random variable들의 집함

 

 

 

3. Gaussian Process 예시

• 우리는 위 수식 Gaussian Distribution f~N(m, 시그마)를 통해 Random Vector 생성이 가능함
  • GP를 사용하게 되면 M에 분포를 가지고, 이 분포에 대해서 어느 점에 찍힐 수 있다, 보다 유연하게 우리가 데이터를 생성할 수 있다! 기존의 머신러닝 파라메트릭 방법과는 다르다라고 볼 수 있음..평균 m에 covariance matrix 합을 통해 계산 된 noise를 더함

 

 

Bayesian Inference

• GP를 통해서 데이터를 어떻게 예측할 것인가?
• 그래서 Bayesian Inference를 사용하게 됨

1. Bayes’ Theorem

• Posterior (사후확률): P(X|Y)
• Prior (사전확률): P(X)
• evidence에 따라 확률이 달라질 수 있음..
  1. Bayes’ Theorem

  

  

  
  
  • Posterior (사후확률): P(X|Y)
  • Prior (사전확률): P(X)
  • evidence에 따라 확률이 달라질 수 있음..
  •  
  • 앞서 구한 GP를 Prior로 사용해서 Bayesian Inference 진행
  • Prior가 있기 때문에, Likelihood 즉 data가 있으면 Posterior를 구할 수 있음 → Prediction 가능

 

• 순서대로 m(x) 평균, K(x, x’) 공분산
• 마지막 Kd(x, x’)은

기존에 있던 k(x, x’) 텀에 뒤에 수식을 빼고 생각했을 때,

kd(x, x’) = k(x, x’)로 알 수 있으니까… 양수 term이다!

 

기존에는 쉐이딩 영역이 넓으나, prior를 사용해서 posterior를 구한 다음에 그래프를 그려보면, 동일한 95% confidence임에도 불구하고 uncertaion 쉐이딩 영역이 작아짐을 확인할 수 있음.

이러한 이점을 통해서 예측에서 Uncertain을 줄일 수 있다!

 

 

2. Bayesian Inference 문제점

• 하지만, 우리가 다룰 real data는 prior를 모르는 상황이 일반적임
  • 이를 해소하기 위해 데이터를 최적화 하기 위한 식을 세운 후 파라미터 최적화 진행 (conjugate gradient 방식 이용)
  • Covariance를 구하는 계산 복잡도가 O(n^3)으로 상당히 큰 편임

 

ref.

https://www.youtube.com/watch?v=9NeDYW9BfpQ