Ensemble Learning (Bagging & Boosting)

랜덤 포레스트는 여러가지 Decision Tree의 합이다. 여러 가지 Decision Tree를 만든 후에 voting을 통해서 결과물을 어는다. Bagging은 샘플에서 샘플1에서 나온 모델1과 그 다음 샘플 2에서 나온 모델 2 그리고 모델 3처럼 parallel하게 만들어지고 더 로버스트한 모델을 만든다. Boosting은 Training이 sequential하게 각 분류기에 해당된다는 것이다. 샘플에서 모델1 -> 모델2 -> 모델3으로 가면서 성능이 향상된다.

 

XGBoost와 Logistics Regression의 성능을 비교해볼 수 있다. Bagging은 Parallisation하는 것이다.