목록2026/01/20 (1)
공부일기
ML/ 앙상블 학습, 랜덤 포레스트, 엑스트라 트리, 그라디언트 부스팅
정형 데이터를 다루는 데 가장 뛰어난 성과를 내는 알고리즘인 앙상블 학습 들에 대해서 알아보겠슈. 랜덤 포레스트대표적인 결정 트리 기반의 앙상블 학습 방법이다. 부트 스트랩 샘플을 사용하고 일부 특성을 선택하여 트리를 만든다. 부트 스트랩 샘플이란 예를 들어 1000개의 샘플이 있다면 1000개의 샘플을 중복해서 뽑는 것이다. RandomForestClassifier는 기본적으로 전체 특성 개수의 제곱근만큼의 특성을 선택한다. Regressor는 전체 특성을 사용한다. 기본적으로 100개의 결정 트리를 훈련하고, 분류 모델은 각 트리의 클래스별 확률을 평균하고 그중에서 더 높은 확률을 가진 클래스를 예측으로 삼고 회귀일때는 각 트리의 예측을 평균한다. from sklearn.ensemble import ..
ML
2026. 1. 20. 15:32