[딥러닝] 과대적합 (Overfitting)

과대적합 이란?

- 학습 데이터를 너무 세분화하게 학습하여, 새로운 데이터에 대한 성능이 좋지 않은 현상

- 모델의 크기가 너무 클 경우 발생할 수 있음

 

해결책

1) Dropout

- 학습 과정에서 랜덤한 몇개의 신경을 비활성화하고, 가중치를 분배하는 것

 

2) Batch Normalization

- 미니 배치의 신경망의 출력값을 정규화

 

3) 정칙화 (Regularization)

- 모델의 가중치를 규제하여 과적합을 방지하는 기법

- 손실 함수에 페널티를 추가하여, 모델이 학습 데이터에 대한 손실만 보고 학습되는 것을 방지

- L2 정칙화는 가중치의 제곱의 합을 손실 함수에 더하는 방식해, 모든 가중치들이 최소한의 영향력 가지게 함

- 딥러닝에서 기본적으로 사용하는 정칙화 기법이며, Optimizer에서 "weight_decay" 파라미터로 적용 가능