심층 신경망 학습1 [핸즈온머신러닝 11] 심층 신경망 학습 역전파 진행시 그레이디언트 소실과 폭주가 문제 1. 글로럿과 He 초기화 사용 -> 훈련 속도를 상당히 높일 수 있음 -> 글로럿(활성화 함수 없음), He(ReLU 및 변종들), 르쿤(SELU) 2. SELU>ELU>LeakyReLU>ReLU>tanh>로지스틱 순인데 속도가 중요하면 보편화된 ReLU gogo 3. 배치 정규화(출력 스케일 벡터, 출력 이동 벡터 이 두개는 역전파로 학습 최종 입력 평균 벡터, 최종 입력 표준편차 벡터는 지수 이동 평균으로 추정됨) -> 가중치 초기화에 네트워크가 덜 민감해지고, 큰 학습률 사용을 가능하게 해서 학습 속도가 빨라짐. + 규제 역할까지 ㄷㄷ 깊은 네트워크에서 쓰면 효율 극대화 4. 그레이디언트 클리핑 -> 폭주 완활르 위해 역전파시 일정 임곗값을 넘어서지 .. 2023. 12. 13. 이전 1 다음