핸즈온머신러닝2 [핸즈온머신러닝 11] 심층 신경망 학습 역전파 진행시 그레이디언트 소실과 폭주가 문제 1. 글로럿과 He 초기화 사용 -> 훈련 속도를 상당히 높일 수 있음 -> 글로럿(활성화 함수 없음), He(ReLU 및 변종들), 르쿤(SELU) 2. SELU>ELU>LeakyReLU>ReLU>tanh>로지스틱 순인데 속도가 중요하면 보편화된 ReLU gogo 3. 배치 정규화(출력 스케일 벡터, 출력 이동 벡터 이 두개는 역전파로 학습 최종 입력 평균 벡터, 최종 입력 표준편차 벡터는 지수 이동 평균으로 추정됨) -> 가중치 초기화에 네트워크가 덜 민감해지고, 큰 학습률 사용을 가능하게 해서 학습 속도가 빨라짐. + 규제 역할까지 ㄷㄷ 깊은 네트워크에서 쓰면 효율 극대화 4. 그레이디언트 클리핑 -> 폭주 완활르 위해 역전파시 일정 임곗값을 넘어서지 .. 2023. 12. 13. [핸즈온머신러닝 | 10강] 케라스 사용법 + 인공 신경망 소개 좋은 말들 한 층에 있는 모든 뉴런이 이전 층의 모든 뉴런과 연결되어 있을 때 이를 완전 연결 층 또는 밀집 층이라고 부름. 은닉층의 연결 가중치를 랜덤하게 초기화하는 것이 중요. 0으로 초기화 하면 다 똑같아짐 Keras 모델 맹글기 시퀀셜 API 사용해서 모델 뼈대 만들기 model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape = [28, 28]) model.add(keras.layers.Dense(300, activation="relu")) model.add(keras.layers.Dense(100, activation="relu")) model.add(keras.layers.Dense(10, activation="s.. 2023. 12. 11. 이전 1 다음