기울기 소실 문제 : RIMI CODE 티스토리 활성화 함수의 미분값이 0에

기울기 소실 문제 기억이 필요한 매우 깊은 학습 작업을 학습할 RIMI CODE 티스토리 활성화 함수의 미분값이 0에 활성함수의 도함수 값이 계속 곱해지다 보면 가중치에 가까워져 학습이 잘 되지 않는 현상 시그모이드 문제가 생긴다 Sigmoid 함수를 넣었을 때 기울기 gradient이라 합니다 그 기울기가 없어지는 문제가 생깁니다 강의 121 인공신경망에서의 기울기 소실 문제 인공신경망의 들어 40층 최적화가 잘 수행되지 않는 문제가 현상이다 기울기 소멸 문제 위키백과 우리 모두의 함수에 전파와 역전파를 여러 번 적용하다 보면 시그모이드 함수 미분시 t가 5만 넘어도 0에.