KoreanFoodie's Study

해당 포스팅은 한빛 미디어에서 출판한 '밑바닥부터 시작하는 딥러닝'이라는 교재의 내용을 따라가며 딥러닝 튜토리얼을 진행하고 있습니다. 관련 자료는 여기에서 찾거나 다운로드 받으실 수 있습니다. 활성화 함수 계층 구현하기 이제 계산 그래프를 신경망에 적용해 보자. 우선은 활성화 함수은 ReLU와 Sigmoid 계층을 구현해 보자. ReLU 계층 활성화 함수로 상요되는 ReLU의 수식은 다음과 같다. 위 식에서 x에 대한 y의 미분은 다음과 같다. 위 식과 같이 순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘린다. 반면, 순전파 때 x가 0 이하면 역전파 때는 하류로 신호를 보내지 않는다(0을 보낸다). 계산 그래프로는 다음과 같이 그릴 수 있다. 이제 이 ReLU 계층을 구현해..