Pytorch로 딥러닝하기 : 60분만에 끝장내기 - 신경망(Neural Networks)

신경망(NEURAL NETWORKS)

torch.nn 패키지

신경망을 생성하는 패키지.

 

 

신경망 정의하기

 

 

 

 

 

 

손실 함수 (Loss Function)

- 입력값 :  (output, target)을 한 쌍(pair).

- 출력(output)이 정답(target)으로부터 얼마나 멀리 떨어져있는지 추정하는 값을 계산함.

 

nn.MSEloss : 출력과 대상간의 평균제곱오차(mean-squared error)를 계산.

 

 

역전파(Backprop)

loss.backward() : 오차(error)를 역전파하기 위해 사용.

 

 

 

 

가중치 갱신

확률적 경사하강법(SGD; Stochastic Gradient Descent)

가중치(wiehgt) = 가중치(weight) - 학습율(learning rate) * 변화도(gradient)

 

torch.optim 패키지

 :  SGD, Nesterov-SGD, Adam, RMSProp 등과 같은 다양한 갱신 규칙이 구현되어 있음.