[ENPM703] 03 — Batch Normalization: 평균·분산에서 역전파와 LayerNorm까지
중간 activation의 크기를 왜 조절할까? BatchNorm의 정규화 축, gamma·beta, 학습과 추론, 두 backward 구현과 FullyConnectedNet 연결을 숫자·수식·코드로 이해하고 LayerNorm으로 이어 간다.
TAG · 3 POSTS
#deep-learning
[ENPM703] 02 — SGD에서 Adam까지: gradient로 weight를 바꾸는 방법
역전파 다음에는 무엇을 할까? FullyConnectedNet의 학습 흐름에서 출발해 SGD, Momentum, AdaGrad, RMSProp, Adam과 bias correction을 작은 숫자·수식·과제 코드로 연결한다.
[ENPM703] 01 — 신경망을 처음부터: Affine, ReLU, Loss와 역전파
이미지와 feature의 구분부터 순전파·손실·역전파까지. dW, db, dX에서 무엇을 곱하고 어느 경로를 합하는지 작은 예제와 NumPy 코드로 이해한다.