[ENPM703] 03 — Batch Normalization: 평균·분산에서 역전파와 LayerNorm까지
중간 activation의 크기를 왜 조절할까? BatchNorm의 정규화 축, gamma·beta, 학습과 추론, 두 backward 구현과 FullyConnectedNet 연결을 숫자·수식·코드로 이해하고 LayerNorm으로 이어 간다.
TAG · 1 POSTS
TAG · 1 POSTS
중간 activation의 크기를 왜 조절할까? BatchNorm의 정규화 축, gamma·beta, 학습과 추론, 두 backward 구현과 FullyConnectedNet 연결을 숫자·수식·코드로 이해하고 LayerNorm으로 이어 간다.