NOTES & IDEAS

배우고, 만들고, 기록합니다.

개발하며 배운 것과 다시 찾아보고 싶은 생각들.

모든 글 24

2026년 10월 22일 22:34 EDTENPM703 Deep Learning

[ENPM703] 03 — Batch Normalization: 평균·분산에서 역전파와 LayerNorm까지

중간 activation의 크기를 왜 조절할까? BatchNorm의 정규화 축, gamma·beta, 학습과 추론, 두 backward 구현과 FullyConnectedNet 연결을 숫자·수식·코드로 이해하고 LayerNorm으로 이어 간다.

2026년 10월 22일 22:26 EDTENAI601 Numerical Methods

양수 변수의 곱을 유지하면서 비용을 줄이는 작은 예제로 monomial·posynomial·로그 변환을 익힌다. GP를 볼록 문제로 바꾸고 최적점과 원래 비용을 복원하는 과정을 그림과 풀이로 연결한다.

2026년 10월 22일 22:01 EDTENPM703 Deep Learning

역전파 다음에는 무엇을 할까? FullyConnectedNet의 학습 흐름에서 출발해 SGD, Momentum, AdaGrad, RMSProp, Adam과 bias correction을 작은 숫자·수식·과제 코드로 연결한다.

2026년 10월 22일 21:03 EDTENPM703 Deep Learning

이미지와 feature의 구분부터 순전파·손실·역전파까지. dW, db, dX에서 무엇을 곱하고 어느 경로를 합하는지 작은 예제와 NumPy 코드로 이해한다.

2026년 10월 22일 17:26 EDTENAI601 Numerical Methods

1변수 제약 문제에서 출발해 여유와 승수, KKT 네 조건을 숫자로 익힌다. 3변수 자원 배분을 단계별로 풀고, Strong Duality·Slater의 근거와 Water Filling·SVM 응용을 연결한다.

2026년 10월 22일 16:58 EDTENAI601 Numerical Methods

최적값을 모르더라도 해의 품질을 평가하는 법. 작은 1변수 예제부터 Lagrangian, dual function, weak duality, LP·QP dual까지 단계별로 유도한다.

2026년 10월 22일 03:45 EDTENAI601 Numerical Methods

LP와 QP의 차이를 작은 포물선에서 시작해 Quadratic Form, Eigenvalue, PSD, 제약 최적점, 최소제곱과 두 다면체의 최단거리 문제로 연결한다.

2026년 10월 22일 03:05 EDTENAI601 Numerical Methods

LP의 affine 정식화, 등고선과 Gradient, 꼭짓점 정리의 조건, 최적성 증명, Diet Problem과 Chebyshev Center를 그림과 계산으로 연결한다.

2026년 10월 21일 23:04 EDTENAI601 Numerical Methods

목적함수와 제약조건에서 출발해 Domain·Feasible Set·Infimum·Optimal Point와 Active·Redundant Constraint를 구별한다

2026년 10월 21일 23:04 EDTENAI601 Numerical Methods

Affine Equality의 이유와 Local = Global 증명에서 Gradient의 방향·음수 성분을 거쳐 Optimality Criterion으로 후보점을 검증한다