Solbi Lee님의 블로그

CIFAR-10에서 ResNet-18(직접구현) vs VGG19-BN: 최적화 안정성, 수렴 특성, 일반화 성능 비교 0. 목표와 설계 개요목표 Residual Learning의 실제 이점을 검증하기 위해, torchvision 미사용 직접 구현 ResNet-18을 CIFAR-10에 맞춰 학습하고, VGG19-BN과 동일한 학습 조건에서 성능·수렴 특성을 정량/정성 비교한다.가설 1. ResNet은 F(x)+x의 identity 경로로 인해 깊이가 같아도 학습이 더 안정되고 수렴이 빠르다.2. 동일 증강/스케줄에서 ResNet-18은 더 적은 파라미터로도 더 높은 테스트 정확도를 달성한다. 실험 설계 데이터 : CIFAR-10, 표준 정규화 + RandomCrop(32, pad=4), RandomHo..

1. ResNet의 핵심 아이디어인 Residual Learning 개념을 정리하세요.[ 개념 ] * 기존의 전체 함수 H(x)를 직접 학습하는 방식이 아닌 입력 x와 목표 출력 H(x) 간의 잔차에 해당하는 함수 F(x) = H(x) - x 를 학습하는 방식 * 최종 출력 : H(x) = F(x) + x * 네트워크가 굳이 H(x) 전체를 학습하지 않고도 identity function에 가까운 출력을 자연스럽게 보정할 수 있다. [ 왜 필요한가? ]1. 깊은 네트워크의 성능 저하 문제 (Degradation Problem)* 일반적인 CNN은 네트워크 깊이가 증가할수록 오히려 학습 정확도가 낮아지는 문제가 발생했다. 이는 과적합 때문이 아니라, 깊은 네트워크가 항등 함수조차 제대로 근사하지 못하는 ..