sigmoid 3

퍼셉트론과 다층퍼셉트론, 활성화함수

1. 퍼셉트론 - 가장 간단한 형태의 인공신경망 - 입력 값과 해당 가중치의 곱을 모두 더한 값에 편향을 더하고, 이를 활성화 함수로 변환해 이진출력을 생성- 학습 과정에서는 출력값이 실제 값과 다를 경우, 가중치를 조정하는 방식으로 학습이 이루어진다. - 단층 구조로, 선형적으로 분리 가능한 문제를 해결할 수 있었지만, XOR 같은 비선형적으로 분리되는 문제를 해결하지 못하는 한계가 있다. - 같을 땐 0, 다를 땐 1 # 논리 회귀(단층 퍼셉트론)로 AND 문제 풀기 (둘 다 1일 경우에만 1)import torchimport torch.nn as nnimport torch.optim as optimX = torch.FloatTensor([[0, 0], [0, 1], [1, 0], [1, 1]])y..

AlexNet 논문에서 ReLU를 사용한 이유 직접 실험해보기, Sigmoid 함수의 정확도는 왜 이렇게 나왔을까?

1. 목표 - 동일한 모델 구조에서 ReLU와 Sigmoid를 각각 적용해 학습해보고, 속도와 성능 차이를 비교 1) 활성화 함수 파라미터화된 AlexNet 클래스 만들기 act_fn 인자로 nn.ReLU 또는 nn.Sigmoid를 넘겨 주면, 모델의 모든 활성화가 해당 함수로 바뀐다. import torch.nn as nndef get_activation(act_fn): """ act_fn이 nn.ReLU면 inplace=True 옵션을 주고, 그 외(예: nn.Sigmoid)면 기본 생성자로 인스턴스화하기 """ if act_fn is nn.ReLU: return act_fn(inplace=True) else: return act_fn()cl..

논문 리뷰 2025.08.04

AlexNet 아키텍처 직접 구현 및 CPU vs GPU 실험 (정확도가 다르게 나온 이유?)

1. 목표 AlexNet 직접 구현 torchvision.models의 AlexNet을 사용하지 않고, 논문 구조를 참고해 직접 CNN 모델을 구현 (Optimizer은 Adam으로 변경)사용할 데이터 셋은 kaggle의 포트홀 데이터 선택 CPU vs GPU 학습 성능 비교 실험동일한 조건으로 CPU와 GPU 각각에서 학습 진행 학습 시간과 정확도를 표 또는 그래프로 비교 분석 1. AlexNet 직접 구현 # kaggle API를 통해 데이터셋 불러오기 from google.colab import filesfiles.upload() # kaggle.json 업로드 창 표시!mkdir -p ~/.kaggle!cp kaggle.json ~/.kaggle/!chmod 600 ~/.kaggle/kagg..

논문 리뷰 2025.08.04