오늘 하루 종일 파인튜닝이라는 개념을 파헤쳤다. 처음엔 단순히 "모델은 내 데이터로 다시 학습시키는 것" 정도로만 이해했는데 학습 기법에도 여러가지가 있었다. 파인튜닝이 뭔지 이해하려고 삽질한 과정 Q. 왜 처음부터 학습하면 안되는가? GPT나 BERT 같은 모델들이 이미 완성된 상태인데 왜 또 학습을 시켜야되는지 의문이었다. 여러 자료를 찾아보니 핵심은 일반화 VS 특화 였다. 대형 언어 모델들은 인터넷의 거의 모든 텍스트로 학습되어있다. 위키피디아, 뉴스, 소설, 논문, 댓글까지 이렇게 학습된 모델은 일반적인 언어 패턴은 잘 이해하지만 내가 원하는 특정 작업(보고서 작성) 에는 최적화되어있지 않다. 예를 들어보자면 GPT-4는 일반적인 대화는 잘하지만, 내가 만약 의료진을 위한 AI를 만들고 싶..