욤미의 개발일지

NIPS 2020 Workshop GitHub Paper Background 전이 학습(Transfer Learning) 대규모 데이터셋으로 사전 학습된(pre-trained) 모델의 가중치를 초기 가중치로 사용 Task가 달라도 데이터가 유사한 특징을 가진다면 학습 속도 개선 및 정확도 향상 가능 새로 학습하는 데이터셋이 작은 경우에도 높은 정확도 달성 가능 Pre-trained Model Transfer Model Freezing: 앞부분의 레이어는 얼려서 학습하지 않고 마지막에 내 task에 맞게 교체한 레이어만 학습하는 방법 Fine-tuning: 모든 레이어를 다 미세하게 조정해서 학습하는 방법 GAN(2014) 인위적인 샘플을 진짜처럼 합성하는 것을 목표로 하는 모델 Generator(G): ..