이번에 리뷰할 논문은 Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning 논문으로 LLM에서 FEFT라는 방법이 In-Context Learning보다 좋은 성능을 보일 수 있다는 논문입니다. 2023.11.02 기준 174회의 높은 인용수를 보이고 있습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Few-shot in-context learning(ICL)은 gradient based training 없이 이전에 보지 못한 task에 수행을 가능하게 합니다. 하지만 모든 training에 대한 example을 가지고 있어야 하므로 memory/sto..

이번에 리뷰할 논문은 ICLR 2023에 공개된 SURGICAL FINE-TUNING IMPROVES ADAPTATION TO DISTRIBUTION SHIFTS이라는 논문입니다. 교신 저자로 계신 분이 Chelsea Finn 교수님이셔서 Meta Learning을 연구하는 저에게는 매우 흥미가 가는 논문입니다. 참고로 Chelsea Finn 교수님은 MAML(Model Agnostic Meta Learning)이라는 아주 유명한 논문의 저자이십니다! 그럼 간단 논문 리뷰 시작해 보겠습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Distribution shift에서 pretrained model을 fine-tuning 하는 대표적인 방법으로는 마지막 ..