내가 이걸 만들게 된 계기는 관심을 가지는 분야 중 하나인 Soft prompt tuning에 대한 통합적인 코드가 없었고 베이스 모델인 T5 안에서 프롬프트가 동작하기에 메서드를 한눈에 알아보기가 어려웠다! 그래서 베이스라인 코드를 잡고 거기서 일부 코드를 수정해서 사용성을 조금 더 올라가게 만들어 보고자 개발을 했다 (사실 내 연구하려고 약간 수정한 거임). 기존 Soft prompt 방법들 중 대표적인 방법은 Prefix tuning (https://arxiv.org/pdf/2101.00190.pdf)으로 위와 같이 Prefix라고 하는 파인튜닝을 위한 토큰을 맨 앞에 추가함으로써 기존의 Fine-tuning보다 더 효율적으로 학습하는 것을 의미한다. 뭐.. 이런 게 시초가 되어서 인풋 임베딩 레이..

이번에 리뷰할 논문은 Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning 논문으로 LLM에서 FEFT라는 방법이 In-Context Learning보다 좋은 성능을 보일 수 있다는 논문입니다. 2023.11.02 기준 174회의 높은 인용수를 보이고 있습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Few-shot in-context learning(ICL)은 gradient based training 없이 이전에 보지 못한 task에 수행을 가능하게 합니다. 하지만 모든 training에 대한 example을 가지고 있어야 하므로 memory/sto..