새롭게 리뷰할 논문은 TTN: A DOMAIN-SHIFT AWARE BATCH NORMALIZATION IN TEST-TIME ADAPTATION입니다. ICLR 2023년 논문으로 퀄컴과 카이스트에서 제출한 논문입니다. Test time adaptation이라는 train과 test에서 발생하는 domain shift를 해결하기 위한 논문으로 간단 리뷰 시작하겠습니다! 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract 최근 Test time adaptation 분야에서는 train에 사용했던 running mean과 variance를 사용하는 Conventional Batch Normalization(CBN)이 아닌 test batch에서의 running mean..

이번에 리뷰할 논문은 Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning 논문으로 LLM에서 FEFT라는 방법이 In-Context Learning보다 좋은 성능을 보일 수 있다는 논문입니다. 2023.11.02 기준 174회의 높은 인용수를 보이고 있습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Few-shot in-context learning(ICL)은 gradient based training 없이 이전에 보지 못한 task에 수행을 가능하게 합니다. 하지만 모든 training에 대한 example을 가지고 있어야 하므로 memory/sto..

이번에 리뷰할 논문은 ICLR 2023에 공개된 SURGICAL FINE-TUNING IMPROVES ADAPTATION TO DISTRIBUTION SHIFTS이라는 논문입니다. 교신 저자로 계신 분이 Chelsea Finn 교수님이셔서 Meta Learning을 연구하는 저에게는 매우 흥미가 가는 논문입니다. 참고로 Chelsea Finn 교수님은 MAML(Model Agnostic Meta Learning)이라는 아주 유명한 논문의 저자이십니다! 그럼 간단 논문 리뷰 시작해 보겠습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Distribution shift에서 pretrained model을 fine-tuning 하는 대표적인 방법으로는 마지막 ..

첫 번째로 리뷰할 논문은 Google AI에서 제안한 Decentralized Learning with Multi-Headed Distillation이라는 논문입니다. 제목에서 느껴지듯이 Multi head를 통한 distillation이라는 점과 Google에서 제안한 논문이라는 점에 궁금해서 읽게 되었습니다. 간단하게 리뷰해도록 하겠습니다! 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract 본 눈문에서는 개인 데이터를 가진 에이전트들이 서로의 데이터, 가중치를 공유하지 않고도 학습 가능한 새로운 Decentalized learning을 제안합니다. 특히, 그들은 개인 에이전트들의 multiple auxiliary head들이 Knowledge distillati..