이번에 리뷰할 논문은 Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning 논문으로 LLM에서 FEFT라는 방법이 In-Context Learning보다 좋은 성능을 보일 수 있다는 논문입니다. 2023.11.02 기준 174회의 높은 인용수를 보이고 있습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Few-shot in-context learning(ICL)은 gradient based training 없이 이전에 보지 못한 task에 수행을 가능하게 합니다. 하지만 모든 training에 대한 example을 가지고 있어야 하므로 memory/sto..

이번에 리뷰할 논문은 ICLR 2023에 공개된 SURGICAL FINE-TUNING IMPROVES ADAPTATION TO DISTRIBUTION SHIFTS이라는 논문입니다. 교신 저자로 계신 분이 Chelsea Finn 교수님이셔서 Meta Learning을 연구하는 저에게는 매우 흥미가 가는 논문입니다. 참고로 Chelsea Finn 교수님은 MAML(Model Agnostic Meta Learning)이라는 아주 유명한 논문의 저자이십니다! 그럼 간단 논문 리뷰 시작해 보겠습니다. 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract Distribution shift에서 pretrained model을 fine-tuning 하는 대표적인 방법으로는 마지막 ..

첫 번째로 리뷰할 논문은 Google AI에서 제안한 Decentralized Learning with Multi-Headed Distillation이라는 논문입니다. 제목에서 느껴지듯이 Multi head를 통한 distillation이라는 점과 Google에서 제안한 논문이라는 점에 궁금해서 읽게 되었습니다. 간단하게 리뷰해도록 하겠습니다! 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract 본 눈문에서는 개인 데이터를 가진 에이전트들이 서로의 데이터, 가중치를 공유하지 않고도 학습 가능한 새로운 Decentalized learning을 제안합니다. 특히, 그들은 개인 에이전트들의 multiple auxiliary head들이 Knowledge distillati..

아래의 내용은 David Silver교수님의 강의 자료를 통해 정리했으며 팡요랩 강화 학습 강의를 기반으로 내용을 정리했다. https://www.youtube.com/watch?v=NMesGSXr8H4&ab_channel=%ED%8C%A1%EC%9A%94%EB%9E%A9Pang-YoLab 현재 meta learning에서 MAML에 대해 공부하고 있는데 MAML + RL에 대한 내용이 있어서 이왕 하는 김에 RL 공부를 간단하게 해보고자 한다. 1강은 강화학습이 뭔지? 강화학습에서 사용되는 용어, 개념에 대한 내용이 주를 이루고있다. 핵심이 되는 내용만 간단하게 정리할 예정으로.. 시작해 보자! 강화학습이란? 시행착오를 통해 학습하며 에이전트(학습하는 주체?)가 실수, 보상을 통해 학습을 하여 목표를 ..