첫 번째로 리뷰할 논문은 Google AI에서 제안한 Decentralized Learning with Multi-Headed Distillation이라는 논문입니다. 제목에서 느껴지듯이 Multi head를 통한 distillation이라는 점과 Google에서 제안한 논문이라는 점에 궁금해서 읽게 되었습니다. 간단하게 리뷰해도록 하겠습니다! 리뷰한 내용의 부족한 점, 잘못된 점에 대한 피드백은 언제든 환영합니다! Abstract 본 눈문에서는 개인 데이터를 가진 에이전트들이 서로의 데이터, 가중치를 공유하지 않고도 학습 가능한 새로운 Decentalized learning을 제안합니다. 특히, 그들은 개인 에이전트들의 multiple auxiliary head들이 Knowledge distillati..