최근에 퀀텀 컴퓨팅에 관심을 가지게 되면서, 석사 과정동안 열심히 연구 했던 (LLM, VISION) 분야를 적용해보고 싶다는 욕심이 생겼다.회사를 다니느라 시간이 없지만, 틈틈이 Quantum Machine Learning (QML) 공부를 해보고자 한다! (미래에 QML 시대가 올 지?) 공부는 아래와 같은 사이트를 통해 해보고자 한다. https://qml-tutorial.github.io/chapter1/ Chapter 1 Introduction of QMLIntroduction The advancement of computational power has always been a driving force behind every major industrial revolution. The invent..

1탄(https://jjongyn.tistory.com/35)에 이어서 본격적으로 아래와 같은 목표를 달성해 보기 위해 베이스 코드의 구조를 수정해 보자. 1. Method들이 자신들의 코드를 자유자재로 추가할 수 있어야 함 -> 각 메서드마다 파일 하나에서 모든 것이 동작하도록 수정 2. 각 method들에 대한 하이퍼 파라미터를 설정하는 게 쉬워야 함 -> 메서드별로 하이퍼 파라미터를 수정하는 Configure 파일을 만들도록 수정 3. 모델을 Freeze 할 때, 일일이 변수명을 추가해 줄 필요가 없어야 함 -> 기존과 같이 'prefix'의 변수명으로 해당 파라미터를 freeze 하는 게 아닌 prompt라는 객체를 선언 후 그 자체를 freeze 함으로써 모든 메서드들이 각자의 파라미터를 일일이..

내가 이걸 만들게 된 계기는 관심을 가지는 분야 중 하나인 Soft prompt tuning에 대한 통합적인 코드가 없었고 베이스 모델인 T5 안에서 프롬프트가 동작하기에 메서드를 한눈에 알아보기가 어려웠다! 그래서 베이스라인 코드를 잡고 거기서 일부 코드를 수정해서 사용성을 조금 더 올라가게 만들어 보고자 개발을 했다 (사실 내 연구하려고 약간 수정한 거임). 기존 Soft prompt 방법들 중 대표적인 방법은 Prefix tuning (https://arxiv.org/pdf/2101.00190.pdf)으로 위와 같이 Prefix라고 하는 파인튜닝을 위한 토큰을 맨 앞에 추가함으로써 기존의 Fine-tuning보다 더 효율적으로 학습하는 것을 의미한다. 뭐.. 이런 게 시초가 되어서 인풋 임베딩 레이..

2023년을 끝으로 석사 1년 차가 끝났다. 나는 1년 동안 Meta-learning이라는 분야를 연구했고, 중간에 Unlearning, 경량화와 같은 다양한 분야에 대한 연구도 진행했다. 아직 논문이 accept 되지는 않았지만 훌륭한 교수님 덕분에 논문을 한 편 빠르게 쓸 수 있었다. 연구를 할 때, 백지를 꺼내놓고 새로운 아이디어를 찾기 위해 계속 노력했다. 이 과정이 쉽지는 않았다. 내 머릿속에서 생각해 낸 단순한 방법들은 이미 논문으로 나와있거나, 성능이 아쉬웠다. 이렇게 나의 연구일지에 적혀있는 아이디어들이 매우 많다. 논문을 쓰려고 오버리프까지 만들고 접힌 아이디어들도 많다. 이렇듯 나의 2023년은 아쉬움의 연속이었다. 그래도 하나 말 할 수 있는 것은 정말 오랫동안 앉아서 논문을 읽고 아..