[DOING] Self-Supervised Representation Learning 정리

Self-supervised Learning은 비지도 학습의 하위 분야

(배경)

(연구 흐름)

- Pretext Task

: Unlabeled Dataset을 입력으로 받아서, 사용자가 정의한 문제(Pretext Task)를 네트워크가 학습하게 하여 데이터 자체에 대한 이해도를 높이고자 함.

: Pretext Task가 잘 짜여 졌다면, 네트워크가 Input을 효과적으로 Representation 할 수 있을 것으로 가정한다.

: Input을 네트워크가 효과적으로 Representation 하였다면, 사용자가 풀고자 하는 문제(Downstream Task)를 Transfer Learning 한다.

: 하지만, 이미지가 늘어날 수록 가짓수도 급속히 늘어나는(?) 문제가 존재

- Contrastive Learning

: 기준 논문 " Unsupervised Feature Learning via Non-Parametric Instance Discrimination(NPID)", CVRP2018

: Instance 간의 유사도를 Contrastive Learning 방식으로 학습하여(?) 모든 입력 이미지를 128 차원 특징 벡터로 변환
: Pretext Task와는 달리 클래스 갯수가 많아지는 문제를 해결 (e.g. 표범과 재규어는 하나의 클래스로 간주)

이하 관련 논문

(Exampler) "Discriminative unsupervised feature learning with exemplar convolutional neural networks", 2014 NIPS

- 하나의 Seed Image를 Data Augmentation 하여 Classification은 각각의 클래스를 하나의 정답 값으로 인식하도록 학습 시킨다.

(Relative Patch Location) "Unsupervised Visual Representation Learning by Context Prediction", ICCV 2015

- 한장의 이미지에서 패치를 나눠서 각 방향 패치가 중심 이미지로 부터 어느 방향에 위치 하는지를 학습 시킨다.

- 네트워크는 각 이미지의 포지션을 추측하게 된다(Context Prediction)

(Jigsaw Puzzles) "Unsupervised Learninig of Visual Representation by Solving Jigsaw Puzzles", ECCV 2016

- 위의 논문과 비슷하게 패치를 나누고, 랜덤한 순열을 생성하고 하나의 이미지로 부터 생성되었음을 학습시킨다.

- 2014 NIPS 논문과 유사하지만 마찬가지고 분류기의 클래스가 9! 으로 늘어나므로 유사 순열 이미지는 제거하였다.

(AutoEncoder) 이미지 복원 기반의 Representation Learning 연구들

"Representation Learning by Learning to Count", ICCV 2017

- 각 패치의 (눈, 귀, 입 과 같은) 특징 카운트 값은 이미지 전체에서의 특징 카운트 값과 동일하다는 '가정'으로 Representation 학습을 유도

- 다만, 특징 벡터(카운팅 벡터)가 카운트 값이 '0'이 되는 것을(=trivial solution) 막기 위해 전혀 다른 이미지를 넣고 로스가 큰 값을 가지게 하는 Contrastive Loss를 추가하였다

(외국 블로그 글 정리)

참고 자료

Decision Tree(개념편) (0)	2023.01.03

Donghoon Note