논문 리뷰(Paper Review) 썸네일형 리스트형 [ICLR 2021] An Image Is Worth 16X16 Words:Transformers For Image Recognition At Scale 서론 - 비전에서 Attention은 CNN 결합 시켜 사용하거나, 대체될 수 있다. 이를 Image Classification Task를 통해 보인다. - 큰 용량 데이터 셋에서 학습한 후, 이를 중간 혹은 작은 사이즈의 벤치마크(ImageNet, CIFAR, VTAB etc)로 Transfer Learning을 하면 VIT는 적은 컴퓨팅 자원으로도 우수한 결과를 보인다. 1. Intro - Transformer의 계산 효율성(Efficiency)과 확장성(Scalability) 덕분에 100B의 매개변수로도 학습이 가능 - Transformer의 NLP에서 성공에 영감을 받아 아래의 두 논문 같은 경우는 CNN을 Transformer로 완전히 대체하기도 하였다. (Prajit Ramachandran,.. 더보기 GIDS: GAN based Intrusion Detection System for In-Vehicle Network GIDS: GAN based Intrusion Detection System for In-Vehicle Network 1) 모델 A. Converting CAN Data to Image - CAN ID 패턴을 추출한다. ID를 One-hot-vector로 변환. - 예를들어, 0x2a0는 (16 by 3) 행렬 형태가 된다. - 두개의 구분자(Discriminator)가 있다. 2) 학습 방법 - 1) Training for known attack: : 첫번째 구분자는 normal CAN과 abnormal CAN을 수신한다. 첫번째 구분자는 탐지할 수 있는 공격의 범위는 학습에 사용된 공격으로 제한될 수 있다. - 2) Training for unknown attack: : 생성자와 2번째 구분자가 동시.. 더보기 [NIPS 2020] Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks. De, S. and Smith, S. Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks. De, S. and Smith, S, In NIPS 2020. "We show that this key benefit arises because, at initialization, batch normalization downscales the residual branch hidden activations on the residual branch relative to the skip connection, by a normalizing factor on the order of the square root of the network depth" ==.. 더보기 이전 1 2 3 다음
