목록AI/논문 Review (6)
[논문 리뷰]FA-GAN: Fused Attentive Generative Adversarial Networks for MRI Image Super-Resolution
1. Introduction 이번 논문은 FA-GAN(Fused Attentive Generative Adversarial Network)에 대해서 소개할 것이다. FA-GAN은 enhancement의 일종으로써, MRI image가 주어졌을 때 여러 attention 기법들을 활용하여 low resolution인 부분을 high resolution으로 바꾸어주는 모델이다. 이름에서 볼 수 있듯이 GAN(Generative Adversarial Network)를 활용한다. 해당 논문을 이해하기 위해서 알아야 할 필수 용어들을 몇 가지 소개해보고자 한다. 1. Super-Resolution(SR): 저화질(Low-Resolution, LR) 이미지에서 고화질(High-Resolution, HR) 이미지를 ..
[논문 리뷰]Explaining and Harnessing Adversarial Examples
1. Introduction Adversarial examples란, 모델 내에 작은 교란을 일으켜 높은 confidence로 오분류를 하도록 하는 것을 뜻한다. 놀라운 사실은 특정 훈련 데이터를 여러가지 architecture로 학습시켰더라도, 하나의 adversarial example이 존재한다면 모든 architecture이 똑같은 adversarial example에 대한 오분류를 한다는 것이다. 이것은 학습 알고리즘의 근본적인 맹점이다. 학자들은 처음 adversarial example들이 등장했을 때 deep neural network의 비선형성, insufficient model averaging & regularization의 산물 때문에 이 현상이 발생하였다고 생각하였다. 그러나 본 논문..
[논문 리뷰]DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRF
1. Introduction Deep Convolutional Neural Networks(DCNNs) image classification, object detection 등의 전반적인 CV 분야에서 좋은 performance를 보여주는 데에 많은 영향을 끼쳤다. DCNN은 end-to-end 및 built-in invariance 성질을 지니고 있기 때문이다. 그러나 invariance는 semantic segmentation 같은 dense prediction task를 저하시킨다고 한다. 그래서 DCNNs을 semantic image segmentation에 적용시킬 때, 세 가지 challenge들이 존재한다. 1. Reduced feature resolution 2. Existence of o..
[논문 리뷰] Fast R-CNN
1. Abstract & Introduction 이번에는 Fast R-CNN에 대한 논문 리뷰를 해볼 것이다. Fast R-CNN(Fast Region-based Convolutional Network method)는 object detection에서 주로 사용한다. 기존 R-CNN보다 training & testing speed를 증대하고 detection accuracy를 높였다. Deep VGG16 network에서 Fast R-CNN은 R-CNN보다 9배 빨리 학습시켰고 test time에는 213배 빨랐다. PASCAL VOC 2012에서는 R-CNN보다 높은 mAP(mean-Average Precision)을 달성했다. Faster R-CNN은 SPPnet보다도 빠르고 정확한 결과값을 돌려준다..
[논문 리뷰]Transformer: Attention is All You Need
1. Introduction 언어 모델링, 기계 번역 등의 영역에서는 RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), Gated RNN 등이 주로 활용되어 왔다. 또한 attention을 활용하여 RNN의 성능을 더욱 극대화시켰다. 그럼에도 한계는 존재하였다. 2017년에 발표한 Transformer은 RNN을 제외하고 attention으로만 작동한다. 그럼에도 RNN보다 월등한 성능을 보였다. 그 이유는 바로 효율적인 병렬처리 때문인데, 이에 대한 것은 글을 써내려가면서 상술할 예정이다. 2. Background 기존의 ConvS2S, Bytenet 등 많은 프레임워크는 sequential computation을 활용하였다. 하지만 input..
[논문 리뷰]Alexnet- Image Classification with Deep Convolutional Neural Networks
이번 포스트는 Alexnet에 대한 정리를 할 것이다. 해당 논문을 읽으면서 정리했던 부분들을 업로드할 것이다. 1. Introduction Alexnet은 2012년에 출시된 딥러닝 프레임워크이다. 당시에는 dataset이 클 때 recognition task를 효율적으로 하기 어려웠다. 특히 Imagenet 같은 1500만 개의 이미지와 22,000개의 카테고리가 있는 대량의 데이터 저장소에서는 기존 MLP(Multi-Layer Perceptron) 기법의 비용적, 기술적 한계가 존재하였다. 물론 LeNet같은 기존의 CNN 기술이 존재하기는 했다. Neural network의 depth나 이미지 자체를 조절할 수도 있었고, MLP 보다 적은 parameter을 가져 계산도 용이했다. 하지만 비용이 ..