노루의 점핑일대기

1. Introduction 이번 논문은 FA-GAN(Fused Attentive Generative Adversarial Network)에 대해서 소개할 것이다. FA-GAN은 enhancement의 일종으로써, MRI image가 주어졌을 때 여러 attention 기법들을 활용하여 low resolution인 부분을 high resolution으로 바꾸어주는 모델이다. 이름에서 볼 수 있듯이 GAN(Generative Adversarial Network)를 활용한다. 해당 논문을 이해하기 위해서 알아야 할 필수 용어들을 몇 가지 소개해보고자 한다. 1. Super-Resolution(SR): 저화질(Low-Resolution, LR) 이미지에서 고화질(High-Resolution, HR) 이미지를 ..

이번 포스트에서는 Variational Autoencoders(VAE)에 대하여 설명해보고자 한다. 해당 이론은 Stanford University의 cs231n 강의를 참조하여 작성하였다. 1. Autoencoders VAE 설명에 들어가기에 앞서 autoencoder에 대한 설명을 먼저 할 것이다. VAE는 autocencoder을 응용시킨 모델이기 때문이다. Autoencoder은 비지도학습 모델의 종류 중 하나이다. 라벨링이 되어 있지 않은 훈련 데이터로부터 lower-dimensional feature representation을 학습한다. 아래 이미지 같은 경우 input x를 통하여 z라는 feature을 encoder을 통하여 생성한다. 그리고 앞서 언급한 바에 따라 z는 x보다 차원이 축..

1. Introduction Adversarial examples란, 모델 내에 작은 교란을 일으켜 높은 confidence로 오분류를 하도록 하는 것을 뜻한다. 놀라운 사실은 특정 훈련 데이터를 여러가지 architecture로 학습시켰더라도, 하나의 adversarial example이 존재한다면 모든 architecture이 똑같은 adversarial example에 대한 오분류를 한다는 것이다. 이것은 학습 알고리즘의 근본적인 맹점이다. 학자들은 처음 adversarial example들이 등장했을 때 deep neural network의 비선형성, insufficient model averaging & regularization의 산물 때문에 이 현상이 발생하였다고 생각하였다. 그러나 본 논문..

1. Introduction Deep Convolutional Neural Networks(DCNNs) image classification, object detection 등의 전반적인 CV 분야에서 좋은 performance를 보여주는 데에 많은 영향을 끼쳤다. DCNN은 end-to-end 및 built-in invariance 성질을 지니고 있기 때문이다. 그러나 invariance는 semantic segmentation 같은 dense prediction task를 저하시킨다고 한다. 그래서 DCNNs을 semantic image segmentation에 적용시킬 때, 세 가지 challenge들이 존재한다. 1. Reduced feature resolution 2. Existence of o..

1. Abstract & Introduction 이번에는 Fast R-CNN에 대한 논문 리뷰를 해볼 것이다. Fast R-CNN(Fast Region-based Convolutional Network method)는 object detection에서 주로 사용한다. 기존 R-CNN보다 training & testing speed를 증대하고 detection accuracy를 높였다. Deep VGG16 network에서 Fast R-CNN은 R-CNN보다 9배 빨리 학습시켰고 test time에는 213배 빨랐다. PASCAL VOC 2012에서는 R-CNN보다 높은 mAP(mean-Average Precision)을 달성했다. Faster R-CNN은 SPPnet보다도 빠르고 정확한 결과값을 돌려준다..

이번 글은 RNN(Recurrent Neural Network) 및 LSTM(Long Short Term Memory)을 정리해볼 것이다. 해당 이론들은 Stanford University의 cs231n을 참조하며 작성하였다. RNN 1. RNN의 개념 및 구조 먼저 RNN이 아닌 "일반적인" Neural Network를 생각해보자. 주로 하나의 input x이 있으면 그에 따른 가중치 및 activation function과 결합되어 하나의 output y를 출력하였다. 우리는 이를 Vanilla Neural Network라고 한다. 그러나 RNN은 특정 순서가 있는 과정(process sequence)으로 이루어진다. RNN에 대한 개념을 알기 위해서는 다양한 RNN 구조부터 살펴보는 것이 좋을 듯하..

이번 글은 MNIST 데이터셋으로 간단한 CNN을 구현해볼 것이다. MLP를 구현하였을 때와 같이 관련 패키지를 불러들이고, parameter 설정을 하고, MNIST 데이터셋을 불러들어와 로딩까지 한 번에 진행할 것이다. import torch import torchvision.datasets as dsets import torchvision.transforms as transforms import torch.nn.init device = 'cuda' if torch.cuda.is_available() else 'cpu' # for reproducibility torch.manual_seed(777) if device == 'cuda': torch.cuda.manual_seed_all(777) # pa..

이번 글은 저번의 MNIST 데이터셋을 그대로 활용하지만, 더욱 다양한 응용을 할 것이다. 그전에, 간단한 MLP를 구현하는 법을 확인하고 싶으면 https://noru-jumping-in-the-mountains.tistory.com/10?category=1218749 [Pytorch] MNIST 데이터셋으로 간단한 MLP구현하기 이번 글에서는 파이토치를 활용하여 MNIST dataset을 불러들인 다음, 간단한 MLP(Multi Layer Perceptron)를 생성해보도록 할 것이다. 먼저 필요한 패키지들을 불러들이고 시드 설정을 한다. import torch import. noru-jumping-in-the-mountains.tistory.com 을 먼저 읽어 보고 오길 바란다. 먼저 필요한 패키..