U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI ‘15)

By. 컴퓨터공학과 21학번 최대현

Link

U_Net.pdf

https://github.com/usuyama/pytorch-unet

• Image segmentation에서 우수한 성능을 보인 Model이다.

What is Image segmentation?

• image segmentation은 이미지의 각 픽셀을 어떤 class에 속하는지 분류하는 것을 의미한다. semantic segmentation과 instance segmentation 등으로 구분할 수 있다.

  

• 이미지 전체에 대해 단일 class를 예측하는 image classification과 달리 픽셀 단위로 분류한다는 것이 차이점이라고 말할 수 있겠다. 즉, 일반적인 RGB color 이미지는 (3xhxw) shape를 갖는 3-dim tensor인데, image classification의 output은 scalar (n개의 class에 대해 0,1,2,3…n-1중 1개)이고, image segementation의 output은 (hxw) shape의 2-dim tensor이다.

  

• UNet이 참여했던 ISBI Cell Challenge 2015의 task는 binary image segmentation의 일종으로, 각 픽셀이 **‘세포인지 아닌지’**를 판단하는 것이다.

  

선행 연구

• 기존에 FCN이라는 모델이 제안되었다. (Fully-Convolutional Network)

• FCN은 Encoding을 통해 주어진 이미지에서 feature을 뽑아내며 resolution을 서서히 줄이는데, 이를 pixelwise prediction하기 위해 image의 resolution을 갑자기 확 키우는 느낌이 있었다.
  • Decoding 과정이 너무 간단해서 이를 서서히 Decoding해내면, 즉 decoding 과정에서 upsampling과 convolution을 더 쌓으면 이미지에서 더 좋은 feature을 뽑아내서 성능이 좋지 않을까? 라는 아이디어에서 UNet이 출발했다. ****