Abstract

• model-agnostic한 상황에 적용할 수 있는 meta-learning algorithm을 제안
  • gradient descent를 사용하여 학습하는 모든 model들과 호환 가능
  • classification, regression, RL등 다양한 task에 적용 가능

목적: 적은 수의 학습 sample 만 사용해도 새로운 learning task를 해결하는 것

Introduction

• ML 모델을 실제로 적용하는 과정

  • 고품질의 data를 모으기 힘듦 (data 부족 or 클래스 불균형)
  • 새로운 것을 빠르게 학습 시켜야 하는 경우
  • 범용성의 필요성

  → 좋은 모델을 사용해도 학습이 잘 이뤄지지 않는 경우가 많음

• 초기 parameter를 몇 번의 update 만으로 max performance를 발휘할 수 있도록 한다.

  • 특정 모델에 한정되거나 parameter의 수가 늘어나지 않아도 된다

• 다른 task를 위해 학습된 AI 모델을 이용해서, 적은 dataset을 갖는 다른 Task도 잘 수행할 수 있도록 학습 시키는 방식

Meta-learning

Optimization-based approach

Few shot learning

Meta-learning vs Multi-task learning

Model-Agnostic Meat-Learning

Task function T = {L(x₁; a₁; ... ; xH; aH); q(x₁); q(xₜ₊₁|xₜ; aₜ); H}

<aside> 💬 L: loss function

q(x₁): initial distribution

q(xₜ₊₁|xₜ; aₜ): transition distribution

H: episode leangth (i.i.d & H = 1 → supervised learning)

</aside>

<aside> 💡 key idea 어떠한 internal representaions 보다 더 빨리 adapt할 수 있는 representation이 존재할 것이다.

</aside>