스몰 데이터로 AI 만들기: Few-Shot, Zero-shot 학습의 힘

"테크씬 - 핵심 요약 후 시작합니다."

 

• 기존의 AI 모델 혹은 머신러닝 모델을 만들기 위해서는 방대한 양의 데이터가 필요했기 때문에 일부 애플리케이션 혹은 시스템에 적용하는 것은 매우 현실성이 없다는 이론이 팽배했음
• Few Shot 러닝과 Zero Shot 러닝은 머신러닝 모델이 제한된 데이터로 학습하고 충분한 샘플이 없이도 새로운 클래스 혹은 카테고리를 분별해 낼 수 있도록 하는 대체적이고 새로운 머신러닝 기법임
• 해당 방법론은 여러 장점을 지니며 다양한 영역에 적용되고 있음. 예컨대, Google, Airbnb, Apple과 같은 회사에서 이를 자사 제품에 성공적으로 적용함으로써 기존에 적용 불가했던 머신 러닝 기법을 혁신하고 경쟁 우위를 강화함

 

---

 

AI(인공지능)와 머신 러닝은 자율 주행 자동차에서 의료 진단에 이르기까지 다양한 애플리케이션에 적용되면서 보편화되고 있죠. 이젠 더 설명할 필요가 없을 정도로 큰 Impact를 주고 있습니다. 그러나 기존 머신 러닝은 학습에 방대한 양의 데이터가 필요하기 때문에 일부 애플리케이션에 적용하는 것은 사실상 비현실적이었어요... 그런데, 지각 변동이 일어나기 시작했습니다. 머신러닝 모델을 제한된 데이터로 학습하고 충분한 Sample 없이도 새로운 class 혹은 category를 인식할 수 있도록 하는 몇 가지 대안적 방법론들이 등장했거든요. 오늘의 주제는 Few Shot과 Zero Shot 러닝입니다.

빅데이터가 없어도 AI가 생성될 수 있다고요...?!

 

 

 

I. Few Shot 러닝

- Few Shot 러닝은 일반적으로 10개 미만의 한정된 Sample로부터 학습할 수 있는 머신 러닝 방법론입니다.

- 이 접근 방식은 전이 학습(Transfer Learning), 메타(Meta) 학습 및 메트릭(Metric) 기반 학습을 활용하여 학습 프로세스를 최적화합니다.

- Few Shot 러닝은 제한된 데이터로 학습할 수 있다는 점, 자연어 처리(NLP, Natural Language Processing) 및 컴퓨터 비전(Computer Vision)과 같은 다양한 영역에 적용할 수 있다는 점 등 여러 가지 장점이 있죠.

- Few Shot 러닝의 성공적인 적용 사례로는 이미지 분류와 언어 번역이 있습니다. 예를 들어 Google의 최신 카메라 앱인 Google 렌즈는 스마트폰의 카메라를 통해 사물을 식별하는 데 Few Shot 러닝을 사용합니다. Google은 또한 단일 모델에서 다양한 언어(외국어) 작업을 학습하기 위해 Few Shot 러닝을 사용하는 T5 모델을 도입했습니다.

- Few Shot 러닝이 극복해야 할 부분은 1) 양은 적더라도 고품질의 학습 데이터를 확보해야 한다는 점과 2) 부족한 Sample 학습에 따른 Overfitting(과적합) 가능성이 높다는 점이죠.

 

 

 

 

 

II. Zero Shot 러닝

- Zero Shot 러닝은 머신 러닝 Training 과정 중, 새로운 클래스의 예시를 보지 않고도 새로운 클래스를 인식하는 방법을 학습할 수 있는 머신 러닝 방법론입니다.

• Zero Shot 러닝의 맥락에서 "새로운 클래스"는 머신 러닝 모델이 이전에 보거나 학습한 적이 없는 카테고리 또는 레이블을 의미함. 예컨대, 모델이 고양이와 개 이미지만 인식하도록 학습된 경우, 새로운 클래스는 사자의 이미지일 수 있음. Zero Shot 러닝의 목표는 이러한 새로운 클래스에 대한 명시적인 훈련 없이도 속성/특성(Feature)에 대한 정보를 사용하여 모델이 이러한 새로운 클래스를 정확하게 인식하고 분류하도록 학습시키는 것임

- 이 접근 방식은 시맨틱 임베딩(Semantic Embedding)과 속성(Feature) 기반 학습을 활용하여 학습 프로세스를 최적화합니다.

• 시맨틱 임베딩은 단어 또는 구문을 벡터 공간에 매핑(or 투영)하는 자연어 처리 기법임. 벡터 사이의 거리는 단어 또는 구문 간의 의미적 유사성을 반영합니다. 정보 검색, 텍스트 분류, 기계 번역을 비롯한 여러 애플리케이션에서 사용됨.

- Zero Shot 러닝은 새로운 클래스로부터 학습할 수 있다는 점과 이미지 인식 및 자연어 이해와 같은 다양한 영역에 적용될 수 있다는 점 등 여러 가지 장점이 있습니다.

- Zero Shot 러닝의 성공적인 적용 사례로는 Airbnb를 들 수 있죠. Airbnb는 Zero Shot 러닝을 사용하여 게스트의 선호도를 예측하고 이에 맞는 숙소를 추천합니다.

- Zero Shot 러닝이 극복해야 할 과제로는 1) 정확한 의미 표현의 필요성과 2) 학습된 모델이 편향된 정보를 제공할 가능성이 높다는 점입니다.

 

 

 

III. 관련 머신러닝 방법론

- One-shot learning(원샷 학습): 원샷 학습은 하나의 Sample을 통해 학습할 수 있는 머신 러닝 방법론입니다. 이 접근 방식은 사전 지식을 활용하여 제한된 데이터셋을 기반으로 정확한 예측을 하는 것이 핵심이 됩니다. 원샷 학습은 사람의 이미지가 하나만 있는(보편적으로 Facebook이나 Instagram에서 그렇죠^^) 얼굴 인식과 같은 애플리케이션에서 성공적으로 사용되었죠.

- Few-relational learning: 이는 객체 간의 관계에 대한 몇 가지 예시를 통해 학습할 수 있는 머신 러닝 방법론입니다. 이 접근 방식은 객체 간의 관계에 대한 사전 지식을 활용하여 제한된 데이터 집합을 기반으로 정확한 예측을 하는 것이 가능하죠. Few-relational learning은 제한된 양의 데이터를 기반으로 사용자가 여러 항목과 Interaction하는 방식을 추론하는 것이 목표죠. 따라서, 추천 시스템과 같은 애플리케이션에서 성공적으로 사용되었습니다.

- Meta-learning(메타 러닝): 메타러닝은 제한된 데이터로부터 AI 모델을 Training할 수 있는 방법론이죠. 이 접근 방식은 여러 작업에 대해 모델을 학습시켜 최소한의 데이터로 새로운 작업에 빠르게 적응하고 학습할 수 있도록 합니다. 메타러닝은 새로운 작업에 대한 학습 프로세스를 최적화할 수 있는 잠재력을 가지고 있죠. 이에 따라 새로운 작업이 자주 발생하는 애플리케이션에 이상적입니다.

 

 

 

정리하며…

Few Shot 러닝과 Zero Shot 러닝은 제한된 데이터로 성공적인 AI 모델을 트레이닝하고, 충분한Sample이 없더라도 예측력 높은 AI 모델을 만들어 낼 수 있는 머신 러닝 방법론입니다. 이러한 방법론은 다양한 영역에서 여러 가지 장점을 기반으로 활용되고 있습니다.

 

구글, 에어비앤비, 애플과 같은 선도 기업들은 자사 제품에 Few Shot 러닝과 Zero Shot 러닝을 성공적으로 사용했으며, 이러한 방법론은 머신러닝 기반 기업을 혁신하고 새로운 애플리케이션을 개발하여 시장을 이끌어 갈 수 있는 경쟁 우위를 만들어냈죠.

 

여러분의 회사에 Few Shot 러닝과 Zero Shot 러닝을 적용한 사례가 있나요? 저는 국내 대기업에서 DX를 전담하고 있지만... 솔직히 아직 적용 사례가 없습니다 ㅠㅠ 반성과 동시에 이를 어떻게 활용/적용할 것인지 고민을 시작하겠습니다. 여러분의 도전도 공유해 주시면 정말 힘이 될 것 같네요! 오늘도 테크씬이었습니다.

 

---

[관련 포스팅]

2023.01.28 - [AI] - AI, 머신러닝, 딥러닝 구분/차이

AI, 머신러닝, 딥러닝 구분/차이

2023.01.29 - [AI] - 데이터 사이언티스트 vs 데이터 엔지니어: 주요 차이점과 이해

데이터 사이언티스트 vs 데이터 엔지니어: 주요 차이점과 이해