뒤로가기
기술 인사이트퓨샷객체탐지

적게 보고도 정확하게 : 언어로 다시 채점하는 AI

사진 몇 장만 보고 새로운 물체를 찾아내야 한다면 AI는 무엇에 기대야 할까요? 이미지와 언어를 함께 이해하는 AI로 탐지 결과를 다시 채점하고, 라벨이 빠진 데이터에도 흔들리지 않도록 학습 방식을 고친 연구를 쉽게 풀어봅니다.

14 min read
적게 보고도 정확하게 : 언어로 다시 채점하는 AI

데이터가 적을 때 생기는 문제

딥러닝은 지난 몇 년 사이 이미지 분류와 객체 탐지 분야를 크게 바꿔 놓았습니다. 그러나 여기에는 분명한 약점이 있습니다. 대부분 엄청난 양의 데이터가 필요하다는 점입니다.

라벨이 붙은 학습 데이터를 대량으로 모으는 데에는 많은 시간과 비용이 듭니다. 보안이나 희소성 때문에 데이터 자체를 구하기 어려운 경우도 있습니다. 반면 사람은 이미 아는 것을 일반화하는 데 능숙해서, 몇 개의 예시만 보고도 새로운 개념을 빠르게 이해합니다.

그래서 기계도 사람처럼 적은 데이터만으로 알아보는 능력을 갖추게 하는 일이 중요한 과제로 떠오르고 있습니다. 이를 퓨샷 러닝(Few-shot Learning)이라 부릅니다.

퓨샷 객체 탐지란

퓨샷 러닝은 처음에는 사진이 무엇인지 맞히는 '분류' 문제에서 주로 연구되었습니다. 최근에는 사진 속 물체가 어디에 있고 무엇인지를 함께 찾아내는 객체 탐지로 그 범위가 넓어졌습니다. 이것이 퓨샷 객체 탐지(Few-Shot Object Detection, FSOD)입니다.

퓨샷 객체 탐지에서는 클래스를 두 종류로 나눕니다. 학습 데이터가 넉넉한 기본 클래스와, 클래스당 1장·5장·10장처럼 아주 적은 예시만 주어지는 새 클래스입니다. 이 연구는 먼저 기본 클래스로 충분히 학습한 뒤, 새 클래스로 미세 조정하는 두 단계 방식을 따릅니다. 복잡한 구조 없이 마지막 단계만 조정해도 좋은 성능을 내는 것으로 알려진 방식입니다.

먼저 데이터가 넉넉한 기본 클래스로 물체를 찾는 기본기를 익히고, 이어서 몇 장뿐인 새 클래스에 맞춰 조정합니다.

두 가지 걸림돌

몇 장만 보고 배운 탐지기는 아무래도 '이것이 무엇인가'를 판단하는 힘, 곧 분류 능력이 부족합니다. 여기에 퓨샷 객체 탐지 특유의 문제가 하나 더 있습니다. 바로 누락된 라벨입니다.

퓨샷 객체 탐지는 보통 대규모 공개 데이터셋에서 클래스별로 몇 개의 예시를 무작위로 뽑아 학습 데이터를 만듭니다. 이때 사진 한 장에 여러 물체가 함께 찍혀 있어도, 뽑힌 물체에만 라벨이 남습니다. 나머지 물체는 라벨이 사라진 채 '배경'으로 취급되고, AI는 그 물체를 배경이라고 잘못 배우게 됩니다.

무작위로 뽑은 학습 사진에는 라벨이 빠진 물체가 많습니다. 특히 사람 클래스에서 누락이 두드러집니다. (막대 길이는 논문의 측정값을 바탕으로 상대 규모만 나타냈습니다.)

이 영향은 생각보다 큽니다. 라벨 누락이 거의 없도록 신중하게 고른 데이터(정제 데이터)와 무작위로 뽑은 데이터를 비교하면, 누락이 많은 클래스에서는 성능이 크게 떨어졌습니다. 반대로 누락이 거의 없는 클래스에서는 차이가 거의 없었습니다. 누락된 라벨이 성능을 깎아 먹는다는 뜻입니다.

또 하나, 고양이와 개처럼 생김새가 비슷해 헷갈리기 쉬운 클래스도 문제입니다. 기존 학습 방식은 이런 '그럴듯한 오답'을 충분히 따로 다루지 못했습니다.

해법 하나 : 언어로 다시 채점하다

첫 번째 해법은 CM-CLIP(Calibration Module using CLIP)입니다. CLIP은 이미지와 텍스트 4억 쌍으로 학습된 AI로, 처음 보는 이미지라도 어떤 단어와 가장 잘 어울리는지 판단할 수 있습니다. 예를 들어 사람 모양의 영역은 '사람'이라는 단어와 가까운 위치에 놓이게 됩니다.

CM-CLIP은 이 능력을 탐지 결과의 채점에 활용합니다. 과정은 간단합니다.

탐지기가 찾은 영역을 잘라 CLIP이 클래스 이름과 비교하고, 탐지기 점수와 CLIP 점수를 섞어 최종 점수를 냅니다. 이 과정에는 추가 학습이 필요하지 않습니다.
  1. 탐지기가 물체를 찾는다

    탐지기가 사진 속 물체의 위치(상자)와 클래스별 점수를 먼저 예측합니다.

  2. CLIP이 단어와 비교한다

    예측된 상자대로 영역을 잘라 CLIP에 넣고, '사람', '새', '고양이', 'TV 모니터' 같은 클래스 이름과 얼마나 비슷한지 계산합니다.

  3. 두 점수를 섞는다

    탐지기의 점수와 CLIP의 점수를 일정 비율로 섞어 최종 점수를 정합니다. 몇 장만 보고 배운 탐지기의 부족한 분류 능력을, 방대한 데이터로 학습한 CLIP이 보완하는 구조입니다.

기존에도 이미지에서 뽑은 대표 특징으로 점수를 보정하는 방법이 있었습니다. CM-CLIP은 이미지가 아니라 언어 정보, 곧 클래스 이름을 기준으로 보정한다는 점이 다릅니다. 실험에서는 CM-CLIP을 쓴 2장 학습이 기존 보정 방법을 쓴 10장 학습보다 높은 성능을 보이기도 했습니다.

CM-CLIP은 새로운 물체를 상상해 내는 것이 아니라, 이미 아는 클래스 안에서 탐지기가 찾은 영역의 점수만 다시 매깁니다.

정해진 클래스 범위 안에서 동작하는 보정 모듈입니다.

해법 둘 : 벌점을 다시 설계하다

두 번째 해법은 학습 단계에서 쓰는 손실 함수, 쉽게 말해 AI가 틀렸을 때 주는 벌점의 규칙을 고친 것입니다. 이름은 BNRL(Background Negative Re-scaling Loss)입니다. 핵심은 두 가지입니다.

'배경'으로 표시된 영역에는 벌점을 줄이고, 특정 오답을 자신 있게 고른 경우에는 벌점을 키웁니다.
  1. 배경에는 덜 엄하게

    퓨샷 데이터에서 '배경'으로 표시된 영역 중에는 사실 라벨이 빠진 물체가 많습니다. BNRL은 배경에 대한 가중치를 낮춰, AI가 이런 영역을 배경으로 억지로 외우지 않도록 합니다.

  2. 헷갈리는 오답에는 더 엄하게

    기존 방식은 정답 클래스의 점수만 보고 벌점을 매깁니다. 그래서 오답들을 고르게 낮게 예측한 경우와, 특정 오답을 강하게 확신한 경우를 구분하지 못합니다. BNRL은 오답 쪽 점수까지 함께 반영해, 자신 있게 틀린 경우에 더 큰 벌점을 줍니다. 그 결과 AI는 생김새가 비슷한 헷갈리는 물체에 더 집중하게 됩니다.

둘이 함께일 때

두 해법은 서로의 약점을 메웁니다. BNRL은 배경에 덜 엄격하기 때문에, 실제 배경을 물체로 잘못 보고 높은 점수를 줄 수 있습니다. 이 부분은 CM-CLIP의 분류 능력이 보완합니다. 반대로 CM-CLIP은 점수만 다시 매길 뿐 탐지기가 고른 클래스 자체를 바꾸지는 못해, 헷갈리는 오답에 약합니다. 이 부분은 BNRL이 보완합니다.

실제로 두 기법을 함께 썼을 때 모든 실험 조건에서 가장 좋은 결과가 나왔습니다. 이 방법 전체를 RISF(Re-scoring using Image-language Similarity for Few-shot object detection)라 부릅니다.

A(MS-COCO 1-shot, AP): 기법을 하나씩 더할수록 정확도가 오르고, 둘을 함께 쓸 때 가장 높습니다. B(Pascal VOC Novel set 1, AP50): 라벨 누락이 많은 무작위 데이터에서 기존 방법은 크게 떨어지지만, RISF는 비교적 안정적인 성능을 유지합니다.

널리 쓰이는 두 공개 벤치마크인 MS-COCO와 Pascal VOC에서 RISF는 비교 대상이 된 기존 최고 수준의 방법들을 대부분의 조건에서 앞섰습니다. 특히 학습 예시가 적을수록 개선 폭이 컸습니다. 라벨 누락이 많은 무작위 데이터로 1장 학습을 했을 때, 기존 방법은 성능이 57.0에서 40.2로 떨어졌지만 RISF는 67.2에서 60.1로 하락 폭이 훨씬 작았습니다.

구성 요소무엇을 하나언제 쓰나
CM-CLIP탐지된 영역을 CLIP으로 클래스 이름과 비교해 점수를 다시 매김테스트(추론) 단계 · 추가 학습 없음
BNRL배경 벌점은 낮추고, 자신 있게 틀린 오답의 벌점은 높임새 클래스 미세 조정 단계

한계와 다음 과제

연구는 한계도 분명히 밝힙니다. CM-CLIP은 추가 학습이 필요 없지만, 추론할 때마다 잘라낸 영역을 CLIP에 다시 넣어야 하므로 계산 비용이 늘어납니다. 물체가 많은 사진일수록 부담이 커서, 실험에서는 처리 지연이 약 40% 늘었습니다. 기본 클래스에는 다시 채점을 건너뛰도록 하면 기본 클래스 성능 저하가 거의 사라지고 지연도 줄어듭니다.

클래스와 크기에 따라 효과도 달랐습니다. 소와 개, 자동차와 버스처럼 생김새가 비슷한 클래스에서 개선이 두드러진 반면, 사람이나 식탁처럼 거의 변화가 없거나 소폭 떨어진 클래스도 있었습니다. 또 작은 물체보다 큰 물체에서 개선 폭이 컸습니다. BNRL 역시 헷갈리는 오답과 라벨 누락이 많은 특정 상황에서 검증되었다는 점이 과제로 남아 있습니다.

정리하며

현실의 데이터는 언제나 넉넉하지도, 완벽하지도 않습니다. 이 연구는 그 두 가지 현실을 함께 다룹니다. 적은 데이터는 언어의 힘으로 보완하고, 불완전한 라벨은 학습 규칙을 고쳐 견딘다—이것이 RISF의 핵심입니다.

자주 묻는 질문

퓨샷 객체 탐지는 무엇인가요?

클래스당 1장·5장·10장처럼 아주 적은 예시만으로 새로운 물체가 사진 속 어디에 있고 무엇인지 찾아내는 기술입니다. 데이터를 모으는 데 시간과 비용이 많이 들거나, 보안·희소성 때문에 데이터 자체를 구하기 어려운 상황에서 중요합니다.

CLIP은 무엇인가요?

이미지와 텍스트 4억 쌍으로 학습된 AI 모델입니다. 이미지와 단어를 같은 공간에 놓고 서로 얼마나 가까운지 계산할 수 있어, 따로 학습하지 않은 이미지라도 어떤 단어와 가장 어울리는지 판단할 수 있습니다.

CM-CLIP을 쓰려면 추가 학습이 필요한가요?

아닙니다. 이미 학습된 CLIP을 그대로 사용해 잘라낸 영역과 클래스 이름의 유사도를 계산합니다. 다만 추론할 때마다 이 계산이 더해지므로 계산 비용은 늘어납니다.

처음 보는 어떤 물체든 찾을 수 있다는 뜻인가요?

아닙니다. CM-CLIP은 미리 정해진 클래스 범위 안에서만 동작하며, 탐지기가 찾은 영역의 점수만 다시 매깁니다. 임의의 단어로 물체를 찾는 기술(오픈 보캐뷸러리 객체 탐지)과는 다릅니다.

라벨 누락은 왜 생기나요?

퓨샷 실험에서는 대규모 데이터셋에서 클래스별로 몇 개의 예시를 무작위로 뽑아 학습 데이터를 만듭니다. 사진 한 장에 여러 물체가 있어도 뽑힌 물체에만 라벨이 남기 때문에, 나머지 물체는 라벨 없이 배경처럼 취급됩니다.

관련 글

HQ
서울시 금천구 가산디지털1로 186, 제이플라츠 701호
AI LAB
서울 강남구 영동대로96길 20 대화빌딩 2층
USA
3003 NORTH 1ST STREET, #221, SAN JOSE, CA 95134
Vietnam
Tầng 4, FLC Landmark Tower, Ngõ 5 Lê Đức Thọ, phường Từ Liêm, quận Nam Từ Liêm, Hà Nội
Tel
(사업) 02-6085-0180~1
개인정보 처리 방침COPYRIGHT 2026 © INFINIQ. ALL RIGHTS RESERVED.