뒤로가기
기술 인사이트멀티센서

스몸비 인식 시스템 : 걸으며 보는 순간을 알아채다

스마트폰을 보며 걷는 '스몸비'를 스마트폰 스스로 알아챌 수 있을까요? 기울기·얼굴·움직임, 세 가지 신호를 묶어 기기 안에서 바로 판단하는 스몸비 인식 기술을 쉽게 풀어 봅니다.

13 min read
스몸비 인식 시스템 : 걸으며 보는 순간을 알아채다

걸으면서 화면을 볼 때

스몸비(Smombie)는 스마트폰(Smartphone)과 좀비(Zombie)를 합친 말로, 스마트폰 화면을 보며 걷는 보행자를 가리킵니다.

스몸비로 인한 교통사고는 해마다 빠르게 늘고 있고, 운전자의 42% 이상이 이 때문에 사고 위협을 느꼈다는 조사 결과도 나왔습니다. 스몸비는 사회적인 문제로 떠올랐지만, 이를 막기 위한 기술은 아직 더디게 발전하고 있습니다.

이 글은 2025 한국소프트웨어종합학술대회에 발표된 논문 「멀티 센서 기반의 온디바이스 스몸비 인식 시스템」을 쉽게 풀어 쓴 것입니다. 연구의 질문은 하나입니다. 스마트폰이 스스로, 사용자가 지금 화면을 보며 걷고 있는지 알아챌 수 있을까?

두 가지를 동시에 봐야 한다

스몸비를 정확히 알아보려면 두 가지를 함께 확인해야 합니다. 사용자가 걷고 있는지, 그리고 화면을 보고 있는지입니다. 둘 중 하나만으로는 부족합니다.

걷고 있다는 조건과 화면을 보고 있다는 조건이 겹치는 순간이 스몸비입니다. 이번 연구는 두 조건을 한 번에 판단합니다.

기존 연구들은 이 중 한쪽만 보았습니다. 한 연구는 스마트폰 후면 카메라 영상에서 횡단보도나 계단 같은 주변 위험 요소를 딥러닝으로 인식해 경고를 보냈습니다. 하지만 사용자가 걷고 있는지는 판단하지 않았기 때문에, 위험 요소가 영상에 잡히기만 하면 걷지 않을 때도 경고가 울렸습니다.

다른 연구들은 스마트폰의 위치 변화나 사용자의 자세를 분석하거나, 센서 신호의 주파수를 분석(FFT)해 걸음의 주기와 패턴을 찾아냈습니다. 걷고 있는지는 알 수 있었지만, 그 사람이 화면을 보고 있는지는 알 수 없었습니다.

접근방법판단하는 것
위험 객체 인식후면 카메라로 횡단보도·계단 등 주변 위험 요소 인식주변 위험 요소 (걷는지는 판단하지 않음)
센서 기반 보행 인식단말 위치·자세 변화 분석, 주파수(FFT) 기반 걸음 패턴 분석걷는지 (화면을 보는지는 알 수 없음)
이번 연구단말 기울기 + 얼굴 인식 + 센서의 시간–주파수 특징 + 경량 AI 모델걷는지와 화면을 보는지를 함께

걷고 있는가, 그리고 화면을 보고 있는가. 스몸비 인식은 이 두 질문에 동시에 답하는 일입니다.

네 단계로 판단한다

이번 연구의 시스템은 스마트폰에 기본으로 들어 있는 카메라, 가속도계, 자이로스코프를 함께 활용합니다. 가속도계와 자이로스코프는 기기의 움직임과 기울기를 재는 센서입니다. 판단은 네 단계로 이루어집니다.

기울기와 얼굴로 화면을 보고 있는지를, 센서 신호와 경량 AI 모델로 걷고 있는지를 확인해 보행·차량 탑승·정지 상태를 가려냅니다.
  1. 단말 기울기 — 화면이 나를 향하고 있나

    먼저 스마트폰이 얼마나 기울어져 있는지 잽니다. 기기의 z축 방향 가속도 성분으로 중력 방향 대비 기울기 각도를 계산하는데, 실험해 보니 이 각도가 0°~90° 사이일 때 화면이 사용자를 향하고 있었습니다. 손에 스마트폰을 들고 걷는 스몸비의 자세를 이렇게 반영합니다.

    기울기 측정에는 또 하나의 역할이 있습니다. 기기의 자세가 바뀌면 센서 데이터가 왜곡되는데, 이 왜곡을 보정하는 기준이 됩니다.

  2. 화면 주시 — 얼굴이 화면을 보고 있나

    다음은 전면 카메라입니다. 구글이 제공하는 얼굴 탐지 라이브러리로 프레임마다 얼굴이 보이는지, 머리가 어느 방향을 향하는지(머리 포즈)를 추출합니다.

    얼굴의 상하 기울기(X)가 0° 이상이고 좌우 회전 각도(Y)가 −20°~+20° 안에 있으면, 사용자가 화면을 보고 있는 것으로 판단합니다. 화면을 계속 바라보는 스몸비의 특징을 수치로 잡아낸 것입니다.

단말 기울기가 0°~90°이면 화면이 사용자 쪽을 향하고, 얼굴의 좌우 회전이 ±20° 이내·상하 기울기가 0° 이상이면 화면을 보고 있는 것으로 판단합니다.
  1. 센서 신호 정리 — 걸음의 리듬만 남긴다

    세 번째 단계는 가속도계와 자이로스코프 신호를 AI가 읽기 좋게 다듬는 과정입니다. 센서 신호를 2초씩 모아 두는데, 실험에 사용한 기기는 1초에 125번(125Hz) 신호를 기록합니다.

    먼저 MAD 정규화를 합니다. 중앙값을 기준으로 값의 크기를 맞추는 방법으로, 튀는 값(이상치)에 덜 흔들리고 사람마다, 쥐는 위치마다 다른 진폭 차이를 줄여 줍니다. 덕분에 모델은 절대적인 크기보다 패턴의 변화에 집중할 수 있습니다.

    다음은 STFT(단시간 푸리에 변환)입니다. 걸을 때 센서 값은 시간에 따라 주파수와 진폭이 빠르게 바뀝니다. 신호 전체를 한 번에 분석하는 FFT로는 이런 변화를 충분히 담기 어렵습니다. STFT는 신호를 짧은 구간으로 나눠 구간마다 주파수를 분석하기 때문에, 시간에 따른 변화까지 함께 볼 수 있습니다.

    이어서 성인 보행에 해당하는 0~16Hz 대역만 남기고, 로그 스케일로 바꿔 진폭 차이를 완화한 뒤, 기준값(100)을 경계로 0과 1로 나누는 이진화를 거칩니다. 과도한 진폭 잡음은 걸러지고 걸음과 관련된 주기적인 패턴만 도드라집니다. 그 결과 걷는 중의 스펙트럼과 걷지 않을 때의 스펙트럼이 확연히 구분됩니다.

정규화, STFT, 대역 선택, 이진화를 거치면 걸음의 주기적인 패턴이 도드라져 걷는 중과 걷지 않을 때가 확연히 구분됩니다. 실제 데이터가 아닌 개념도입니다.
  1. 경량 트랜스포머 — 기기 안에서 바로 판단한다

    마지막으로 보행 인식 모델이 순간적인 변동과 주기적인 패턴을 함께 분석해, 실시간으로 걷고 있는지를 판별합니다. 이 모델은 외부 정보 없이 기기에 내장된 센서 데이터만으로 추론하는 소형 트랜스포머 모델입니다. 판단이 기기 안에서 끝나기 때문에 온디바이스 방식이라고 부릅니다.

    구조는 학습하는 쪽은 깊게, 판단하는 쪽은 가볍게 설계했습니다. 특징을 학습하는 인코더는 4개의 헤드를 가진 층을 8겹 쌓아 풍부하게 학습하고, 결과를 내는 디코더는 어텐션 풀링과 분류기만 남겨 가볍게 만들었습니다. 그래서 모바일 기기에서도 지연 없이 추론할 수 있습니다.

    현실의 변수도 고려했습니다. 스마트폰을 쥐는 방향이 바뀌는 상황에는 무작위 회전 보정을, 센서 신호가 늦게 들어오는 상황에는 empty mask 기법을 적용해 안정적인 인식 성능을 유지하도록 했습니다.

얼마나 정확해졌나

실험은 모두 샤오미 포코폰 F1 스마트폰에서 진행했습니다. 실제 사용 환경을 고려해 보행과 자동차 탑승 시나리오를 중심으로, 스몸비 상태와 스몸비가 아닌 상태를 각각 900회씩 직접 수집했습니다.

비교 대상은 단말기의 자세와 스텝 카운터(걸음 수 측정)를 사용하는 기존 방식입니다. 후면 카메라로 위험 요소를 찾는 방식은 걷고 있는지를 판별하지 못해 스몸비 여부를 구분할 수 없으므로 비교에서 제외했습니다. 평가 기준은 잘못 판단한 비율, 곧 오탐률입니다.

900회 중 잘못 판단한 횟수가 스몸비 상태에서는 36회에서 12회로, 스몸비가 아닌 상태에서는 36회에서 3회로 줄었습니다.

오탐률은 스몸비 상태에서 4.00%에서 1.30%로, 스몸비가 아닌 상태에서 4.00%에서 0.30%로 낮아졌습니다. 기존 스텝 카운터 방식보다 최대 3.7%p 개선된 결과로, 기존 방식에서 생기던 오탐이 효과적으로 줄어든 것을 확인했습니다.

남은 과제

한계도 분명합니다. 얼굴로 화면 주시 여부를 판단하는 방식은 카메라를 계속 사용해야 합니다. 배터리가 꾸준히 소모되고, 조도와 주변 환경 변화에 취약하며, 사생활 문제에도 대응해야 합니다. 앞으로는 카메라 의존도를 최소화하는 방향으로 연구가 이어질 예정입니다.

또한 사람마다 걷는 방식의 차이가 크다는 점을 고려해, 다양한 보행 스타일을 담은 대규모 사용자 데이터를 추가로 확보해 모델 성능을 높이는 것도 과제입니다.

정리하며

이번 연구는 스마트폰에 이미 들어 있는 카메라, 가속도계, 자이로스코프를 엮어, 걷고 있는가와 화면을 보고 있는가를 기기 안에서 함께 판단하는 방법을 제시했습니다.

이 기술은 앞으로 보행자 안전 지원 시스템이나 교통사고 예방 서비스처럼 일상의 안전 분야에 폭넓게 응용될 수 있을 것으로 기대됩니다.

자주 묻는 질문

스몸비란 무엇인가요?

스마트폰(Smartphone)과 좀비(Zombie)를 합친 말로, 스마트폰 화면을 보며 걷는 보행자를 뜻합니다. 스몸비로 인한 교통사고는 해마다 빠르게 늘고 있습니다.

왜 카메라와 움직임 센서를 함께 쓰나요?

스몸비는 걷고 있으면서 동시에 화면을 보고 있는 상태입니다. 가속도계와 자이로스코프는 걷고 있는지를, 단말 기울기와 전면 카메라의 얼굴 인식은 화면을 보고 있는지를 알려 줍니다. 한쪽만 보면 걷지 않을 때 경고가 울리거나, 화면을 보지 않는 보행자까지 스몸비로 판단할 수 있습니다.

온디바이스 방식은 무엇이 좋은가요?

외부 정보 없이 기기에 내장된 센서 데이터만으로 추론하므로 실시간 처리가 가능합니다. 또한 디코더를 가볍게 설계한 소형 트랜스포머 모델이라 모바일 기기에서도 지연 없이 동작합니다.

기존 방식보다 얼마나 나아졌나요?

단말 자세와 스텝 카운터를 쓰는 기존 방식과 비교했을 때, 오탐률이 스몸비 상태에서 4.00%→1.30%, 스몸비가 아닌 상태에서 4.00%→0.30%로 낮아져 최대 3.7%p 개선되었습니다.

관련 글

HQ
서울시 금천구 가산디지털1로 186, 제이플라츠 701호
AI LAB
서울 강남구 영동대로96길 20 대화빌딩 2층
USA
3003 NORTH 1ST STREET, #221, SAN JOSE, CA 95134
Vietnam
Tầng 4, FLC Landmark Tower, Ngõ 5 Lê Đức Thọ, phường Từ Liêm, quận Nam Từ Liêm, Hà Nội
Tel
(사업) 02-6085-0180~1
개인정보 처리 방침COPYRIGHT 2026 © INFINIQ. ALL RIGHTS RESERVED.