[논문이야기] 수면 상태 감지 ②, 선행 연구 조사 및 기존 방법론의 한계 분석

기존의 최적화 기반 방법론, 정확도는 높지만 데이터 패턴 변화에 민감하고 1종 오류 감소에 편중된 모델 만들어
불규칙한 패턴에 강인하고 일반화 성능이 우수한 방법론을 제시하기 위해
ENMO 데이터의 주기성과 각 수면 상태의 분포를 활용한 데이터·모델 변형 방법을 선보일 예정 

[논문이야기] 수면 상태 감지 ①, 가속도계 데이터 기반 수면 추적에서 이어집니다.

---

이전 글에서 소개한 것과 같이, 수면 검사는 수면다원검사를 통해 진단을 내리는 것이 가장 정밀하다. 하지만 웨어러블 기기를 사용하면 추적(monitoring)이 용이하고 보편화되었기 때문에 관련된 연구들도 덩달아 증가하고 있는 추세다. 이에 기존의 수면 상태 검출과 관련된 연구방법은 어떤 것들이 있을지 알아보고자 한다.

최적화(optimization)에 초점을 맞춘 기존 방법론

앞서 ENMO(표준화 가속도 벡터 크기), VMC, AI, Z-angle(손목 각도) 등 summary measurement의 몇 가지 변수들을 살펴봤었다. 최근에는 가속도 센서에서 수집되는 $x, y, z$축의 데이터를 통해서 MAD(Mean Absolute Deviation)와 같은 새로운 summary measurement를 찾기 위한 연구가 진행 중이다. 물론 이러한 변수변환 작업은 높은 수준의 도메인 지식을 요구하며, 축약된 변수들을 검증하는 단계 또한 간단하지 않다.

기존 연구에서는 적절한 summary measurement를 찾아 시간적 통계량, 예를 들어 1분 간격으로 겹쳐거나(rolling) 겹치지 않는 편차, 평균, 최솟값, 최댓값으로 머신러닝 모델, 직관에 기반한 모델(heuristic), 또는 회귀모델로 분류나 검출을 진행한 바 있다. 아래 Figure 4는 이전 연구들의 대표적인 방법론들을 요약하고 있다. [4]

추가로, 수면 연구에서 사용되는 평가지표(metric)는 아래와 같다. [2]

1. sensitivity(actigraphy = sleep when PSG= sleep)
2. specificity( actigraphy = wake when PSG = wake)
3. Accuracy : total proportion correct
4. The amount of wakefulness after sleep onset(WASO) : 수면 기간 동안 깨어난 횟수를 합산
5. SE(sleep efficiency) : 수면다원검사 라벨이 있는 기간내의 수면 비율을 계산
6. TST(Total sleep time) : 1박당 수면 시기(epoch) 분류의 합으로 계산

최적화의 한계, 데이터의 패턴 변화 민감도↑

모델의 복잡도로 보았을 때, 랜덤포레스트와 같은 머신러닝 모델들과 CNN, LSTM과 같은 인공신경망 모델(neural network model)들이 “복잡도 상”으로 표시된 것을 볼 수 있다. 이 모델들은 정확도(Accuracy)에 좀 더 무게를 두기 때문에 매개변수가 많아 과적합(Overfitting)에 취약해지고 버려지는 데이터 포인트들도 생긴다. 또한 데이터가 충분하지 않으면 근본 패턴 대신 학습 데이터의 노이즈를 학습하여 새로운 데이터에 대한 성능이 저하될 수 있다. 그 결과 실제 연구에서도 잠이 드는 순간과 깨어나는 상태를 잘 잡아내지 못하는 경우가 발생했다고 한다. 최적화에 너무 신경 쓴 나머지, 일반화를 놓친 것이다.

상대적으로 모델이 단순하고 새로운 데이터의 패턴 변화에 덜 민감하다고 알져져 있는 회귀모델(regression model)은 최적화의 한계에서 자유로웠을까? 먼저 짚고 넘어가야 할 점은 회귀모델은 데이터의 정규성을 가정하는 모델이라는 사실이다. 데이터가 정규성을 만족하지 못하면 상관계수의 표준오차가 계수의 크기에 비해 상대적으로 높게 계산되는데, 이는 상관계수의 유의성을 낮춰(p-값이 높아져) 모델의 추론 결과를 신뢰할 수 없게 만든다. 안타깝게도 수면 데이터는 정규성을 만족하지 못해 Cole-Kripke[1]와 Oakely[3]의 두 회귀모델 모두 추가적인 최적화 작업을 진행했다고 한다. 머신러닝이나 인공신경망 모델보다는 타겟 데이터에 대해서 정확성이 떨어졌지만, 모델 복잡도가 상대적으로 낮고 최적화가 정교해, 연구에서는 수면다원검사와 함께 기준 모델(baseline model)로 활용되고 있다.

아울러 웨어러블 기기를 착용한 지 얼마 되지 않은 사용자의 경우, 적은 양의 데이터로 수면 상태를 분류해야 하는 상황이 발생한다. 초기에 수집된 데이터는 대표성이 떨어질 가능성이 높은데, 이러한 상황에서 데이터 포인트가 많이 필요한 머신러닝·딥러닝 계열의 모델뿐만 아니라, 고도의 최적화 작업이 필요했던 기존의 회귀모델 역시 지속 가능하지 않은 접근법이다. 심지어 한 명의 사용자가 아니라 여러 명의 사용자에 대해서도 분석을 진행하려면 기존 방법론의 한계는 더욱 두드러진다. 이에 본 연구에서는 일반화 성능을 끌어올리는 데이터 변형과 모델 변형 방법론을 소개하고자 한다.

“Let’s Deep Dive into data”, ENMO 데이터의 특성과 수집 방법

기존 연구의 한계를 극복해 나가는 본격적인 데이터 전처리 과정 설명과 방법론 소개에 앞서, ENMO 데이터의 특성을 더 자세히 살펴보자. 데이터가 보여주는 상황에 주의를 기울이다 보면 앞으로 제시할 전처리 과정과 방법론을 더욱 명확하게 이해할 수 있을 것이다.

지난 글에서 언급한 대로 필자는 ENMO라는 summary measurement 변수를 사용했다. ENMO 신호는 5초 간격으로 수집된 데이터이며, 해당 신호는 수면 일기를 통해 부여된 수면 상태 값과 결합해서 분석할 수 있다. 수면 일기에서 라벨값을 부여하는 기준은 아래와 같다.

• 최소 30분 이상 수면 상태가 지속되어야 수면으로 가정한다.
• 밤 동안 가장 긴 수면 기간이 수면 상태로 기록된다. 다만, 주어진 기간 내에 발생할 수 있는 수면 횟수를 제한하는 규칙은 없다. 예를 들어 개인이 같은 날 1시부터 6시까지, 그리고 17시 30분부터 23시 30분까지 두 차례의 수면 시간을 갖는 것은 모두 유효하게 집계된다. 이는 하루 중, 수면 이벤트가 발생하는 새벽과 저녁 시간이 일과시간을 기준으로 나뉘는 것을 생각하면 자연스러운 기준 선정이다.

이해를 돕기 위해 아래의 그래프로 샘플 데이터를 확인해 보자. 한 사람의 Z-angle과 ENMO 신호에 대해서 약 30일 정도의 기간 동안 수집한 데이터다. 잠을 자는 기간은 0으로, 활동하는 기간은 1로 표시되어 있다. -1은 수면일기의 라벨값이 기기누락 또는 기록 누락으로 존재하지 않는 경우다.

당연하게도 자는 기간(0, 빨간색)과 깨어 있는 기간(1, 초록색)이 번갈아 나타나며 주기성을 보이는 것이 눈에 띈다. 모든 사람이 동일한 수면 패턴을 보이지는 않지만, 큰 틀에서 수면과 활동이라는 주기성이 존재하는 것에는 변함이 없다. 이러한 데이터 특성 때문에 본 연구에서는 일반화된(Generalized) 데이터 변형으로 수면과 활동의 주기 특성을 더욱 안정적으로 구분짓고, 일반화에 초점을 맞춘 모델링 방법을 다음 글에서 소개할 예정이다.

Z-angle 데이터도 주기성을 보였지만, 이전 글에서 언급한 대로 ENMO 데이터의 중요도가 Z-angle의 것보다 압도적으로 높고 정보 손실도 적어, 앞으로의 방법론에는 ENMO 단일 변수만을 학습 데이터로 활용했다.

[논문이야기] 수면 상태 감지 ③, 수면 신호의 변동성과 수면 간격의 불규칙성을 고려한 데이터 전처리 과정으로 이어집니다.

References

[1] Roger J. Cole, Daniel F. Kripke, William Gruen, Daniel J. Mullaney, and J. Christian Gillin. Automatic sleep/wake identification from wrist activity. Sleep, 15(5):461–469, 09 1992. ISSN 0161-8105. doi: 10.1093/ sleep/15.5.461. URL https://doi.org/10.1093/sleep/15.5.461. (document)

[2] Miguel Marino, Yi Li, Michael N. Rueschman, J. W. Winkelman, J. M. Ellenbogen, J. M. Solet, Hilary Dulin, Lisa F. Berkman, and Orfeu M. Buxton. Measuring sleep: Accuracy, sensitivity, and specificity of wrist actigraphy compared to polysomnography. Sleep, 36(11):1747–1755, 11 2013. ISSN 0161-8105. doi: 10.5665/sleep.3142. URL https://doi.org/10.5665/sleep.3142. 5

[3] Nigel R Oakley. Validation with polysomnography of the sleepwatch sleep/wake scoring algorithm used by the actiwatch activity monitoring system. mini mitter co. Sleep, 2:0–140, 1997. (document)

[4] Matthew R Patterson, Adonay AS Nunes, Dawid Gerstel, Rakesh Pilkar, Tyler Guthrie, Ali Neishabouri, and Christine C Guo. 40 years of actigraphy in sleep medicine and current state of the art algorithms. NPJ Digital Medicine, 6(1):51, 2023. 4