[논문 리뷰] Multi-Classification Prediction of Alzheimer’sDisease based on Fusing Multi-modal Features

Qiao Pan, Ke Ding, Ke Ding

School of Computer Science Donghua University

Shanghai, China

ICDM 2021

[paper]

---

Background

• 알츠하이머 병(Alzheimer’s disease; AD)은 노년층에서 흔히 발생하는 비가역적인 신경퇴행성 질환 
• 최근 노화가 가속화되면서 조기에 알츠하이머를 정확히 진단하는 것이 치료와 질병 지연에 필수적
• 임상연구에서 AD의 발달은 일반적으로 세 단계로 구분
  • CN(cognitively normal): 인지 정상 상태
  • MCI(Mild Cognitive Impairment): 환자의 인지 능력이 약간 저하된 상태
  • AD(Alzheimer’s Disease): 알츠하이머에 걸린 상태

 

알츠하이머 진단 방법

뇌조직 검사를 일반적으로 시행하기 어려움  → 영상(MRI, PET)으로 뇌조직을 간접적으로 조사

PET(Positron emission tomography) 양전자 단층촬영

 

 

• 양전자 방출을 이용하는 핵의학 검사 방법 중 하나
• 방사성 동위원소를 결합한 의약품을 체내에 주입 → 양전자 방출 → 이때 나오는 감마선 신호를 추적하여 체내 분포 파악 영상화 한다.
• 생화학 변화를 영상화 분자단위의 움직임을 알 수 있음.

MRI(Magnetic Resonance Imaging)자기공명영상장치

• 수분이 많은 근육, 인대, 뼈, 디스크, 혈관, 지방, 뇌를 선명하게 보여줌
• 방사선을 사용하지 않고 강한 자기장과 컴퓨터를 이용하여 인체의 구조를 단면으로 재구성
• 인체 해부학적 구조의 변형 및 기능의 장애를 정확하게 파악 가능

 

 

알츠하이머로 인한 뇌의 변화

 

• 대뇌피질은 전체 뇌신경의 25%가 모여 있는 곳.  감각, 운동기능, 인지, 기억, 의식 등을 관장한다. 
• 고차원 뇌기능을 수행하는 대뇌 피질 위축
• 뇌척수액으로 차있던 뇌실이 확대
  
  

회백질(gray matter)

• 척추동물의 중추신경계에서 신경세포가 모여있어 회색으로 보이는 부분
• 주로 뉴런의 신경세포체와 가지돌기, 무수신경돌기로 구성
• 대뇌에서는 외각 부분 즉 대뇌 피질이 회백질에 해당

모두 일치하는 것은 아니지만, 치매 단계가 진행될수록 아밀로이드 침착은 늘어난다. 말기 상태가 될수록 대뇌에 퍼져서 진하게 보인다. 베타 아밀로이드-단백질(파란색) 타우-단백질(녹색) 이들 사이의 위치를 비교해보면 타우-단백질이 있는 장소에 신경퇴화가 일어난 것을 볼 수 있다. 32명의 환자들의 영상을 종합한 결과. 아래는 아밀로이드 혹은 타우 단백질이 모인 양과 뇌조직 축소된 정도의 연관성.그래서 요즘은 타우를 좀더 진단에많이 사용한다고 한다.

알츠하이머 진단에 사용되는 2개의 대표적인 단백질

• 베타아밀로이드: 독성 단백질이 과도하게 생성돼 뇌에 쌓이면서 뇌세포에 나쁜 영향을 준다.
• 타우단백질: 정상적인 뇌신경세포를 침범해 뇌신경섬유를 변화시킨다.

• 뇌조직축소정도는 아밀로이드보다 타우-단백질 양과 높은 상관관계를 보인다
• 이런 단백질들이 뇌에 넓은 범위로 늘어나면 치매 진행이 가속화 된다.
• 원래는 자연스럽게 생겨나는 대사물질이지만, 정상적으로 제거돼야 한다. 제거가 안 되고 뇌에 쌓이고 뭉치면 뇌세포가 손상된다.
• 왜 과도하게 생기는지에 대해 아직 명확하게 밝혀진 기전(작용 원리)은 없다.

Introduction

• 최근 딥 러닝 및 신경 영상 기술로 알츠하이머병(AD) 진단을 하는 연구가 많이 진행되었다.
• 알츠하이머 치매 환자는 대뇌피질의 두께가 얇아져 있는 경우가 많아 대뇌피질 두께 감소는 치매 발생을 예측하는데도 중요한 요소로 꼽힌다.
• 많은 연구에서 AI 기술을 사용하여 AD의 유형을 예측했다.
  • 일부 이전 연구에서 MRI 영상을 3개의 다른 단면에서 2차원 슬라이스를 획득하여 학습에 활용 
    • 이러한 방법은 의료 영상의 3차원 공간 정보를 무시  →  정보 손실 문제 발생
  • 3차원 MRI 데이터로 직접 수행해서 정보 손실 문제를 해결
    • 공간 정보 손실의 문제는 해결되었지만  → 학습 과정에서 채널의 차이를 설명하지 않는다.
  • 의료영상만을 활용한 연구 외에도 의료영상과 임상지표를 모두 활용한 연구가 있다.
    • sMRI와 PET 이미지에서 특정 ROI 지표를 특징으로 추출
    • 융합 feature 처리를 위해 뇌척수액 데이터 및 APOE 유전자 데이터와 결합하는 융합 프레임워크
• 본 논문은 multi-modal features 융합을 기반으로 알츠하이머 병의 다중 분류 예측을 위한 모델 프레임워크를 제안

 

Contirbution

1. 3D-CNN-SE 모듈 제안
   • 3D MRI 데이터에서 주요 feature를 추출하기 위해 제안
   • MRI 이미지는 3D-CNN network로 전달되어 보다 거시적인 관점에서 feature를 추출  → 2D 슬라이스로 인한 공간 정보 손실 방지
2. 지표 선택 전략(Indicator Selection Strategy) 제안
   • Multi modal 데이터는 매우 높은 차원을 가지고 있어 도전적인 영역
   • Indicator 에서 가장 관련성이 높은 feature을 선택하도록 설계
   • IG(Information Gain) +  SHAP(Shapley Additive exPlanation) → 분류에 관련성이 높고 중요한 feature만 선택 → 차원을 축소
3. MAFM(Multi-Attention-Fusion Module) 제안
   • Multi modal 데이터 융합을 수행하고 AD 질병 진단 분류기 설계
   • self-attention 메커니즘을 사용하여 각 features의 가중치 할당을 고려하여 데이터 융합을 수행하고 서로 상관 관계를 학습
   • 모델이 중요한 modality에 더 집중 → 모델 성능 향상

 

Model and Method

3.1 Data Preprocessing

모델의 입력

• sMRI(Structural MRI)
• 임상 데이터
  • 인구통계학 정보(Demographic Information), 신경심리검사 결과(Neuropsychological Test Result), 바이오 마커 테스트(Biomarker Testing), 신경영상 정보(Neuroimaging Information)
• sMRI 데이터는 다른 세분화 정확도 수준의 ROI 템플릿을 기반으로 전처리
  →    회백질 부피, 표편적, 피질 두께 같은 형태학적 feature를 추출
• feature들은 Indicators 데이터 생성을 위해 일치하는 임상데이터와 결합

 

A. Image data preprocessing

• 3차원 MRI 이미지는 MRI 장비로 얻은 슬라이스의 3차원 재구성을 통해 얻음 → 다양한 요인의 간섭으로 데이터 내용의 불일치 발생
• feature 추출과 더 나은 예측 결과를 얻으려면  feature 추출을 하기 전에 이미지 전처리가 필요
  →   주요 목적은 이미지 정렬, 재 매핑 등을 통해 데이터 품질을 높이는 것

MRI의 피질 재구성 및 구조 분할 수행

• Freesurfer 영상 분석 소프트웨어를 사용해 3D MRI 영상에 5가지 전처리 단계 수행

1. 머리 움직임 보정(Motioncor)
2. 불균일 강도 정규화(NU)
3. 탈레라크 변환 계산
4. 강도 정규화 
5. 두개골 박리

 

• 5개의 전처리 단계 →  회백질을 분할  → 다른 정확도로 뇌 분할 템플릿에 매핑(Thomas Yoe의 방법 사용)
  • 본 실험에서는 분할 정확도가 100~1000인 총 10개의 서로 다른 ROI 템플릿을 선택
  • 각 ROI에 대해 회백질의 부피, 표면적, 피질 두께와 같은 형태학적 특징이 sMRI 영상에서 image feature 벡터로 계산된다.

 

B. Clinical Data preprocessing

• 분석할 임상데이터 세트로  총 24개 indicator를 선정
• 인구통계 6개
• 신경심리검사 결과 9개
• 바이오마커 2개
• 신경영상 측정 7개
• 24개의 임상 지표 + smri 이미지의 형태학적 특징
•  → 지표 데이터 세트 생성

 

 

3.2 Feature Extraction and Selection

A. 3D-CNN-SE

• 이전 연구는 대부분 2D-CNN으로 feature 포착 → 3D MRI 데이터에서 중요한 feature 추출을 위해 제안
• 2D 컨볼루션 커널을 사용하면 이미지 내의 다양한 작은 영역을 특징 값으로 필터링할 수 있다.
  • 시간적, 공간적 특징을 학습하는 좋은 성능으로 인해 비디오 데이터에서 성공적인 것으로 입증
  • 그러나 기능 학습 프로세스에서 다른 채널 간의 상관관계는 고려하지 않는다.
• 본 논문에서, 3D-CNN-SE 모듈은 주의 메커니즘을 기반으로 개발되며, 각 컨볼루션 풀링 작업 후 SEnet(Squeeze-and-Excitation Networks) 모듈이 적용되어 결과에 대한 다른 채널의 중요성에 가중치를 부여하여 모델이 작업 관련 정보 학습에 집중하여 성능을 향상시킨다.

• MRI 이미지의 컨볼루션 풀링 후 L×W×H×C의 피처 맵을 획득
• 채널을 제외한 feature map은 global average pooling 연산을 통해 하나의 차원으로 압축
  
  

• 1×1×1×C feature map 표현을 얻고  → 각 채널에 FC 계층 추가로 각 채널이 얼마나 중요한지 예측

 

• 가중치 파라미터는 예측을 기반으로 각 채널에 할당되어 그들의 중요도를 평가.
• 이 파라미터는 가중 feature 표현을 찾기 위해 원래 입력의 feature 맵을 나타내는 채널에 적용한다.

• 마지막으로 다른 채널의 학습된 가중치에  원본 feature들을 곱해 가중치가 적용된 feature를 획득

B. Indicator Selection Strategy

• Indicators 데이터 셋: MRI 이미지 +임상 데이터에서 얻은 feature = 매우 고차원
  →  고전적인 차원 축소 방법인 PCA는 원본 feature가 저차원 공간에 투영되면서 물리적 특성이 손실되고 출처를 추적하는 것이 불가능해짐.
• Indicators의 차원 축소를 위해 Indicator에서 가장 관련 있는 feature를 선택하도록 설계 
• IG(Information Gain)와 SHAP(Shapley Additive Explanation)을 결합한 방법

 

IG(Information Gain): 두 변수 간의 상호 정보량을 측정한 것

• X와 Y feature 세트에서 길이 i(환자 수)의 배열 획득 →관련성이 낮은 indicator feature 제거 가능
• IG로 얻은 feature 하위 집합에 대해 임계값 설정 → 상관관계가 높은 데이터의 70%만 유지
  →   IG 로 AD 분류 작업과 더 관련이 있는 feature 하위 집합을 선택할 수 있다.

 

SHAP(Shapley Additive Explanation) : Shapley 값으로 클래스 레이블과 관련해 부분 집합에 남아 있는 각 feature 중요성을 평가 

• SHAP는 Shapley 값을 각 입력 형상에 대한 속성 값의 합으로 해석하는 가산 형상 속성 방법이다.
• Shapley 값은 입력 기능의 중요도 순위를 결정하는 데 사용할 수 있으므로 이 정보를 사용하여 추가 분석을 위해 feature을 선택할 수 있습니다.

Multi-Attention-Fusion Module (MAFM)

• 앞의 추출과 선택 결과 → multi modal self-attention으로 데이터 융합 수행
• AD 질병 진단을 위한 Softmax 분류기 추가
• 이미지와 indicator feature는 두개의 다른 인코더의 입력으로 사용된다.

• 결과적으로, 이미지 feature → $Z_1$, indicator feature → $Z_2$
  두 양식의 feature를 결합 → AD 질병 진단을 위해 softmax 분류기로 입력

Experiments and Analyses

4.1 Experimental Setup

• Alzheimer’s Disease Neuroimaging Initiative (ADNI) dataset  사용
  • 실험 데이터 셋은 총 환자 596명의 MRI 데이터와 임상 데이터를 보유 
  • 환자 3가지 카테고리  
    • CN(Cognitively normal group) 198명
    • MCI(mild cognitive impairment) 200명
    • AD(Alzheimer’s disease) 198명
    • 데이터셋은  train 7, valid 1, test 2 비율로 랜덤하게 분할

 

4.2 Analysis of Results

multi-modal 융합 모델의 성능을 평가하기 위해, single-modal 데이터와 multi-modal 데이터에 대한 실험을 각각 설계 

A. Experimental analysis of single-modal data

Experiment 1: Evaluate the image feature extraction module (3D-CNN-SE)

• 3D-CNN-SE는 channel attention 매커니즘으로 3D MRI  데이터에서 image feature를 더 효율적으로 추출할 수 있다. 
• VoxCNN 와 ResNet는 훈련 데이터 부족 → 오버피팅 → 분류 정확도 저하
• C3D 모델의 성능이 나머지 두 모델의 성능을 뛰어 넘는다.
• 본 논문에서 제안하는 모델의 성능이 가장 좋다.
  →   각 채널의 가중치에 초점을 맞추는 아이디어가 학습 능력과 성능을 효과적으로 향상시킬 수 있다.

Experiment 2: Evaluate the Indicator Selection Strategy

• 실험에 사용된Indicators dataset은 크게 2개 카테고리로 나누어진다.
  • 이미지 ROI, 환자 임상 데이터 기반 형태학적 특징
• 형태학적 특징을 위해 Thomas Yeo는 세분화 정확도가 다른 10개의 ROI 템플릿을 제안했다. 10개의 템플릿에서 추출한 이러한 특징에 대해 각각 AD 예측을 수행했다.
• 템플릿(200)의 정확도가 가장 높음 → 특징 추출에 사용
• 임상 데이터의 경우 ADNI 데이터 세트에서 24개의 임상 지표 사용

 

• 몇 가지 일반적인 차원 축소 방법을 비교한다.
  • 차원 축소 없이 얻은 모델(None)의 성능은 PCA와 및 RF보다 약간 우수
  • IG, SHAP 그리고 본 논문의 방법보다는 나쁨
• PCA 의 경우, 데이터 세트의 원래  좌표에서 새로운  좌표 세트로 직교 변환되어 새 좌표가 실제 시스템 변수를 나타내지 않음
• RF의 경우,  랜덤 포레스트 모델에 의존하고 특성 값의 순위는 해당 모델에만 기반하기 때문에 성능이 좋지 않음.
• IG 방법은 feature의 관련성만 고려하고 중요도를 무시
• SHAP 방법은 feature의 관련성을 무시
  →   지표 선택 전략은 feature의 관련성과 중요성을 모두 고려

B. Experimental analysis of multi-modal data

• 전체 뇌 영역에서 feature를 추출한 방법의 분류 정확도가 이미지 ROI 기반 방법보다 높다.
  →   이 결과는 feature 추출에 이미지 ROI를 사용하는 것은 뇌 정보의 손실로 이어진다는 것을 보여준다.
• 그러나 9, 10은 알츠하이머병 진단을 위해 이미지 데이터만을 사용한다.
• 본 논문의 방법은 뇌 전체 영역 고려하고 multi modal 데이터의 조합을 사용하고 보다 안정적이고 정확한 모델을 생성한다. 
• 정확도는 88%로 다른 방법보다 우수하다.

 

Conclusion

• 본 논문은 multi-modal features 융합을 기반으로  알츠하이머 병을 다중 분류 예측하는 모델 프레임 워크를 제안한다.
• 실험 결과는 multi-modal 데이터 융합이 각각의 장점을 활용하고 더 나은 성능으로 더 안정적인 모델을 생성한다는 것을 보여준다.
• AD198명,  MCI 200명, CN 198명으로 이루어진 ADNI 데이터 셋으로 모델을 평가했다.
  • Single modal 데이터를 사용한 결과와 비교했을 때, 예측 결과가 크게 개선되었다.
  • 세 가지 환자 분류에서 88%의 정확도를 달성했으며 이는 다른 방법들 보다 우수하다.
• 논문의 길이 제한으로 인해 이 논문의 모델은 ADNI의 단일 데이터 세트에서만 입증되며 모델의 일반화 능력에 대한 효과적인 검증 부족 
• IG+SHAP 방법을 사용하여 feature를 선택하는 경우 개별 feature만 고려하고 여러 feature 간의 상호 작용은 무시한다.