MURA: Large Dataset for Abnormality Detection in Musculoskeletal Radiographs

Abstract

169 densenet 모델로 학습을 시켰다.

우리 모델은 손가락과 손목 연구에서는 좋은 결과를 얻었지만

나머지 팔꿈치, 상완골, 전완골, 어깨뼈 검출에서는 사람보다 못한 결과를 내었다.

우리가 이 데이터를 공개하면서 이미지 분석에 대한 더 많은 진전이 있길 바란다.

Introduction

딥러닝 학습 시 대량의 질 좋은(화질이나 라벨링이 잘된) 데이터셋은 중요한 역할을 한다.

영상의학자는 환자가 정상이라고 판별이 되면 더 많은 진단을 하지 않아도 되기 때문에 

정상이냐 비정상이냐를 판단하는 것은 아주 중요하다.

MURA

팔꿈치, 손가락, 전완골, 상완골, 어깨뼈, 손목, 손 등의 7개의 연구 중에서

12173명의 환자로부터 얻은 14656개의 연구 중에 총 40561장의 이미지가 있다.

학습 데이터는 11184명의 환자에게서 13457개의 연구를 통해 36808 이미지

밸리데이션 데이터는 783명의 환자에게서 1199개의 연구를 통해 3197 이미지

테스트 데이터는 206 환자, 207 연구, 556 이미지

라벨링한 의사들은 2~25년사이의 경력을 가지고 있고 평균적으로 8년정도이다.

Model

densenet을 사용하였고 마지막 fully connected layer를 단일 출력을

가진 레이어로 대체하였다. 그후에 시그모이드를 적용하였다.

우리는 weighted binary cross entropy loss를 사용하였고

배치에 넣기 전에 우리는 각 이미지를 같은 평균과 표준편차로 정규화했다. 

또한 이미지를 320*320으로 변화하고 랜덤으로 이미지 각도를 30도 돌려서 데이터 augmentation 하였다.

Network Architecture and Training

가중치 초기값은 ImageNet에서 학습된 가중치값을 초기값으로 설정하였다.

옵티마이저는 Adam을 사용하였고 beta1은 0.9 beta2는 0.999

미니배치 사이즈는 8. 초기 learning rate는 0.0001이고 10epoch마다 learning rate를 감소시켰다.

또한 모델 5개를 통한 앙상블을 했다.

Radiologist vs. Model Performance

우리는 6명의 영상의학자로부터 추가적인 라벨을 얻었고

랜덤으로 3명을 뽑아 다수결을 통해 정상, 비정상을 결정하였다.

Cohen’s kappa statistic을 통해 영상의학자와 우리 모델을 비교했다.

영상의학자는 손목연구와 상완골에 가장 높은 점수를 얻었고 손가락 연구에서 가장 낮은 점수를 얻었다.

모델은 또한 손목 연구에서 가장 높은 점수를 얻었고 손가락 연구에서 가장 낮은 점수를 얻었다.

전체적으로 모델은 가장 잘 분류한 영상의학자보다 낮은 성과를 보였다.

마지막으로 Receiver Operating Characteristic (ROC)를 통해 비교를 해봤다.

(specificity과 sensitivity를 통해 분석하는 방법)

area under the ROC curve (AUROC)에서 0.929였지만 

각 영상의학자의 the operating point는 0.929보다 위에 있다.

이것은 모델이 영상의학자만큼 골절 유무를 판단하지 못한다는 것을 의미한다.

Model Interpretation

이미지의 예측 부위를 표시하기 위해 우리는 class activation mappings (CAMs)을 사용하였다

Related Work

큰 데이터셋은 이미지 인식 분야에서 딥러닝이 사람 수준으로 일을 할 수 있도록 한다.

의료 영상이 공개적으로 사용될 수 있도록 한 노력이 있기 때문에 그 수준은 점점 더 진전되고 있다.

위 그림은 공개적으로 사용할 수 있는 의료 영상 데이터셋을 보여준다.

그 전의 데이터셋은 MURA 데이터보다 이미지 수가 적었다.

ChestX 같은 경우 영상의학자가 직접 라벨링을 한 것이 아니라 

영상의학자의 보고서에서 자동적으로 생성한 라벨을 사용하고 있다.