CARPE DIEM, SEIZE THE SAMPLES UNCERTAIN “ATTHE MOMENT” FOR ADAPTIVE BATCH SELECTION

논문 링크

 

 

batch 단위로 학습을 하면서 마지막 추론 과정에서 데이터마다 잘 맞추는 데이터, 잘 맞추지 못하는 데이터, 혼동이 되는 데이터 등등

 

여러가지 경우가 있습니다

 

위의 논문에서는 혼동이 되는 데이터(예 : 말 이미지를 사슴, 말, 소라고 추론하는 경우)는 아직 학습이 더 필요한 데이터이므로

 

계속 학습을 해야하고

 

잘 맞추는 데이터(예 : 말 이미지를 계속 말이라고 추론하는 경우)는 너무 쉬운 데이터이고, 잘 맞추지 못하는 데이터(예 : 말 이미지를

 

계속 사슴이라고 추론하는 경우)는 너무 어려운 데이터이므로 학습에 도움이 되지 않는 데이터라고 설명을 합니다

 

그래서 위와 같은 데이터는 학습에서 제외를 하고 혼동이 되는 데이터가 현재 학습에 필요한 데이터이기 때문에 해당 데이터들로만

 

학습을 진행해야한다고 설명하고 있습니다

 

과거 방법은 추론 결과에 대한 전체 기록을 참고하여 학습 유무를 판단했는데 해당 논문에서는 최근 기록(위의 표에서 파란색 부분의

 

recent 부분)을 참고하여 학습 유무를 판단하고 있습니다

 

그 결과 기존 일반적인 학습 방법과 대비해 정확도에서 최대 21% 오류를 감소시키고 훈련 속도에서는 최대 59% 시간을 단축했다고

 

나와있습니다

window 크기(첫번째 이미지에서 파란색 recent 부분)에 따른 정확도 비교

window의 크기에 따라 성능이 달라진다는 점에서 어느정도 최적화가 필요한걸로 보입니다