모델

• Efficientnet b0-b4, NFNet f0-1를 모두 사용해 봤지만, 일정 수준 이하의 validation loss보다 내려가면 오히려 성능이 하락하는 현상이 발생
• 모델의 capacity 보다는 학습 전략에 초첨을 맞춰야 겠다고 느꼈고, 이후 모델은 Efficientnet b3모델기반의 모델을 고정적으로 사용
  
  

Loss 함수

• Arcface loss
  • 롯데정보통신에서 주최한 분류대회에서 1등하신 분이 사용했던 Arcface loss
  • angular margin penalty를 통해서 클래스 간의 discrepancy를 향상하는 기법
  • 실제로 전통적인 CE를 활용했을 때보다 좀 더 빨리 수렴했음
    
    

데이터 불균형

• WeightedRandomSampler
  • 데이터 불균형을 해결해 보고자 사용해 봤지만 점수 대폭 하락
  • 적은 비율을 차지하는 60세 이상의 데이터의 경우에 몇 개 없는 것을 반복적으로 자주 학습하게 되어 overfitting 됬을 것으로 생각
• Class Weight
  • class의 weight를 계산해 CE를 계산해 줄때 사용 → arcface loss와 함께 사용하여 효과를 봄
• Focal Loss
  • Object Detection과 같이 극단적인 imbalance가 일어나는 태스크에서 자주 사용함
  • 쉬운 샘플에 대해서는 작은 가중치를 부여하고, 어려운 샘플에 대해서는 큰 가중치를 부여해 학습의 어려운 예제에 집중할 수 있도록 도움
• Age filter
  • 60세 이상의 그룹에 해당하는 나이가 60세 밖에 없었기 때문에 50대 후반의 데이터를 60세 이상으로 바꿔보자는 아이디어에서 시작
  • 피어세션에서의 공유를 통해서 58세가 가장 좋은 결과가 나왔다고 들었지만, 나는 59세가 가장 효과적이엇음
    
    

잘못된 라벨링(mislabeled)

• Label Smoothing
  • 분류 문제에서 label 이 1이라고 해서 반드시 label은 1이 아닐 수 있음, 사람이 annotation을 진행하기 때문에 항상 오류가 존재할 가능성이 있기 때문임
  • 이때 발생할 수 있는 mislabeled 데이터의 영향을 줄이고 모델의 일반화를 높이기 위해서 사용하는 기법임
  • label을 하나의 정수로 부여하는 것이 아니라, 다른 label이 될 수도 있는 가능성을 추가해 줌으로 regularization에 도움을 즘
• 직접 고쳐주기
  • 토론글에 공유된 잘못되어 보이는 경우를 manual하게 고쳐줌
    
    

추가 데이터

• UDA(Unsupervised Data Augmentation)
  • labeled 되지 않은 데이터를 활용하는 방법으로 해당 데이터를 augmentation을 거치지 않고 제공했을 때와, augmentation을 거친 후에 제공했을 때의 벡터 값이 유사하게 나오도록 유도함으로써 성능을 끌어 올리는 기법임
  • supervised loss: 전통적인 cross entropy loss를 사용함
  • unsupervised loss: kl-divergence loss를 사용
• Pseudo Labeling
  • labeled 되지 않은 데이터에 가상의(pseudo) 라벨을 붙여서 학습 시에 활용하는 기법임
  • 온라인에서 구한 추가 데이터를 제공 했을 때는 오히려 성능 하락을 보였음
  • test 데이터를 활용하였을 때 점수 상승이 가장 많이 발생
  • test 데이터를 활용하는 것이 data leakage라고 생각되는데 이를 활용해서 점수를 올리는 것이 과연 유의미 한것인지 판단이 서지 않음
    • test 데이터 말고 추가적으로 unlabeld 데이터가 있어서 semi-supervised를 경험해 볼 수 있었다면 더 재밌는 대회가 됬을 거 같음
      
      

기타

• TTA(Test Time Augmentation)
  • 말 그대로 Inference(Test) 과정에서 Augmentation 을 적용한 뒤 예측의 확률을 평균(또는 다른 방법)을 통해 도출하는 기법
  • 과도한 augmentation을 줬을때 오히려 스코어 하락이 있었고, horizontal flip만 추가해 주었을 때 가장 성능향상이 높았음
  • f1 score 0.04점이 올랐음