[Review the review] 4. 리뷰 사진 품질 판단 모델

주제

의류 이커머스 업계에서 관련 없는 리뷰 뿐만이 아니라, 리뷰 글의 품질을 판단하여 적립금을 차등 지급하는 서비스를 만들자

• 리뷰 사진 품질 판단 모델
  • Purpose
    • 사용자의 리뷰 사진을 입력 받아 리뷰 품질을 0~2단계로 평가하기.
      • 0~2단계의 품질은 아래 링크에서 확인할 수 있음.
        • https://silinu-ai.tistory.com/43
  • Preprocessing
    • 모든 이미지를 (256, 256) 크기로 조정함.
    • 아래 링크와 같이 이미지 라벨링을 진행함.
      • Classes : ["Top","Outer","Pants","Onepiece","Skirt","Human"]
      • https://silinu-ai.tistory.com/10 
    • 크기가 조정된 이미지를 기본으로 블러, 색반전, 흑백 처리를 하여 데이터를 증강함.
      

      

      
      
      
    • 최종 학습 데이터 셋으로 가장 성능이 좋은 데이터 셋을 선정하기 위해 아래의 데이터 셋을 준비함.
      

      

  • Model
    • YOLOv8m
      • Epoch : 200(Early stopping)
      • Patience : 30
      • Image size : 256
  • Model 출력 값 처리
    • 2단계(착용 샷으로 처리)
      • 인식된 카테고리 내에 현재 상품의 카테고리가 포함할 때 + 사람을 인식할 때
    • 1단계(단순 상품 사진으로 처리)
      • 인식된 카테고리 내에 현재 상품의 카테고리가 포함할 때 + 사람을 인식하지 못할 때
    • 0단계(현재 상품과 관련 없음 처리)
      • 인식된 카테고리 내에 현재 상품의 카테고리가 포함하지 않을 때
        • 사람을 인식하였어도 현재 상품의 카테고리를 인식하지 못한다면 관련 없음 처리함.
          
  • Performance
    • 데이터 셋에 따른 성능 비교(정확도)
      • C data를 사용했을 때 가장 성능이 좋았음.
        

        

    • YOLOv8 모델에 따른 성능 비교(정확도, 예측 시간)
      • YOLOv8m 모델로 fine-tuning 한 결과 가장 성능이 좋았음.
        

        

    • 신뢰 점수 임계치(Confidence score threshold)에 따른 성능 비교(정확도)
      • 신뢰 점수 임계치가 낮게 설정되면서 옷이 아닌 사진(이외)을 옷이라고 인식하는 성능이 37%였음.
      • 이를 개선하기 위해 신뢰 점수 임계치를 증가하였고, 0.45까지 늘리는 것으로 확정함.
        • 옷 인식 성능을 유지하면서 옷이 아닌 사진을 옷으로 인식할 수 없도록 만들기 위함.
          

          

    • 최종 성능(이미지 모델 인식 정확도 및 사람 인식 정확도)
      • 총 성능으로 86.3%를 달성함
        

        

        
        
        
  • Code Link
    • https://github.com/Silinu1016/Project/tree/main/Photo%20Review%20Quality%20Evaluation