[Review the review] 4-2. 리뷰 사진 품질 판단 모델

주제

의류 이커머스 업계에서 관련 없는 리뷰 뿐만이 아니라, 리뷰 글의 품질을 판단하여 적립금을 차등 지급하는 서비스를 만들자

※ 본 내용은 프로젝트 종료 이후 개별적으로 추가 실험한 내용을 기재하였음을 알려드립니다.

 

리뷰 사진 품질 판단 모델

• Purpose
  • 사용자의 리뷰 사진을 입력 받아 리뷰 품질을 0~2단계로 평가하기.
• Issue
  • 프로젝트에서 진행한 방식은 해당 상품과 동일한 의류 종류만 인식한다면 관련 있다고 판단함.
  • 이는 해당 상품과는 관련이 없는 사진이더라도 해당 의류 종류만 사진에 찍혀 있다면 관련 있다고 판단함.
    • 예를 들어 후드 티 상품에 니트 옷을 입고 찍은 사진을 리뷰로 올리더라도 동일한 의류 종류(상의) 이므로 관련 있다고 판단함.
  • 이를 방지하기 위해서 리뷰 사진과 해당 상품과의 유사성을 판단해야 함.
    
    
• Architecture
  1. 사진 리뷰를 YOLOv8 Model에 입력으로 넣어 의류 종류와 사람을 인식함.
  2. 해당 의류 종류와 사람을 인식하지 못한 경우나 사람만 인식한 경우 관련 없음으로 분류함.
  3. 해당 의류 종류를 인식한 경우나 해당 의류 종류와 사람을 둘 다 인식한 경우 인식된 의류 종류의 bounding box 부분만 Crop함.
  4. Crop된 이미지의 크기만큼 해당 상품 이미지 크기를 조절함.
  5. Crop된 이미지와 크기 조절된 해당 상품 이미지를 각각 ResNet 모델로 Embedding 함.
  6. Crop된 이미지를 Embedding 한 값과, 크기 조절된 해당 상품 이미지를 Embedding 한 값을 Cosine similarity를 비교함.
  7. Cosine similarity가 0.55 이상이라면 단순 상품 사진 혹은 착용 사진으로 분류되며, 그렇지 않은 경우 관련 없음으로 분류함.
     
     
• Performance
  

  

  Cosine Similarity 비교 후 성능

  • 총 성능을 86.3%에서 94.8%로 8.5%의 성능을 올림.
  • 이외의 성능을 80.1%에서 97.1%까지 성능을 올림.
  • 상의, 아우터는 2%, 바지는 4%의 성능이 떨어짐.
    • 왜냐하면 현재 의류 상품과 일치하더라도 상품의 색과 리뷰 사진의 의류 색이 다르면 유사도가 낮아지기 때문임.
    • 색상이 여러 개 있어, 색상을 옵션에 따라 구매할 수 있는 상품에는 여러 색상의 리뷰 사진이 올라오지만, 현재는 한 색상의 의류 상품 사진만 가져와서 비교함.
    • 따라서 해당 상품의 여러 색상의 사진을 가지고 비교한다면 성능이 더 올라갈 것으로 보임.
      
      
• Code Link
  • https://github.com/Silinu1016/Project/tree/main/Photo%20Review%20Quality%20Evaluation