일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- AI 오목
- 프로그래머스데브코스
- CV
- nlp
- 코딩부트캠프
- SentenceBERT
- Lambda Activation
- TensorFlow lambda
- Image Cosine Similarity
- reinforcement learning
- cuDNN WARNING
- yolo webcam
- 강화학습
- 국비지원교육
- 바둑판 만들기
- yolov8 load weights
- will not use cuDNN kernels
- 오목 AI
- 오목
- Actor Critic
- PYTHON
- Jupyter Notebook
- cv2
- pygame
- yolov8 커스텀 학습
- 강화 학습 적용
- object detection
- tf.keras.layers.lambda
- yolov8
- YOLO
Archives
- Today
- Total
Silinu's AI Study
[Review the review] 3. 리뷰 글 품질 판단 모델 본문
주제
의류 이커머스 업계에서 관련 없는 리뷰 뿐만이 아니라, 리뷰 글의 품질을 판단하여 적립금을 차등 지급하는 서비스를 만들자
- 리뷰 글 품질 판단 모델
- Purpose
- 사용자의 리뷰 글을 입력 받아 리뷰 품질을 0~3단계로 평가하기.
- 0~3단계의 품질은 아래 링크에서 확인할 수 있음.
- 사용자의 리뷰 글을 입력 받아 리뷰 품질을 0~3단계로 평가하기.
- Preprocessing
- 순서
- 데이터 셋을 1차, 2차 전처리 과정에 넣음.
- 결과를 토대로 1차 정제 리스트에 내용을 추가함.
- 데이터 셋 최적화를 위해 1, 2 과정을 반복함.
- 1차 : 텍스트 전처리
- 정제
- 오타 수정
- 불용어 제거
- 이모티콘 제거
- 해시태그 제거
- 정규화
- 반복 횟수 정규화
- 띄어쓰기 정규화
- 문장 길이 필터링
- 정제
- 2차 : 네이버 맞춤법 검사기 API
- 순서
- Auto Labeling
- 각 단계(0~3단계)에 맞는 소수의 리뷰 글들을 각 리스트에 저장함.
- Sentence-BERT 모델을 사용하여 각 단계별 저장된 리스트와 입력 받은 리뷰 간의 유사도를 측정함.
- Sentence-BERT : snunlp/KR-SBERT-V40K-klueNLI-augSTS
- Epoch : 4
- Pooling : Mean pooling
- Link : https://huggingface.co/snunlp/KR-SBERT-V40K-klueNLI-augSTS
- 측정된 유사도가 가장 높은 단계에 따라 라벨 값이 부여됨.
- 입력된 리뷰 글과 부여된 라벨 값을 직접 검수하고, 각 단계의 리스트에 추가로 저장함.
- 이후 2, 3, 4 과정을 반복하여 Labeling을 진행함.
- Model
- 해당 상품 카테고리와 리뷰 글을 각각 Embedding함.
- Embedding된 리뷰 글과 해당 상품의 관련성을 판단함.(리뷰 등록 판별 모델)
- 관련이 없다면 리뷰 등록을 거부하고, 관련이 있다면 리뷰의 품질을 평가함.(품질 평가 모델)
- 평가된 품질에 따라 적립금을 차등 지급함.
- ONNX
- 안드로이드 내부에 실행하기 위해서 ONNX 과정을 거쳐 최적화 하기로 함.
- FP16 : 메모리 사용량이 적으며, 연산 속도가 빠르고 GPU 사용에 최적화됨.
- Quantization : 기존 FP32를 INT8로 변환하여, 연산량이 감소되면서 연산 속도가 증가함.
- Performance
- 전처리에 따른 성능 비교
- 하이퍼 파라미터에 따른 성능 비교
- ONNX 최적화에 따른 성능 비교
- 전처리에 따른 성능 비교
- Code Link
- Purpose
'Project > Review the review' 카테고리의 다른 글
[Review the review] 4-2. 리뷰 사진 품질 판단 모델 (0) | 2024.02.07 |
---|---|
[Review the review] 4. 리뷰 사진 품질 판단 모델 (0) | 2024.01.27 |
[Review the review] 2. Architecture 및 적립금 구조 (0) | 2024.01.27 |
[Review the review] 1. 주제 선정 (0) | 2024.01.27 |