Day7 생각 정리

오늘 시도한 기법

• Autoencoder

 

1. 생각
   1. 하이퍼파라미터를 변경 후 학습해보자.
2. 실행
   1. 아래와 같이 변경하여 실험을 진행하였다.
      1. Autoencoder 모델 Leaky ReLU, ELU의 기울기 변경하기
      2. Unit 수를 증가하기
3. 결과
   1. 0.68~0.78점이 나왔다.
4. 분석
   1. Unit 수를 증가한다고 해서 더 성능이 좋아지거나 하지는 않았다. 학습 도중 갑자기 loss가 급격히 올라가는 구간이 발생했는데, 왜 그런건지 생각해봐야 할 필요가 있다.
   2. Leaky ReLU, ELU 기울기가 1 이하인 것 보다는 이상일 때 더 성능이 좋게 나왔다. 하지만 이것도 일반화할 수는 없을 것 같다. Activation을 다르게 바꿔보는 실험도 필요하다.
   3. 오늘 학습 결과를 전체적으로 살펴보면, 학습 데이터 셋 기준으로 threshold 값을 결정하는데, test할 때 범위 내에 있지 않은 결과들이 대다수다. 이에 따라 다음 3가지를 생각할 수 있다.
      1. 학습 모델이 잘못되었다. 재구축이 필요하다.
      2. 범위 설정이 이상하다. 다시 재정의 해야 할 필요가 있다.
      3. overffiting 되었으므로 overffiting이 되지 않을 방법을 생각해야 한다.
      4. 따라서 하이퍼 파라미터를 다르게 변경할 예정이다.

 

해결할 리스트

• 하이퍼 파라미터에 따른 실험 진행할 것
• 바뀐 test transform 모델을 기준으로 threshold의 percentile에 따른 실험 진행할 것
• Autoencoder 외에 다른 모델을 적용할 것