Day8 생각 정리

오늘 시도한 기법

• LSTM

 

1. 생각
   1. LSTM을 시간을 줄이고, item끼리 묶어서 학습해보자. 
2. 실행
   1. 아래 링크와 같이 Activation(leaky relu)을 lambda 함수로 지정하여 바꿔주고, epoch를 10000번 진행하였다.
      • 시계열 모델 Lambda Activation
   2. 1번 + 일요일을 0으로 처리하였다.
   3. 2번에서 Activation을 elu로 바꿔주고, epoch를 1000번 진행하였다.
3. 결과
   1. 1937점이 나왔다.
   2. 1925점이 나왔다.
   3. 1430점이 나왔다.
4. 분석
   1. 시간이 줄어들었지만 1번의 epoch에 1.5 ~ 2.1초 정도이기에 거의 24시간은 걸린 것 같다.
      1. epoch 수를 바꾸거나 모델을 다른 형태로 변화해야할 것 같다.
   2. 일요일을 0으로 바꾸는 것이 점수가 더 좋게 나왔다는 것은 결국 일요일 = 0이라는 것이 영향을 많이 주는 것 같다.
   3. epoch가 줄어들어서인지 아님 elu를 사용해서 성능이 좋아진 것인지 확인해야할 필요가 있다.
      
      1. 다양한 형태도 시도해야 할 것 같다.

 

해결할 리스트

• 다른 사용 가능한 Regressor를 찾아볼 것
• 열 가공 처리를 어떻게 할 지 생각할 것
• 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것
• +(New) 새로운 형태의 LSTM 모델을 연구해볼 것