Day5 생각 정리

오늘 시도한 기법

• LGBM Regressor
• Cat Boost Regressor
• LSTM + NN

 

1. 생각
   1. LSTM + NN 모델의 층을 얕게, Learning rate 값을 줄여서 학습해보자.
   2. 점수가 높게 나온 Regressor들의 하이퍼 파라미터를 조정해보자.
2. 실행
   1. LSTM + NN 모델의 하이퍼 파라미터를 다음과 같이 변경하여 학습하였다.
      1. Learning Rate: 0.001 → 0.00001
      2. LSTM Unit: 30 → 10
      3. Dense: (1024, 512, 256, 128, 1) → (512, 128, 1)

1. 1. Regressor의 하이퍼 파라미터를 다음과 같이 추가 및 조정하였다.
      1. LGBM Regressor 
         1. max_depth: 100 → 16
         2. learning_rate, subsample 추가
      2. CatBoost Regressor 
         1. learning_rate, l2_leaf_reg, bootstrap_type, subsample, eval_metric, metric_period, od_type, od_wait, allow_writing_files 추가
2. 결과
   1. 1567점이 나왔다.
   2. 789점이 나왔다.
3. 분석
   1. NaN 값은 안 나왔으나, LSTM을 전부 학습하는데 15시간이 걸렸다.
      1. 만약 또 같은 모델을 사용한다면 묶어서 같이 학습하여 시간을 줄일 수 있는 방법을 찾아야 한다.
   2. LGBM Regressor의 학습 파라미터를 조정해서 더 좋은 결과를 얻을 수 있도록 다시 도전해야 할 것 같다.

 

해결할 리스트

• 다른 사용 가능한 Regressor를 찾아볼 것
• 열 가공 처리를 어떻게 할 지 생각할 것
• 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것
• +(New)  LSTM 코드의 시간을 줄일 수 있는 방법을 생각할 것
• +(New)  LGBM Regressor의 학습 파라미터를 조정할 것