Silinu's AI Study

오늘 시도한 기법 LGBM Regressor 생각 저번에 해결하고자 하는 것처럼 LGBM Regressor의 파라미터를 조정해보자. 필요 없어 보이는 열을 제거해보자. 실행 LGBM Regressor의 파라미터를 조정함. max_depth: 15 → 30 Learning rate: 0.05 → 0.001 n_estimators: 2000 → 5000 Correlation이 낮은 year, month, day 값을 없애보자. 결과 807점이 나왔다. 818점이 나왔다. 분석 LGBM Regressor의 파라미터 값이 이미 최적이 되어있었기 때문에 오히려 역효과가 나온 것일 수 있다. 하이퍼파라미터 말고 다른 방법을 찾아야 한다. 아무리 Correlation이 낮다고 해도, 실질적으로 Test 입력 값으로 ..

오늘 시도한 기법 LGBM Regressor Cat Boost Regressor LSTM + NN 생각 LSTM + NN 모델의 층을 얕게, Learning rate 값을 줄여서 학습해보자. 점수가 높게 나온 Regressor들의 하이퍼 파라미터를 조정해보자. 실행 LSTM + NN 모델의 하이퍼 파라미터를 다음과 같이 변경하여 학습하였다. Learning Rate: 0.001 → 0.00001 LSTM Unit: 30 → 10 Dense: (1024, 512, 256, 128, 1) → (512, 128, 1) Regressor의 하이퍼 파라미터를 다음과 같이 추가 및 조정하였다. LGBM Regressor max_depth: 100 → 16 learning_rate, subsample 추가 CatBo..

현재까지 시도한 기법 Random Forest Regression LSTM + NN 공휴일 표시 열 추가 test 때 공휴일 0으로 작성 LGBM Regressor XGB Regressor Cat Boost Regerssor Day 1 생각 처음에는 먼저 Baseline 코드를 실행해보자. 시계열 데이터이므로 각각의 Item, Corporation, Location에 따라 데이터를 나눠 LSTM 기법으로 학습해보자. 실행 코드 공유에 나와있는 Random Forest Regression 기법을 사용하였다. 각 Item, Corporation, Location별로 데이터를 나누니 39개의 데이터가 만들어졌다. 각각의 데이터 당 LSTM + NN 모델로 학습하였다. 처음에 50번, 10번, 깊이를 줄여 10..