Silinu's AI Study

오늘 시도한 기법 Autogluon 생각 어제에 이어서 Autogluon 코드를 변형하여 실행해보자. 실행 다음과 같이 변경하였다. target 값에만 Standardscaler, Robustscaler를 적용하였다. 일요일로 해당되는 pred 값은 0처리 했다. 결과 673, 674점이 나왔다. 분석 Minmaxscaler가 가장 최적으로 보인다. Minmaxscaler를 고정으로 다른 것을 실험해야 한다. 해결할 리스트 Autogluon 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것.

오늘 시도한 기법 Autogluon 생각 Autogluon 코드를 변형하여 실행해보자. 실행 다음과 같이 변경하였다. target 값에만 Minmaxscaler 적용하였다. 일요일로 해당되는 pred 값은 0처리 했다. 결과 667점이 나왔다. 분석 Minmaxscaler 뿐만 아니라 다른 scaler도 실험해보고 싶다. 해결할 리스트 +(New) Autogluon 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것. 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것

오늘 시도한 기법 Darts 생각 어제의 분석처럼 Dart 코드의 하이퍼파라미터 값을 변형해보자. 실행 다음과 같이 변경하였다. Batch size: 128 → 28 결과 721점이 나왔다. 분석 Batch size는 128로 이미 최적화가 되어있는 듯 하다. 시간이 충분하다면 epoch 수를 늘려보고 싶다. 해결할 리스트 Darts 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것. 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것

오늘 시도한 기법 Darts 생각 어제의 Dart 코드의 하이퍼파라미터 값을 변형해보자. 실행 다음과 같이 변경하였다. input_chunk_length: 128 → 28 Batch size: 256 → 128 결과 717점이 나왔다. 분석 저번 LSTM을 실험할 때 Sequence Length를 210으로 했을 때보다 28로 했을 때 더 성능이 좋았기 때문에 이번에도 128이 기본으로 되어 있던 것을 변경했는데 좋은 결과가 나왔다. 아무래도 28일을 예측하는데 너무 많은 Sequence Length는 필요 없는 것 같다. 오히려 더 줄였을 때의 결과도 궁금하다. Batch size도 마찬가지로 저번의 경험을 토대로 줄여봤다. 256으로 했을 때 결과가 721이었던 것이 현재 128로 줄임으로써 717로..

오늘 시도한 기법 Darts 생각 코드 공유에 올라와있는 코드를 실험해보자. 실행 코드 공유에 들어있는 코드를 직접 실험하였다. 결과 752점이 나왔다. 분석 여러 가지 모델을 한꺼번에 실행하는 모델인 것 같은데, 어떻게 돌아가는지, 어떤 모델이 포함되어 있는지 과정을 제대로 파악할 필요가 있을 것 같다. 해결할 리스트 다른 사용 가능한 Regressor를 찾아볼 것 열 가공 처리를 어떻게 할 지 생각할 것 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것 Batch size를 좀 더 줄여서 Bidirectional LSTM 모델을 학습해볼 것 Loss 값을 확인해볼 것 +(New) Darts 모델 알고리즘을 이해할 것

오늘 시도한 기법 LSTM 생각 저번 LSTM의 층, epoch, Batch size을 바꿔보자. 실행 아래와 같이 변환하였다. 입력 sequence: 60 → 28 LSTM층: 기존보다 두 층 덜 쌓음. Epoch: 3000 → 5000 Batch size: 1 → 32 결과 1610 → 1368점이 나왔다. 분석 adam을 SGD로도 변환하여 시도하였을 때 500점 이상 차이나게 점수가 나왔다. 사용하지 말거나, SGD에 맞는 모델을 새롭게 찾거나 해야한다. 처음으로 입력 sequence 값 변화를 시도했는데 좋은 결과가 나왔다는 얘기는 조금 더 바꿔서 실험해볼 필요가 있을 것 같다. 층 수가 낮음에도 좋은 결과가 나왔다는 것은 이전의 모델이 이미 너무 overffiting이 된 것이 아닌 지를 의심..

오늘 시도한 기법 LSTM 생각 저번 LSTM의 층, epoch, Learning rate, Batch size을 바꿔보자. 실행 LSTM층을 한 층 더 쌓고, epoch가 1000이었던 것을 3000으로 변환했고, Learning rate를 각 item별로 나눠서 다르게 주었고, Batch size를 넣지 않았다. 결과 1610점이 나왔다. 분석 아예 싹 모델을 다르게 변화 시켜야 할 것 같다. 일부 item을 학습할 때 Learning rate가 높으면 자꾸 NaN 값이 나와 item 별로 바꿨다. 아예 Learning rate를 처음부터 적게 줘서 통일하는 것도 하나의 방법이 될 수 있을 것 같다. epoch가 3000이나 줬는데도 저번보다 성능이 낮아졌다는 얘기는 이미 최고점이 1000이었을 수도..

오늘 시도한 기법 LSTM Bi-Directional LSTM 생각 저번 LSTM의 unit, 층을 바꿔보자. 실행 unit이 15였던 층을 전부 20으로 변환했고, 2번에 걸쳐 output length를 줄였던 것을 한 번에 output length 줄였다. 1번에서 Batch size를 바꾸고, LSTM 코드를 Bidirectional LSTM 코드로 바꿨다. 결과 1439점이 나왔다. 1474점이 나왔다. 분석 저번에는 1430점이 나왔는데, 층을 완전히 변화하여 모델을 다른 구조로 변화해야 할 것 같다. 시간은 조금 더 걸리더라도 Batch size를 크게 하면 안될 것 같다. 또한 Bidirectional LSTM 코드의 형태도 다른 구조로 변화하여 실험해야 할 것 같다. 해결할 리스트 다른 사..

오늘 시도한 기법 LSTM 생각 LSTM을 시간을 줄이고, item끼리 묶어서 학습해보자. 실행 아래 링크와 같이 Activation(leaky relu)을 lambda 함수로 지정하여 바꿔주고, epoch를 10000번 진행하였다. 시계열 모델 Lambda Activation 1번 + 일요일을 0으로 처리하였다. 2번에서 Activation을 elu로 바꿔주고, epoch를 1000번 진행하였다. 결과 1937점이 나왔다. 1925점이 나왔다. 1430점이 나왔다. 분석 시간이 줄어들었지만 1번의 epoch에 1.5 ~ 2.1초 정도이기에 거의 24시간은 걸린 것 같다. epoch 수를 바꾸거나 모델을 다른 형태로 변화해야할 것 같다. 일요일을 0으로 바꾸는 것이 점수가 더 좋게 나왔다는 것은 결국 일..

오늘 시도한 기법 LGBM Regressor LSTM 생각 LGBM Regressor의 파라미터를 조정해보자. LSTM을 item끼리 묶어서 학습해보자. Item, Corporation, Location 별로 나눠서 LGBM Regressor 학습해보자. 실행 LGBM Regressor의 파라미터를 조정하였다. subsample: 0.6 → 0.8 item끼리 나눠서 학습하였다. 각 열별로 나눠서 LGBM Regressor를 학습하였다. 결과 789점이 나왔다. 1419점이 나왔다. 913점이 나왔다. 분석 LGBM Regressor의 파라미터 값을 변화한다고 해도 기존의 점수보다 크게 변동되지 않는다. 이 모델말고 다른 모델을 찾아야 한다. 학습 시간이 줄어서 저번보다는 빠르게 학습했지만, 더 줄일 수..