Silinu's AI Study

프로그래머스 인공지능 데브코스 한 지 벌써 5개월이 지났고 끝이 났다. 2023년 12월 ~ 2024년 1월 동안 새롭게 최종적으로 짜여진 팀과 팀 프로젝트를 총 3번 진행했다. 두 개의 팀 프로젝트는 각각 하루 만에 진행이 되었으며, 나머지 하나는 약 1개월 반 동안 진행되었다. 팀 프로젝트 1 이 당시에는 12월에 새롭게 설문 조사하여 원하는 곳으로 배정할 수 있도록 만들어진 팀이었고, 실제로 나 포함 배정 받은 6명 중에 3명이 아는 사람이었다. 그 중 2명은 사정이 있어 나오지 않아 이번에는 네 명이서 프로젝트를 진행하였다. 이번에도 지난번과 같이 역할 분배 및 실시간 상황 보고가 가장 중요하다고 생각했다. 실제로 아는 사람들끼리 해서 그런가 소통은 활발히 이루어졌다. 하지만 우리 조가 1등을 못..

프로그래머스 인공지능 데브코스 한 지 벌써 3개월이 지났다. 이번 11월 달에는 새롭게 짜인 팀과 함께 경진 대회를 나간 것, 취업 관련 멘토링에 가장 시간을 많이 할애한 것 같다. 11월 달에 강의를 통해 배운 내용은 다음과 같다. 한 달 동안 배운 내용 Recurrent Neural Network(RNN) Redshift Spark NLP Visual Recognition 느낀 점(좋았던 점, 아쉬웠던 점) NLP 분야와 Visual Recognition 분야의 내용을 이해하기 쉽게 강의하는 것이 좋았다. 그리고 저번부터 지속적으로 언급해 왔던 점으로 과제를 수행할 때 제대로 된 코드를 짰는지 알려줄 사람이 없는 것이 가장 아쉬웠다고 했었는데 이번에 적극 적으로 의견이 반영된 점이 정말 좋았다. 멘토..

환경 : Window, Python 3.9, Jupyter notebook(Anaconda 설치된 상태), GPU 환경 1. 지난 글 요약 및 현황 지난 글 이후로 NaN 값이 나올 수 있는 것을 방지하면서 게임을 이길 수 있는 방법을 모색하는 실험을 진행했다. 우선 그 이후로 실험할 때 NaN 값은 안 나왔으며, 게임은 4할의 비율로 이기고 있다. 그러나 학습하는 데 있어 또 다른 문제점이 발생하였다. 바로 시간과 학습 안됨이었다. 1.1 시간 문제 현재 세워진 모델로 한번의 착수를 하는데 0.07초가 걸린다. 이때 한 번의 대국에서 착수 횟수가 대략 110 ~ 190회 이므로 대강 12초 정도의 시간이 걸린다는 점이다. 이전까지는 적어도 10000번의 학습을 하였기 때문에 이번 모델도 그렇게 진행하려..

환경 : Window, Python 3.9, Jupyter notebook(Anaconda 설치된 상태), GPU 환경 1. 지난 요약 지난 글에서 다뤘던 최대 문제점은 Agent가 이미 돌이 착수 된 곳에 두어 실험이 끝나는 경우가 99.96%였다. 따라서 다음과 같은 실험을 진행했다. Agent가 이미 돌이 착수된 곳의 Action 확률을 최소화 하여 그 자리를 뽑지 않게 한다. 하지만 위 실험에도 위와 비슷한 확률로 Agent가 이미 돌이 착수 된 곳에 두어 가설을 세웠다. Policy Network에서 예측한 Action 확률의 모든 값이 min 값일 것이다. 현재 진행하는 방식이 잘못되었을 것이다. 2. 가설 확인 Policy Network에서 예측한 Action 확률의 모든 값이 min 값일 ..

환경 : Window, Python 3.9, Jupyter notebook(Anaconda 설치된 상태), GPU 환경 현재 진행 중인 학습의 생각 정리를 해보자. 1. 시도 방식 목적: 각 오목 상황에 맞게 착수 둘 곳을 self-learning 방식으로 학습하자. 사용 모델: Actor Critic 방식 모델 사용 이유: AlphaGo와 비슷한 방식으로 Policy Network와 Value Network를 학습해보자. 차이점: 몬테카를로 트리 탐색을 사용하지 않음. 오목과 바둑의 룰이 다르므로 불필요하게 생각되는 space는 제거함. reward가 다름. 2. 문제점 및 시도 1. Epoch 10000번을 실행했을 때, 이미 돌이 착수 된 곳에 둬서 episode가 끝나는 경우가 9996번 정도이다..

환경 : Window, Python 3.9, Jupyter notebook(Anaconda 설치된 상태), GPU 환경 아래는 현재 강화 학습이 되고 있는 모습이다. 현재 문제점으로는 계속적으로 학습을 진행하고 있으나, nan 값이 나와 학습 중단이 되는 경우가 빈번히 발생한다. Actor Critic 방법 외에 다른 방법을 찾거나 모델을 다른 방식으로 진행해야 할 필요가 있을 듯 하다.

오늘 시도한 기법 Autogluon 생각 어제에 이어서 Autogluon 코드를 변형하여 실행해보자. 실행 다음과 같이 변경하였다. target 값에만 Standardscaler, Robustscaler를 적용하였다. 일요일로 해당되는 pred 값은 0처리 했다. 결과 673, 674점이 나왔다. 분석 Minmaxscaler가 가장 최적으로 보인다. Minmaxscaler를 고정으로 다른 것을 실험해야 한다. 해결할 리스트 Autogluon 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것.

오늘 시도한 기법 Autogluon 생각 Autogluon 코드를 변형하여 실행해보자. 실행 다음과 같이 변경하였다. target 값에만 Minmaxscaler 적용하였다. 일요일로 해당되는 pred 값은 0처리 했다. 결과 667점이 나왔다. 분석 Minmaxscaler 뿐만 아니라 다른 scaler도 실험해보고 싶다. 해결할 리스트 +(New) Autogluon 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것. 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것

오늘 시도한 기법 Darts 생각 어제의 분석처럼 Dart 코드의 하이퍼파라미터 값을 변형해보자. 실행 다음과 같이 변경하였다. Batch size: 128 → 28 결과 721점이 나왔다. 분석 Batch size는 128로 이미 최적화가 되어있는 듯 하다. 시간이 충분하다면 epoch 수를 늘려보고 싶다. 해결할 리스트 Darts 모델로 하이퍼 파라미터를 바꿔서 실험해볼 것. 잘 나온 모델들을 가지고 Ensenble 모델을 만들어볼 것

환경 : Window, Python 3.9, Jupyter notebook(Anaconda 설치된 상태), GPU 환경 AlphaGo를 참고했을 때, 네트워크 구성으로 Policy network와 Value network로 이루어진 것을 확인했다. 이 글에서는 AlphaGo와 학습하는 방식은 조금 다르지만, 위 두 네트워크를 가진 Actor Critic 기법을 사용하여 self learning 하기로 했다. 간단하게 용어 정리하면 다음과 같다. Policy network: agent가 어떤 상황에 놓여져 있을 때 어떠한 행동을 할 확률을 출력 값으로 내보낸다. 이때 하나의 상황에서 여러 행동을 선택할 수 있다면, 각각의 행동을 할 확률이 출력 값이 된다. Value network: agent가 어떤 상황..