Silinu's AI Study

GPU 환경에서 TensorFlow의 시계열 모델(SimpleRNN, LSTM, Bidirectional LSTM 등)을 만들다 보면 아래와 같은 warning이 발생한 경험이 있을 것이다. WARNING:tensorflow:Layer lstm_1 will not use cuDNN kernels since it doesn't meet the criteria. It will use a generic GPU kernel as fallback when running on GPU. 이 WARNING이 발생하면 GPU를 사용할 때 cuDNN 커널을 사용하지 못해서 속도가 느려진다. 이 WARNING은 cuDNN이 Activation 함수를 아래 함수만 지원해서 주로 생긴다. sigmoid tanh 실제로 본인이 ..

우리가 기본적으로 방정식을 풀 때 $W$, $b$ 값이 주어졌을 때, $x$ 값 혹은 $y$ 값을 구하려고 한다. $$ y = Wx+b $$ 하지만, 데이터는 주로 $W$, $b$ 값은 주어지지 않고 $x$, $y$ 값을 주거나 혹은 $x$ 값만 준다. 그렇다면, 만약 $x$, $y$값을 가지고 있다고 가정할 때, 최적의 $W$ 값과 $b$ 값을 얻으려면 어떻게 해야 할까? 우리는 $W$ 값과 $b$ 값에 숫자를 대입해보면서 $Wx + b$ 값이 최대한 $y$ 값에 가까워질 수 있도록 할 수 있다. 하지만 우리가 푸는 문제는 대부분 비선형 문제라 $W$ 값과 $b$ 값이 딱 들어맞지 않는 경우가 대다수이므로 $y$ 값과 오차가 발생할 수 밖에 없다. 그래서 우리는 $W$ 값과 $b$ 값을 대입했을 때 $..