Nstepで数回に1回NaNが出て学習が終了してしまう

実行時の警告

[TRAINING] Epi     50, Total Steps    10000, Epi Steps =     200, Return =   195.1646, FPS :   292.6950
/Users/keiohta/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:51: RuntimeWarning: invalid value encountered in minimum
  return getattr(obj, method)(*args, **kwds)
/Users/keiohta/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:51: RuntimeWarning: invalid value encountered in maximum
  return getattr(obj, method)(*args, **kwds)
[TRAINING] Epi     51, Total Steps    10200, Epi Steps =     200, Return =        nan, FPS :   294.0548

また、bufferサイズ10000に対して、10000回目で死んでおり、bufferの回り込み関連であると推測される