原因はGPUが1つしかないのに
export CUDA_VISIBLE_DEVICES='1'
が環境変数に設定されていたため。
export CUDA_VISIBLE_DEVICES='0'
に変更すると直った。
参考:
また、問題の切り分けのために、以下を実行してtensorflowからGPUが見えているかを確認した。
from tensorflow.python.client import device_lib print(device_lib.list_local_devices())
参考: