原因はsshキーにアクセス出来ないこと。
このエラーメッセージが表示された時にJenkinsが動いているMacで「sshキー・・・のパスワードを入力して下さい」というダイアログが表示されている。
これにパスワードを入力しても再度ダイアログが表示されるだけでやっぱりビルドできない。。
最終的には以下をやると直った。何が原因だったかはよく分からないが。。
・SSHキーを作り直した
・Gitlabにビルド用ユーザでログインし、SSH Keyを登録した
・Jenkinsが動いているマシンでエラーコードを吐いていたコマンド(git ls-remote -h ssh://・・・.git HEAD)を実行した。
そうするとSSHキーのパスフレーズを入力するダイアログが表示されたのでパスフレーズを入力した。