Jenkinsでビルド時にgit fetchしたら「Permission denied」エラー

ビルド時に以下のエラーが出て困った。OSはMac。

Caused by: hudson.plugins.git.GitException: Command "git fetch --tags --progress ssh://repourl +refs/heads/*:refs/remotes/origin/*" returned status code 128:
stdout: 
stderr: Permission denied, please try again.
Permission denied, please try again.
Permission denied (publickey,password).
fatal: Could not read from remote repository.

git fetchを実行するとSSHの秘密鍵のパスフレーズの入力を求められるので、
パスフレーズをKeyChainに登録したらいけるのではと思ったが駄目。
しょうがないのでパスフレーズなしで秘密鍵を生成してエラーを回避した。
本当はパスフレーズは設定した方がいいんだろうけど。。
参考：Linux同士でSSHによるパスフレーズなしログイン | Check!Site