ssh-agentが秘密鍵をキャッシュすることが原因。 macでは常にssh-agentが動いてるっぽい。killしてもすぐ復活する。 一度ssh-agentをkillするとキャッシュはクリアされる。