/etc/sudoers でDefaults requirettyが設定されているのが原因。
以下をVagrantfileに追加すると直る。
Vagrant.configure("2") do |config|
config.vm.box = "dummy"
config.vm.provider :aws do |aws, override|
# 中略
# sedでrequitettyのとこをコメントアウト
aws.user_data = <<-USER_DATA
#!/bin/sh
sed -i -e 's/^\\(Defaults.*requiretty\\)/#\\1/' /etc/sudoers
USER_DATA
end
end