原因はライブラリへの参照を、通常のjarを取ってくる形式のものからプロジェクト参照に変更した時に、参照先のパスを間違えていたため。
具体的にはsettings.gradleに以下を追記した。
include ':library'
project(':library').projectDir = new File(settingsDir, '../../repo/library')
これが間違いで、libraryプロジェクトにはテスト用のアプリも含んでいたので 以下のようにライブラリのみのpathを設定するべきだった。
include ':library'
project(':library').projectDir = new File(settingsDir, '../../repo/library/library')
参考：
