原因は恐らく以下。
・mergeタグを使っている
・android annotationsを使っている
CustomViewクラスを定義している場合、xmlではmergeタグをRootにする。
その場合AdapterのgetViewメソッドでinflateメソッドを呼ぶ時に、第三引数にparentを渡さないといけない。
しかし、android annotationsのbuildメソッドを使ってinflateした場合、parentを渡せない。
そのため、layout xmlでlayout_heightを設定しても効かない。
mergeでなく、RelativeLayoutなどに変更すると直った。
これだとViewGroupが一つ余分に出来ちゃうけどしょうがないか。。