NSViewのalphaValueのAPIドキュメントを見ると、
Prior to OS X v10.6, views not managing a Core Animation layer did not support this method.
と書いてある。実は裏でCoreAnimationが使われているらしい。
Launch Arguments & Environment Variables - NSHipsterを参考にビルドスキーマのargumentsを使ってCA_DEBUG_TRANSACTIONS=1を環境変数に入れるとひとまずCoreAnimationのstack traceが出るようになった。