ハードウェアアクセラレーションやDirectDrawといった、Firefoxの低レイヤの描画周りの不具合なんじゃないかなあと思います。ツリー型タブがそのバグを顕在化させてしまっている、ということではないかと想像しています。（about:configでgfx.*系の設定をいじると状況が変わるようであれば、その可能性が高いです。）
ツリー型タブの何がトリガーを引いてしまっているのかが問題で、必要ない事をやっているせいで問題が起こっているとか、別の手法を使えばデメリット無しで問題を解消できるとかのような状況であれば、それは直したいと思っています。
でも、そうでない場合、問題の解決のためにはツリー型タブの使用をあきらめるか最適化関係の設定を無効化しなくてはならないかといった話になってきますね……