「browser.tabs.insertRelatedAfterCurrent」の値が
「true」だと、サイドバーを閉じていてもタブがツリー化される
「false」だと、サイドバーを閉じているとタブがツリー化されない
とわかりました、デフォルトは true だけど自分はずっと false で使っていました
おお、原因が分かってよかったです。ツリー型タブは開かれたタブのopenerTabIdという情報を見てタブの親子関係を識別しますが、この設定がfalseだとopenerTabIdがセットされないというのは把握していませんでした……どっかに書いておかないといけないですね。
サイドバーが開かれていればツリーになるというのは、タブの位置関係から推測した親子関係が反映されたのではないかと思います。