Latest topics 近況報告

Ubiquityの先にある未来についてAza氏と直接話せた - Nov 19, 2008

所用でMozilla Japanオフィスに行った際、とても幸いなことに、Aza氏と話すことができた。

ちょうどPCを持っていたので、XUL/Migemoのデモをお見せした。IMを使わずに日本語を検索できる様子というのは、なかなかインパクトがあった……っぽい。と思う。

結論から言うと、僕の理解は大筋ではそう間違っていなかったようだ。「translate "english sentence" to japanese, and email to jono」や「『別れたい』をググってマスダる」みたいな複数の「動詞」の組み合わせ（チェインとかパイプとかそういう感じのもの）は、Ubiquityの将来のバージョンで入れる予定があるとも言っていた。セカンドサーチやLookpickやinquisitorについては、悪くないけどいまいち、という風に言っていて（……だと思う。英語不得意なので曖昧）、Aza氏はむしろもっともっと先を目指しているようだった。「動詞」を人間がいちいち入力しなくても、例えばSocial IMEやGoogleやYahooがそうしているように、多くのユーザの行動傾向をベースにして統計処理により精度の高い推測を行うようにする、という風なことも考えているとのことだった。

UbiquityはFirefox上で動作するものだけれども、もっと言えばデスクトップ環境のどこでも動作するようにできれば一番イイ、とも言っていた。彼がUbiquityの前に作ったEnsoがまさにそうで、デモしてもらった様子を見たら、デスクトップ上で特定のホットキーを押すとUbiquityのような物が起動してUbiquityのようにコマンドを入力できる、という物だった。

そういった一連の話を経て僕が思い浮かべたのは、ATOKダイレクトだ。ユーザが語句の入力を行うフロントエンドにいつも存在していて、デスクトップ環境のどこででも動作して、おもむろに始めた入力操作から「乗り換え案内」や「辞書検索」といった多様な機能をシームレスに呼び出すことができる。（それに、日本語圏のユーザなら基本的にいつでもIMEを使っているから、UbiquityやEnsoのように「それを使うためにモードを切り替えるぞ！」という気負いをしなくていい。そういう意味で、こういった操作系に馴染みやすいのはもしかしたら日本人や中国人の方なのかもしれない。）

Aza氏は、ATOKがプロプライエタリな製品であるということを残念がっていた。僕はUbuntu上のATOK X3で変換候補から同音異義語の説明が出る様子を見せたけど、これがもっとオープンな物だったら……と彼は言っていた（この時僕は、PerlやRubyからATOKダイレクトAPIを簡単に呼べるということを完全に失念していたので、そのせいもあるとは思う）。オープンソースの環境で、完全にオープンなソフトウェアだけで、IMから追加コマンド（アドオン、プラグイン）まで全部まかなえれば、もっと自由度が高くなってイノベーションが産まれるかもしれない、と。

ATOKダイレクトのようにどこでもシームレスに使えて、Ubiquityのように簡単に機能を追加できて、Webの向こう側にあるサービスと連携できる。そういう物がAza氏の当面の目標なのかもしれない。

ただ、IMをこれから新しく作るというのは、特に日本語や中国語のユーザのためにそうするというのは、さすがに無謀だと僕は思う。Ubuntu環境では最初からSCIM Anthyが使えたにもかかわらず、Firefox 3 Hacksを執筆するにあたって、大量の文章を入力する時に誤変換によるストレスが尋常でなかったため、慌ててATOK X3を購入することにした。という自分のエピソードも引き合いに出して、日本語圏のユーザにとってIMは空気のように欠かせない存在であって、その品質が日常の生産性にダイレクトに影響する、だから生半可なIMでは使ってもらえない公算が高い、ということをつい熱く語ってしまった。まあ、やるとしても、Anthyのようなすでにある開発コミュニティと協力し合って進めるのがまだ現実的だろうと思う。

ところでATOK 2008を買いそびれてしまったためというのもあって僕は全然知らなかったんだけど、ATOKダイレクトって想像以上の物みたいだ。HowTo記事によると、プラグイン作るのも関数を1つ定義するだけでいいという簡潔さだし。ATOKダイレクト開発者ブログでは色々ユニークなプラグインが紹介されている。これは20日にでもAza氏に補足として伝えておかないといけないなあ。阿波徳島マジパネェ。

余談だけど、GIMPのGUIはほんとひどいな！という所でAza氏と意気投合できたのは愉快だった。実際にそのツールを使って何かをする人の立場に立って、実際に使う場面でのフィーリングを大事にする、ということの重要性をAza氏も気にしていた。日本語圏でUbiquityのような物を使おうとする時に、キーボードを使って言葉を入力するということ自体がもう大多数の日本人にとってとてもストレスフルだという事を思い、僕は、日本人のフィーリングに合うUIの設計の難しさというものを改めて実感した。

20日のアレに先んじて、抜け駆けのようになってしまったけれども……色々話せたのはとても良かったと思う。この時の会話で深まった理解を還元したくて、こうして書いてみた。

Ubiquityにも、コマンドを作る人というのよりももっと深いレベルでこれからコミットできればなあと思う。

UxUを使った、自動テストを伴うデバッグ手法の実践 - Nov 18, 2008

UxU（UnitTest.XUL）を利用したFirefoxアドオンのデバッグの例 - ククログ(2008-11-17)

XUL/Migemo 0.11.7での修正内容が典型的な「自動テストを使ったデバッグ」だったので、UxUのチュートリアルを兼ねて、会社のサイトの方に書いてみました。UxUの解説って言うよりは、テスト駆動開発自体の解説という気もしますが。

リンク先に解説してるのはpXMigemoFindのfindFirstVisibleNodeメソッドだけのデバッグ話ですが、実際にはこのメソッドはだいぶ根幹に関わる物で、このメソッドの挙動の変更によって他の機能に色々と影響が出る可能性がありました。が、他の挙動に関しては一通り自動テストを作成済みだったために、後退バグの発生で収拾不能な事態に陥るということを恐れずに安心して修正に取り組むことができた、というまさに自動テスト様々な事例だったということも忘れずに付け加えておきたい所です。

Ubiquityの事を少し見直した - Nov 17, 2008

Firefox Developers Conference 2008に行ってきた。

モバイルとか次世代のWebとかそういうのがメインの話題という風に聞いていたので、僕が行ってもあんまり得る物は無いのかなー、と思ってたんだけど、逆に今まで全然関わり合いがなかった分野の話を聞く良い機会になった。

Ubiquityについては、vimperatorと同類なんじゃね？　誰が喜ぶのこんなの？　という感じにしか思ってなかったんだけど、実際に見てみるとなかなかぶっ飛んだ感じの物だった。入力が英語だったから日本語圏の人間からはそれこそvimperator等と見分けがつかないけど、英語ネイティブの人にとっては、自分が話す言葉でFirefoxに指示を出せるようにする画期的な仕組み、なのだと思う。

他の言語への対応、特に日本語のように英語とはルールが全く違う言語を解釈させるためには、Mozillaだけで全部解決しようとするよりは、Anthyなりprimeなりをライブラリとして利用するような方向の方がまだ現実的なんじゃないかと思った。あと、IMの問題（Enterキーの事とか、そもそもIMを使って入力するから全然インクリメンタルじゃないとか）の解決のためのヒントになるんじゃないかと思って、懇親会の時にAza氏にXUL/Migemoの事を売り込んでおいた。

最大の問題は、これが「能動的に操作する人」「目的語よりも動詞を先に思い浮かべる人」を強く志向しているという事だろう。これについては講演を聴く前後で認識が変わらなかった。「受動的に操作する人」「動詞よりも目的語を先に思い浮かべる人」のためにはどういうUIが良いのか？　という事についてのAza氏の考えを聞いてみたいところだ。「そういう人はそもそもPCを使うべきではない（そういう人のために設計されるのが、単機能に特化した物、例えば電子辞書であるとかデジカメであるとかメール送受信専用端末であるとか）」ってのも、まあ、一つの考えだと思うけど。

それ以外の話。

パネルディスカッションでMozillaのえらい人が「日本の状況は他と違うと思うか？」みたいな質問に対して「すごく違う」と答えていたけれども、「stupid」ではなく「different」と言っていた事に気がついて、ああこれが政治的に正しい喋り方っていうものなんだなあと、本題とは関係ないところで感心した。

組み込みの話が進まない理由について、組み込み屋さん的には「一緒に頑張って仕組みを作っていきましょう」みたいに協力的な態度で来られれば「よしやろう」と思えるけど、Mozillaみたいに「いい物作りましたんで後はみんなが勝手に開発して使ってね」という態度だと使う気になれない、みたいな。Mozillaが高飛車すぎるのか、日本の組み込み屋さんがベッタリ甘々な関係に慣れすぎているのか……まあ企業対企業という観点で見るとMozilla何様のつもりやねんって感じだけど、Mozillaは理念と利益だったら理念の方を取る（むしろ、取らなければならない）団体だということを考えると、当然の事かなー、と。

よくある風景 - Nov 15, 2008

XUL/Migemoの動作で怪しい所を見つける→再現条件確定→その条件下でのテストを行うためのUxUのテストケースを作成→何かちゃんと動かない→UxUのバグ発見→抜本的修正開始→途中で疲れて寝る→抜本的修正続き→やっとチェックイン→XUL/Migemoのテストを書く気力がなくなってる→それでもめげずにテスト書き再開→UxUの別の問題発覚→心が折れかける（今ここ）

XUL/Migemoとvimperatorと単体テスト - Nov 10, 2008

今まで全然知らなかったんだけど、vimperatorでXUL/MigemoのAPIを使ってタブの切り替えやヒントモードを強化するなんてことをやってる人がいたんだ。（←って、分かったような書き方をしてるけどvimperatorの事は全然分かってません……）

その関係でいくつかページを渡り歩いてたら、XUL/Migemoのバグって話題が出ていて、なぬ！と思ってさらに辿ってみた所、半角括弧がらみの問題のことらしい。あーこの辺ちゃんと見直さないままずっとここまで来てたんですよね……UxU用のテストも基礎部分の単体テストはさっぱり手つかずのままだったし（ぉぃ）。ということで本腰入れてテスト書いて、潜在してたバグを潰し始めました。でもまだまだ見落としがありそう。

XUL/Migemo 0.11.5でMinefield 3.1b2preのタブ検索に対応したよ - Nov 08, 2008

表題の通り。昨日と今日とでガラッとUIが変わったりしてカオスな事この上ないMinefield 3.1b2preですが、最終版まで残るものと踏んで、タブの一覧を表示した時に絞り込みを行う検索欄でMigemo検索できるようにしました。ページ内検索の物とは異なり、スマートロケーションバーと同様にスペース区切りで複数語句のAND検索になります。入力からそれに対応する正規表現を生成する部分の処理はスマートロケーションバーの物を汎用化して使っているので、語句の頭に「-」を付ければNOT検索もできます。

で、その関係でpIXMigemoインターフェース（XMigemoCore）に新しくいくつかメソッドが加わりました。以下、IDL定義から抜粋。

AString getRegExpFunctional(
   in AString input,
   out AString termsRegExp,
   out AString exceptionsRegExp
);
attribute boolean andFindAvailable;
attribute boolean notFindAvailable;
boolean isValidFunctionalInput(in AString input);
AString trimFunctionalInput(in AString input);

getRegExpFunctional()に「nihon go -hoge」という風な文字列を渡すと、nihonとgoをローマ字入力として解釈した結果でAND検索を行うための正規表現が返ってきます。第2引数に渡したオブジェクトのvalueプロパティには、AND検索ではなくOR検索のための正規表現が格納されます（これを使うと、検索にマッチした単語を取り出すことができる）。第3引数に渡したオブジェクトのvalueプロパティには、NOT検索で「これにマッチしたら除外する」という用途に使う正規表現が格納されます。先の例だと「hoge」をローマ字入力として解釈した結果の正規表現ですね。

trimFunctionalInput()メソッドは、例えば「nihon go -」という風な（NOT検索の入力中と思われる）文字列を渡すと、前後の空白と最後のハイフンを取り除いた結果を返します。NOT検索が無効な時は、前後の空白だけが取り除かれます。今の所はそれだけしかしません。

isValidFunctionalInput()は、trimFunctionalInput()やgetRegExpFunctional()に渡してMigemo検索するに値する内容かどうかを判定します。このメソッドがfalseを返した場合はMigemo検索のための処理を丸ごとスキップする、という風な感じで使います。

タブの一覧の絞り込み部分のコード（filterListFromInputメソッド）が、まさにこれらの実際の利用例ということになります。自分のアドオンやらuserChrome.jsやらで使ってみたい人は参考にしてください。

他の目につく改良点として、スマートロケーションバーの検索処理を改善しました。というか修正しました。元々スマートロケーションバーでは、例えば「moz」と入力して出てきた候補から「mozilla.jp」を選択した場合、2度目以降はその候補が真っ先に表示されるし、同様に「mozilla.gr.jp」や「addons.mozilla.org」なども選択したことがある場合には選択回数が多い物から順に表示される、という仕様になってるんですが、これを再現するためのSQL文を書き間違えてて（MAX関数をJavaScriptのMath.max()みたいなものと勘違いしてた）、同じ項目を何度選んでも表示の順位が上がらないという状態になってました。スマートロケーションバーが全然スマートじゃなくなってたという……

XUL/Migemo 0.11.2 緊急アップデート - Sep 12, 2008

XUL/Migemo 0.11.1を公開してAMOにアップロードしたら妙に早く承認されて「へえ」と思っていたら、新規インストール時に特に発生する致命的な問題が存在していたことがついさっき判明して、速攻でAMOにログインして当該バージョンを公開停止にしようとしたんだけど、これ今になって気がついたけどファイルの削除はできても特定のバージョンの「公開停止」という措置は取れないんか……公開ページ上の最新バージョンは0.11.1と表示されててダウンロードボタンも緑色なのにクリックするとファイルのダウンロードに失敗する、という妙な状況になってしまった。せめて前のバージョンをダウンロード可能にしてくれればいいのにぃ。

つい先ほど、修正を施した0.11.2をアップロードしたものの、これが公開を承認されるまではずっとこの状態なんだろうか。困った。

しかしまあ何というか、ちゃんとレビューされてなかったのね、ということを今更ながらに実感した次第です。苦笑……できない。

XUL/Migemo 0.11.0 - Sep 07, 2008

XUL/Migemo新版を公開した。

池田さんに教えてもらうまで存在を知らなかったSearch Markerのような、検索のヒット位置をスクロールバー横に表示する機能を追加した。Search Markerとは以下の点が異なる。

• Search MarkerはDOM要素でマーカーを表示してるけど、XUL/MigemoではHTML Canvasで表示している。
• Firefox 3.1での「すべて強調表示」の仕様変更に独自に対応しているので、Firefox 3.1でも動く。
• クリックだけでなく、ドラッグ操作にも対応している。
• フォーカスされている場所に対応するマーカーが強調表示される。

これの絡みで、選択範囲とか強調表示とかまわりの処理をだいぶ書き直した。強調解除で選択範囲が復元されなかったり、強調表示した状態での再検索がやたら重かったり、といった細かい問題が色々直ってるはず。

検索にヒットしてフォーカスされた箇所を画面中央に表示する機能は、以前実装してみたもののいざ使ってみるとウザくて全然使ってなかった。そのウザさの原因はどこにあったのかというと、多分、すぐ次の行とか近くにある語にヒットした時まで強制的に画面がスクロールして、ページのどこが表示されてるのか分からなくなってしまいがちという所だったのだと思う。というわけで、画面の端から30％内側のラインより外にある時だけスクロールするようにした。Safariとかはこういう動作になってたと思う。どうしてFirefoxの素の検索機能はこういう所で気が利いてないんでしょうね。

スクロールといえば、クイックMigemo検索中にページをスクロールしている間はタイムアウトのためのタイマーを止めるようにしてみた。スクロールして眺めてるのにハイライトが消えてしまってムカツク、ということが何度かあったので。

そんな感じの細かい改善が結構入ってます。

んげ。今LDRでふと検索を試してみたら、スクロール全然できなくなった。iframeではないCSSによるスクロール可能なボックスのことを考えるのを忘れていた。

Google Chromeの、検索にヒットした位置を示すアレ - Sep 04, 2008

他にもやってる人いそうだなあ……

XUL/Migemoで使ってる機能についてFirefox 3.1で色々変わってた事の調査結果 - Sep 03, 2008

前のエントリの追記が多くなったので分ける。

「すべて強調表示」の強調箇所がspan要素ではなくnsISelectionになった件については、nsISelectionControllerの選択範囲の型の中にSELECTION_FINDというのが増えていて、ユーザの選択範囲や検索で現在フォーカスがあたってる箇所を表すSELECTION_NORMALとは別に管理されていることが分かった（nsISelectionControllerのメソッドを使うとこれらの型別に選択範囲の一覧を取ることができる）。ということで、「どっちも同じ選択範囲だったらどうやってフォーカス箇所を取ればいいんだ！」という問題は杞憂だったと判明した。

あとはパッチと実際の新しい実装を見ながらFirefox 3.1用のコードを書いて、Safari風強調表示を有効にしてる時だけFirefox 3.0までと同様のspan要素を使うハックを復活させるようにしたところ、アニメーション効果も無事動くようになった。元々、XUL/Migemoでは正規表現にマッチする箇所をまとめて強調しないといけない関係上、span要素を使うハックの処理のほとんどを自前で再実装してたので、思った程には大規模の改修はしなくて済んだ。

一個だけ躓いた所として、XPCOMコンポーネントの新しいメソッドをIDL定義に追加して引数にnsISelectionController型のオブジェクトを渡すようにしていた所、XPIDLでのコンパイルは通るんだけど実際に使う時にNS_ERROR_XPC_CANT_GET_PARAM_IFACE_INFOというエラーが出てにっちもさっちもいかなくなってしまった。ダメ元で、引数の型をnsISupportsにして受け取り側でQueryInterfaceするようにしてみたところ、ちゃんと動いてくれた。一体何だったんだろうこれは。

textbox要素のsearch型については、パッチを見た限りでは今の所サイドバーの「ブックマーク」と「履歴」でだけ利用されていて、XUL/Migemoのやってるハックには影響しないようだった。

ロケーションバーの方もテストしてみようと思ったらこれが全然動かなくなってて、調べてみたらmozIStorageServiceのopenDatabase()メソッドでplaces.sqliteを指定して開く所で「ファイルがロックされてるぞゴラァ」と怒られていた。ななななななんてこった！！！　SQLite Managerで見ようとしてもやっぱりロックされてて見れないと言われる。どうも不用意な書き換えでデータベースが破壊されないようにロックがかかるようになったようだ。これはやばい。PlacesデータベースにSQLでアクセスできなくなったらXUL/Migemoのロケーションバーまわりの実装の苦労が全て水の泡になる上に、Firefox 3 Hacksで物凄いページ数使って書いた内容がまるっきり無駄になるじゃないか。マジで一瞬気が遠くなった。

精神的に半泣きになりながらmozilla-centralでスマートロケーションバーまわりのコードを調べていたら、いくつかの箇所でDBConnectionとかStorageConnectionとかそういう文字列が登場していて、それをキーに調べてみたらnsPIPlacesDatabaseというインターフェースのDBConnectionプロパティからPlacesデータベースへのコネクションオブジェクトにアクセスすることができるらしいということが分かった。このインターフェースはPlaces API関係のサービスが実装していて、以下のようにすればアクセスできるという事も分かった。

var dbConnection;
if ('nsPIPlacesDatabase' in Ci) { // Firefox 3.1 の場合
  dbConnection = Cc['@mozilla.org/browser/nav-history-service;1']
                  .getService(Ci.nsINavHistoryService)
                  .QueryInterface(Ci.nsPIPlacesDatabase)
                  .DBConnection;
}
else { // Firefox 3.0.x の場合
  const DirectoryService = Cc['@mozilla.org/file/directory_service;1']
                            .getService(Ci.nsIProperties);
  var file = DirectoryService.get('ProfD', Ci.nsIFile);
  file.append('places.sqlite');
  if (file.exists()) {
    const StorageService = Cc['@mozilla.org/storage/service;1']
                            .getService(Ci.mozIStorageService);
    dbConnection = StorageService.openDatabase(file);
  }
}

ホント焦った……4日のトークセッションで土下座せなあかんかと思ったよ。

ちなみにその4日のトークセッションですが引き続き参加者の方絶讃募集中です。9月4日19:00から池袋ジュンク堂にて開催。参加費1000円ワンドリンク制（多分）で定員40名、電話か店頭で申し込む必要があります、としつこく宣伝しておきます。どうかよろしくお願いします！！！！