3D input/output としての Kinect/3Dテレビに思うこと

まずは3DなinputであるKinectに関して、
最近はこっそりopenframeworks + ofxKinect を触ったりしてるが、
プログラミングする上で気づいたこととして、kinectの適正距離はわりと不自由。
ネット上で適正距離1.8m〜って見た覚えがあるけど、実際近すぎると深度と色の関係が破綻する印象。
（そうでなくても色と深度の関係は個体差があるらしく、
　openframeworksのフォーラムでもキャリブレーションが話題。）
日本の住宅事情の中では適正距離のあたりがネックになったりするんだろうか。
しかしKinectいろいろやってるだけで結構楽しい。未来を感じる。

ofxKinect study #07 from Atsushi Tadokoro on Vimeo.

（映像はAtsushi Tadokoro氏によるデモ）


一方で3Dなアウトプットである3Dテレビに関して、
日本の電気メーカー各社から3Dテレビが出揃った感があるが
現状の3Dテレビには根本的な問題としての見たときの不自然さ、気持ち悪さみたいなものがある。
個人的な意見としては臨場感が増すメリットより不自然さを感じるデメリットの方が大きいと感じた。

不自然さの原因として3Dグラス自体はあまりネックにならない。
各社の3Dグラスともオンになった状態でも少し暗くなるかなっていう程度で全然気にならない。
これは素直にすごい。

ではなぜ現状の3Dテレビが気持ち悪いかというと映像そのものの不自然さがあると思う。
普段人間が見てるものは当然のごとく3Dな物体だけど特に不自然とは思わない。
映像の中の3Dがなぜ不自然になるかというと被写界深度の問題がある。

人間の目を含めた光学系にはピントが合う範囲があって、
ピントが合ってない、つまり注目していない領域の映像はぼける。
人間は普段意識はしなくても注目しているものだけ見られるハードウェアを持っているということ。

一方、3DTVでは注目してない領域の映像も強制的にピントがあった状態で見させられる。
このことが3D映像を見たときの不自然さ、ひいては長時間見たときの疲れに繋がっていると思う。

この課題は3D映画などの予め被写界深度を意識して作り込めるコンテンツでは回避可能かもしれない。
しかし、別の臨場感を求められるコンテンツ、例えばスポーツなどの生中継や、ライブ映像などのコンテンツでは難しい。
なぜならこういうコンテンツは映像を作る上で注目する対象に対してピントを外す失敗が許されないため、
できるだけ被写界深度を長くしたパンフォーカスでの映像をつくることが多いからだ。

しかしこの問題はソフトウェアでの解決が可能な問題でもあるよなあと思う。
深度情報を持ってるんだから注目以外の部分に深度に合わせたガウシアンフィルタでもかけてやればいい。
計算量度外視すればソフトウェアで解決できるんじゃないだろうか。
もちろん注目する深度をどこにするかなどの問題はあるだろうけど、
そこはトラッキングアルゴリズムとかでいけるでしょう。
Kinectは人間をトラッキングできちゃってるわけですし。

日本の電機メーカーが単なるハードウェア屋を抜け出せないのはそのあたりの詰めの甘さもある気がする。
要はもっとソフトウェアに力いれろよと。

そんなこと考えながらkinectを用いた擬似的なハイスピードレンズ（被写界深度の浅いレンズ）の
デモでもやってみようかなーとか思ってたら、以下のようなニュースが


WiiリモコンハッカーからKinect 開発者のJohnny Chung Lee氏、Googleに移籍
http://japanese.engadget.com/2011/01/18/wii-kinect-johnny-chung-lee-google/


（映像はJohnny Chung Lee氏の学生時代のデモ）

日本の電機メーカーがGoogleの破壊的イノベーションの対象にならないように祈ってます。