2日間使用したTango＋Rtab-Map（Tango向けVer）

ZenfoneARでたどり着いてしまった方。普通のスマホとしての使い方は殆どしてません。他の方の開封の儀をご参照ください。

この記事は、すでにPhab2Proで醸成されたアプリ（Rtab-Map）をZenfoneARで試してみたというだけです。

梅雨時の関東で石室の3D化を試せそうなのは・・・
鶴舞う形の群馬県！　
蛇穴山古墳、宝塔山古墳、観音塚古墳というところをターゲットに土日にチャレンジしてみました。

宝塔山古墳石室 by nonaka on Sketchfab

Tango＋Rtab-Map使用2回目で作成できた宝塔山古墳石室（ほぼ全景！）。前庭を含め、約16mの大型石室を1回の実施でデータ化、且つその場で点群データの簡易処理/Sketchfab公開完了という想像以上の結果となりました。

伊勢塚古墳_石室半身かつ墳丘一部 by nonaka on Sketchfab

ZenfoneARで5基目の石室。わずかな経験から、”これ、墳丘も行けるんじゃ！？”と欲を出してチャレンジした伊勢塚古墳。この石室半身墳丘一部の伊勢塚古墳に至るまでには、2回の失敗（墳丘の1/3、完全な石室・羨道！）がありました。

StrutureSensor（Roomcapture）との違いをつらつらと。

とにかく破綻無く継続できるエリアが広い。

電池消費量が尋常ではない。

後処理はデータ量によってそこそこ時間がかかる。

スキャン中のRGBカメラF値が変動？

点群データの量が1GBytesを越えてくると、後処理などでアプリが強制終了。

完全な暗所では、破綻。

鏡や反射するものがあってもその一部分で誤差や計測不可が出るだけで、全体の破綻にはつながらない。（パターン方式とToFの違い？）

最大レンジは、同じくらい（良条件で4mほど）

最大レンジを短くしても取れる形状が細かくなることは無かった。

直射日光環境でも20cmくらいまで近づければ形状が取れる。

設定項目が大量にある・・・

外気温30度越えで15分ほど連続スキャンしていたところ熱により端末シャットダウン。
アプリ起動中にフラッシュライトの併用できず。
（7/3にZenfoneARへのフィッティングがされていますが、それより前のバージョンです）

開発本家の説明を読むと形状を記録するというより、空間を理解するというのがふさわしいアプリです。多数ある設定を理解して使いこなせれば、20m級の墳丘や周辺と石室を丸ごと簡易計測できてしまいそうな予感。

でも、高速充電に対応したモバイルバッテリーは必須のようです。

年開けはCES（コンシューマー・エレクトロニクス・ショー）

年が明けるとすぐに始まるCES（コンシューマー・エレクトロニクス・ショー）。
最近は大手の家電が少なくなってよりスタートアップ（ベンチャー系キワモノ？）寄りになっているよう。

早速、今使っている全天球カメラ（Theta）や3Dスキャナ（StructureSensor）と類似の製品が報道されています。


Google　TangoProject
現実世界を取り込む「Project Tango」、初の一般向けデバイスが今夏発売（マイナビ）


Googleの3D空間技術Project Tangoのデベロッパキットを試してみた（techcrunch）

techcrunchの記事に動画がついています。この50秒くらいには、部屋をキャプチャしている場面が。StructureSensorのipad単体と同じことが出来そう。

intelのデモンストレーションでもrealsenseが使われていましたが、なんだか新しい使い方がそれほど見つかっていない模様。機器は出るけど、何に使うかのアイデアがあれば少しは盛り上がるかもしれません。


もう一つは、360度カメラ。
一般的に日本国内で買える360度カメラそれに類するものとしては、Richo社のThetaとKodak社のSP360がありました。

印象としては写真側のThetaと動画側のSP360という印象でしたが、Nikonから発売されそうなKeyMisson360は動画側の製品になりそう。いわゆるアクションカメラの全天球強化です。もちろん静止画の設定や解像度がTheta並みにあれば古墳撮影における有力な対抗馬になります。




※他の360度カメラと比べると連結部が微妙（360度動画音が出ます）


深度センサー付のスマホにしても、360度カメラにしてもVR（仮想現実）とは相性がいいはずなので、VRを下地に広まっていくことを期待したいです。

ストリートビューを超える全天球写真撮影にチャレンジ

googleさんのストリートビューで世間一般に認知されている全天球写真。
Richo社製Thetaやスマートフォンの機能でずいぶん撮影しやすくはなりましたが、より綺麗なものをと求めるのは性というもの。

残念ながらThetaより高画質の海外の全天球カメラは、発売される気配がありません。
Gigapanなど専用機材を使用すればもちろん綺麗に取れますが、機材自体で最低でも数万円。出せなくは無いけれど、それだけのためとなると躊躇する代物です。

3Dスキャン用にパンやチルトが自由にできるビデオ用雲台でよさそうなものがあったので、3Dスキャン、動画撮影、全天球撮影兼用として購入。早速投入してみました。

それでは、個人レベルで作成/撮影できる全天球写真を並べて、必要な機材などを紹介します。


Richo社製Theta

最も古墳ストリートビューで貢献しているTheta。

使用するものは、三脚とThetaそしてシャッターリモコンとなるスマホだけ。

撮影が容易で公式アプリでちょっと選択するだけでストリートビュー用となります。

今回の中で一番画質は悪いですが、さくさく撮影できる/狭い場所にも小さな三脚で置ける、現地確認が容易など専用機ならではのメリットがあります。

Androidスマートフォン

最近のスマートフォン（AndroidOS　4.3以降搭載の物）ですと全天球写真を撮れるアプリが使用できます。使用した機材は、ドコモのスマートフォンSH-01GとGoogle社の標準カメラアプリ（＋LED照明ですが、スマホのフラッシュライトでもある程度代用可能）。
アプリが加速度やジャイロなどのセンサーを元にどちらの方向を撮影したかを記録するため激しい動きやそもそもの誤差で破綻する箇所が出てきます。
ほぼ常時携帯しているスマートフォンで出来る撮影なので、突発で全天球写真を撮影には使えると思います。



そして、ここからが今回の目玉？


フルハイビジョン動画からの全天球画像作成




使用したものは
・Panasonic　DMC-GH1（デジカメ）
・LUMIX G 20mm/F1.7 ASPH. H-H020（レンズ）
・Velbon　FHD-43M（ビデオ用雲台）
・Image　Composite　Editer　2.0　64bit版（合成ソフト）
・LEDランタン（照明）

動画に向かないレンズを使いゆっくり全方向を動画撮影します。注意点としては、可能な限り重複部分を撮影すること。この辺りは3Dスキャンで培われたノウハウでしょうか。作成に使用しているソフトはMicrosoft作成のフリーソフト。GH1の動画をそのまま読み込めないので一度変換して読み込ませるだけ。特に手を加えることなく上の全天球画像となります。
撮影/作成で20分程度。5000万画素というストリートビューに匹敵するものを作成できる割には、比較的お手軽な時間かと思います。

使用する動画を4K動画にすればさらに画質/解像度が上がりそうですが、処理時間やファイルサイズも加速度的に増大するので注意が必要。

また、ズームで線刻のある奥壁を舐めるように撮影し高画質なパノラマ画像にすることも出来る思います。



写真撮影からの全天球画像作成





使用したものは
・Panasonic　DMC-GH1（デジカメ）
・LUMIX G 20mm/F1.7 ASPH. H-H020（レンズ）
・Velbon　FHD-43M（ビデオ用雲台）
・シャッターリモコン
・Image　Composite　Editer　2.0　64bit版（合成ソフト）

全方位をフラッシュ有で約400枚かけて撮影した写真をImage　Composite　Editerで合成したものです。4.4億画素という自身でもびっくりするレベルの全天球画像となりました。（カマドウマの足や触覚が判別できます）色調は自動補正である程度合わせてくれるため、ライティングについてはLED照明でも代用は可能と思います。手間はかかりますが、彩色の強調表現をしたものを合成することも可能でしょう。撮影/合成ともに時間がかかりますがあわせて1時間ちょっとでした。

また、通常の画像ビューワ無理なレベルになってくるため、マイクロソフトのサービス”Photosynth”への登録が必須になってきます。

！！注意！！
この画素数で市街地にある古墳墳丘上で全天球撮影するとおそらくプライバシーに関するものが多く写り込む筈です。公開するには車のナンバーや文字、人の顔、洗濯物など細心の注意が必要です。



Image　Composite　Editer　2.0で作成した全天球画像のストリートビュー登録



残念ながらImage　Composite　Editerで作成した全天球画像をそのままストリートビューへは登録できません。どちらが天頂かのデータをこちらのサイトで付与することになるのですが、あまり大きいファイルや画素数は受け付けてくれません。写真撮影から作成した全天球画像を1/100までサイズダウンすることでストリートビューへ登録できました。

なお、ストリートビューで閲覧するとThetaで撮影した2014版と今回の2015版が切り替えられるようになっています。


ざっくりとした解説ですが、デジカメは数年前のものですし雲台は4000円程度のもの、三脚は使いまわしというところでそれほど多額の出費なしで作成できています。また、撮影をコンデジやスマホに代え、雲台/三脚は人間力で補うということも出来なくはないはずですので、撮影の一手段としてチャレンジしてみてはいかがでしょうか？

記録系ガジェット_リコー株式会社_Theta

2013年の12月ごろ、全天球写真が撮れるカメラが出るというので早速購入したTheta。
当時GoogleStreetViewのような全天球写真は、全方向の写真を撮影、その後アプリで組み合わせるという手法で非常に手間のかかるものでした。
画像はそれほど良くないもののボタン一つで撮影できるというのがこのThetaになります。
（全天球写真、360度写真、Phtosphereなどぐるっと見渡せる写真の統一名称は無い状況です）

リコー　Thetaの詳細

僅か十数センチ、100gを切る重さ。
いまどきのスマートフォンよりかなり軽く取り回しは良いです。

ボタンを推せば”ヒョイッ”という音がして撮影完了。
古墳のストリートビューを取る際には、スマートフォンをリモコンにして隠れて撮影します。

良い点と悪い点をざっくりと羅列。
○良い点
・とにかく撮影が楽。
小さくて同じく小さい三脚等に乗せるとどこにでも置けます。写真を組み合わせるタイプだと撮影できないような場所もThetaだと楽々。1脚に載せて少し高いところや危険そうな穴もOK。スマホをシャッターリモコンに出来るので、10mくらい離れて隠れることも可能。

・StreetView登録までが楽
撮影した全天球をThetaのPC用アプリで一度読み込み、天頂補正書き出しを選択するだけ。あとは、googleのPhotoSphere登録のサイトに放り込めば数日後に許可がでてMAPに表示されます。


・撮り忘れがない（石室）
石室内の写真を普通のカメラで撮影するとどうしても撮影し忘れが出てきます。切れ目ないStreetView用の全天球写真を撮影しておけば、完全ではないもののその恐れを低減できます。

比較的小規模の石室でも奥壁、天井、側壁左右、玄門、床面を含めようとすると最低でも3～4回は撮影が必要になると思いますが、Thetaだと1回でその情報が記録できるというのは大きいです。

写真例：上福田岩屋古墳




×悪い点
・画質が良くない
全天球で約1200万画素程度の解像度。部分部分を切り出すとかなり荒く見えます。構造や顔などの判別がちゃんとつくのは2m～3mというところが限界でしょう。撮影時に気をつけていれば、後から写っている人の顔をそれほど気にしなくてもいいということでもあります。（Google社並みの高解像度だと人の顔/看板/ナンバープレートなどいろいろなモザイクが必要になる）

・光の明暗に弱い
石室ではどうしてもなりがちな奥が暗くて開口部が明るい。または、真っ暗で照明が少ないという状況になります。二枚の魚眼レンズを前後に備えている構造からどちらかの光量に合わせてしまうため、光源やカメラ方向などうまく調整する必要があります。

写真例：奈良古墳群10号墳（側室ありの特殊形状　開口部に日光、側室はほとんどひかりが届いていない状況）

 


・全天球写真なのでなかなか逃げ場が無い。
手持ちや自撮り棒ではほとんどの場合、撮影者が写り込みます。また、リモート撮影にしても、めちゃくちゃな距離は離れられないので、隠れられるところが限られてきます。まぁ、写らない様に考えるのも面白いのですが、偶に失敗します。スマホでリモートシャッターが切れたのと実際にシャッターがきれるのにWi-Fiの状況によっては少しタイムラグがあるのかもしれません。

隠れたつもりになっている例：下山古墳　石棺前（将来心霊写真扱いか）




全天球の動画が撮影できるようになった最新バージョンTheta　m15も少し安くなって発売されていますが、今のところ全天球動画の使い道が思いつけていないのでしばらくは初代のままかと思います。

類似の機械で海外のものも含めると以下のような物があります。

・Panono　　Thetaの10倍ほどの解像度。海外物で国内個人レビューがほとんど無いのと価格がThetaの倍以上するので、敷居が高い。
・SP360　360＊214の不完全な全天球。アクションカメラ指向なので、自身が写らないように出来ることを考慮しているのかも。ヘルメット前につければ、古墳見学動画もばっちりなはず。


そして、実はスマートフォン単体でも全天球写真は撮影できます。
（iOS7以降？アプリ追加、Android4.3以降Google標準カメラ）

他の方の撮影ですが、やはり横穴墓。
例：石貫穴観音横穴群




非常に高解像度で綺麗です。横穴墓の一部にぼやけたところがあるのと開口部に変な段差がありますが、スマホで全周を撮影するとセンサーの誤差が累積していき、最後のつなぎ合わせをソフト的に画像を誤魔化しているのだとおもいます。モバイル3Dスキャナにも同じような現象があるので、加速度センサー/ジャイロセンサー/地磁気センサー等の限界なのかもしれません。


Theta以外にも全天球写真が撮れる機器を紹介しましたが、Thetaも動くスマホも大きな電気屋であればあると思うので試してみてから購入することをお勧めします。

記録系ガジェット_Occipital社_Structure Sensor

持ち運べる3Dスキャナーを実現したOccipital社_Structure Sensor 。
2013年の秋ごろ、クラウドファンディグサイトのKickstarterで持ち運べる3Dスキャナが出資を募っているということで早速資金投入。


どんなことができるのかは、プロモーションの動画を見て頂いたほうが早いと思います。


 


物体/人体のスキャンとNUI（手や体の動作でコンピュータを操作）に期待して届くのを待っていましたが、届いてみると予想以上に部屋測量の精度が高いこと・持ち運びできることが古墳の石室形状を取得に便利であることに気がつきました。


特に重要な要目だけ下に抜き出してみました。
測定できるのは40cm～3.5mくらい。
3m離れると30mm、40cmはなれたところでは0.5mmの正確さがあるらしいです。

Minimum Distance	40 centimeters
Maximum Distance	3.5+ meters
Precision	0.5 mm at 40 cm (0.15%), 30 mm at 3 m (1%)
Resolution	VGA (640 x 480) / QVGA (320 x 240)
Framerate	30 / 60 frames per second
Battery Life	3-4 hours of active sensing, 1000+ hours of standby
Illumination	Infrared structured light projector, Uniform infrared LEDs

ただし、実際にはモバイルなのでスキャナ自体が動きますし周りの環境にも左右されます。
使用した感じからはセンサー単体もしくは良環境と完全な固定のときのみの数値という印象です。
小型の石室（上福田岩屋古墳や岩橋千塚古墳群前山A99号墳）などが綺麗に3D化できているのはこの測定レンジにマッチしているためといえます。

より詳細な機器のデータはOccipital社のこちらのサイトです。



さて、Kickstarterのファンディングも成功を収め、”Skanect”というスキャンデータを処理するソフトウェアもおまけでついてきました。この”Skanect”とサンプルでついてくる”RoomCapture”がスキャンした結果を処理する肝となります。



○詳細なスキャンをしたいときの”Skanect”

サンプルアプリのRoomCaptureよりはるかに詳細な設定/編集が可能ですが、PCを必要とするネックがあります。ハイスペックノートPCである必要は無いですが、タブレットや安いノートだとおそらく動きません。（MacbookAir2013midを使用）
また、取得できるデータサイズがギガバイト単位となるため自宅の編集環境もそこそこの容量が必要となります。


機器/ネットワーク構成
WAN機能付iPadmini+センサー－Wi-Fi－PC（iPadをネットワーク共有）

ある石室を取得したときのセンサーの軌道です。
通常の3Dスキャナは固定しますが、このSkanectを使用するとジャイロや地磁気などセンサーをフルに使用して3Dスキャナの位置を推定します。この加速度データ等が消費する容量の大半です。

SKANECTのサイトはこちら。


○とにかく簡単に　時間が無いときの”RoomCapture”
3Dスキャン⇒できたモデルをメールで自宅に送付という非常にシンプルな構成です。
その分設定可能なのは大まかな測定距離のみとなること、精度が大きく落ちるので2つ以上のデータを結合するときに苦労します。（Skanectだと落ちている石や側壁石材が目印になる）
その場で2点間の計測もできるので測量データの無い石室でもなかなか便利。


機器構成
iPadmini+センサー

ある石室を取得したときのテクスチャデータです。
こちらと3Dモデルデータ（objファイル）がメール添付されます。
サイズは概ね3MBytes以下です。
バージョンに”L”がついている石室はこちらを使用して作成しています。

Apple社のAppstoreでRoomCaptureで検索すれば出てくるかと思います。
（もしくは、Structure SensorのTOPページ）



最後にお値段ですが、
Structure Sensor：$500+送料+関税
Roomcaputure：無料（センサーがないと動かない）
iPad：7万円くらい？
ここまでが最小環境

Skanect：130ユーロ
ノートPC：13万円くらい

価格的なハードルはありますが、測量士や3Dスキャナの詳しい方からするとずいぶん手の届くお値段とのことです。


実際の使い方や注意点などは別途記事にする予定です。