スマホカメラで"リアルタイムに"Depthが撮れた。

ProjectTangoを捨てて、ARcoreを始めたgoogleさん。
スマホに付いているカメラで深度情報を撮るというものでしたが、
なかなか日本国内では対応機種が増えず今のところ泣かず飛ばす。

そんな中、手に入れてしまった？Pixel3．
せっかくARCoreの使えるgoogleさん純正スマホということで、
googlePlayを探してみると・・・ありました点群を撮れるアプリが。

3D Scanner for ARCore（未公開版）

実物の横穴式石室(総社市鳶尾塚古墳)で試してみると、こんな感じ。

上：Pixel3/3DScanner onARcore（単眼カメラ）
下：ZenfoneAR/ Rtab-map（深度センサー）

ZenfoneARに比べて、計測数値も形状もテクスチャも粗いですが、問題はこれが単眼スマホカメラでリアルタイムに撮れたということ。市販されているミドルからハイエンドのスマートフォンは2眼以上のカメラを持っていて、それらを同時に使って深度を計算したらどうなるか。今後進化してくれるといいなぁ。
※注意　石室内部は暗所なので、十分な光源がないとARcoreは動作しません。

下：Pixel3/3DScanner onARcore（単眼カメラ）
下下：ZenfoneAR/ Rtab-map（深度センサー）

20181229_ancient grave by nonaka on Sketchfab

TobiozukaKofun_Okayama_jp(Ver2.0) by nonaka on Sketchfab

徳島県_美馬市_三島古墳群1号墳(Ver1.0)

Mishima1goKofun(E)_Tokushima_jp(Ver1.0) by nonaka on Sketchfab

Mishima1goKofun(W)_Tokushima_jp(Ver1.0) by nonaka on Sketchfab

 3Dモデルを閲覧できない場合はSketchfabの使い方_3Dモデル閲覧_その1を参照して確認してください。



※市役所で場所と道筋を聞いて臨んだのに道を間違えた三島古墳群。舗装道路から沢右側の道ではなく、左側の道を進むのが正解。右側を進むと、沢を渡らなければいけないうえに、急斜面を直登する羽目になります。登りきると現れる1号墳。かなり小型の前方後円墳もしくは長円墳とみられています。その墳丘東西に石室があります。1号石室(西側)の詳細は以前の記事を参照してください。その1号石室より少し大きい2号石室(東)。側壁に大きな石材が使用されていたり、玄室天井の高低差がそれほどでもなかったりと、段の塚穴型としては主張が弱めの石室です。

３次元計測しているiPad画面を撮る

iOS11から追加された画面を動画で記録する機能。今までは、別にMacを準備したり別のソフトを買ったりという手順が必要だったと思いますが、かなりお手軽になりました。

ということで、横穴墓の3次元計測しているところを動画で公開。




撮影対象は、横穴墓玄室（特に複雑な構造物なし）
使用機材は、iPadPro（A1674）とstructuresensor
ソフトウェアは、Roomcapture
ライティングにLEDランタンを使用しています。

録画を開始して3Dモデルの確認を行うまでが、1分15秒。片手でiPadとLEDランタンを持ち、横穴墓内を緑色格子が一周するように丹念に撮影していきます。緑色の格子頂点はiPadからの距離が計測できた箇所。多少動きが早いシーンもありますが、それ程無理無く連結されていきます。早く動かすと誤差が大きくなり、緑色の格子が大きく書き換わったり、連結が破綻するなどの状況となります。点群データのように誤りデータを除去できないため、撮影自体が最も重要な手順となります。

出来上がった何も手を加えていない3Dモデルが以下。

和田大仏及び横穴墓群の一つ by nonaka on Sketchfab

正解（発掘調査資料）が無いため、計測データの精度は不明。（ただし、SfM作成の3Dモデルとは同一にみえる）テクスチャに模様が出ていますが、テクスチャ用の写真を撮影したタイミングにより光の当たり方が違うためこのようなデータになります。

小さな玄室内を最もすばやく3D化する手法・・・と私は考えています。これ以上となると、深度センサー版のThetaのようなものしか想像できません。

なお、ZenfoneARでの3Dスキャンも併せて録画を考えていたのですが、どうもTangoとかち合う様でスクリーンレコーダーが動作せず。深度センサーの技術が違うため、少し時間はかかりますが、この動画と同じような状況になります。

茨城県_五霞町_穴薬師古墳（Ver1.0）

AnayakushiKofun_Ibaraki_jp(Ver1.0) by nonaka on Sketchfab

 3Dモデルを閲覧できない場合はSketchfabの使い方_3Dモデル閲覧_その1を参照して確認してください。



※鉄の門扉にガードされている五霞町_穴薬師古墳。今回、所有者様と五霞町の許可を得て、3次元化と全天球撮影を行いました。目を引くのは、やっぱり奥壁の”五輪の塔”。昔の写真からは、全天球や3Dで色の変わっている少し下辺りまでが残っていた状況のように見えます。壁面の最下段はなぜか丸みを帯びた石を使ったり、構築技術？美的センス？に非常に面白みのある石室です。（Matcapでみると分かりやすい）

Tnago/Photoscan/Structuresensor違う技術で作る同じ石室

注意！！
ファイルサイズ極大です。高速固定回線かつPCでの閲覧を強くお勧めします。とくに真ん中のPhotoscan作成（Ver4.0）。

同じ条件ではないものの、3つの機材で3次元計測した群馬県観音塚古墳。夏は、観音塚古墳に限るとばかりに、4年連続でスキャンしに行ってます。しかも、毎回新手法で。。。
そのうち、そこそこ良くできたかなと思える三つを並べてみました。
正解＝測量三面図はパンフレットに載っているものの小さい。

YawataKannondukaKofun_Gunma_jp（Ver3.0L-Ver5.0） by nonaka on Sketchfab

一番左　HW：ZenfoneAR＋SW:RTAB-MAP　　2017年7月スキャン
ZenfoneARにインストールしたRTAB-MAPで石室をスキャン。ZenfoneAR上でメッシュとテクスチャを作成したもの。スキャン時間おおよそ10分。処理時間とSketchfabへのアップロードで10分。アップロードまでを一つの機材で完了させられるのは大きいポイント。開口部が3D化できていないのは、見学ツアーの方々が来てしまったから。技術的な問題ではありません。

真ん中　HW：PanasonicGH-1＋SW：Photoscan　2016年8月スキャン
GH-1で撮影した1000枚の画像データを、Photoscanの中/中設定で3日かけて3D化したもの。（特に調整なし）撮影時間おおよそ1時間。
石材の凹凸とかテクスチャに関しては、ダントツ。VRでの再見学で天井石の線って何だろう？というような気付きに繋がる3Dモデル。

一番右　HW：Structuresensor＋SW：Roomcapture　2015年7月スキャン
Roomcaptureで取得した生データ（obj）をBlenderを使って手動でくっつけたもの。
スキャン時間おおよそ20分。PCを使用して連結1時間。後連結の必要やデータの荒さはあります。ただ、全体像を撮りたければiPadで、細かく撮りたいならモバイルPCを加えてSkanectでと対象のサイズに合わせて構成が変えられる強みも。


ちょっと立ち寄ったついでに3次元計測？VRコンテンツにするために3Dモデル化？
用途目的によってもずいぶん変わってきますが、どの手法で作成したモデルがお好みですか？

上:structure

中:Photoscan

下:ZenfoneAR

下絵バージョン

石人/埴輪を3Dプリントしてみよう その2

その2と言っても、その1で作成できた3Dデータを3Dプリントサービスに送るだけ。

検索で上位に出てくる＆CMでも良く見かけるDMM.makeにプリントを依頼します。

簡単な手順　前提としてDMMのアカウント持っていること
・その1で作成した3Dデータをアップロードする。
・自動のチェックが終わった後に、使用する素材と実際の注文を行う。
（大きさととともに素材の選択は大きく価格に効いてきます）
・細かい部分で精度が出ない/崩れ易い部分があるが問題ないか？という確認がDMMからくることも。
・印刷開始→発送で手元に3Dモデルが届く。

DMMのより詳しい手順や注意点は、こちらです。

そして、送られてきた臼塚古墳石甲がこちら。

95mmのチョコボールよりさらに小さい手乗り石甲。

現実でも荒削りの東側石甲。台座との隙間に埋め込まれた石材も再現。

現実でも精緻な西側石甲。台座との連結部分が細くなっていること
東側と比べて凸凹が少ない様子を再現。

なお、この二体でお値段は5,400円。材料はナイロン。3Dプリンターをお持ちの方であればより大きいものの作成は可能でしょう。原寸大となるとまたすこし違った造型手法が必要になると考えています。

石人/埴輪を3Dプリントしてみよう その1

3Dデータの作成をすっ飛ばして、3Dプリントアウト。
最も簡単な例として、石甲を試してみました。

○PC環境：Windows10
○使用するソフトウェア：マイクロソフト社3DBuilder
特に登録や購入が必要なく、Windows10のパソコンであれば勝手に入ってるであろうソフトです。3Dデータ操作の基本的なことが行える”ペイント”のようなソフトです。

○すでに、レーザースキャナやSfM（Photogrammetry）で3Dデータがある前提

～～～～～～～～～～～～～～～～

石人/埴輪を3Dプリントしてみよう

手順1、ソフトウェアに3Dデータを読み込む。

画像1

台座に置かれた埴輪や石人を3Dスキャンすると、画像1のように台座の裏面がデータ化されず不正なデータとなります。（正四面体の1面が抜けていて面の厚さが0のような状態）

手順2、修復ボタンを押す。（画像1の”ここをクリックしてください”）

画像2

修復を行うと画像2のように、台座の底に面が形成され不正なデータでは無くなります。見た目以上に難しい処理を行っているので、低スペックのPCでは時間がかかります。

手順3、3Dプリンターの造詣サイズに合わせて、3Dモデルを方向を変える。

画像3

3Dプリンタの製品や使用する素材によって、印刷が可能なサイズが変ります。このデータは画像3のように直立ですが、長いものを出来るだけ大きく印刷するときには対角線上に配置するなど工夫が必要です。

手順4、プリントアウトするサイズを変更する。

画像4

画像4の数字を変更して、実サイズを調整します。今回は長軸を約20分の1サイズの67.5mmに設定。南京錠マークをクリックし開錠してしまうと、XYZ軸の特定方向のみ変更してしまうので注意。3Dプリントアウトする体積＝素材の量＝お値段が決まる重要な項目です。

小技
石甲の中心軸に沿って中空を設けたりすると、必要な素材が減り価格が下がります。材料によっては、自身を支えられなくなって崩れてしまったりするので考えて行いましょう。

この後、3Dプリンターやプリントアウトサービスにあわせたフォーマットで保存します。パソコンに3Dプリンタが接続されていれば、そのまま”印刷”も可能です

～～～～～～～～～～～～～～～～

石製出土品に関してはそれほど問題ないと思いますが、この手法で作成できたあくまで表面形状を再現しているだけです。埴輪などの中空形状を持つものに関しては、3Dデータ作成時から、内部表現に留意する必要があります。次に挙げるようなデータである程度の厚みを持たせればそのまま3Dプリント可能です。

確認できる内部までちゃんと再現されている例
埴輪をいろんな角度で見てみよう！－埴輪３D映像の公開－
小松市埋蔵文化センター
http://www.city.komatsu.lg.jp/13319.htm
（PDFに3Dモデルを組み込んでいる形式　PCの性能が低いと読み込みが大変なので注意）