建築ビジュアライゼーションMeetUp第四弾 レポート Vol.3
『広域フォトグラメトリによる建築デジタルアーカイブ』

2019年12月に開催しました「建築ビジュアライゼーションMeetUp 第四弾」。
3回目は、株式会社ホロラボ 藤原 龍（りょう）さんによる、『広域フォトグラメトリによる建築デジタルアーカイブ』の講演です。

藤原さんは、「銭洗弁天VR作ってみた」や「点描芸大作ってみた」など、常に新しい挑戦をし続ける「建築デジタルアーカイブ」の立役者でもあります。2019年7月にホロラボにジョイン。今回は、「フォトグラメトリとは？」や活用事例などの具体的な構築方法を交えて、お話いただきました。

尚、本セッションは、当日の映像公開を藤原さんご本人より、許可いただいております。どうぞこちらも合わせてご覧ください。

自己紹介

皆さん、こんにちは。今日は宜しくお願いいたします。藤原 「龍」と書いて「リョウ」と読みます。
私は、静止画や動画、解析可視化、VR/AR/MR、そして建築にまつわるビジュアライゼーションを日々追いかけてお仕事をしています。今日は、いくつかの制作物をご覧いただきたいと思います。

フォトグラメトリと、建築デジタルアーカイブの活用事例

それではまず、フォトグラメトリについて、見ていきましょう。

フォトグラメトリとは、複数の写真から3Dモデルを生成する手法のことで、様々なアングルで対象を撮影して、専用のツールを使って生成します。

例えば、「航空写真を用いた写真測量」や「映画・ゲームの素材制作」などに使われています。前者は、無人航空機（UAV）を使うため大規模なものになり、後者については、手持ちカメラで撮影が可能なため、小規模なフォトグラメトリになりますね。

では、建築デジタルアーカイブにおいてはどちらが使われていくのかというと、建築物のアーカイブになるため、大規模ではありますが手持ちカメラで行ったりもします。

銭洗弁天VR

こちらは、神奈川県にある「銭洗弁天」という神社を手持ちカメラで歩き回りながら写真におさえていき、3700枚ほどの撮影データをフォトグラメトリを用いて3Dモデル化したものです。一連のフォトグラメトリ処理には、実に6日間ほどの時間を要しています。

「銭洗弁天VR」

銭洗弁天では、「デジタル促進」や「リアル観光促進」に活用してもらえることを検討しています。VRチャットの環境があれば、海外や遠方の方も訪れることが可能ですし、映像を見た方から「また行ってみたくなった」「行ってきた」との声もいただきました。実際に、ザルと柄杓を持って銭洗いを体験できる「インタラクション」も楽しむことができます。また、普段入れない夜の銭洗弁天を訪れることが出来るのも、3Dならではの魅力的な表現になりますね。

旧都城市民会館

次にデジタルアーカイブの事例を見ていきましょう。こちらは、解体されることになった「旧都城市民会館」を3次元デジタルアーカイブを行い、記録に残していくプロジェクトです。

gluon（グルーオン）さんとKUMONOSさん主催のもと、クラウドファンディング・サイト「CAMPFIRE」を用いて、活動資金を集めながらプロジェクトを実施した形となります。
⇒メタボリズムの名建築『旧都城市民会館』を3次元スキャンで記録に残したい。｜CAMPFIRE

このプロジェクトでは、主に2点の活用イメージを持って、制作に取り掛かりました。

VR化

地上からの撮影だけでなく、ドローンによる空撮、レーザースキャンまでを組み合わせて制作しています。空間を当時のままアーカイブしておくことの他に、「市民ホール」としての建築の機能自体をVRで残していきたいと考えました。こちらぜひVRで立体的にご覧いただきたいです。

WebAR化

こちらのQRコードを読み取っていただくと、アプリ不要でAR化が可能になります。

計測した3 次元データは、建築資料として空間へのより深い理解を促す立体モデルの制作をはじめ、ウォークスルー映像の作成、ARやVRを通した空間の疑似体験、3Dプリンターを用いた模型製作など多様なメディア形式で再現・活用することが可能です。こうした成果物は「教育材料としても有用では？」との声もいただけており、嬉しい限りです。

ミラーワールド

次に、DiGITAL ARTISAN（デジタルアルティザン）さんとのお取り組みについて、お話します。
『VRAA Meetup 2019』の会場を、ミラーワールドとして利用できるように制作させていただきました。リアル会場とバーチャル会場が繋がった世界で、インタラクションを実現しています。

リアル会場側からの映像：

バーチャル会場側からの映像：@phio_alchemistさんの投稿をお借りします。ありがとうございます。

#VRAA ミートアップのバーチャル会場！
実際の会場がフォトグラメトリで再現されていて、しかも現実会場と音声も映像も繋がっている！すごい！
これぞバーチャル時代のミートアップ！！！ pic.twitter.com/yOTpPYJpgy

— フィオ(Phio)?Vket4 (@phio_alchemist) August 18, 2019

他にもいくつか事例を載せております。詳しくは、本セッションの映像をご覧ください。

こうした活用事例を作る際に、使用した撮影枚数と時間になります。この制作時間で済ませるためには、ロケハンをして、本番を行うという流れが必要です。

被災状況可視化

また、別事例として、2019年の台風19号のときの阿武隈川沿いの氾濫の影響をフォトグラメトリし、可視化しています。国土地理院で公開された203枚の写真から生成を行いました。
膨大な写真を1つのモデルにすることで、自然災害の状況も確認しやすくなるという試みです。

台風19号
阿武隈川沿いを3D化してみた。

国土地理院で公開された写真203枚から生成。

膨大な写真も1つのモデルにする事で広域の状況も確認しやすくなるだろうか。#Photogrammetry pic.twitter.com/NMyK4gUFij

— 龍 lilea (@lileaLab) October 16, 2019

メンテナンスの可視化

車のエンジンルームを可視化させることで、メンテナンスをしやすくする映像も作ってみました。

制作環境

さて、ここからは制作環境を紹介します。

①使用しているカメラ・レンズ

カメラはソニーのα7Ⅲを使っています。その理由として、
・フルサイズ
・24Mpx
・ボディ内手ブレ補正
・チルト式モニター
それぞれ写真のクオリティ、画質や様々なアングルに対応できるようなポイントを考え、選んでいます。

レンズ「SIGMA 12-24mm F4-5.6 Ⅱ DG HSM」
・超広角
フォトグラメトリは写真の60~70%程を重ねる必要があり、そのため広角レンズにすることで撮る必要な枚数を減らすことができます。

機材費はカメラで20万、レンズで10万ほど。スマホでもフォトグラメトリは可能ですが、クオリティ重視の場合どうしても機材費がかさみます。

②PCの構成

PCの構成に関しては、このスペックでも足りない状態で、約3,000枚の処理で6日ほどかかることもあります。3,000枚の写真で80GB程度かかるため、大容量でないと対応できません。

また、ノートPCではフォトグラメトリは絶対やめましょう。
バッテリーが膨らんだりして、ノートPCが使えなくなります。

③フォトグラメトリソフト

主にReality Captureを使用しています。

フォトグラメトリが苦手な部材

フォトグラメトリは何でも再現できるわけではなく、破綻する箇所もあります。

・透明：ガラス
・反射/光沢：鏡
・特徴のない面：真っ白な壁
・暗所：夜
・薄い/細い：テーブル天板、ケーブル

上記の箇所は穴あきやノイズ、抜けてうまく生成されません。破綻してしまった場合は、修正を手作業でする必要があり、手間がかかります。フォトグラメトリ処理よりも、モデルを業務レベルまで持っていくのが大変になります。

こういった破綻を防ぐためには、事前の準備や撮影時に気をつけることである程度避けることができます。

①PLフィルター

反射を制御するフィルター

②撮影ボックス

商品撮影などで使われる撮影ボックスを活用。

③浮かせて撮る

接地面が繋がって破綻してしまうのを防ぐ

④無反射撮影

PLフィルターを2枚使用した外光に影響を受けない撮影方法。
・レンズにPLフィルター貼る
・ストロボに偏光板を貼る

⑤3Dスキャンスプレー

光沢のあるものは破綻するのでマットにするため、スプレーを吹き付ける。

⑥深度合成撮影

手前から奥までピントを合った写真を生成する手法。
対応カメラを使う場合は5万円~20万円程度の費用がかかる。
外部ソフトを使って行うことも可能。

ただし、もし破綻を起こしていたら、手作業で直すしかありませんので、手前の準備が大事になってくるということですね。

高精度フォトグラメトリ

フォトグラメトリを高精度に生成するためには、以下のような2点の技術を組み合わせると、より精度が上がります。

①レーザースキャンの併用

写真だけでは生成できなかったモデルを生成するために、レーザースキャンを併用しました。
写真で高品質テクスチャを、レーザースキャンでmm単位の精度を合わせた、いいとこ取りが可能です。写真の時よりも正確に生成することができます。
デメリットは時間がかかり過ぎてしまうことで、今後はそちらを改善を目指しています。

②RTK-GNSS計測の併用

より精度を求めるなら「写真」×「レーザースキャン」×「GNSS」がおすすめです。
RTKとは「リアルタイムキネマティック」の略でして、GPS単独の測位より高精度な測量が可能になります。

機材について昔は200万円程度したものが、今では5万円くらいで購入できます。そのため、昔より導入コストが低くなっていて、高精度にフォトグラメトリを生成できます。ただ、屋外前提になってしまい、屋内の生成には不向きというデメリットもあります。

まとめ

フォトグラメトリによる建築デジタルアーカイブの需要として、

・建替/解体となる建物を残したい
・ARやVRで活用したい（プロモーション等）
・災害シミュレーション（街レベルでのモデル化）

といったものが多く、複数の技術を組み合わせることで品質の向上が図れると考えています。

まだまだ大きな可能性が秘められている分野であることは間違いありません。引き続き、検証と情報発信を進めていきたいと考えています。
ご清聴いただきまして、誠にありがとうございました。