ShareXで日本をMR先進国へ！大学ビジコン最優秀賞の東工大チームが語る夢〜金融DXサミット Report6

　2021年9月29日(水)〜10月1日(金)にかけて東京・日本橋の会場およびオンライン配信のハイブリッド形式で開催された、日本経済新聞社主催の『金融DXサミット』（Financial DX/SUM、読み方：ファイナンシャル・ディークロッサム）。「持続可能な社会へ向けて加速するデジタル変革」というテーマのもと、国内外より、金融領域に関わる事業者や技術者・研究者、当局者、教育関係者などの様々なステークホルダーが一堂に会し、「金融 × DX」を軸とした多様なディスカッションを繰り広げた。

https://www.xsum.jp/dx/

　カンファレンス最終日には、東京大学との共催で大学ビジコンが行なわれ、予選を通過した6チーム（5大学）が決勝プレゼンを披露していった。テーマは「ShareX（シェア・エックス）」。先端技術を使った新しい経験共有の形態の概念である。様々なユニークなアイデアが発表される中、見事、東京工業大学の「CoilSite」チームが最優秀賞を獲得した。

CoilSiteチームでは「MRで世界の街中をミュージアムに」というテーマのもと、誰でも世界中・街中にCG作品を配置でき、誰でも個展を開催できるプラットフォームの構築が提案された

　金融DXサミット最後のレポートとなる本記事では、まずはShareX構想の生みの親であるカーネギーメロン大学ワイタカー記念全学教授の金出武雄氏が登壇したセッション「ShareXが革新～先端技術は我々の社会をどう変えるか」の様子を通じてShareXの考え方をお伝えし、その上で、CoilSiteチームによるプレゼン内容をご紹介する。

各務茂夫（東京大学大学院工学系研究科・産学協創推進本部教授副本部長）※モデレーター
金出武雄（カーネギーメロン大学ロボット研究所ワイタカー記念全学教授／京都大学高等研究院招聘特別教授）
暦本純一（東京大学情報学環教授／ソニーコンピュータサイエンス研究所フェロー・副所長）
栄藤稔（大阪大学先導的学際研究機構教授）

Hop On／Hop Offがシームレスになる世界観

　そもそも「ShareX」とはどのような概念なのか。この説明を始めるにあたって、まずは提唱者である金出武雄氏より説明がなされた。金出氏といえば、コンピュータビジョンやロボット工学、AI等を専門とする計算機科学者。例えば2001年にスーパーボウル中継に採用された360度のリプレイシステム「EyeVision」は金出氏による研究開発の賜物であり、これまで様々な研究を通じて人々の社会生活のアプデートに寄り添ってきた人物だ。

「例えば大阪万博のような大きなイベントを考えてみると、それは巨大な多数カメラシステムと言って良いでしょう。常時6万人の観客がいるとされ、各々はスマホをはじめとする様々な形態のカメラを持っていて、3×3㎡の中に10万台のカメラがある。そういう大きなシステムだと考えられます」（金出氏）

　それらが個別に撮影する映像を、世界中にビデオストリームする技術があったとしたらどうなるか。入場する場所がわからなければ、人は入場ゲートにいる人のカメラレンズに乗り移ることができる世界観だという。金出氏はこのことを “Hop On” と呼んでおり、乗り移られた人は一種の「ヒューマン・ロボットアバター」として機能するという。乗り移っている人を変えたい場合は、すぐに “Hop Off” して、また別の人にHop Onする。もちろん、会場に設置されたカメラや徘徊するロボットに乗り移ったっていいし、過去のイベントやバーチャルなイベントにだってHop Onすることも可能だ。つまり、リアルとバーチャルのイベントを、時間と空間を超えて経験することができるという概念なのである。

「今は画像・映像を中心にお話ししましたが、技術的にはもっと意味があって、マルチソース、マルチシンク、そしてマルチメディア間を自由にコミュニケーションできるということになります。さらに重要なことは、構造化されたところにアクセスできるようになるということ。つまり、ユーザーはリアリティのモデルにアクセスしているのであって、リアリティにだけアクセスしているわけではないとうことです。そういう意味で、色々な人によって色々な人の経験が集められて、より価値のある形でアクセスできるようにする。これがShareXの考え方です」（金出氏）

一種のプラットフォームを構築しなければShareXは実現しない

　このShareXの考え方の一端は、すでに産業分野において活用されている。例えば大きな建築現場では、現在すでにBIM（Building Information Modeling）と呼ばれるデジタルツインを活用した工程が存在する。だがこれは、完成した状態の建築物を前提に考えられているものであって、本来的に建築現場にあるような装置や資材、人といった要素が、現実問題として失われているものでもある。これに対して、現在のAI・ロボティクス技術を使えば、リアルタイムにデジタルツインへと情報を同期させることが可能になるので、よりリアルワールドに近い形で各種シミュレーションなどを実行することができるようになるわけだ。

「もちろん、言うは優しいですが、実際に行うのはなかなか難しいものです。世の中には様々な入力・出力装置があるので、それをある一定のインターフェースによってつなげる必要があります。一方でデジタルツインの方でも、色々な応用に使えるコモンのデータ表現を決める必要がある。そして、その間をつなぐ様々なAI機能をつけていく必要もある。こういった、一種のプラットフォームを構築しなければ、ShareXは実現しないわけです」（金出氏）

　とはいえ、今回の大学ビジコンのテーマとなっている通り、その現実解は確実に近づいているのもまた事実だろう。どんな技術的進化が、最も実現を後押ししたのか。これについて、金出氏は以下のようにコメントする。

「これまで50年以上この領域にいる中で、リアルな世界をバーチャルな世界へと取り入れるということが、今までで一番難しかったです。三次元モデルができればこういったこともできる、というのは分かっていたんです。でも、実際にすぐに作れと言われたら、20〜30年前だと「ちょっとできない」ってなっていました。現在はかなりの部分ができる。それが一番、私のようなロボティクス領域をやっていた人間からすると大きいのではないかと思います」（金出氏）

幽体離脱のような体験が可能になるJack-in／Jack-out技術

　次に説明を続けたのは、情報科学者であり、これまで数々の賞を受賞してきた研究者でもある暦本純一氏だ。暦本氏といえばユーザーインターフェース研究の第一人者として有名であり、我々が普段使っているスマートフォンの「ピンチング操作」を可能にするような技術を最初に発明するなど、数々のアイデアを形にしてきた人物だ。今年2月には、書籍『妄想する頭　思考する手』（祥伝社）を出版しており、想像を超えるアイデアの作り方についての“秘伝のタレ”を公開している。

妄想を評価するときの尺度として使われている「天使度」と「悪魔度」の概念や、アイデアの引き出しの増やし方など、非常に面白く示唆に富んだ、且つ明日からでも使えるような内容となっている

　ShareXの概念は、「デジタルツイン」や「ミラーワールド」といった言葉で語られることも多いのだが、実はミラーワールドの概念は30年近く前からあったという。

「1993年にDavid Galernter氏が唱えだした概念でして、技術的には金出先生が90年代から取り組まれているように、まさにマルチカメラを使って3次元世界を構築しリアルタイムに共有するという考え方になります。一方で、William Gibson氏が書いた元祖サイバーパンク長編SF小説『ニューロマンサー』では、“Jack-In”という電子世界に没入する概念が出てきます。先ほどのHop On／Hop Offや、このJack-In／Jack-Outみたいな話は、生身の人間が電子世界や遠隔地にいる他人に入り込むようなコンセプトとして考えられていました」（暦本氏）

　例えばこちらは、暦本研で実際に使われている「JackIn Head（ジャックイン・ヘッド）」と呼ばれる360度カメラがついたヘッドセットである。これを頭につけた人に、観察者が入り込もうというものだ。

「遠隔地にいくのはもちろん、バンジージャンプや鉄棒の大車輪などの、普段はできないようなことを擬似的に体験することができます。また技術的には、視点を途中で固定化して、俯瞰した目線から体験を見ることもできるようになっています」（暦本氏）

　さらに、一人称・三人称映像間の連続的な遷移を可能にするテレプレゼンスシステム「JackIn Space」では、以下の動画にも見られるとおり、視点を一種の「幽体離脱」みたいな形で変えることも可能だ。

※参考動画としてYouTubeより掲示

「その人の頭の中に入るだけではなく、空間に対してズームイン・ズームアウトみたいなこともできるので、その場所に行く以上の体験もできるようになる。体験の一人称と三人称をシームレスに切り替えることができるわけです。今はヘッドマウント・ディスプレイをイメージされるかもしれませんが、次第にそうではなく、巨大な裸眼ディスプレイなどの世界も可能になってくるんじゃないかなと思います」（暦本氏）

ShareX時代とHuman Augmentationは親和性が高い

　このようなShareXが社会へと溶け込んでくると、どのような変化がもたらされるのか。これについて暦本氏からは、3つの要因が語られた。まずは多くの人がイメージする通り、距離や空間の制約からの解放である。「移動というものがどんどんと相対化されていき、本当に移動する理由はなんなのかといった空間の概念が変わっていきます」と暦本氏は強調する。

　また、実世界がシミュレーション可能環境になるという点も重要だ。防災や渋滞、気象などを予測できるような現実世界を構築していくというイメージだという。そして最後は、能力差やハンディキャップからの解放というわけだ。

　このような、生活の根幹を支えるようなプラットフォームの構築がもたらされる上で最も大きなブレイクスルーは、ディープラーニング技術の発展にあると暦本氏は強調する。

「現実世界を解析するのが実用的になったのが大きいと思います。昔も、すごく頑張ってGPUを使ってカクカクの人間の動きを取れます、というのはありましたが、今だとリアルタイムでスムーズに取得できるわけです。コンピューターサイエンスの歴史でも、実は10年前に「もう煮詰まったかな」と思ったこともあったのですが、全然そんなことはなくて、どんどんと進化していったのが正直なところです」（暦本氏）

　また、能力差やハンディキャップを乗り越えるHuman Augmentation（人間拡張）の技術としては、通信とつながることができるのも大きいと暦本氏は続ける。

「サイボーグみたいなのが典型的なHuman Augmentationですね。あれはメカとつなげるような話ですが、最近では“通信”と繋がるという点が非常に大きいと思います。ネットワークを超えて他人と繋がったり、さらに深くなるとAIと繋がるということも考えられるでしょう。頭の中にインプラントを埋め込むのは大変ですが、今でも例えばZoomの中にアドオンすることはできるので、Zoom越しに見ると能力拡張しているように見せかけることはできるわけです。このように、ShareX時代とHuman Augmentationは親和性が高いと思います」（暦本氏）

　Human AugmentationやShareXがどんどんと進んでいくと、得てして全部自動化されたり、人間は何もしなくても良い状況になることが語られる。最後にこの点について、暦本氏は以下のようにコメントした。

「何もしなくて良くなると、逆に「何がしたいんだっけ？」が問い直されるようになります。そこで、実は散歩が好きとか路地のカフェに入りたいとかが見えてきて、そこにAIがサポートしてくれるのが嬉しいといった、「自分が何をしたい」というのが最終的に戻ってくると思います」（暦本氏）

リアルとバーチャルがシームレスに繋がったような大阪万博に向けて

　最後に、NTTドコモの役員やNTTドコモ・ベンチャーズの社長を経て、現在は大阪大学の先導的学際研究機構教授として活動する栄藤稔氏より、社会の変化という切り口で解説がなされた。

「今日私が言いたいことは、ここに挙げた4つです。AI視点で変化する社会を見たときに、例えばよく言われているとおり、モノからコトへ、所有から共有への価値観のシフトが挙げられます。従来は経験をシェアするプラットフォームがなかったわけですが、現在ではIT技術がついてきたからこそ、それらが可能になったと言えます」（栄藤氏）

画像出典：AEI “Chart of the day…. or century?”

　こちらは、2000年1月から2020年12月までの物価の変遷を示したグラフである。これを見ると、物価が下がっているのは車やPCソフト、テレビといったモノであり、一方で物価が上がっているのは医療や教育といったコトに関するところだと分かる。

「このように、モノからコトへとお金の流れが変わっていき、それをつなげるのがプラットフォームということです。生産者と消費者がいて、いかに効率良くそれらをつなげるのかということです。そして、この一番わかりやすい例がShareXだと考えています。まさにお二人が語ったのは、このプラットフォームをどうするかということです」（栄藤氏）

　最終的には「AIと共存する生活・仕事スタイル」が前提となる社会になると想定されるが、このままAIが進化を続けると、いわゆる定型業務というものは全てAIに置き換わり、非定型の仕事ばかりが残ることになる。このことを栄藤氏は「すごく明るいこと」だと強調する。

「定型と非定型の間にはAIのインターフェースがあることになり、これがShareXのインターフェースになると想定しています。その上で、人相手の情緒的な共感を得る仕事というのがどんどんと増えていくと思っていまして、私としてはこれをすごく明るいことだと考えています」（栄藤氏）

　その上で、栄藤氏からは2025年開催の大阪万博に向けての期待も寄せられた。

「2000年頃に第3世代（3G）携帯網が整備されて、そこから18ヶ月毎に通信速度が2倍くらいになっている状況です。なのでこのまま行くと、大阪万博までにはさらに現在の数倍の速さになっていることでしょう。あとは先ほど暦本先生もおっしゃったとおり、2010年頃からのディープラーニングの非連続的な進歩も大きいと思っています。通信が確実に早くなっている中で、そこにどんなディープラーニングが乗るのか、考えるとワクワクが止まらないです。2025年の大阪万博は、夢洲に来場した人だけが元気になるようなものではなく、ShareX上で現地の人と遠隔参加の人が両方楽しめるような、そんなリアルとバーチャルがシームレスに繋がったような万博になることをイメージしています」（栄藤氏）

「日本を再び、妄想大国へと駆り立てます」

東京工業大学「CoilSite」チームのお二人（左：チーム代表細井椋太氏、右：チームCTO 水野夏来氏）

　最後に、ここまで見てきたパネルディスカッションの直後に催された、大学ビジコン決勝戦で見事優勝した東京工業大学「CoilSite」チームのプレゼン内容を振り返る。同チームでは、アニメ作品『電脳コイル』の世界を現実にすることをコンセプトにサービスを考えていったという。発表者となった細井椋太氏は、小学3年生の時にこの作品を観たことから、このような世界を作るべく日々妄想を広げてきたと語る。

「電脳コイルの世界ではARカメラが普及していて、360度がARの世界になっています。そこではバーチャルのペットや道具があり、自動運転システムとの連携や、物質的なものが3Dに置き換わる様子などが描かれています」

　上図のように、プレゼンではMRプラットフォームを構築するためのタイムラインが示されたわけだが、ここで重要となるのは「XRCGクリエイター」の存在だという。既存のCGクリエイターがテレビやスマホゲームといった領域にアウトプット先が限定されるのに対して、XRCGクリエイターは360度見える空間がアウトプット先になるというのだ。

　そこで同チームが提案するのが、「CoilSite」（読み方：コイルサイト）と呼ばれるxRサービス。これは、誰でも世界中・街中にCG作品を配置でき、誰でも個展を開催できるようになるプラットフォームだという。具体的には、マップ上にCG作品をアップロードし、実際に現地に行くと、その作品をARで鑑賞できるというものだ。

　マイルストーンとしては、まずはクリエイターへとサービスを広めていき、その後、非クリエイターへの展開と企業によるMR広告の出稿ビジネスを経て、プラットフォーム化、つまりは他業界にも様々なアイテムやサービスを作れるようなワールドとAPIを提供するという。これを大阪万博にて実装し、「サイバー万博」として、世界に先駆けたスマートグラスの実験を進めていくという構想が発表された。

「私たちのサービスは、もともとは『電脳コイル』というアニメの妄想から始まりました。なので今度は、私たちのサービスで日本のCG技術やアニメ文化の発信をして、日本を再び、妄想大国へと駆り立てます。日本を世界一のMR先進国にします！」

大学ビジコン参加者＆審査員一同［下段の受賞チーム、左から東京大学「シェアメモリー」（優秀賞）、東京工業大学「CoilSite」（最優秀賞）、大阪大学「SHARE A」（ジェトロ賞）］

　カンファレンスの最後に催された表彰式では、優勝したCoilSiteチームのお二人に対して、暦本氏が代表して評価ポイントを伝えた。

「非常に明確なメッセージと、それが本当に実現できると思わせてくれるような技術的なバックグラウンドと、何よりも本当に実現したいという強い決意のようなものをプレゼンテーションから感じることができて、最優秀賞に誠にふさわしいと思いました」（暦本氏）

編集後記

金融DXなんてテーマをなぜ、愛に寄り添うテクノロジー応援メディアの『LoveTech Media』が特集するんですか？という声を会期中にいただいたことがあるのですが、主たる理由は「想像力の拡張のサポートにある」とお答えしました。つまり、ここ数年でキーワードに上がりやすくなっているWell-beingというものを人々が求めるにあたって、その最大の障壁となるのが「想像力の欠如」だと考えているからこそ、社会基盤となる金融機能への想像力を高めることが、その最大の防御策にもなるだろうと想定しています。

実はこれ、昨夏にダイアログ・イン・ザ・ダークの新施設を取材（編集）した際に、オープニングレセプションで登壇された乙武氏よりなされた「人間の想像力の限界」についてのお話を受けて、スタンダール症候群よろしくふらっとした経験を踏まえての考えとなります。

日本銀行のTechリードメンバーが取り組んでいる最新プロジェクトの内容や、デジタルアイデンティティに関するトレンド、データドリブン社会に向けたAPIエコノミーの考え方なんて、日常生活を送る上では直接は関係のない内容でしょう。一方でこの国の”これから”は間違いなく、一人ひとりの「自分ごと化」に伴う行動の集大成が、そのまま反映されることになります。人口減で大きな政府という役割が難しくなってきたからこそ、大小様々な自分ごと化をした人々同士のマルチステークホルダー・プロセスが大切になるというわけです。

その際に、想像力の豊富なメンバーと想像力が欠如したメンバー。どちらの船に乗りたいでしょうか？私は前者に決まっています。

そういう意味で、最後のレポートとなる本記事で、「日本を再び、妄想大国へと駆り立てます」と声高に宣言したチームが最優秀賞を受賞したのは、当メディアの意図する課題意識と直にリンクし、なんとも言えず感動した次第です。素晴らしいプレゼンでした。

LoveTech Mediaでは本カンファレンスシリーズ以外にも、過去のSUMシリーズにおいて多くのセッションレポートを配信しており、Webライクな形式とはトレードオフになる形で、想像力を高められるような細かい内容でレポートしています。ぜひこちらもご覧ください。