視覚障がい者の“眼”となるiOSアプリ「Seeing AI」が日本語対応開始、国際障害者デーに日本MSが発表

・令和元年12月3日、国連の定める「国際障害者デー」に、マイクロソフトが提供する視覚障がい者向けトーキングカメラアプリ「Seeing AI」の日本語版提供が開始。

・マイクロソフトのクラウドAIである“Cognitive Services”により、スマートフォンのカメラに写った物やテキストを瞬時に認識し、主に視覚障がい者の「眼」となって、様々な事物を説明してくれる。

・2017年から英語版が提供されていたが、今回新たに、日本語版を含む5か国語（オランダ語、フランス語、ドイツ語、日本語、スペイン語）に対応し、合計70カ国でダウンロード可能に。

最先端のAI技術を活用して、スマホが視覚障がい者の“眼”として機能し、生活の様々なシチュエーションをサポートしてくれる点が、非常にLoveTechだと感じます。

Seeing AIは、視覚障がいのあるマイクロソフト社プログラマーが中心となって開発されており、より当事者目線の機能が実装されている点も素敵だと感じます。

令和元年12月3日、国連の定める「国際障害者デー」に、マイクロソフトが提供する視覚障がい者向けトーキングカメラアプリ「Seeing AI」の日本語版提供が開始した。

Seeing AIとは、自分の周囲の風景を認識したり、レストランのメニューを読み上げたり、近くに誰がいるか、AI を活用して知る事ができる iOS向け無料アプリ。

2017年から英語版が提供されていたが、今回新たに、日本語版を含む5か国語（オランダ語、フランス語、ドイツ語、日本語、スペイン語）に対応。70カ国でダウンロード可能となった。

マイクロソフトのクラウドAIである“Cognitive Services”により、スマートフォンのカメラに写った物やテキストを瞬時に認識し、主に視覚障がい者の「眼」となって、様々な事物を説明してくれる。

例えば「短いテキスト」機能では、テキストの上にSeeing AIのカメラをかざすと、自動的に文字部分を読み上げてくれる。

実際に以下のテキストを読み込ませてみたら、しっかりと「プログラミングきょういく しえんハンドブック」と読み上げられた。

サンプルとして撮影した冊子表紙
（「プログラミング教育支援ハンドブック」一般社団法人ICT CONNECT 21発行）

また、「ドキュメント」機能においても、Seeing AIのカメラを印刷ページの上にかざしてキャプチャすることで、テキストを認識し、文字としてコマンド表示の上、読み上げてくれる。

その際、ドキュメントの全ての端が視野に含まれる写真が撮影されるまで、カメラの位置を案内してくれる仕様となっている。

その他の機能については以下の通りである。

• 「製品」機能：商品バーコードの上にSeeing AIカメラをかざすと、製品名が読み上げられる。
• 「人」機能：周囲をスキャンして、周りに何人いるか、どれほど近くにいるか、どんな表情をしているかを調べてくれる。また、アプリに特定の人を認識するように学習させた場合は、その人が視野に入ると、名前のアナウンスもしてくれる。
• 「風景」機能：Seeing AIカメラで写真を撮影することで、キャプチャしたシーンを説明してくれる。※まだ実験段階の機能のため、シーン認識は常に正確とは限らないという
• 「通貨」機能：1枚の紙幣をSeeing AIカメラにかざすと、推定金額を読み上げてくれる。※まだ実験段階の機能のため、通貨の認識は常に正確とは限らないという
• 「色」機能：Seeing AIカメラ上のポイントにかざされたモノの色を読み上げてくれる。色というものはいくつかの要素に依存する可能性があることに注意が必要で、例えば、光が少ないか物陰に隠れている場合、色は“暗く”見える。
• 「ライト」機能：Seeing AIカメラが、周囲の光の量を検出して、音の高低で表現してくれる。光が多いほど、トーンのピッチが高くなる。

発表当日、日本マイクロソフトは都内でメディア向け説明会を実施し、同社における“アクセシビリティ”の取り組みについて説明がなされた。

日本語版Seeing AIの説明等をする大島友子氏（日本マイクロソフト株式会社 技術統括室 プリンシパル アドバイザー）

マイクロソフトの企業ミッションが「地球上のすべての個人とすべての組織が、 より多くのことを達成できるようにする」とされる中、同社では実に30年以上に渡ってアクセシビリティを提供してきた。

上述の4要素を含めた取り組みはプロダクトの“開発”に留まらず、創発の場の企画・実践も行なっている。

例えば、当メディアで以前報じた一般社団法人PLAYERSとの「DIVERSITY WORKSHOP」（記事では、視覚障害者が熱狂するエンタメコンテンツを共創する、というテーマでの開催）は、その一例と言える。

2019.01.31

体感型暗闇読書など、視覚障害者とのエンタメコンテンツ共創ワークショップに潜入

　2019年1月19日（土）、「視覚障害者が熱狂するエンタメコンテンツを共創する」というテーマのワークショップが、品川の日本マイクロソフト本社にて開催された。 　視覚障害者とエンタメコンテンツ。意外な組み合わせである。 　障害者ときくと、どうしても「困難の解決」という視...

また、2018年5月には「AI for Accessibility」という、障害者を支援するAI技術に投資するというプログラムを発表しており、本発表に合わせて、日本で初めてAI for Accessibilityを受賞した２プロジェクトについても紹介がなされた。

東京工業大学では、ALS（筋萎縮性側索硬化症）等により自身で身体を動かすことが難しくなった方が、瞳孔のサイズの変化で自分の意思を表すといったシステム「PuCom (ピューコム)」の研究を行っており、パートナーの方々と製品化に向けて取り組んでいる。マイクロソフトの機械学習を取り入れることで、より早く正確なコミュニケーションをとれるように開発されている。身体を動かさずに、瞳孔だけで意思の表示ができるので、障碍のある方向けのシステムに加えて、将来的には一般機器や手が使えない状況での情報入力の用途などが考えられている

合同会社シーコミュでは、AIと人のハイブリッド情報保障システム「AI ミミ」を開発。同社は、従来から聴覚障碍の方に向けて講演会などでの字幕による情報保障を遠隔でオペレーターの方が行うサービスを提供しており、今回、クラウドAIであるMicrosoft Cognitive Services Speech API による文字起こしと、人間のプロのオペレーターの修正作業を組み合わせることで、より早く正確な字幕を手軽に提供することが可能になっている

メディア向け説明会には、Seeing AIユーザーのお一人として、一般社団法人セルフサポートマネジメント 代表理事の石井暁子氏も登壇。

一般社団法人セルフサポートマネジメント 代表理事 石井暁子氏（写真左）

石井氏は30歳のときの手術がきっかけで全盲になったものの、現在、旦那さんと共同で一般社団法人を運営しており、視覚障がい者を対象に、ヨガからテクノロジーの使い方まで様々な内容の講座を提供している。

そんな生活をサポートしているのがSeeing AI。

先述した機能を駆使することで、職場での会議や書類のやりとり、家庭での家事や娘さんとのコミュニケーションなど、生活の様々なシチュエーションにおいて“眼”の役割を託しているという。

オフィスの会議室を調べるのに「短いテキスト」機能を活用

会議の資料を確認するのに「ドキュメント」機能を活用

保護者会のお知らせを確認するのに「短いテキスト」機能を活用

「人」機能を活用して、娘さんがどこにいて、どんな様子かをすぐにチェック

毎日の娘さんの洋服選びで「色」機能を活用

部屋の照明状況を「ライト」機能で確認

「複数の機能が一つのアプリで、同じ操作で使えるというのが、とても使いやすいです。

Seeing AIを使うことで、見えていた時と同じような感覚を取り戻すことができました。」

現状、Seeing AIの提供はiOSのみとなっており、Android版の提供は未定となっている。

新たな機器を導入せずとも、スマホ一つで高性能の“眼”を活用できるということで、多くの視覚障がいの方に、今回日本語版がリリースされたSeeing AIを認知・活用してもらいたい。