汎用性はキーボード入力に匹敵、なぞって伝える三菱電機の「しゃべり描き」：イノベーションのレシピ（2/2 ページ）

端末画面をなぞった軌跡上に発話内容をテキスト化して表示する三菱電機の「しゃべり描きアプリ」。聴覚障害者など耳の不自由な人とのコミュニケーションをより豊かなものにすることを目指して開発された。同アプリは音声認識エンジニアから音声認識精度やレスポンスの速さを高く評価されるという。どのようにして実現しているのか。

[池谷翼，MONOist]

社内の自主研究プロジェクト「Design X」で誕生

　そこで平井氏は、三菱電機 デザイン研究所の自主研究プロジェクト「Design X」を通じてしゃべり描きアプリの開発プロジェクトを立ち上げ、9人のチームメンバーを組織して開発した。サービス化に当たり、聴覚障害者に限定したサービスだとスケールが難しいため、翻訳機能を追加して日本語以外の話者への案内や説明にも使えるようにした。

　Design Xは「直ちに収益化が可能な内容でなくとも、社会課題の解決に資する、デザイナーの自主的で自由な発想に基づいたデザインコンセプトの創出」（阿部氏）を目的として作られた制度である。デザイン研究所は三菱電機の開発本部内に設置された研究部門の1つであり、ビジネスイノベーション本部やインフォメーションシステム事業推進本部、FAシステム事業本部など10個の事業本部から依頼を受けて研究開発を行うが、Design Xはこうした業務とは別に遂行されるものだ。

三菱電機内の組織図＊出典：三菱電機［クリックして拡大］

　「Design Xで採用されたプロジェクトは、発案者自身がリーダーとなって進める。集めるメンバーは社内のグループや部署に関係なく好きに声を掛けてよい。当社のデザイン研究所はプロダクトのハードウェア設計だけでなく、システム系のソフトウェアエンジニアや、インタフェースデザイナー、コンピュータサイエンティストなど非ハードウェア領域の人材も多く在籍しており、この点が他社との差別化要因になっているが、こうした人材を自由に活用できる。入社2〜3年目の新人がリーダーとなって進めるプロジェクトもある。2つ以上のプロジェクトの掛け持ちは禁止されているが、声掛けされたメンバーの上長は、メンバーのプロジェクト参加を原則認めなければならない」（阿部氏）

　これまでに同プロジェクトからは、路面に光の図形を投影することで自動車の動きを周囲に伝える「路面ライティング」や、床面に投影したアニメーションで行き先を案内する「アニメーションライティング誘導システム」などが生まれている。後者は三菱電機の本社エントランスで実際に採用されたという。

自主研究プロジェクト「Design X」＊出典：三菱電機［クリックして拡大］

音声認識エンジニアも驚く「反応速度」の秘密とは？

　しゃべり描きアプリが使用する音声認識エンジンや翻訳エンジンはサードパーティー製であり自社開発のものではない。現状、市場に出回る音声認識エンジンの間には大きな性能差は見受けられないが、それにもかかわらず「アプリに触れた音声認識や翻訳のエンジンを日頃扱っているエンジニアからは『認識精度が非常に高い』と驚かれる」という（平井氏）。

　平井氏はこの理由を、「しゃべり描き」のUIが持つ副次的な効果だと説明する。具体的には、指でなぞりながら発話するうちに、ユーザーは無意識のうちに話し言葉ではなく書き言葉に近い内容を語るようになるのだという。「恐らく、“書く”という動作に近いなぞるというアクションが、ユーザーに影響を与えているのだろう。話し言葉は文法が乱れやすく、機械的な処理によるテキスト化や翻訳の難易度が高いが、書き言葉であれば非常に高精度で実行できる。また、発話内容も短くシンプルになり、処理しやすい。最初から意図して設計したものではなく、ユーザー試験を経て気付いた知見だ」（平井氏）。

　音声認識や翻訳の結果を出す「レスポンス速度」についても驚かれることが多いという。一般的な文字起こし、翻訳アプリはクラウドサーバから処理結果が送信され次第、処理結果を逐次表示していく。一方で、しゃべり描きアプリはしゃべっている最中、なぞっている最中にも文字が高速で現れるように見えるのだ。

　平井氏は「実際には音声認識・翻訳エンジンの処理速度自体が特別早いわけではない。にもかかわらず高速に思えるのは、しゃべり描きというアプリUIの特性に基づく人間の“錯覚”を利用しているからだ」と説明する。しゃべり描きアプリは（1）指を画面に伸ばし（2）実際になぞるという2アクションを要求する。これらの動作にかかる時間はわずかなものだが、クラウドサーバの応答時間と同程度のため、まるで「話したらすぐに文字が表示される」かのように思えるのだという。

　「加えて、人間は最初の文字を見ると全ての文字が表示されているかのように“錯覚”する。サーバから全ての文字が返ってきてなくても、最初の文字が気持ちよく表示されれば、最後の文字が表示されるまでのタイムラグが短く感じられる。仮に発話内容をサーバ上で全てテキスト化できていても、1文字ずつ順番にディレイをかけて表示する仕組みにしている。こうしたシステムづくりはUIデザイナーならではの視点に基づくものだと思う。音声認識や翻訳技術に携わるエンジニアは音声入力からディスプレイへの表示時間を可能な限り縮めようとする。一方でデザイナーは『遅くてもユーザーに気持ちよく体験してもらうことを重視しよう』と発想する。この点はエンジニアにとって盲点になるのではないか」（平井氏）

　また平井氏は、しゃべり描きアプリは音声認識、翻訳、なぞるというタッチ操作のいずれの機能も目立った新規技術を活用しているわけではないと指摘して、「既存技術もユーザーの心に届くUIでパッケージングすることで、新しい、魅力的なサービス、プロダクトになる。社会課題を解決するソフトウェアは必ずしも新規技術が必要ではないということが分かる」（平井氏）と強調した。

　また、阿部氏も「近年取り沙汰されるデザイン思考の考え方においては、技術起点ではなく、ユーザーの困りごとを解決するという視点での開発が求められるが、しゃべり描きアプリはまさにそうした考え方に基づいて開発された」と説明する。

しゃべり描きはPCキーボードに並ぶ汎用性

　しゃべり描きアプリは2020年12月に端末同士の近距離通信機能を追加し、2台の端末間で画面を共有できるようにした。従来は画面を2分割することで他人との画面共有を搭載していたが、画面を無線共有することで一定程度離れていてもコミュニケーション可能になる。直接接触しない分、新型コロナウイルス感染症（COVID-19）の感染リスクも低減できる。

　新規UIではツールパレットを常時表示することで必要なツールをワンタッチで選べるようにするなど、新規UIの採用による操作性向上も図る。この他、フォントにモリサワのユニバーサルデザインフォントを追加するなど、読み書き障害者や弱視者にも配慮した。

　「しゃべり描きはPCのキーボード入力に匹敵する汎用性と可能性がある。三菱電機の製品にこうした入力方式を組み込んでいけないかと考えている。アプリ自体は今後もユーザーの形や気持ちを効果的に伝える機能を搭載し続けて、UIを改善していきたい」（平井氏）。

⇒その他の「イノベーションのレシピ」の記事はこちら