汎用性はキーボード入力に匹敵、なぞって伝える三菱電機の「しゃべり描き」：イノベーションのレシピ（1/2 ページ）

端末画面をなぞった軌跡上に発話内容をテキスト化して表示する三菱電機の「しゃべり描きアプリ」。聴覚障害者など耳の不自由な人とのコミュニケーションをより豊かなものにすることを目指して開発された。同アプリは音声認識エンジニアから音声認識精度やレスポンスの速さを高く評価されるという。どのようにして実現しているのか。

[池谷翼，MONOist]

　聴覚障害者や高齢者など、耳に不自由さを抱える人の中には、健聴者との音声を通じたコミュニケーションに困難を感じる人も少なくない。筆談や手話といったコミュニケーション手法もあり得るが、実際には、筆談は文字を書く手間や時間がかかりテンポよく会話を進めにくく、手話はそもそも健聴者の間で習得者が少ないといった課題がある。

　こうした課題の解決を目指して三菱電機が開発したのが、スマートフォン／タブレット向けアプリケーション「しゃべり描きアプリ」である。スマートフォンやタブレット端末の画面を「なぞる」ことで、ユーザーが話した言葉をテキスト化して表示する。テキストに文字や絵を組み合わせることで、既存の手話や筆談よりも豊かなコミュニケーションを実現する、「世界初」（三菱電機）のUI（ユーザーインタフェース）だ。

しゃべり描きアプリの操作画面。文字は青いライン上に重なる形で表示される。ラインは指を離すと消える＊出典：三菱電機［クリックして拡大］

　興味深いのは、しゃべり描きアプリを体験した音声認識技術開発に携わるエンジニアから「認識精度が高い」「レスポンスが早い」と驚きの声が寄せられることが多いという点だ。しかし、三菱電機 デザイン研究所長の阿部敬人氏と、同社 デザイン研究所 ホームシステムデザイン部 ホームインタラクションデザインGの平井正人氏は「同アプリには新規開発の音声認識エンジンなどは採用していない」という。

　では、なぜこのような評価が寄せられるのか。開発の経緯と併せて両氏に話を聞いた。

“書く”動作に近い音声入力UI

しゃべり描きアプリの操作画面。文字は青いライン上に重なる形で表示される。ラインは指を離すと消える［クリックして拡大］

　しゃべり描きアプリは2019年6月にリリースされたスマートフォン／タブレット向け端末向けアプリケーションである。基本使用料は無料だが、多言語翻訳機能を利用する、画像を一定数以上貼り付ける、フォントの種類を追加するなど、追加機能を使用する場合に一部有料となる。

　2020年9月には法人利用を想定した「しゃべり描きアプリ Biz」をリリースした。同アプリケーションは難聴児童や知的障害高齢者向けの施設など、現在30以上の団体・企業に無償提供しており、発行ID数は180以上に上る。なお、いずれのアプリケーションも開発元は三菱電機だが、販売は兼松コミュニケーションズが行う。

　しゃべり描きアプリの特徴は、ユーザーの発話内容を指でなぞった軌跡上に表示するUIにある。画面上に表示されるマイクボタンをタップして発話すると、その内容がクラウドサーバ上の音声認識エンジンに送られ、テキスト化される。サーバから送り返されてきたテキストは、青いラインで表現される指の軌跡上に重ねて表示される仕組みだ。テキストと共に画像を張り付ける他、ペンツールで絵を描いて組み合わせることも可能だ。

　「文字を好きなところに、直感的に配置できるのが大きな利点だ。画面をタップすればすぐに文字が出てくる。日常的な“書く”という動作に近いアクションで、話し言葉を表現できる。一般的な文字起こしアプリでは、ワープロのように横一列に並んだ文字列が表示されるので機械的で冷たい印象を与えがちだが、なぞったところに文字を表示することで人間的な暖かさを表現できる」（平井氏）

聴覚障害者や高齢者向けの展開を念頭に置く＊出典：三菱電機［クリックして拡大］

指さし説明は実は丁寧じゃない？

　しゃべり描きアプリは、聴覚障害者や高齢者と健聴者の間にあるコミュニケーションの“壁”を取り除くことを目指して開発された。開発プロジェクトを主導した平井氏は「開発のきっかけは、三菱電機 デザイン研究所のインターンシップに聴覚障害を持つ学生が参加したことだった」と振り返る。

　平井氏は学生のチューターを担当したが、手話を習得していなかったため、スムーズにコミュニケーションをとるための方法を模索するのに苦慮した。「筆談も試したが、デザインの指導などやや込み入った話をするのは適していないと途中で気付いた。聴覚障害の人は往々にして相手の口元を見て発話内容を推測するが、デザインスケッチを指さしながら説明すると学生は口元と手元を同時に見る必要があるので困ってしまう。健聴者にとっては丁寧に説明しているつもりでも、聴覚障害の人にとってはそうではないという事実を知り、衝撃を受けた」（平井氏）。