WEBリポート
  1. NHK
  2. 首都圏ナビ
  3. WEBリポート
  4. AIを活用した手話学習ゲーム 開発者の思い“手話を身近に”

AIを活用した手話学習ゲーム 開発者の思い“手話を身近に”

  • 2021年11月17日

両手の人さし指をお互いに向けて回転させると、「手話」を表す手話になります。
AIを活用し、こうした“手話表現”が正しくできたのか判定してくれるゲームが新たに開発されました。
グーグルや大学などと連携して開発にあたったのは、ろう者の女性です。ゲームには手話への理解が広がってほしいという願いが込められています。
(首都圏局/記者 氏家寛子)

新たな学習ツール「手話タウン」とは

9月23日の「手話言語の国際デー」に公開された「手話タウン」
日本財団がグーグルや関西学院大学などと共同で開発したパソコンのオンラインゲームです。

キャラクターが、手話が公用語の架空の街を旅しながらアイテムを集めていくゲームで、道中、質問に手話で答えるよう求められます

例えば下の画面では、「ぼうし」と「うでどけい」のどちらを持って行くのか尋ねられ、選びたいほうの手話をパソコンのカメラに向けて表現します。

AIで手話動作を認識

このゲームには、AI=人工知能を使った画像認識技術が使われました。

手話は手の動きだけでなく、口の動きや顔の表情、それに上半身を使った身ぶりを交えて表現します。

一般的なパソコンに搭載されたカメラでは、奥行きのある立体的な手話の動作を認識するのが難しく、専用のカメラや認識しやすくするための手袋などが必要でした。

そこで今回、一般的なパソコンのカメラでも動作を検出できる技術が開発されました。

AIが「ポーズとジェスチャー」、「口と顔の表情」、「手と指の形」の3つの動作を同時に認識し、1つの手話として検出するのです。

さらに、1単語につき10人のろう者が20回ずつ行った手話の映像データをAIに学習させることで、正しく表現できているのか判別できるようにしました。

開発者 「聞こえないだけでなんだってできる」

日本財団 川俣郁美さん

開発を担当した1人、日本財団の川俣郁美さん(32)はろう者です。

「手話タウン」をつくった背景には、自身の経験があるといいます。

幼いころから耳が不自由だった川俣さんは、小学校と高校は近くの学校、中学校は少し遠くの難聴学級がある学校に通いました。

補聴器は小学生の時からつけていましたが、授業の内容は先生たちが話すときの口の形を見て理解していました。
ただ高校になると内容が難しくなって口の形を読み取ることに限界を感じ、板書や教科書、隣の友達のノートを見て情報を得ていたといいます。

転機になったのは留学です。
高校卒業後にアメリカのギャロデット大学に進学しました。

この大学はろう者のための総合大学で、幼稚部から博士課程まであります。
講義は手話で行われ、キャンパスの設計にも配慮が行き届いています。

上の写真は「デフスペース」と呼ばれる場所で、部屋の中には視野を遮る柱がありません。
教室のホワイトボードの下には、光を点滅させて先生が生徒を呼ぶためのスイッチも備え付けられていたといいます。

「ろう者は聞こえないだけで何だってできる」
留学をきっかけに弁護士や医師として活躍する卒業生がいることも知り、そう感じるようになったといいます。

そして手話のことを知らない人に積極的にアピールして、ろう者への見方を変えていきたいと思ったそうです。

手話学習ゲームに込めた思い

大学と大学院合わせて7年半のアメリカ留学中にソーシャルワークや国際開発学について学んだ川俣さんは日本財団に入り、手話教育を普及させるための取り組みをしています。

アジア太平洋地域は欧米と比べ、手話を普及させるための人材や教材、拠点が少ないとして国内外の大学などとともに手話言語の辞書や教材を作成していて、その1つとして今回の手話ゲームを開発しました。

日本財団 川俣郁美さん
「ろう者が手話で教育を受けられないなど、生活のあらゆる面で手話による参加が妨げられている現状があります。学生時代はグループワークですごく壁があり、みんながやっている間1人で待っていました。私がやることもみんなが決めてしまい、そこに入れなかった経験があり、“みんなと一緒に決めたかった”という思いはあります。だから手話ができる人が増えたらうれしいし、手話通訳をつけて情報保障をするのが当たり前という考えが広がればいいなと思います」

いっぱいのコップはどれ?

記者もゲームを体験してみました。

川俣さんへの取材の中で印象に残った話があります。

見せてくれた1枚のイラスト。

水が入ったコップが3つ並んでいます。

川俣さん

いっぱいなのはどれですか?

記者

一番右のコップです。

川俣さん

そうですね、では“空気で”いっぱいなのはどれですか?

記者

一番左です。

  
伝えたいのは、“見方を変えれば、どう見えるかが変わる”ということ。

「普通」というレンズでろう者を見ると、できないことが多くマイナス面が大きいように見えるかもしれませんが、ろう者だからこそ学べること、経験できること、出会える人もいて、そうしたアイデンティティを大事にしたいと話しました。

そして最後に次のようなメッセージを寄せてくれました。

「弱みや短所欠点に焦点を当ててばかりだと強みや長所に気づきにくくなりますが、フレームを変えれば弱みは立派な強みに転じ、自分らしく生きていく道を発見することができると思います。社会はその人の強みを見いだし生かすことで、社会を活性化させることができるのではないでしょうか」

取材後記

ろう者としてのこれまでの経験や感じていることを話してくれた川俣さん。

川俣さんの“見方を変える”というポジティブな考え方は、私たちが問題に向き合うときの解決の糸口にもなるのではないかなと感じました。

このゲームがきっかけに手話を身近に感じる機会がもっと増えて、障害の有無に関わらず、誰もが安心して過ごせる社会を目指していけたらいいなと思います。

手話学習ゲーム「手話タウン」は日本財団のホームページで無料で公開されています。

  • 氏家寛子

    首都圏局 記者

    氏家寛子

    2010年入局。岡山局、新潟局などを経て首都圏局に。 医療、教育分野を中心に幅広く取材。

ページトップに戻る