デジタル・ティンカリング教材「YubiTus」の開発

ティンカリングとは修理屋を語源に持つ言葉で、「いじくりまわす」という意味を持つ。割り箸、ペットボトル、段ボール等、身の回りにある素材を組み合わせたり、分解したりして、実用的なものや風変わりなものなど、自分の目的に合うように作り変えるプロセスの事である。YubiTus は身の回りにある素材と組み合わせ、プログラミングによって様々な動きを表現できる。「回転」「挟み」「送風」「引っ張り」の動きを表現できるYubiTusを作成した。 YubiTusには制御用マイコン、アクチュエータ、バッテリが内蔵されており、動きはPCを用いてプログラミングを行う。プログラミングは子供でも利用できるように、ブロックタイプの専用ビジュアルプログラミング言語を開発した。各YubiTusはPCとBluetooth通信を行い、PCからの命令を受け取ることで動作する。 本教材を用いた学びの活動の特徴を明らかにするため、YubiTusを用いた学習活動を設計し実験を行った。

AI初学者向け学習教材「Scraib」の開発

AIの仕組みや基礎知識を学び、ビジュアルプログラミングツールのScratchを用いて簡単にAI開発することを可能にしたAI初学者向け学習教材「Scraib(スクライブ)」を開発した。 Scraibは、Scratch2.0上でAI開発が出来るAIブロックである.Scratch2.0の拡張機能でAIブロックを作成し、ブロックを実行するとAIブロックに紐づいたAIに関する処理を行うPythonプログラムを実行できる。AIブロックはPythonモジュールのBlockextを用いることでScratch2.0上に作成でき、AIブロックを通じて深層学習やTensorflowを扱うことが可能である。

効率的な知識獲得および定着を促進させる学習用アプリケーション「Bind」の開発

学習者は、アプリケーション画面左上に表示される映像教材から知識をインプットする。学習内容を画面右のノートテイクエリアで手書き記述することで、学習内容を整理し理解する。ノートテイク後、学習した項目に関するテストを実施し、知識を定着させる。このような知識の入力、整理・理解、定着という学習活動が一つのアプリケーションとして実装されている。 「Bind」は、当研究室で開発中の「EduDesk」上で利用することを想定している。EduDeskとはノートPC、タブレットに代わる新たな学習デバイスである。大画面であるためアイデア創出活動の活性化が期待される。例えば、電子教科書を見ながらデジタルペンでノートテイキングなどの学習が1つのデバイスで完結することも可能である。

自閉スペクトラム症児の情動変化を支援者に提示する療育支援システムの開発

自閉スペクトラム症（Autism Spectrum Disorder:ASD）の子どもと支援者の関わりを助けるシステムの開発に取り組みました。ASD児にリストバンドとベルトに組み込んだセンサを装着し、脈拍・皮膚電気活動・呼吸を計測して、情動変化を検出し、支援者に伝えます。ASD児の表出できていない情動変化を知ることで、より迅速に適切な対応ができるようになることを期待しています。

遠隔にいる新生児をそばに感じることができる赤ちゃん型ロボットの開発

コロナ禍によって面会制限が設けられた新生児の父親が自宅でも赤ちゃんをそばに感じられることができる赤ちゃん型ロボットです。分銅で重さを調整し、ヒータで温めて体温を表現、赤ちゃんの呼吸に合わせてエアバッグを膨らませたりしぼめたりして呼吸を表現しています。赤ちゃんの呼吸はおむつに装着したセンサで計測しWi-Fiで送信しています。赤ちゃんの顔はオンライン会議ツールでお母さんに共有してもらいます。

クッション型ロボットによる呼吸誘導を用いた入眠促進システムの開発

呼吸を誘導し人の状態を変容させる研究に取り組んでいます。意識して呼吸を合わせてもらうのではなく、なんとなく合ってしまうというものを目指しています。この写真は市販のしっぽロボットを改造して作製した寝かせつけ装置です。お腹に乗せたスマートフォン内蔵センサで呼吸を計測し、最初は周期に合わせてしっぽでやさしくトントンします。徐々に周期を伸ばしゆっくりした呼吸に誘導します。

QR コード埋め込み手法の性能向上に関する研究

この研究は「画像としてのQRコード」を「一般的な写真のような画像」に、わからないように埋め込むこと目的とています。
具体的には、一般的な写真のような画像にQRコードを埋め込むための「QRコード埋め込みAI」と、逆にそこからQRコードを取り出す「QRコード復元AI」の2つのAIを用いています。この2つのAIでは、画像処理に適したCNNという技術を用いています。これによって、目障りなQRコードを目立たなく隠したり、QRコード専用のスペースが不要な紙面レイアウトを可能にするなどの応用が期待されます。

ブラウザ環境下で非接触操作を提供する汎用ソフトウェアモジュールの開発

本研究では既存のWebページでハンドジェスチャでの非接触操作が可能になる、汎用ソフトウェアモジュールの開発を行います。
その過程では画像から手指の姿勢推定を行う、
Google社によるオープンソースライブラリのMediaPipeを使用しており、
ノートパソコンなどの一般的なPC環境でも非接触操作が可能になります。

機械学習を用いた手書きストローク補正

現在、手書きノートアプリなどで図形の補正機能が実装されています。しかしこの機能は描画後に図形の分類を行い、補正を施すため数秒手を止める必要がありました。そこで本研究ではリアルタイムに筆跡を予測することで書きながらの補正を施すことを目指します。その方法はペンが動くたびにLSTMといった時系列データの予測に強い構造を有する機械学習が筆跡を予測することで補正を行います。

簡易な目標音声特定技術

周辺会話音声がやかましい環境である会話音声のみを特定する場合や、目標音声の発声場所や方向がめまぐるしく移動する場合に、従来の目標音声特定法には限界がありました。発声ごとのピッチとパワーの時間変化特性に注目することで、たとえレベルの小さいヒソヒソ声であっても、簡易な設定で、周辺の大声からマイクロホン周辺の音声のみを特定する技術を構築しました。

連想ボード使用型会話支援システムの開発

人同士の雑談を聞き、雑談内容から連想されるキーワードや関連WEB記事を検索して表示するシステムを構築しました。雑談は年齢や立場によって話題の深さや話題の移り変わり特性が異なる傾向があります。これを考慮した連想キーワードを出力するところが特徴です。

環境騒音下で聞くピアノ音の音質補償に関する研究

開放型ヘッドホンにより、安全に場所を選ばず高音質の音楽を楽しむことができる一方、雨の音や周辺騒音による音質の劣化が目立つことが課題となっている．これらの環境騒音下でも、ピアノの音質をなるべく落とさずに聞くためのピアノ音の音質補償手法を研究した。ピアノ音の印象がには残響特性と倍音構造特性が大きく影響していることを見つけ、これらを補償することで、環境騒音下でも明瞭性のあるピアノ音を実現できた。

座面駆動型起立動作支援装置における座面速度および角度に対する支援効果の評価

起立動作は，生活で幾度もなく行われる動作であるが，高齢化により痛みを伴うことや，筋力低下により起立が困難になることがあるため，最も支援を必要とする動作の一つである．これまでにも様々な起立動作支援装置が開発されているが，まだ自力で起立が可能なユーザが利用すると筋力の低下を促進してしまう可能性がある．そこで本研究では支援しながらもユーザが必要な筋活動を行える座面駆動型の支援装置の実現を目的として，試作した支援装置において座面速度と最終角度を変化させた際の支援効果について評価を行った．

瞳孔中心計測に基づくスマートグラスの作業指示画像切り替えの提案

工場などの作業現場において，指示書を見ながら行う作業は効率が落ちてしまう．そこでスマートグラスに作業指示画像を表示することが有効だと考えられるが，画像の切画像の切り替え操作を手で行うと作業を中断する必要があるという課題があった．そこで本研究では， カメラで撮影した作業者の瞳孔中心座標の変化に基づいてスマートグラスに表示される作業指示情報を切り替える手法について提案し，その有効性について評価を行った．

ペダリング運動におけるリアルタイム筋活動表示のための筋電信号処理手法の提案

自転車のロードレースに代表されるサイクルスポーツにおいて，より高いパフォーマンスを実現するためには，ペダリング動作における筋活動を定量的に理解することが重要である．従来の研究では，詳細なデータを大規模な装置を用いて計測しており，その処理は計測後に行われている．しかし，ペダリング運動と筋活動の関係を理解するには，力の入れ方や姿勢に応じて変化する筋活動を早くフィードバックすることが有効である．そこで本研究ではペダリング運動時の筋活動を筋電計測結果に基づいて定量化し，リアルタイムにフィードバック可能なシステムの実現を目的とする．

デジタル画像への電子透かし付与

深層認識モデルを欺く手法:Adversarial Exampleを利用して、デジタル画像に人の目には見えない程度の小さな摂動を加えることで、任意の意味情報を付加する。 学習時に多様な情報を盛り込む学習法を提案し、Adversarial Exampleで生じる摂動を低減させることで、元の画像とほぼ同様の見えの画像に電子透かしの情報を付与した。

発話意味を考慮したTransformerによる雑談生成

従来の対話システムでは流れの決まった会話には比較的自然な受け答えが可能なものの、雑談のような流れの決まっていない会話への自然な応答には十分な精度が実現できない。 この問題に対し、我々の研究では一つ一つの文章や文字を追うのではなく、その意味を人工知能に理解させることで自然な応答システムを開発した。

StackGANを用いたテキスト入力に基づく画像生成

深層学習による画像生成モデルの代表例：GANの派生形ネットワークであるStack GANを用いて、テキスト入力からそれに対応する画像を生成した。 従来のStack GANではぼやけた画像が生成されがちだったが、本研究ではモデルに入力テキストの意味情報の理解能力を獲得させることで、不鮮明さなどの現実に実在しない特徴を低減させ、鮮明な画像の生成を行った。

ギター演奏者のプレイフォームによりコントロール可能なディストーションエフェクタの開発

音響機器としてのギターエフェクタ（以下GEFXと略す）をみた場合，エフェクト処理にはアナログ・デジタル電子回路やソフトウェアプログラムなどが用いられるもののエフェクトを発生させるUIはエフェクトペダルやフットスイッチがいまだに大多数である。ギター演奏者のプレイフォームに着目し，ギターの角度変化によるエフェクト操作可能なGEFX「DECP-01(Distortion Effect pedal Controllable by Play form)」を提案する。本システムはライブパフォーマンスとして演奏者が立位から座位などに姿勢変化した際に，ギター上に設置したジャイロセンサがあらかじめ演奏者が設定したギターの姿勢を測定し，ArduinoUNOを介してGEFXを操作することを目指して設計した。

アバターを介したコミュニケーションにおける⽣理的・⼼理的影響に関する研究

アバターの有無によるビデオチャット時における会話時の特徴を表記することを目的に視線計測実験を行った。研究で⽤いる仮想⾃⼰アバターはLive2Dで作成した。視線計測実験よりリアルとアバターの視線停留頻度の違いを確認することができた。

プロダクトの素材感把握に関する研究

現在，印刷技術の向上によるフィルムなどの代替素材が様々なプロダクトに利用されている。一方でCG 技術の発展によるVR 空間での素材感の追求も発達している。木製タンブラーを題材に木材，代替素材，VRCGを用いて視線計測実験を実施した。VR 空間では実空間と比較し，プロダクトへの視線停留が分散する傾向がみられた。