見えないものを、見えるように
コンピュータの「眼」を進化させる技術
五十川 麻理子 （理工学部 情報工学科 准教授）
街中の防犯、医療や介護現場での見守り、あるいは自動運転など、私たちの暮らしのさまざまな場面で活躍する画像・映像センシング技術。近年はAI技術と組み合わさることで、コンピュータが判断するための「眼」としての役割も担い、その重要性はますます高まっています。
五十川麻理子准教授の研究室では、こうした映像センシングの「眼」が抱える弱点に着目。新たな計測技術とAIによるディープラーニングを多角的に活用しながら、実社会での利用を見据えた推定技術の確立を目指しています。
現状の動画カメラ技術で「見えないもの」とは？
Ｑ 先生の研究テーマは「見えないものを、見えるようにする」とのこと。現状の技術には、どのような課題があるのでしょうか
五十川：まず大きいのが、遮蔽（しゃへい）物の問題です。見たい対象の前に木や人影があると、その奥は捉えられません。これは、病室で寝ている患者をモニタリングしたいのに毛布で遮られて見えない、建物内部の状況を知りたいのに壁があって把握できない、といったケースと本質的には同じです。
また、夜間や密室など暗い環境での撮像も、通常の動画カメラは苦手としています。要するに「邪魔なものがあると撮れない」「暗いと捉えにくい」。多くの方が一度は経験しているのではないでしょうか。
さらに、「見えない」とは少し違いますが、「見えすぎる」という問題もあります。通常の可視光カメラでは、顔や服装など個人を特定できる情報が鮮明に取得されるため、実際に活用する際に個人情報保護やプライバシーの課題が生じます。この点も、社会実装を考える上で大きな壁になっています。
Ｑ こうした課題を克服し、「見えるように」するためには、どのようなアプローチが必要なのでしょうか
五十川：通常の動画カメラは可視光、つまりヒトの目で見える光を用いて映像を生成します。一方、私たちの研究室では、可視光に限らず、音波やミリ波といった別の周波数帯の情報を用いることで、「見えないもの」を可視化できると考えています。 音響信号、ミリ波、イベントカメラの撮影データなど、さまざまな観測情報（モダリティ）を使い分け、目的や環境に応じた最適なセンシング・計測方法を研究しています。
音響信号は波長が長いため遠くまで届き、壁越しでも情報を取得できます。微細な動きの検出には向きませんが、無線利用に制限のある医療現場や航空機内などでも活用できる可能性があります。
ミリ波は可視光より波長が長く、音波よりは短い周波数で、プラスチックや木材、布などを透過できます。毛布やカーテンに遮られた暗い病室で人の動きを捉えるといった用途に適しています。
また、近年注目されているイベントカメラ（※）も研究対象です。暗所から明所まで幅広いダイナミックレンジに対応できることに加え、従来のカメラよりもはるかに高い時間分解能で記録できるため、高速の動きに強いのが特徴です。瞬間的な変化を捉えられるため、スポーツのフォーム解析や動物の行動観察などへの応用も期待しています。消費電力がとても少ない点も実用上の利点です。
これらのモダリティから得られるデータは、顔の細部や服装などが判別しにくく、個人情報を保護しながら活用できるという利点もあります。
※イベントカメラ：被写体の輝度変化のみを検出し、変化が閾値(しきいち)を超えた場合にのみデータを出力する撮像方式
Ｑ 音響信号やイベントカメラなどのデータ活用には、AIが不可欠とのことですが、詳しく教えてください
五十川：通常の映像は直感的に理解できますが、音響信号やイベントカメラのデータは点群情報として取得されるため、そのままでは状況判断が困難です。そこで、取得したセンシングデータから対象物の姿勢や動きを推定し、「目で見て理解できる情報」として出力する必要があります。
五十川：私たちの研究室の特徴は、推定システムの開発だけでなく、その機械学習に必要なデータセットも独自に構築している点にあります。K2キャンパス内に専用の撮影スタジオを設け、モーションキャプチャデータを用いて姿勢や動きの「正解」を取得しています。
学生の協力も得ながら収集した大量の「正解」データと、各種センサの取得データを組み合わせて機械学習を行い、推定精度の向上を図っています。
それに伴う時系列的な輝度の差分をもとにイベント情報が計測される
画像推定技術を活かし、
関節リウマチの遠隔診断にも貢献
Ｑ 慶應義塾大学医学部と連携し、関節リウマチの遠隔診断にも取り組んでいるそうですね
五十川：関節リウマチは早期発見が重要な疾患ですが、専門医は限られており、とくに地方や海外では診断が遅れがちです。こうした医療格差を背景に、患者自身がスマートフォンで手を撮影し、その画像から炎症の可能性を判定する遠隔診断技術の研究を行なっています。
課題は陽性症例の画像データが少なく、さらにデータが不均衡であることでした。
そこで医学部のリウマチ専門医と協力して、機械学習用の画像を作成しました。ここで重要なのは、診断経験が豊富な専門医の知見を、画像上で忠実に再現すること。具体的には、ベテラン医師と一緒にディスプレイを見ながら細部を調整することで、実際の腫れや色調変化を再現しました。疾患が現れやすい部位に関する医学的データも反映し、画像診断の精度を大きく向上することができました。
専門医不足やデータ不足は、多くの疾患に共通する課題です。専門家の臨床知見と、私たちが研究するAI画像推定技術を組み合わせることで、遠隔医療のニーズが高い分野全体に貢献できると考えています。
センシングデータの活用ノウハウ、
災害対応やスポーツ・医療など多分野に応用可能
Ｑ 企業勤務の経験もある五十川准教授、社会実装についてはどのようにお考えですか？
五十川：博士課程（前期）修了後、NTT研究所勤務、カーネギーメロン大学での研究を経て、現在に至ります。大学では、「これは有益かもしれない」と感じたテーマに柔軟に取り組める点にメリットを感じています。学生に協力してもらうこともできるので、私の研究室のように多角的なアプローチと地道なデータ蓄積をもとに考察するタイプには、特に有利だと思います。
一方で、研究成果を社会に役立てるためには、企業との連携が不可欠です。
私たちの研究室では、複数モダリティのセンシングデータから対象物や環境を推定するノウハウが蓄積されています。「新しいセンサを開発し、活用方法を模索している」などのご相談があれば、お役に立てると思います。
災害現場での被災者状況把握、スポーツアナリシスや医療・介護現場の問題解決、動物の生態研究など多分野への応用を視野に入れています。
研究以外のエピソード
「ポケモンGO」の10年選手
幼児2人の子育て真っ最中という五十川准教授。意外にも、趣味は「ポケモンGO」だそうです。「ポケモンGOがリリースされたとき、私は国際学会出席中でした。一緒に学会に参加したメンバー複数名でインストールし、『ちゃんとピカチュウが出てきた！』と感動したのを覚えています。映像研究者の立場から見ても、AR技術が誰でも体験できる形で実装されたのは画期的でしたね」。それ以来約10年続けているとのことで、「当時のメンバーは、もう誰も遊んでいないかもしれません（笑）」と話します。K2キャンパス内にポケモンが出現することもあるそうです。
プロフィール
慶應義塾大学理工学部情報工学科准教授、工学博士
2013年大阪大学基礎工学研究科博士前期課程修了。2013〜22年にNTT研究所にてコンピュータビジョンの研究に従事しつつ、2016〜19年に大阪大学基礎工学研究科博士後期課程を修了、2019〜20年にカーネギーメロン大学へ訪問研究員として留学。2022年に慶應義塾大学専任講師となり、23年より現職。カメラや各種センサのデータから人や物の状態を理解する技術を研究。機械学習やセンシング技術の開発にも取り組んでいる。
