研究開発部アルバイトの佐藤です。今日はアルバイト期間中に取り組んでいたまな板にレシピを表示する装置について紹介します。

背景

レシピ本をキッチンに持ち込む以外にも、キッチンでスマホ上から検索することによってレシピを見る機会が増えています。しかし、キッチン内でタブレット端末やスマホでレシピを見る問題点として以下が挙げられます。

• デバイスが水や油で汚れず、レシピが見やすい位置に置きたいが、スペースの都合上難しい
• 汚れた手で端末の画面を料理中に触って操作しなくてはならない

また、最近ではAmazon EchoやGoogle HomeなどのスマートスピーカーでCookpadのレシピを検索し、タブレット端末やスマホでレシピを保存することができます。その発展として、レシピの読み上げやEcho Showなどの端末を用いたレシピ表示なども考えられますが、端末と同様に映像などの表示位置が固定されてしまうという問題が挙げられます。また、音声での入力の他にジェスチャなどもとりいれることができればより視覚的な操作も可能ではないかと考えられます。

このような問題に対して取り組んでいるプロジェクトはいくつかあります。例として２つのプロジェクトを紹介します。

こちらのプロジェクトではユーザーの動作やキッチン台の上のものを認識して、端末に現在の動作に合わせた作業内容を表示します。切り方の動画の再生なども端末上で行っていますが、再生するには端末を操作する必要があります。また、この装置では切っている食材を認識するためにまな板自身にセンサなどを取り付ける必要があります。

こちらの論文ではカメラ・プロジェクタ・対話ロボットを連携させた調理支援システムが提案されていますが、対話ロボット１台、カメラ２台、プロジェクタ３台とかなり大掛かりなシステムとなっています。

スマートまな板

そこで図のように天井に装置を設置することによりキッチン用品には非接触のスマートまな板を開発しました。このまな板の特徴はまな板には何も手を加えないことです（つまり、正確にはスマートまな板でなく、レシピプロジェクターです）。具体的には次のことを目標に開発しました。

• プロジェクターでレシピや操作画面をまな板に投影し、視線の移動の少ない情報提供
• 作業台の上に装置を置かないことによる広い作業スペースの提供
• webカメラとRaspberry Piによる画像処理で人の手を検知し、画面に触らない操作

今回の対象者

以下のような問題に困っている料理初心者を対象ユーザとしました。

• にんじん、たまねぎ、じゃがいもの剥き方・切り方がわからない
• だしのとり方がわからない
• ケーキをどのようにデコレーションすれば良いかわからない

今回実装した機能

上記の様な料理初心者に対して、にんじん、たまねぎ、じゃがいも、だしが材料にすべて入っている肉じゃがの調理とケーキのデコレーションを支援するような機能を実装しました。 料理初心者への支援としてまな板に映像の投影を行い、次のようなものを視覚的に提供しました。

• にんじん、たまねぎ、じゃがいもの剥き方・切り方の手順動画：文字だけでは中々習得の難しい包丁の具体的な使い方を、まな板の左上に動画を流すことで視覚的に伝える
• 材料と調味料のチェックボックス：何が準備できていて次に何を準備すべきか判断しやすいようにする
• 手順表示：一文ずつ手順を表示していく。また、時間が手順に書いてあった場合はタイマーを起動する
• デコレーションケーキの下書き：デコレーションケーキの下書きを投影し、デコレーションの位置ガイドとして使えるようにする

実装方法

webカメラ・小型プロジェクター・Raspberry Piを用いて実装を行いました。 開発言語はPython3、使用ライブラリはtkinter、opencv2です。 詳細は以下のようになっています。

手の認識

簡易的なデモ機の実装としてカラートラッキングを用いました。具体的には手の肌色をトラッキングすることで手の位置を捉えて、画面操作ができるように実装しました。

デモ

デモ中の写真をいくつか紹介します。

• スタート画面
• メニュー選択
• 材料一覧表示
• 手順表示

気づき

実装したスマートまな板では視線の移動の少ない情報提供、広い作業スペースの提供、画面に触らない操作を実現することができました。 実際に実装してみて気づいたことは以下です。

• 視線の移動の少ない情報提供：
  • 切り方動画をまな板の左上に表示することによって、動画を確認しながら作業することができた
  • 作業によってはまな板に投影するよりもキッチンの壁に投影したほうが良い場合もある（まな板に投影したほうが良い場合は食材を切るときの動画での切り方確認で、キッチンの壁に投影したほうが良い場合はレシピ表示とタイマー）
• 広い作業スペースの提供：
  • スマホやタブレット端末を作業台の上に置く必要がないため、広い作業スペースを確保できた
• 画面に触らない操作：
  • 今までレシピを確認するために画面操作する度に手を拭いたり洗ったりしていたことがなくなった

デモ

実際にスマートまな板を数人に体験していただきました。体験後、頂いた意見をいくつか紹介します。

• 材料チェックリストがまな板の上で操作できるのは便利
• まな板の上で切り方動画を見られるのは面白い
• 実用化するんだったら、スマートスピーカーと組み合わせて提供する情報や選択肢によって音声か映像か使い分けたほうがよさそう

また、いくつかの改善点や追加機能がみつかりました。

• ユーザーの動作によって投影位置を変える機能（ユーザーの作業している場所を検知して、作業の邪魔にならないようなスペースへ画面を移動・縮小させる）
• まな板の上に置かれた材料を認識したレシピ検索
• まな板の上に置かれた材料の重さを概算し、レシピで指定されている重さによって切り方を投影する機能
• 自動でデコレーションの下書きを拡大縮小したり移動したりしてケーキに下書きを合わせてくれる機能

現在の実装では以下の問題が発生しています。

• 肌色の位置を手の位置と認識しているため、色の似ている木のまな板などを誤認識
• 指先や指を認識していないため手首などを誤認識するなど認識精度が低い そのため、手の認識専用デバイスを利用しない場合はニューラルネットワークを用いて手を手としてラベル付したり、手の形を認識するなどの実装に変更することが考えられます。 また、Leap Motionなどの外部デバイスを用いて手の認識を行うということも考えられます。

まとめ

キッチンでレシピを確認するときに、視線の移動の少ない情報提供、広い作業スペースの提供、画面に触らない操作を実現できるスマートまな板の開発に取り組みました。

実際に実装することによって、提案の有用性や改善点を見つけることができました。

今後の展開としてはスマートまな板を用いたアプリの開発などが考えられます。具体的には切り方動画をまな板で再生できることや材料・手順のまな板への投影を用いて、子供・初心者向け料理学習アプリなどを実装することにより、より料理初心者への支援ができると考えられます。