大谷(@shinyaohtani)と申します。

クックパッドのスマートキッチンの取り組みについて少し公開しようと思います。

料理を自動記録

クックパッドでは毎日の料理をキッチンの現場から楽しみにするために、IRと可視光を同時に扱えるカメラを試作してきました。この写真はそのカメラと、情報提示のためのディスプレイをキッチンに設置した写真です。カメラはキッチンの換気扇部分にマグネットで取り付けることができるように設計したため料理の邪魔にならずに料理を観察できるようになっています。

このカメラを調理を把握するために利用しています。次の写真は唐揚げを観察しています。油の表面温度は今何度かという情報だけでなく、IRカメラ画像から温度の少し下がった食材部分を自動認識し、唐揚げひとつひとつの揚げ時間を把握できるようになっています。また調理温度の変化をグラフで出しており、鶏肉を入れると温度が下がる様子もグラフから読み取れるようになっています。

このようにIR画像の画像認識技術を組み合わせて調理情報を捉えることで新しいユーザ体験の提供ができると考えています。

クックパッドが研究してきたキッチン画像処理技術はいくつかあります。

1. 可視光・赤外光カメラ
   • 独自試作した画像入力機器
2. 鍋位置検出
   • 温度上昇しているサークル部分
3. 加熱中の食材位置検出
   • 鍋の中で鍋と温度が異なる食材の領域を全部抽出
4. 食材の加熱トラッキング
   • 鍋の中の食材ごとの加熱時間を計測
5. 鍋の温度推定
   • 鍋の中の主要な領域の温度を推定
6. 複数のカメラ画像位置合わせ
   • 位置も画角も異なる2つのカメラの位置関係推定
7. ユーザ調理操作かどうか判別
   • ユーザが鍋の上で調理操作をしているかどうかを推定
8. 調理時間自動計測
   • 鍋に食材を入れたりかき混ぜてからの時間計測
9. ユーザ調理操作セクション認識
   • 鍋の上での調理操作の開始時刻と終了時刻を推定

調理記録は「調理対象」「調理環境」「調理行動」の3つの要素に分けることができます。このシステムは画像だけでなく、重量や気温も統合して扱えるようになっており、部分的ではありますが3要素をリアルタイムで記録できるようになっています。

これは自動記録から半自動でレシピにした私のレシピです。調理画像だけでなく、材料の重さや加熱時間は自動記録したものを利用しつつ、テキストは自分で考えてレシピにしました。今ならChatGPTなど大規模言語モデルなども利用できそうですし、この研究を続けるとそう遠くない未来に完全自動レシピができるかもしれません。

キッチンのコックピット化？

キッチンから得られた情報を用いてできることは当然記録だけではありません。リアルタイムに提示することで得られるユーザ価値もあります。例えば鉄板の温度など自分では把握しづらかった情報を簡単に得られるようになります。つぎの画像は情報をすべて画面に出している図です。

一般に、情報提示は慎重にしなければ情報過多なり、大きな不便を生むこともあります。上の図は情報多すぎパターンかもしれません。提示情報は極限まで絞るというのが基本だと思います。どんな情報を提示するとユーザは料理を楽しめるのか、体験はきちんと検証しなければなりません。

とはいえ一方で、飛行機のコックピットにある計器類の写真をみるとワクワクを感じるのは私だけでしょうか。飛行機のコックピットを思い出させるような上記システムがキッチンにあることで、少なくとも私は料理が楽しくなりました。将来のキッチンがどんなキッチンになるか楽しみです。

まとめ

このようにキッチンとIoTは非常に相性がよくユーザの調理行動を変容させる可能性を秘めています。今回は技術視点でスマートキッチンの取り組みについて少し公開してみました。クックパッドではもちろん技術開発だけでなく体験を軸に活動をしております。