こんにちは．スマートキッチン事業部の鈴本 (@_meltingrabbit) です．
今回は 失敗しない範囲で自分の料理を創作したいという願望を叶えられるかもしれないセンサクッキングについてです．
はじめに
日々の料理を可観測に，可制御に
唐突ですが，私は，料理とは複雑系であり，調理とは創造的であると思っています．
そのような中で，より日々の調理をより楽しくしたい，もっと変化が欲しい，ちょっと実験的な要素を加えてみたい，と考える人は多いのではないでしょうか？
かといって，ただでさえ忙しい日常において，ちょっと変わったことをして失敗して，時間やお金，食材を無駄にしたくないと思うのも当然です．
そんなわけで，調理中に料理の内部状態量が把握でき，失敗を防ぎつつちょっと冒険できるようなシステムの技術検証とユーザー体験の検証についての話をしたいと思います．
センサクッキング
センサクッキングとは，その名の通り，料理中に多種多様なセンサを駆使して，料理の内部状態量を把握できるようにしようとするものです．
これによって，
調理中の料理の内部状態量が把握できる
↓
自らの行為・操作がどのように料理に影響するのかを理解・学習できるようになる
↓
データを蓄積すれば，ひいては自分の料理の好みや傾向を把握できるようになる
↓
日々の料理がもっと楽しく創造的になる
となることを期待しています．
「あれを試したらどうなるだろう？」「 今度はこういうふうに作ってみよう！ 」というように，自分で能動的に考えた操作を自由に試せ，その自身の体験から得た知識が増えることでさらに創作への意欲が湧くという，好循環が生まれると考えています．
さらに，副次的な結果として，例えば，
- 低温調理を試してみたけど，温度がわかるので火が通るのを確認できた
- 使ったことのない調味料を使ってみたが，塩分濃度がわかるので味が濃すぎることはなかった
といったように，調理を失敗しないためのセーフティになる，という側面もあります．
既存調理器におけるセンサ利用
そもそも，既存の調理器においては，どのようなセンサが使われているのでしょうか？
例えば炊飯器には，本炊きから蒸らしまでの温度プロファイルを制御するために温度計がついています．
さらに最近では高機能なものも増えてきており，所望の温度へ素早く正確へ制御するための質量センサ（三菱IHジャー炊飯器など）や，安全のための圧力計などがついているものもあります．
最近流行りの自動調理器 (例えばヘルシオ ホットクック) などは，追加でかき混ぜる機構などが追加され，料理のレパートリが格段に増えましたが， 取り付けられたセンサの種類が格段に増えた，といったことは耳にしませんし，私達ユーザーがそのセンサ情報を見ることはできません．
既存の料理用センシング機器
最近は “スマートキッチン” という言葉もよく聞くようになりました．
それに伴い，様々な調理家電が販売されています．
なかでもスマートオーブンは，肉に温度計を刺し，内部温度をコントロールしながら加熱することができます．
このような家電はいくつかありますが，基本的には温度しか測定できないものが多い印象です．
また，健康志向の高まりも相まって，手軽に塩分や糖度を測れるデバイスも販売されています．
ただし，調理中に連続的に測定するといった使い方は想定されていません．
今回の目的
さて，今回の検証の目的は，大きく次の２点です．
フィージビリティスタディ
フィージビリティスタディ，つまり技術的な側面から実現可能性を検証します．
システムとしては，
- 調理器具に多様多種なセンサを取り付ける
- 取得されたデータを無線で送信する
- リアルタイムに可視化する
という要素によって構成されます．
最も重要となるのは，調理の邪魔にならず，安全にリアルタイムにセンシングできるかです．
- 液体がある部分は100度以上には上がらないので，温度要求が緩和される
- そもそも液体があることを前提としたセンサが多い（濃度計など）
などの理由から，今回はモデルケースとして鍋を使った調理に焦点を当てました．
そのために，簡単なプロトタイプ製作を行いました．
また，料理での変化がセンサできちんと検出できるかも検証ポイントです．
ユーザー体験の検証
- 調理中にセンシングをするとどのように測定値が変わるのか
- 自分の行為がどう測定値に影響するのか
- そもそも調理中にセンシングをして楽しいのか？（最も重要）
などを検証するために，プロトタイプで作ったシステムを用いて実際に調理実験を行いました．
やったこと
システム構築
まずはじめに，
センサ → マイコン → 無線データ転送 → リアルタイム可視化
のシステムを構築しました．
特にこだわりもないので，マイコンは（社内に100台以上転がっていると噂の）M5Stackを，無線はBLE (Bluetooth Low Energy) を，可視化ツールは自作Webアプリとしました．
安価に購入可能なセンサをシステムへ統合
秋月電子などの電子部品屋に売っているようなセンサをひとしきり買いあさり，鍋に取り付け，いい感じならそのままシステムへ統合していきました．
買ったセンサは，
温度計（熱電対），pH計，ガス（一酸化炭素，二酸化炭素，アンモニア，エタノール，etc...）センサ，蒸気センサ，色（RGB）センサ，赤外線６バンドスペクトルセンサ，マイク，ピエゾ素子（振動センサ），転倒センサ，加速度センサ，土壌水分センサ，などなどです．
個人的に欲しかった粘度センサは，高価すぎて断念．
既存の調理用センサを分解・改造しシステムへ統合
塩分計と糖度計が欲しかったのですが，いい感じにセンサ部分だけを手に入れることができなかったため，既存のデバイスをばらして使うことにしました．
塩分計はばらしてみると比較的単純な回路だったため，センサ部分の電極をM5Stackへ引き出し，その信号から塩分濃度を推定させました．
また，塩分計自身のスイッチもM5Stackから制御できるようにし，任意のタイミングで測定可能となりました．
対して，糖度計はセンサ部分が堅牢でアクセス不能だったため，備え付けられていた液晶画面への信号を読み取り，測定値を取得するようにしました．
こちらも塩分計同様，M5Stackからスイッチを制御して測定します．
センサクッキングを体験
ひとしきりのセンサを鍋に取り付け終わったところで，さっそく調理で使ってみました，
配線がすごいことになっていますね．
きちんと回路と構体を作ればもっときれいに小さく作れますが，今回はプロトタイプであり，検証として使えるものを手早く作ることが目的であったので，これで良いのです．
よだれ鶏，筑前煮，卵スープなどを作ってみました．
技術的なフィージビリティ検証結果と考察
全体的なフィージビリティ
まず，システム全体としての技術的な実現可能性についてです．
実現可能性は十分ある一方，部分的に難しい点がありそうです．
目的で挙げた，
- 取得されたデータを無線で送信する
- リアルタイムに可視化する
の２つはすでに成熟した技術があり，技術的ハードルは低いです．
- 調理器具に多様多種なセンサを取り付ける
に関しては，検証が必要です．
センサ自体は，上図のように大きく以下の４つに大別されます．
- プローブ系：液面にセンサ部分を突き刺して／浸して使う．濃度計など．
- 非接触系：鍋の縁にクリップのように取り付ける．色センサなど．
- 環境系：調理環境に設置するもの．気温計や湿度計など．
- 制御履歴系：コンロなどの調理器具の入出力履歴など．
要求が厳しいのが上の２つであり，
- 液面に触れたり油はねなどで壊れないための防水性
- 加熱調理に耐えられる耐熱性
- 料理を邪魔しないための小型化
が求められます．
まず，小型化に関しては容易でしょう．
センサ部分を除いて，マイコン，無線モジュール，操作用のスイッチ２個程度の回路であれば，2cm四方程度の回路で十分収まるはずです．
耐熱性も，鍋系であれば，センサが触れる液面の温度は100度以下なので，そこまで問題にならないはずです．
ICなどは100度でも動くものが多いです．
しかし，はんだは200度くらいから溶ける可能性があるので，揚げ物などは対策を施さないと難しいでしょう．
また，急激な温度変化はクラックの原因となるので，熱がゆっくり伝わるようにといった対策は必要かもしれませんが，そこまで難しくないはずです．
プローブ系であれば，回路は熱環境のよい上部に取り付け，センサ部分（電極部分）のみを高温にさらされる部分に配置するなどの工夫も可能です．
防水性は，色センサなどは透明な容器で覆ってしまえばよく，熱電対などセンサ部分が電極のものはもともと問題がない一方，ガスセンサなどセンサ部分が暴露しているものはもしかしたら難しいかもしれません．
様々なセンサを使ってみてわかった，気をつけなければならないこと
各センサについての具体例は後述しますが，様々なセンサを実際に使用してみて気づいた，実際に調理用センサを作り込んでいく上で課題になりそうなことについてまとめておきます．
まず，調理環境という極めて（センサにとって）劣悪な環境にセンサを置くことについてです．
耐熱，防水についてはすでに述べましたが，他にも考えなければならないことは多々あります．
例えば，キッチンによっても明るさなどの環境は異なるし，同じキッチンでも状況によって環境は変わります．
さらにノイズ源が多いという問題もあります．例えば，
- 人が近づいたことによる外乱
- 鍋をかき混ぜた事による外乱
- IHクッキングヒーターの高周波外乱
などです．
一方で，センサクッキングの目的を考えると，規格化された使用を想定する必要がない，とみることもできます．
どういうことかというと，大事なのは自分の行為・操作が料理にどのような影響を与えるのかがわかればいいので，たとえセンサ値が急に変わったとしても，それが窓を開けたことによるのか，センサを覗き込んだことによるのか，鍋をかき混ぜたことによるのか，自分がわかれば問題ない，という考え方です．
ただ，そうであったとしても，再現性の高さ（つまり，同じように調理したら，同じような測定結果になること）が重要であることには変わりありません．
この再現性を担保するのに重要なのがセンサの校正作業なのですが，これがユーザビリティを下げるのは間違いなさそうです．
特にpH計などはいちいち標準液にセンサを浸すなど，めんどくさい作業が多いのが実情です．
（高校生時代に次のようなことをよく言われた．機械（センサのこと）とは，目盛りを正確に刻むのはとくいだけれど，絶対値を決めることはできない．例えば，機械に０度と100度を教えてあげれば，その間を0.1度や，0.001度などといった精度で刻むことは可能だけれど，機械が自ら基準値を知ることはできない．）
他にも，人間の味覚とセンサの物理的な定量評価のギャップも注意しなければならないと考えます．
例えば，温めると塩味をより強く感じる，など，人の味覚は様々な要因に影響されます．
同じ塩分濃度でも，それを食べたときの感じ方は様々であることを考慮に入れて，センサの測定値を解釈していく必要がありそうです．
個別センサについて
ここから，いくつかの個別のセンサについて，使用感を取り上げてみたいと思います．
温度計
熱電対を使用しました．
これは，２種類の金属の接合部分に温度差があると起電力が生じることを利用したセンサです．
測定したい箇所に熱電対を貼ればいいだけなので，極めて容易であり，耐熱性や防水性もバッチリです．
今回使ってみて一番良かったのは，リアルタイムでグラフ化することのメリットが結構大きいということです．
とりわけ，温度グラフの傾きがわかるのが良かったです．
傾きから，「この火加減だとどれくらいで湧きそう」とか，「あと数分は目を離していても問題ない」といったことが読み取れました．
また，他のセンサログと組み合わせることで，「この温度のタイミングで調味料を入れるといい」といった発見も期待できるかもしれません．
なお，今回測定したのは鍋の表面や煮物の液体部分であって，食材の内部温度などではありません．
色
これは，対象に光をあて，その反射光の強度をRGBそれぞれについて取得できるセンサです．
料理中，かなりダイナミックに変わって楽しかったです．
沸かした水に塩を入れただけでも変わりました．
ただ，センサ直下に何があるかや，環境光によって値が大きく変わってしまうので，調理としての再現性はあまり望めないかもしれないです．
塩分計
今回使用したのは，交流電圧を印加して液体の伝導率を測ることで，溶解している電解質分量から塩分濃度を推定するセンサです．
しかし，鍋の素材によってセンサ出力にものすごいノイズが載ってしまう，などといった難しい点がありました．
pH
pHの計測にはガラス電極法という計測手法が主流であり，今回もこの類のセンサを使用しました．
これは特殊なガラス膜の両側でpHが異なると，その間に起電力が生じることを利用しています．
使ったセンサの問題かもしれませんが，センサの時定数が分オーダーと，かなり大きかったです．
「この調味料を入れたらpHがこうなった」などの変化を見るのは厳しいかもしれません．
センサの時定数と料理の時定数の関係は，他のセンサでも鍵となる可能性があります．
ガスセンサ
MEMSタイプのガスセンサを使用しました．
隣で炒めものすると値が跳ね上がったりしました．
ただ，取得して嬉しいかと言われると...？
糖度計（屈折計）
溶液の屈折率を測定することで，糖度を推定するセンサを用いました．
糖度を直接測定しているのではなく．屈折率を測定しているため，原理的に糖分以外にも反応してしまうようです．
たとえば，アルコール計も屈折計なので，センサ値が糖によるものかアルコールによるものかの切り分けはできません．
このように，ある物理量に影響を与える料理のパラメタが複数ある，といったことは他のセンサでも起きうるので，難しい問題です．
ピエゾ素子（振動センサ）
ピエゾ素子，別名圧電素子を用いました．
これは，特殊なセラミックに圧力を加えると電圧が生じる素子なので，例えば，薄いピエゾ素子を小刻みに振動させると，局所的に応力が生じ，起電力が生じます．
沸騰の様子などを捉えられるか？ と思っていましたが，なぜかIHクッキングヒーターの高周波外乱をもろに拾ってしまい，全然だめでした．
IHクッキングヒーターがOFFのときは，液面の揺れなどを捉えることができて，なかなか面白くはありました．
鍋以外の調理への展開
鍋料理以外への展開についても少し考察しておきます．
非接触系のセンサであれば，そこまで問題にならないはずです．
ただし，長時間高温にさらされ，センサ内部まで温度が上がってしまう可能性や，長時間にわたって油はねを受けてセンサ部分が汚れたりする可能性は否定できません．
また，濃度計などのように水分があることが前提のセンサは基本的に使えないので，使えるセンサの種類は減ってしまうかもしれません．
他にも，小型化や耐熱性が難しいとは思いますが，米粒サイズの９軸センサなどをチャーハンと一緒に炒めて，米の振る舞いなどを知れたら面白いかもしれませんね．
センサクッキング ユーザー体験の検証結果と考察
２つ目の検証目的である，ユーザー体験についてです．
楽しいのか問題
そもそも，「センサクッキングをしてたのしいのか？」という問題があります．
今回，数回に渡って実際にセンサクッキングを体験しましたが，基本的には楽しかったです．
（基本的には，とあるのは，自分の作ったシステムが正常に動作するかに神経を使っていたため）
ただし，この楽しさが持続するかは別問題です．
楽しさが持続しなければ，「はじめに」の項で述べた，自らいろんなことを試し，いろんなことを発見し，理解し，日々の料理をより創造的にするサイクルは回せません．
最初は何もかもが新鮮で，目新しく面白いかもしれませんが，だんだん飽きてくる可能性も十分にありえます．
今回は数回使っただけですが，今後はデバイスをきちんと作り込み，例えば数週間使ってみるといった長期的な検証が必要になると考えます．
あたりまえ or なにもわからない の二極化
センサによって，“あたりまえ” と “なにもわからない” に二極化する傾向がありそうでした．
例えば，温度計や塩分濃度計などはわかりやすく，「加熱したから温度が上がった」や「調味料を足したから塩分濃度が上がった」と，比較的自明な結果が得られるセンサと，赤外線スペクトルセンサや屈折計（アルコールにも糖度にも感度がある，要因が複合的なセンサ）のように，値の変化がよくわからないセンサのように，体験が二極化する傾向が見られました．
前者は，言い方を変えると驚きがなく，つまらないと感じるかもしれません．
一方で，自分の操作がどのように料理へ影響するかのイメージがつかみやすく，学習効果という意味合いではよい体験が得られるかもしれません．
対して後者は，意外性という意味では面白いかもしれませんが，「なんか値が変わったんだけど，なんで？」「これは何を意味するんだ？」のように，値はみれるが，結局何なのかよくわからず理解につながらないかもしれません．
あくまで主観ではありますが，ざっくりと今回使ったセンサを体験でプロットしてみました．
ユーザー体験のさらなる検証
「楽しいのか問題」の項でも述べましたが，ユーザー体験のさらなる検証には長期の使用に耐えられるデバイスをきちんとつくり，長期間使い続ける必要があると考えます．
- 何度も使っていくことによって，本当に自分の中で相関関係を見いだせるのか？
- 前回の調理との差分がわかることで，料理の感度解析ができるのか？
などといった体験の検証には，もう少し時間が必要です．
また今回の検証で，センサクッキングで料理の内部状態量の可観測性が向上する可能性を見出すことはできましたが，そこからどう自分の料理を創造的に変えていくかという制御性の部分については検証できませんでした．
この検証も同様に長期使用試験が必要であると考えます．
まとめ
センサクッキングのプロトタイプを作り，実際にそれを体験しました．
それによって，
- 調理環境のセンサ情報をリアルタイムで可視化することは可能
- 環境耐性の高い温度計などは事前の想定通り有益な情報が容易に取得できた
- 調理中に様々なセンサ値の変化が観察できた
などは概ね事前想定通りでしたが，
- 繊細なセンサなどは調理環境で使用するために工夫が必要
- 調理環境は想像以上にノイズ源（特にIHクッキングヒーター）が多い
- センサの校正も含めた再現性の担保は難しい
- 調理中の些細な変化や急峻な変化にセンサの精度や応答速度がどこまで追従できるかなどの検証は別途必要
- センサ値の変化が理解しづらいものもある
といった，新たな知見が得られました．
また，センサクッキングによって，料理の内部状態量の可観測性は向上しそうだけれど，そこから複雑・膨大な料理の内部状態量を正しく理解できるか，についてはもう少し検証が必要そうです．
例えば，塩分濃度が◯◯なので，この食材の硬さが△△になって，味が□□になる，と正しく知識化でき，そしてそれをコントロールできるかは，また別問題です．
ただし，センサクッキングの体験がこのような理解への手助けとなり，自身の料理に対して何かしらのフィードバックをもたらす可能性は大きそうです．
個人的には，結構面白かったので，きちんと作り込み長期的に使ってみたいです．
そして，適切にデータを蓄積していけば，好みや調理の傾向以外にも，思っても見なかったことがわかるかもしれません．