JP6335847B2 - 冷蔵庫 - Google Patents

Description

本発明は、食品を保存する冷蔵庫に関し、特に、貯蔵室に収納された食品の状態を画像で把握することが可能な冷蔵庫に関する。

家庭用の冷蔵庫には、食生活の多様化に伴って様々な食品が収納されており、また、収納量を確保するために冷蔵庫の大容量化も進んでいる。その結果、ユーザが冷蔵庫内の収納状態を把握することが難しくなっている。特に、近年では、共働き世帯の増加に伴い、夫婦のどちらも冷蔵庫内の収納状態を正確に把握していない場合が多くなっており、食品を放置したまま消費期限が経過し、廃棄するケースが増えている。

また、夫婦で買い物を分担する際、冷蔵庫内に収納されている食品に気付かずに、重複して食品を購入した結果、消費期限までに消費できずに廃棄するケースも増えている。すなわち、冷蔵庫内の収納状態を把握していないことが原因となって食品を無駄に廃棄するケースが増えている。

食品の廃棄を抑制するには、冷蔵庫内に収納されている食品とその劣化状態とを把握する必要がある。そのためには、冷蔵庫の扉を開けて庫内を確認するのが最も簡単であるが、扉の開閉頻度が増加すると冷蔵庫内の温度上昇を招くため、再冷却のためにエネルギーが必要となり、また、収納されている食品の劣化の原因ともなりやすい。

そこで、特許文献１には、冷蔵庫の収納室内を撮像装置で撮像し、撮像画像と基準画像とを比較分析して、収納室内の空き容量もしくは空きスペースを演算して表示する技術が開示されている。これにより、ユーザが収納室内の空きスペースに応じて食品を購入することが可能となる。すなわち、食品を購入しすぎて収納室内に詰めすぎることを防止できる。

また、特許文献２には、食品の購入時に無線タグを取り付け、食品の開封時には別の無線タグを取り付け、これらの無線タグからの送信情報と、冷蔵庫内の温度センサからの温度情報とに基づいて、食品の品質劣化特性を推定する技術が開示されている。

特開２０１４−２０９０４８号公報（例えば、段落００４１〜００４９及び図８〜９参照） 特開２００６−３１７１０９号公報（例えば、段落００２７〜００４２及び図６参照）

しかしながら、特許文献１に開示された技術では、冷蔵庫内に収納されている食品の劣化状態を把握できない。そのため、食品が冷蔵庫内に放置されたまま消費期限を迎えて廃棄されるという事態を解消することができないという問題がある。また、消費期限の経過した食品によって庫内のスペースが占有されるため、スペース効率が低下し、また当該食品のために冷却負荷が増加して、冷却効率が低下するという問題もある。

特許文献２に開示された技術では、収納する全ての食品に２種類の無線タグを貼り付け、冷蔵庫本体にリーダライタを設ける必要があるため、システム全体のコストが増加するという問題がある。また、冷蔵庫内は一般に金属で囲まれているため、無線通信の距離及び指向性の確保が難しいという問題もある。無線タグから得られる情報は、文字出力データが主であるため、例えば食品の劣化状態をユーザが認識しにくいという問題もある。

本発明は、上記の課題を解決するためになされたものであり、ユーザが貯蔵室内に収納された食品を視覚的に確認し、食品の劣化に関する情報を得ることが可能な冷蔵庫を提供することを目的とする。

本発明の冷蔵庫は、食品を貯蔵する貯蔵室と、貯蔵室内を撮影する撮影装置と、撮影装置によって撮影された貯蔵室内の画像から食品画像を抽出して管理する制御装置と、制御装置に管理されている食品画像に関し、ユーザが期限を設定する期限設定部と、表示部とを備える。制御装置は、食品画像の時間変化を検出する時間変化検出部と、時間変化検出部によって検出された食品画像の時間変化に基づいて食品の劣化傾向を推定する食品劣化状態推定部と、食品劣化状態推定部によって推定された食品の劣化傾向に基づき、食品に関する期限を推定する期限推定部と、期限推定部によって推定された期限が、ユーザが設定した期限以降となり得る貯蔵室内の設定温度を算出する設定温度算出部とを有する。制御装置は、表示部に、食品画像と、当該食品画像に対応する食品の劣化に関する情報とを共に表示する。

本発明によれば、表示部に、食品画像と、当該食品画像に対応する食品の劣化に関する情報とが表示されるため、ユーザは早期に消費しなければならない食品を容易に把握することができる。これにより、例えば消費期限までに食品を消費するようにユーザを促し、無駄な廃棄を抑制することができる。また、当該期限を経過した食品を収納し続けることによる貯蔵室内のスペース及びエネルギーの無駄を低減することができる。また、冷蔵庫の扉を開かずに食品画像を確認できるため、扉の開閉頻度の増加による貯蔵室内の温度上昇を抑制し、エネルギー消費量を低減することができる。

本発明の実施の形態１に係る冷蔵庫の構成を示す正面図である。 本発明の実施の形態１に係る冷蔵庫の冷蔵室の構成を示す、図１の線分ＩＩ−ＩＩに沿った矢視方向の側断面図である。 本発明の実施の形態１に係る冷蔵庫の動作を説明するためのフローチャートである。 本発明の実施の形態１に係る冷蔵庫の冷蔵室の撮影画像、撮影画像から抽出された食品画像、及び食品画像の付帯情報の一例を示す図である。 本発明の実施の形態１に係る冷蔵庫の操作パネルにおける食品画像の表示画面の一例を示す図である。 本発明の実施の形態１に係る冷蔵庫の操作パネルにおける食品画像の表示画面の一例を示す図である。 本発明の実施の形態１に係る冷蔵庫の時間変化検出部における食品画像の時間変化検出方法を説明するための模式図である。 本発明の実施の形態１に係る冷蔵庫の操作パネルにおける食品画像の表示画面の一例を示す図である。 本発明の実施の形態２に係る冷蔵庫の冷蔵室の構成を示す側断面図である。 本発明の実施の形態３に係る冷蔵庫の冷蔵室の構成を示す側断面図である。 本発明の実施の形態４に係る冷蔵庫の構成を示す側断面図である。 本発明の実施の形態４に係る冷蔵庫の操作パネルにおける表示画面の一例を示す模式図である。 本発明の実施の形態４に係る冷蔵庫の期限推定部における推定方法の一例を説明するための模式図である。

実施の形態１．
＜構成＞
図１は、本発明の実施の形態１に係る冷蔵庫１０００の構成を示す正面図である。図２は、本発明の実施の形態１に係る冷蔵庫１０００の冷蔵室１００の構成を示す図であり、図１における線分ＩＩ−ＩＩに沿った矢印方向の側断面図である。

図１に示すように、冷蔵庫１０００は、複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００である。ここでは、上から、冷蔵室１００、製氷室２００及び切替室３００、冷凍室４００、野菜室５００の順に配置されている。また、製氷室２００と切替室３００とは、左右に並んで配置されている。各貯蔵室は冷凍サイクルによって冷却されるが、この冷凍サイクルについては実施の形態４で説明する。

冷蔵室１００の扉の前面（正面）には、表示部としての操作パネル１が設けられている。操作パネル１の表示画面には、各貯蔵室の温度設定、各貯蔵室の現在の温度、時刻情報、食品画像、入出庫識別情報（後述）、食品画像の時間変化、及び食品の劣化に関する情報などの庫内情報を表示可能である。

操作パネル１は、例えばタッチパネルにより、ユーザの入力を受け付けるように構成されている。なお、操作パネル１は、冷蔵室１００の扉に限らず、他の貯蔵室の扉に設けてもよいし、冷蔵庫１０００の側面に設けてもよい。

また、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、それぞれの前面に設けられた扉と共に、冷蔵庫１０００の手前側に引き出すことができるように構成されている。

図２に示すように、冷蔵室１００は、前面側（図中左側）を冷蔵室扉１０１によって塞がれている。冷蔵室１００は、内部に複数の冷蔵室棚板１０２を有しており、複数の空間（棚）に仕切られている。最下段の冷蔵室棚板１０２の下側の空間は、チルド室１１０となっている。チルド室１１０の内部には、レール等の図示しない案内部材に沿って、前方に引き出すことができるチルドケース１１１が設けられている。冷蔵室１００の背面側（図中右側）には冷却風路１０１０が設けられているが、これについては実施の形態４で説明する。

冷蔵室扉１０１の内側の面には、撮影装置としての庫内撮影装置２が設けられている。庫内撮影装置２は、冷蔵室１００の天井面からチルド室１１０までを視野範囲とし、ユーザの視点と同じ冷蔵室扉１０１側から撮影可能に構成されている。

なお、庫内撮影装置２は、冷蔵室扉１０１の内面に限らず、冷蔵室棚板１０２に載置される食品等の収納物を広範囲に撮影できる位置であればどこに設けてもよい。また、冷蔵室棚板１０２に視野を遮られることを考慮して、より多くの収納物を撮影できるように、複数の庫内撮影装置２を設けてもよい。

また、冷蔵庫１０００は、制御装置としての制御基板１００１を備えている。この制御基板１００１は、処理回路（制御回路）を有しており、例えば冷蔵庫１０００の背面に取り付けられている。制御基板１００１には、食品画像抽出部３、食品画像管理部４、時間変化検出部５及び食品劣化状態推定部６が実装されている。

食品画像抽出部３は、庫内撮影装置２及び食品画像管理部４と接続されている。食品画像抽出部３は、例えば冷蔵室扉１０１の開閉時に庫内撮影装置２によって撮影された冷蔵室１００内の全体画像（貯蔵室画像）を受信し、受信した全体画像から食品画像を抽出する。さらに、食品画像抽出部３は、全体画像から抽出した食品画像に、時刻情報（撮影時刻情報）を付帯情報として追加して、これら食品画像及び付帯情報を食品画像管理部４に送信する。庫内撮影装置２及び食品画像抽出部３は、冷蔵室１００内を撮影して食品画像を検出する食品画像検出部を構成している。なお、時刻情報は、日にち（月日又は年月日）の情報も含むものとする。

食品画像管理部４は、操作パネル１、食品画像抽出部３及び時間変化検出部５と接続されている。食品画像管理部４は、食品画像抽出部３から食品画像と時刻情報とを受信し、時刻情報に基づいて食品画像を時系列に並び換えて保存する。このとき、食品画像管理部４は、食品画像に基づいて食品の入庫又は出庫を識別し、その識別結果（入出庫識別情報）を食品画像の付帯情報に追加して保存する。また、食品画像管理部４は、食品画像及び付帯情報（時刻情報及び入出庫識別情報）を時間変化検出部５及び操作パネル１に送信する。

時間変化検出部５は、操作パネル１、食品画像管理部４及び食品劣化状態推定部６と接続されている。時間変化検出部５は、食品画像管理部４から送信されてきた食品画像の色及び大きさの時間的な変化を検出して、保存する。時間変化検出部５は、また、検出した食品画像の色及び大きさの時間的な変化を、食品劣化状態推定部６及び操作パネル１に送信する。

食品劣化状態推定部６は、操作パネル１及び時間変化検出部５と接続されている。食品劣化状態推定部６は、時間変化検出部５から食品画像の時間変化を受信し、その時間変化に基づいて食品の劣化状態を推定し、推定結果を操作パネル１に送信する。

＜動作＞
次に、実施の形態１の冷蔵庫１０００の動作の一例について、図１、図２及び図３を参照して説明する。図３は、冷蔵庫１０００の冷蔵室扉１０１が開閉される毎に行われる動作を説明するためのフローチャートである。

図３に示す動作は、冷蔵室扉１０１の開閉によって開始される。冷蔵室扉１０１が開閉されると、冷蔵室１００内の食品が出し入れされた可能性があるためである。冷蔵室扉１０１の開閉が検知されると（ステップＳ１１）、まず庫内撮影装置２が、冷蔵室１００内の全体を撮影する（ステップＳ１２）。

なお、冷蔵室扉１０１の開閉の検知は、例えば扉開閉検知装置７（図９）を用いて行うが、これについては実施の形態２で説明する。また、庫内撮影装置２は、冷蔵室扉１０１が閉じられたのち、庫内が照明装置８（図９）で照明されている間に撮影を行うが、これについても実施の形態２で説明する。

庫内撮影装置２は、撮影した冷蔵室１００内の全体画像（貯蔵室画像と称する）を、食品画像抽出部３に送信する（ステップＳ１３）。

従って、食品画像抽出部３には、冷蔵室扉１０１が開閉される毎（すなわち、冷蔵室１００内の収納状態が変化する可能性がある毎）に、庫内撮影装置２から貯蔵室画像を受信することになる。以下の説明では、今回（最新）の冷蔵室扉１０１の開閉時を「今回の扉開閉時」と称し、前回（１回前）の冷蔵室扉１０１の開閉時を「前回の扉開閉時」と称する。

食品画像抽出部３は、前回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を記憶しており、今回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を新たに記憶する。そして、前回と今回の扉開閉時の貯蔵室画像の差分を演算することにより、貯蔵室画像の変化部分の画像を抽出する（ステップＳ１４）。貯蔵室画像の変化部分の画像とは、入庫又は出庫された食品の画像である。

例えば、前回の扉開閉時の貯蔵室画像では、冷蔵室棚板にビールが置かれており、今回の扉開閉時の貯蔵室画像では、同じ個所にビールが置かれていない棚板のみである場合には、２つの貯蔵室画像の差分により、ビールの食品画像が抽出される。

食品画像抽出部３は、このようにして抽出した食品画像に、その抽出を行った時点での現在時刻である時刻情報を付帯情報として追加し、これら食品画像及び付帯情報を食品画像管理部４に送信する（ステップＳ１５）。

食品画像管理部４は、食品画像抽出部３から送信されてきた食品画像を、付帯情報である時刻情報に基づいて時系列に並び換えて、保存する（ステップＳ１６）。

このとき、食品画像管理部４は、食品の入庫／出庫の判断を行う。具体的には、食品画像管理部４は、食品画像抽出部３で食品画像を抽出する際に差分により変化した部分を分析し、例えば、エッジ処理して得られたエッジの変化量、及び、予め記憶した空状態（冷蔵室１００内に食品が全く収容されていない状態）の貯蔵室画像との比較により、食品の入庫／出庫を判断する。そして、入庫／出庫の判断結果（入出庫識別情報）を食品画像の付帯情報に追加し、保存する。

さらに、食品画像管理部４は、食品画像及び付帯情報（時刻情報及び入出庫識別情報）を、時間変化検出部５及び操作パネル１に送信する。

続くステップＳ１７では、時間変化検出部５が、食品画像管理部４から送信されてきた食品画像の色及び大きさの変化を検出して保存するが、これについては後述する。

図４（ａ）〜（ｄ）は、冷蔵室扉１０１の開閉時に、庫内撮影装置２で撮影されて食品画像抽出部３に送信される撮影データ（貯蔵室画像）と、貯蔵室画像から抽出された食品画像と、その付帯情報（時刻情報及び入出庫識別情報）とを示している。

図４（ａ）は、時刻Ａにおいて、庫内撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像を示す。時刻Ａでは、冷蔵室扉１０１は開閉されたが、食品の入庫及び出庫は行われていない。時刻Ａとそれ以前とでは貯蔵室画像に変化がないため、食品画像抽出部３では差分画像（食品画像）が生成されない。従って、食品画像抽出部３から食品画像管理部４へは、食品画像は送信されない。

図４（ｂ）は、時刻Ｂにおいて、庫内撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像と、貯蔵室画像から抽出された食品画像と、その付帯情報とを示す。時刻Ｂでは、冷蔵室１００の最上段の冷蔵室棚板からビールが出庫している。食品画像抽出部３は、時刻Ａ，Ｂの貯蔵室画像の差分により食品画像（ビール）を抽出し、時刻情報（時刻Ｂ）と共に食品画像管理部４に送信する。食品画像管理部４は、入庫／出庫の判断結果に基づき、食品画像と共に、「出庫」という入出識別情報及び時刻情報（時刻Ｂ）を保存する。

なお、図示の便宜上、図４（ｂ）に示した食品画像（差分画像）には冷蔵室棚板も示されているが、実際の食品画像には冷蔵庫棚は無く、ビールのみである。

図４（ｃ）は、時刻Ｃにおいて、庫内撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像と、貯蔵室画像から抽出された食品画像と、その付帯情報とを示す。時刻Ｃでは、冷蔵室１００の最下段の冷蔵室棚板からサラダが出庫している。食品画像抽出部３は、時刻Ｂ，Ｃの貯蔵室画像の差分に食品画像（サラダ）を抽出し、時刻情報（時刻Ｃ）と共に食品画像管理部４に送信する。食品画像管理部４は、入庫／出庫の判断結果に基づき、食品画像と共に、「出庫」という入出識別情報及び時刻情報（時刻Ｃ）を保存する。

図４（ｄ）は、時刻Ｄにおいて、庫内撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像と、貯蔵室画像から抽出された食品画像と、その付帯情報とを示す。時刻Ｄでは、冷蔵室１００の最上段の冷蔵室棚板上に牛乳が入庫し、さらに、最下段の冷蔵室棚板上にケーキが入庫している。食品画像抽出部３は、時刻Ｃ，Ｄの貯蔵室画像の差分により食品画像（牛乳及びケーキ）を抽出し、時刻情報（時刻Ｄ）と共に食品画像管理部４に送信する。食品画像管理部４は、入庫／出庫の判断結果に基づき、食品画像と共に、「入庫」という入出識別情報及び時刻情報（時刻Ｄ）を保存する。

このように、食品画像管理部４は、食品画像を、時刻情報及び入出庫識別情報と共に保存しているため、食品の入庫時刻を把握することができ、入庫時刻に基づいて劣化状態を推定することができる。すなわち、食品画像管理部４は、冷蔵室１００に収納されている食品（在庫食品）を画像として把握すると共に、当該食品の劣化状態の推定に必要な情報を保持している。

ここで、食品画像管理部４に保存される画像データは、食品画像抽出部３によって抽出された食品画像（貯蔵室画像の変化部分）のみである。また、食品画像抽出部３に記憶される貯蔵室画像（冷蔵室１００の全体画像）も、差分の基準となる最新の貯蔵室画像のみである。すなわち、食品画像抽出部３は、食品画像を抽出した後、最新の貯蔵室画像のみを記憶し、それ以外は消去することができる。

このように、食品画像抽出部３及び食品画像管理部４に記憶する画像データ量を低減しているため、メモリ容量及びデータの通信負荷を低減することができる。また、庫内撮影装置２による撮影、食品画像抽出部３による食品画像の抽出、及び食品画像管理部４における画像データの保存は、冷蔵室扉１０１が開閉されたとき（食品が入出庫された可能性があるとき）に限定されており、冷蔵室１００内に収納された食品を管理する上で必要なデータのみを保存している。そのため、必要最小限の動作（撮影、画像処理及び保存）で、冷蔵室１００内の食品の収納状態及び劣化状態とを把握することができる。

ここで、食品の収納状態とは、冷蔵室１００内に、どの時点でどの食品が収納されているかを言う。また、食品の劣化状態とは、食品の劣化がどの程度まで進んだか（例えば、早期に消費する必要があるか否か）を言う。

食品画像管理部４は、付帯情報（時刻情報及び入出庫識別情報）と共に保存した食品画像のデータを、時系列に、あるいは入庫又は出庫に分割して、操作パネル１の表示画面に出力することができる。ユーザは、操作パネル１の表示画面を視認することにより、冷蔵室１００内に収納されている食品を把握することができる。

図５（ａ）及び（ｂ）は、食品画像管理部４が操作パネル１に表示する表示画面の一例を示す図である。図５（ａ）に示す表示画面（タイムライン表示画面）２１では、冷蔵室扉１０１が開閉される毎に貯蔵室画像から抽出された食品画像と、その食品画像に付帯する時刻情報及び入出庫識別情報とを、時系列に並べて表示している。この例では、時刻情報（撮影時刻情報）が新しいものから順に並べており、左側の列には時刻情報を表示し、中央の列には食品画像を表示し、右側の列には入出庫情報を表示している。

図５（ａ）に示したタイムライン表示画面２１では、例えば、対象とする食品について時間を遡って検索し、消費期限又は賞味期限を推定することができる。そのため、当該食品を消費期限又は賞味期限までに消費することができ、食品を無駄に廃棄することを防止することができる。

図５（ｂ）に示す表示画面（入出庫リスト表示画面）２２は、入庫と出庫とで左右の欄に分割し、それぞれの欄に食品画像と時刻情報とを時系列に表示（リスト表示）している。すなわち、左側の欄には、入出庫識別情報が「入庫」となっている食品画像及びその時刻情報（すなわち入庫時刻）を、入庫時刻が新しいものから順に並べて表示している。右側の欄には、入出庫識別情報が「出庫」となっている食品画像及びその時刻情報（すなわち出庫時刻）を、出庫時刻が新しいものから順に並べて表示している。

図５（ｂ）に示した入出庫リスト表示画面２２では、対象とする食品の入庫及び出庫の履歴から、その食品の現在の残量を推定することができる。

図６は、食品画像管理部４が操作パネル１に表示する表示画面の別の例を示す図である。食品画像管理部４は、自ら保存している食品画像（すなわち、冷蔵室扉１０１の開閉毎に抽出された食品画像）と、その付帯情報である時刻情報及び入出庫識別情報とから、ある時点で冷蔵室１００内に収納されている（入出庫識別情報が「出庫」でない）食品画像を特定する。そして、図６に示すように、操作パネル１に、在庫食品画像の一覧を、在庫食品一覧表示画面２３として表示する。

図６に示した在庫食品一覧表示画面２３では、ある時点での在庫食品画像の一覧が表示されるため、図５（ｂ）で示したリスト表示よりもさらに明確に、冷蔵室１００内にどの食品が収納されているかを把握することができる。

なお、操作パネル１の表示画面には、「在庫食品一覧」、「入出庫タイムライン」及び「入出庫リスト」という３つのタブが表示されており、「在庫食品一覧」のタブをクリックすると、図６の在庫食品一覧表示画面２３が表示される。また、「入出庫タイムライン」のタブをクリックすると、図５（ａ）に示したタイムライン表示画面２１が表示され、「入出庫リスト」のタブをクリックすると、図５（ｂ）に示した入出庫リスト表示画面２２が表示される。

また、操作パネル１の表示画面には、食品画像の他に、冷蔵庫１０００の各貯蔵室（冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００）の各設定温度２５も表示される。設定温度の他に、各貯蔵室の測定温度を表示してもよい。

また、操作パネル１には、図５（ａ）、（ｂ）又は図６の表示画面のいずれかを常に表示するようにしてもよいし、ユーザの操作（例えばタッチパネル等に触れる等）に応じて表示するようにしてもよい。

次に、時間変化検出部５及び食品劣化状態推定部６の処理について説明する。

図３に示したステップＳ１７では、時間変化検出部５が、食品画像管理部４から受信した食品画像（すなわち、冷蔵室扉１０１の開閉毎に貯蔵室画像から抽出された食品画像）の色及び大きさの時間変化を検出して、保存する。

食品の種類及び保存環境によって差異はあるが、冷蔵室１００に収納されている食品は徐々に劣化し、特に色又は大きさ（或いは形状）に変化が現れる。例えば、肉及び魚などの生鮮食品は、酸化（メト化）により色が褐色に変化する。野菜についても、ブロッコリーは、明るい緑色が徐々に退色して黄色の部分が多くなり、劣化がさらに進行すると腐敗又はカビにより灰褐色に変化する。ホウレン草などの葉物野菜は、蒸散によって萎れや縮みが発生して大きさも変化する。

そこで、時間変化検出部５は、食品画像管理部４から食品画像を受信する毎に、受信した食品画像の色及び大きさの時間変化を検出し、保存する。時間変化検出部５に保存された色及び大きさの時間変化に基づいて、後述する食品劣化状態推定部６が劣化状態の推定を行う。

色の変化を検出するための指標として、例えば一般的な色指標であるＬ＊ａ＊ｂ＊表色系を用いる場合、上述した生鮮食品の酸化はａ＊値の減少（赤の退色）、ブロッコリーの退色はＬ＊又はｂ＊の増加（明るさ、黄色の増加）、腐敗はＬ＊の減少（明るさの減少）として数値化される。そのため、時間変化検出部５は、食品画像管理部４から食品画像を受信する毎に、ａ＊の値、ｂ＊の値、及びＬ＊の値を検出して保存する。

また、Ｌ＊ａ＊ｂ＊表色系に限らず、ＲＧＢ表色系又はマンセル表色系等の他の表色系を用いても、色の変化（赤の退色、黄色の増加等）及び明るさの変化を数値化することができる。

時間変化検出部５は、色分布の変化を保存してもよい。この場合、時間変化検出部５は、予め多数のカラーサンプルをデータベースとして記憶しており、食品画像管理部４から受信した食品画像から検出した色をカラーサンプルと比較して類似度を算出する。そして、食品画像全体を、最も類似しているカラーサンプルに対応する色毎に分類して、色毎の面積占有率を算出する。

図７（ａ）及び（ｂ）は、時間変化検出部５における食品画像の時間変化の一例を示す図である。図７（ａ）には、食品（肉）の入庫時の食品画像と、その食品画像に基づいて検出した色分布を示す。図７（ｂ）は、食品が酸化するのに十分な時間（Ｔ時間）が経過した後の食品画像と、その食品画像に基づいて検出した色分布を示す。図７（ａ）及び（ｂ）では、食品画像における、各カラーサンプルに対応する色毎（横軸）の面積占有率（縦軸）を棒グラフで示している。時間変化検出部５は、食品画像管理部４から食品画像を受信する毎に、新たに受信した食品画像の色分布のデータを算出し、保存する。

また、時間変化検出部５は、大きさの変化を検出する指標として、例えば、投影面積、周囲長及び最長軸の長さなどを保存する。また、食品の輪郭形状からパターンを抽出し、そのパターンを保存してもよい。ここでは、時間変化検出部５は、食品画像の色及び大きさの変化を検出して保存するが、色の変化のみ、又は、大きさの変化のみを検出して保存するようにしてもよい。

このようにして時間変化検出部５が検出して保存した色及び大きさの時間変化に基づいて、食品劣化状態推定部６が食品の劣化状態を推定する。食品劣化状態推定部６による食品劣化状態の推定は、冷蔵室扉１０１の開閉毎ではなく、一定時間毎に行うことが好ましい。

食品の劣化の態様は、食品の種別（肉、魚又は野菜等）によって異なるが、ここでは、食品の種別は問わずに、一律な判断基準を用いて食品の劣化状態の判断を行う。そのため、食品劣化状態推定部６は、一つの食品画像について複数の指標に基づく判断を行い、少なくとも一つの指標が基準値を超えた場合には、「早期に消費する必要がある」と判断する。

例えば、色指標としてＬ＊ａ＊ｂ＊表色系を用いる場合には、食品劣化状態推定部６は、時間変化検出部５に保存したａ＊の値、ｂ＊の値及びＬ＊の値のうち、少なくとも一つでも基準値を超えた場合に、当該食品画像に対応する食品について「早期に消費する必要がある」と判断する。

また、図７（ａ）及び（ｂ）に示した色分布を用いる場合には、時間変化検出部５に保存した色分布（各カラーサンプルに対応する色毎の面積占有率）の変化に基づいて、特定の色の面積占有率が基準値を超えた場合に、例えば「早期に消費する必要がある」と判断する。

すなわち、図７（ａ）及び（ｂ）に示した例では、食品の入庫時の図７（ａ）と比較して、Ｔ時間後の図７（ｂ）では、酸化によって食品（肉）の色が濃く（実際には褐色に）変化しており、また濃い色の面積占有率が大きくなっている。褐色は、酸化すなわちメト化によってメトミオグロビンが呈する色である。

そこで、例えば「メト化が進むと１０番のカラーサンプルに対応する色が増加する」、「腐敗が進むと２０番のカラーサンプルに対応する色が増加する」等の知見に基づき、食品劣化状態推定部６に、劣化を反映する色毎に基準値を予め登録しておく。

そして、食品劣化状態推定部６は、予め登録された複数の色（例えば１０番、２０番等の複数のカラーサンプルに対応する色）の面積占有率のうちの少なくとも一つが基準値を超えた場合に、当該食品画像に対応する食品について「食品の劣化が進んでいる可能性がある」と判断する。

また、食品は劣化によって萎れ又は縮みを呈するため、食品画像に含まれている食品の大きさの変化に基づいて、劣化状態を判断することもできる。この場合、時間変化検出部５が検出して保存した食品の大きさ（例えば、投影面積、周囲長又は最長軸の長さ）の変化に基づき、食品劣化状態推定部６が、食品の大きさの入庫時からの減少率が基準値を超えた場合には、その食品について「早期に消費する必要がある」と判断することができる。

あるいは、時間変化検出部５が検出して保存した食品の輪郭形状のパターンに基づき、食品劣化状態推定部６が、入庫時のパターンとのパターンマッチングを行い、その誤差が基準時を超えた場合に「早期に消費する必要がある」と判断してもよい。

また、図７（ａ）及び（ｂ）を参照して説明した色分布に基づく判断において、各カラーサンプルに対応する色毎の面積占有率を求める代わりに、絶対的な面積値を求めれば、色の変化と同時に大きさの変化も反映させた判断が可能になる。

食品劣化状態推定部６は、時間変化検出部５に保存された各食品画像について、それぞれ劣化状態の判断を行う。操作パネル１には、食品画像管理部４に保存された食品画像と共に、食品劣化状態推定部６による劣化状態の推定結果が表示される。

図８（ａ）は、操作パネル１における食品の劣化状態の表示例を示す図である。図８（ａ）に示した表示例では、図６で説明した在庫食品一覧表示画面２３に表示される食品画像のうち、食品劣化状態推定部６が「早期に消費する必要がある」と判断した食品画像に、アラート（ここでは感嘆符）を重ねて表示している。これにより、操作パネル１を見たユーザは、アラートが表示された食品画像の食品が、早期に消費すべき食品であることを把握することができる。

すなわち、ユーザにとって、冷蔵室１００内に収納された複数の食品のうち、どの食品を早期に消費すべきかが一目瞭然になる。その結果、消費期限又は賞味期限の経過により食品を無駄に破棄することを抑制することができる。

図８（ａ）に示した表示例では、食品画像にアラートを重ねて示しているが、このような例に限らず、食品劣化状態推定部６の推定結果に基づき、早期に消費すべき食品をユーザに知らせることができれば、どのような表示であってもよい。

操作パネル１には、また、図８（ｂ）に模式的に示したように、時間変化検出部５によって検出した食品画像の色又は大きさの変化を表示してもよい。この場合、例えば、上述した在庫食品一覧表示画面２３（図６）上で一つの食品画像を選択すると、その食品画像の時間毎の色又は大きさの変化を表示する食品変化表示画面２４が、操作パネル１に表示される。これにより、ユーザは、食品の劣化状況を画像により把握することができる。

なお、冷蔵室扉１０１が長期間に亘って開閉されない場合も想定される。そのため、例えば、最新の冷蔵室扉１０１の開閉の時点では食品の劣化の兆候（例えば褐色への変化）が僅かであっても、時間の経過により食品の劣化が進行する可能性がある。そこで、食品劣化状態推定部６は、一定時間毎に、時間変化検出部５に保存されている各食品画像の色及び大きさの変化に基づいて食品の劣化状態を推定し、その推定結果に基づいてユーザに食品の消費を促すべき時刻（ユーザへの報知時刻）を予測し、予測時刻に達した段階で操作パネル１にアラートを表示することが望ましい。

＜効果＞
以上説明したように、本発明の実施の形態１によれば、庫内撮影装置２により撮影した冷蔵室１００内の画像から食品画像を抽出して管理し、操作パネル１の表示画面に、食品画像と、食品の劣化に関する情報（例えば劣化状態を示す情報）とを共に表示する。そのため、ユーザは、冷蔵室１００に収納されている食品を把握し、その中で特に早期に消費すべき食品を把握することができる。

その結果、ユーザに食品を例えば消費期限までに消費することを促し、食品の無駄な廃棄を抑制することができる。また、冷蔵室１００内に食品を長期間放置することによるスペース及びエネルギーの無駄を低減することができる。また、冷蔵室扉１０１を閉じた状態でも、操作パネル１によって食品の在庫状況又は劣化状態を確認できるため、冷蔵室扉１０１の開閉による冷蔵室１００内の温度上昇を抑制し、エネルギー消費量を低減することができる。

また、操作パネル１の表示画面に、食品画像と共に入出庫識別情報及び時刻情報を表示することにより、ユーザは、ある食品が冷蔵室１００内にどの程度の期間収納されているかを容易に把握することができる。

また、食品画像を入出庫識別情報及び時刻情報と共に保存し、これらに基づいて食品の劣化状態を推定するようにしたため、食品画像の変化及び入庫してからの時間経過等を考慮して、食品の劣化状態を高い精度で推定することができる。

また、冷蔵室扉１０１が開閉される毎に庫内撮影装置２が貯蔵室画像を撮影し、食品画像抽出部３が貯蔵室画像から食品画像を抽出するようにしたため、冷蔵室１００内の食品に変化がある可能性がある毎に情報が更新される。そのため、ユーザが在庫食品とその劣化状態をより正確に知ることができる。

また、食品劣化状態推定部６が、食品画像の色又は大きさ（又はその両方）の変化に基づいて食品の劣化状態を推定するため、酸化（メト化）及び腐敗等の劣化の検出精度を高めることができる。

＜他の構成例＞
上記の説明では、食品画像管理部４が食品の入庫又は出庫を識別したが、食品の入庫及び出庫に加えて、冷蔵室１００内における食品の移動を識別するようにしてもよい。

食品の移動は、例えば、以下の方法で識別する。すなわち、食品画像抽出部３が、上述したように前回及び今回の扉開閉時における貯蔵室画像の差分画像を得る。さらに、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがあるか否かを、マッチング処理により判断する。マッチング処理の結果、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがある場合には、食品が冷蔵室１００内で移動したものと推定する。

食品劣化状態推定部６が食品の入庫からの経過時間（すなわち在庫期間）を計算する際に、食品が冷蔵室１００内で移動する前の在庫期間も算入することで、食品の劣化状態の推定及びユーザへの報知の精度を向上することができる。

また、冷蔵室１００内での食品の移動のほかに、同じ食品が一度出庫して再度入庫する場合（再入庫）もあるが、これについては実施の形態２で説明する。

なお、上記の説明では、庫内撮影装置２を冷蔵室１００に設けたが、冷蔵室１００以外の貯蔵室に設けてもよい。例えば、庫内撮影装置２を冷凍室４００又は野菜室５００の天井面に設けてもよい。この場合も、庫内撮影装置２により撮影した各貯蔵室の全体画像から、食品画像抽出部３により食品画像を抽出し、食品画像管理部４に付帯情報と共に保存し、時間変化検出部５及び食品劣化状態推定部６により劣化状態の推定を行い、操作パネル１に食品画像及び劣化状態を表示させることで、同様の効果が得られる。

実施の形態２．
＜構成＞
図９は、本発明の実施の形態２に係る冷蔵庫１０００の冷蔵室１００の構成を示す側断面図である。この図９は、図２と同様、図１に示す線分ＩＩ−ＩＩに沿った矢印方向の側断面図に相当する。以下では、実施の形態１との相違点について重点的に説明する。また、実施の形態１と同一の構成要素には同一の符号を付す。

図９に示すように、冷蔵室１００の天井には、庫内を照明する照明装置８が設けられている。また、冷蔵室扉１０１を閉じた状態で冷蔵室扉１０１に接する冷蔵室１００の本体側には、冷蔵室扉１０１の開閉を検知する扉開閉検知装置７が設けられている。

扉開閉検知装置７の検知結果は、照明装置８の点灯制御に利用される。すなわち、扉開閉検知装置７が冷蔵室扉１０１の開状態を検知したときには照明装置８が点灯し、扉開閉検知装置７が冷蔵室扉１０１の閉状態を検知したときには照明装置８が消灯する。扉開閉検知装置７は、例えば、冷蔵室扉１０１にマグネット（磁石）を埋め込み、冷蔵室１００の本体側に一対のリードスイッチを設けたマグネット方式が用いられる。マグネットがリードスイッチの近傍に接近するとリードスイッチがＯＮし、マグネットがリードスイッチから離間するとリードスイッチがＯＦＦする。

冷蔵庫１０００の背面に設けられた制御基板１００１には、実施の形態１で説明した食品画像抽出部３、食品画像管理部４、時間変化検出部５及び食品劣化状態推定部６に加えて、撮影信号発信装置９及び入庫食品記憶部１０が実装されている。

撮影信号発信装置９は、庫内撮影装置２、扉開閉検知装置７及び照明装置８と接続されている。撮影信号発信装置９は、扉開閉検知装置７の検知結果に応じて、庫内撮影装置２の撮影タイミングと、照明装置８の点灯及び消灯のタイミングとを制御する。

入庫食品記憶部１０は、食品画像管理部４及び食品劣化状態推定部６と接続されている。入庫食品記憶部１０は、食品画像管理部４が「初入庫」（後述）と判断した食品画像を食品画像管理部４から受信し、付帯情報（時刻情報）と共に保存する。入庫食品記憶部１０に保存した食品画像及び付帯情報は、食品劣化状態推定部６における劣化状態の推定に反映される。

また、扉開閉検知装置７は、食品劣化状態推定部６にも接続されている。すなわち、扉開閉検知装置７によって検知される冷蔵室扉１０１の開閉状況も、食品劣化状態推定部６での劣化状態の推定に反映される。

＜動作＞
次に、実施の形態２の冷蔵庫１０００の動作の一例について、実施の形態１との相違点を中心に説明する。

図９において、扉開閉検知装置７は、冷蔵室扉１０１が開かれたことを検知すると、撮影信号発信装置９にＯＮ信号を送信する。撮影信号発信装置９は、扉開閉検知装置７のＯＮ信号を受信すると、照明装置８に点灯信号を送信する。照明装置８は、撮影信号発信装置９からの点灯信号を受信すると、点灯する。この状態で、ユーザは、冷蔵室１００内の食品の出し入れを行い、その後、冷蔵室扉１０１を閉じる。

扉開閉検知装置７は、冷蔵室扉１０１が閉じられたことを検知すると、扉開閉検知装置７は、撮影信号発信装置９にＯＦＦ信号を送信する。撮影信号発信装置９は、扉開閉検知装置７のＯＦＦ信号を受信すると、まず庫内撮影装置２に撮影指示を送信し、庫内撮影装置２の撮影終了後に、照明装置８に消灯信号を送信する。照明装置８は、撮影信号発信装置９からの消灯信号を受信すると、消灯する。

庫内撮影装置２は、照明装置８が点灯している間に冷蔵室１００内の撮影を行い、撮影した冷蔵室１００内の全体画像（貯蔵室画像）を食品画像抽出部３に送信する。従って、実施の形態１と同様、食品画像抽出部３は、冷蔵室扉１０１が開閉する毎に、庫内撮影装置２から貯蔵室画像を受信することになる。食品画像抽出部３は、受信した貯蔵室画像を保存する。

食品画像抽出部３は、前回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を記憶しており、今回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を新たに記憶する。そして、前回と今回の扉開閉時の貯蔵室画像の差分を演算することにより、画像の変化部分を抽出する。

食品画像抽出部３は、このようにして抽出した食品画像に、その時点での現在時刻である時刻情報（撮影時刻情報）を付帯情報として追加して、これら食品画像及び付帯情報を食品画像管理部４に送信する。

食品画像管理部４は、食品画像抽出部３から送信されてきた食品画像を、付帯情報である時刻情報に基づいて時系列に並び換えて、保存する。このとき、食品画像管理部４は、実施の形態１で説明した方法により、食品の入庫／出庫の判断を行い、食品画像の入出庫識別情報を付帯情報に追加し、保存する。

この実施の形態２では、食品画像管理部４は、ある食品画像について「入庫」と判断した場合、さらに、新たに入庫したものか（初入庫）、一旦出庫して再度入庫したものか（再入庫）を判断する。より具体的には、過去の予め設定した期間内の扉開閉時に抽出された食品画像（差分画像）の中に、「入庫」と判断された食品画像と一致するものがあるか否かを、マッチング処理により判断する。一致するものがあった場合には「再入庫」と判断し、一致するものがなかった場合には「初入庫」と判断する。

さらに、食品画像管理部４は、「初入庫」と判断した食品画像を、付帯情報（時刻情報）と共に、入庫食品記憶部１０に転送する。入庫食品記憶部１０は、食品画像管理部４から受信した食品画像および付帯情報を保存する。

時間変化検出部５は、実施の形態１と同様、食品画像管理部４から送信されてきた食品画像（すなわち、冷蔵室扉１０１の開閉毎に貯蔵室画像から抽出された食品画像）の色及び大きさの時間変化を検出し、保存する。食品劣化状態推定部６は、時間変化検出部５に保存された色及び大きさの時間変化に基づいて、食品の劣化状態を推定する。さらに、食品劣化状態推定部６は、食品画像と共に、食品の劣化状態の推定結果を操作パネル１に表示する（図８参照）。

この実施の形態２では、食品劣化状態推定部６が食品の劣化状態を推定する際に、「再入庫」と判断した食品画像については、入庫食品記憶部１０に保存された「初入庫」の食品画像と最新の食品画像とを比較して色及び大きさの変化を検出し、また、初入庫時刻からの経過時間に基づいて劣化状態を推定する。初入庫時刻とは、「初入庫」と判断された食品画像が、食品画像抽出部３によって抽出された時刻である。

例えば、５日前に初入庫した食品が４日前に一度出庫し、３日前に再入庫したというケースでは、最新の食品画像と５日前の食品画像とを比較して、色及び大きさの変化を検出する。また、食品の入庫から現在までの経過時間は、５日前から起算する。これにより、食品の劣化状態の推定精度を向上することができる。

食品劣化状態推定部６は、さらに、扉開閉検知装置７の出力信号に基づいて把握可能な冷蔵室扉１０１の開閉頻度等の開閉状況（開閉履歴を含む）を反映させて、食品の劣化状態を推定する。冷蔵室扉１０１の開閉頻度が多い（すなわち冷蔵室扉１０１が開いていた総時間が長い）ほど、食品の出し入れの頻度が多く、庫内の温度変動が大きくなり、平均気温も高くなるため、食品の劣化が早まることが予想される。

そのため、冷蔵室扉１０１の開閉頻度が多い場合には、食品画像の色又は大きさの時間変化に基づく判断基準又は判断結果を補正することにより、食品の劣化状態の推定精度を向上することができる。

例えば、入庫してから２週間は劣化が進まない食品であっても、冷蔵室扉１０１の開閉頻度が多い場合（すなわち冷蔵室扉１０１が開いていた総時間が長い場合）には、劣化の開始が２〜３日早まるはずだという推定が可能になる。そのため、例えば、冷蔵室扉１０１が開いていた総時間が予め設定した時間（分）を超えた場合には、食品劣化状態推定部６は、劣化を判断するカラーサンプル（図７参照）の面積占有率の閾値を予め設定したレベルまで低下させる。すなわち、面積占有率が小さい段階で、その食品を早期に消費する必要があると判断する。

＜効果＞
以上説明したように、本発明の実施の形態２によれば、「初入庫」と判断された食品画像を入庫食品記憶部１０に保存するため、食品が冷蔵室１００から一旦出庫して再入庫した場合には、再入庫時ではなく、初入庫時を基準として劣化状態の推定を行うことができる。そのため、食品の劣化状態の推定精度を向上することができる。

また、食品劣化状態推定部６における劣化状態の推定に、冷蔵室扉１０１の開閉状況を反映させることにより、食品の出し入れ等に伴う庫内の温度変動を考慮した食品の劣化状態の推定が可能になる。

＜他の構成例＞
図９に示した構成例では、庫内撮影装置２を冷蔵室扉１０１の内面に設けたが、庫内撮影装置２は、冷蔵室１００内に広範囲に載置された食品の収納状態が把握できる位置であれば、どこに設けてもよい。また、照明装置８を冷蔵室１００の天井面に設けたが、照明装置８は、冷蔵室１００内のなるべく全域を照明することができ、庫内撮影装置２の撮影に必要な冷蔵室１００内の照度が確保される位置であれば、どこに設けてもよい。例えば、庫内撮影装置２と照明装置８を近接して設置し、あるいは照明装置８を庫内撮影装置２に内蔵すれば、照度が確保できるため撮影しやすいという利点がある。

また、図９に示した構成例では、庫内撮影装置２、扉開閉検知装置７及び照明装置８を、冷蔵室１００に設けたが、冷蔵室１００以外の貯蔵室に設けてもよい。例えば、庫内撮影装置２を、冷凍室４００又は野菜室５００の天井面に設けてもよい。この場合も、庫内撮影装置２で撮影した各貯蔵室の全体画像から、食品画像抽出部３により食品画像を抽出し、食品画像管理部４に付帯情報と共に保存し、且つ初入庫と判断した食品画像を入庫食品記憶部１０に保存し、時間変化検出部５及び食品劣化状態推定部６にて劣化状態の推定を行い、操作パネル１に食品画像及び劣化状態を表示させることで、同様の効果を得ることができる。

実施の形態３．
＜構成＞
図１０は、本発明の実施の形態３に係る冷蔵庫１０００の冷蔵室１００の構成を示す側断面図である。この図１０は、図２と同様、図１に示す線分ＩＩ−ＩＩに沿った矢印方向の側断面図に相当する。以下では、実施の形態２との相違点について重点的に説明する。また、実施の形態１又は２と同一の構成要素には同一の符号を付す。

図１０において、実施の形態３では、実施の形態２で説明した各構成要素に加えて、冷蔵室１００の背面壁に、冷蔵室１００内の空気温度を検出する庫内温度検出装置１１が設けられている。

また、食品劣化状態推定部６には、実施の形態２において接続されていた扉開閉検知装置７の代わりに、庫内温度検出装置１１が接続されている。すなわち、食品劣化状態推定部６は、食品の劣化状態を推定する際に、庫内温度検出装置１１によって検出される冷蔵室１００内の温度（庫内温度）及びその温度履歴、並びに庫内温度から推定される冷蔵室１００の冷却負荷を反映できるように構成されている。

＜動作＞
次に、実施の形態３の冷蔵庫１０００の動作の一例について、実施の形態２との相違点を中心に説明する。

図１０において、扉開閉検知装置７は、冷蔵室扉１０１が開かれたことを検知すると、撮影信号発信装置９にＯＮ信号を送信する。撮影信号発信装置９は、扉開閉検知装置７のＯＮ信号を受信すると、照明装置８に点灯信号を送信する。照明装置８は、撮影信号発信装置９からの点灯信号を受信すると、点灯する。この状態で、ユーザは、冷蔵室１００内の食品の出し入れを行い、その後、冷蔵室扉１０１を閉じる。

扉開閉検知装置７は、冷蔵室扉１０１が閉じられたことを検知すると、撮影信号発信装置９にＯＦＦ信号を送信する。撮影信号発信装置９は、扉開閉検知装置７のＯＦＦ信号を受信すると、まず庫内撮影装置２に撮影指示を送信し、庫内撮影装置２の撮影終了後に、照明装置８に消灯信号を送信する。照明装置８は、撮影信号発信装置９からの消灯信号を受信すると、消灯する。

庫内撮影装置２は、照明装置８が点灯している間に冷蔵室１００内の撮影を行い、撮影した冷蔵室１００内の全体画像（貯蔵室画像）を食品画像抽出部３に送信する。食品画像抽出部３は、受信した貯蔵室画像を保存する。

食品画像抽出部３は、前回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を記憶しており、今回の扉開閉時に庫内撮影装置２から受信した貯蔵室画像を新たに記憶する。そして、前回と今回の扉開閉時の貯蔵室画像の差分を演算することにより、画像の変化部分を抽出する。食品画像抽出部３は、このようにして抽出した食品画像に、その時点での現在時刻である時刻情報（撮影時刻情報）を付帯情報として追加し、これら食品画像及び付帯情報を食品画像管理部４に送信する。

食品画像管理部４は、食品画像抽出部３から受信した食品画像を、付帯情報である時刻情報に基づいて時系列に並び換えて、保存する。このとき、食品画像管理部４は、実施の形態１で説明した方法により食品の入庫／出庫の判断を行い、食品画像の入出庫識別情報を付帯情報に追加し、保存する。さらに、食品画像管理部４は、実施の形態２で説明した方法により「初入庫」と判断した食品画像を、入庫食品記憶部１０に転送して保存する。

次に、時間変化検出部５は、食品画像管理部４から送信されてきた食品画像の色及び大きさの時間変化を保存する。食品劣化状態推定部６は、時間変化検出部５に保存された色及び大きさの時間変化に基づいて、食品の劣化状態を推定する。さらに、食品劣化状態推定部６は、食品画像と共に、食品の劣化状態の推定結果を操作パネル１に表示する（図８参照）。

この実施の形態３では、実施の形態２でも説明したように、食品劣化状態推定部６が食品の劣化状態を推定する際に、「再入庫」と判断した食品画像については、入庫食品記憶部１０に保存された「初入庫」の食品画像と最新の食品画像との比較によって色及び大きさの変化を検出し、また、初入庫時刻からの経過時間に基づいて劣化状態を推定する。

また、この実施の形態３では、食品劣化状態推定部６が食品の劣化状態を推定する際に、庫内温度検出装置１１によって検出される冷蔵室１００内の温度履歴を反映できるように構成されている。例えば、冷蔵室１００内の平均温度が高い場合には、平均温度が低い場合よりも食品の劣化が進んでいることが想定される。そこで、食品画像の色及び大きさの変化に基づいた判断結果を補正することにより、推定精度の向上を図っている。

庫内温度検出装置１１によって検出される温度の履歴は、冷蔵室１００内の収納負荷及び冷却負荷、並びに冷蔵室扉１０１の開閉によって変化する。例えば、冷却能力に対して平均温度が高ければ過剰負荷であり、突発的な温度上昇があれば、冷蔵室扉１０１が開閉されたと推測できる。従って、食品劣化状態推定部６が食品の劣化状態を推定する際に、庫内温度検出装置１１による温度履歴を反映することで、冷蔵室１００内の収納負荷及び冷却負荷、並びに冷蔵室扉１０１の開閉の影響を考慮した推定を行うことができる。

例えば、ある食品が冷蔵室１００に保存されている期間中に、庫内温度が予め設定した温度以上となった累積時間が閾値を超えた場合には、食品劣化状態推定部６は、劣化を判断するカラーサンプル（図７参照）の面積占有率の閾値を予め設定したレベルまで低下させる。すなわち、面積占有率が小さい段階で、その食品を早期に消費する必要があると判断する。

このように、食品劣化状態推定部６は、食品の劣化状態の推定に庫内温度履歴（例えば平均温度）を反映させ、推定結果を操作パネル１に表示する。これにより、食品の劣化状態の推定精度を向上することができる。また、冷蔵室扉１０１の開閉をできるだけ少なくして冷却負荷を抑制することをユーザに促す効果もある。

＜効果＞
以上説明したように、本発明の実施の形態３によれば、食品劣化状態推定部６が食品の劣化状態を推定する際に、庫内温度検出装置１１によって検出される温度の履歴を反映させることにより、冷蔵室１００内の収納負荷及び冷却負荷、並びに冷蔵室扉１０１の開閉の影響を考慮して、食品の劣化状態を推定することができる。

＜他の構成例＞
図１０に示した構成例では、庫内温度検出装置１１が３段目の冷蔵室棚板１０２の背面壁に設けられているが、庫内温度検出装置１１は、冷蔵室１００内の代表的な空気温度を検知できる位置であれば、他の冷蔵室棚板１０２の背面壁に設けてよいし、あるいは冷蔵室扉１０１側に設けてもよい。

例えば、食品劣化状態推定部６において劣化状態を推定する際、冷蔵室扉１０１の開閉による庫内温度の上昇を重視する場合には、庫内温度検出装置１１を冷蔵室扉１０１側に設けた方が検出精度は向上する。特に、庫内温度の上昇による食品の劣化をいち早く検知して抑制するためには、検出温度が高くなる傾向にある冷蔵室扉１０１の上段側の棚周辺に庫内温度検出装置１１を設ければ、より効果的である。

また、図１０に示した構成例では、扉開閉検知装置７により冷蔵室扉１０１の開閉を検知し、その検知結果に基づいて、撮影信号発信装置９を介して、照明装置８及び庫内撮影装置２を制御している。しかしながら、庫内温度検出装置１１の検出する庫内温度履歴から冷蔵室扉１０１の開閉を推定することもできるため、扉開閉検知装置７を省略し、庫内温度検出装置１１の検出結果を撮影信号発信装置９に入力してもよい。このように構成すれば、庫内温度検出装置１１は、温度履歴を食品劣化状態推定部６での劣化状態の推定に反映させるだけでなく、検出信号に基づいて照明装置８及び庫内撮影装置２を制御できるため、部品点数を削減することができる。

また、図１０に示した構成例では、入庫食品記憶部１０を設けたが、実施の形態２で説明した「初入庫」の判断を行わない場合には、入庫食品記憶部１０を省略してもよい。

実施の形態４．
＜構成＞
図１１は、本発明の実施の形態４に係る冷蔵庫１０００の構成を示す側断面図である。この図１１は、図２と同様、図１に示す線分ＩＩ−ＩＩに沿った矢印方向の側断面図に相当する。以下では、実施の形態１との相違点について重点的に説明する。また、実施の形態１，２又は３と同一の構成要素には同一の符号を付す。

図１１に示すように、実施の形態４の冷蔵庫１０００は、各貯蔵室（冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００）に供給する空気を冷却する冷凍サイクルと、冷凍サイクルによって冷却された空気を各貯蔵室に供給するための風路とを備えている。

冷凍サイクルは、圧縮機１００２と、圧縮機１００２から吐出された冷媒を凝縮させる凝縮器（図示せず）と、凝縮器から流出した冷媒を膨張させる絞り装置（図示せず）と、絞り装置で膨張した冷媒によって各貯蔵室に供給する空気を冷却する冷却器１００３とを備えている。

圧縮機１００２は、例えば、冷蔵庫１０００の背面側の下部に配置されている。冷却器１００３は、後述する冷却風路１０１０の上流側に設けられている。この冷却風路１０１０には、冷却器１００３で冷却された空気を各貯蔵室に送るための（すなわち、冷蔵庫１０００内で空気を循環させるための）空気搬送装置１００４も設けられている。

冷凍サイクルによって冷却された空気を各貯蔵室に供給するための風路は、冷却風路１０１０と、戻り風路１０２０と、冷蔵室戻り風路１０３と、野菜室戻り風路５０１とで構成されている。

冷却風路１０１０は、冷却器１００３により冷却された空気が各貯蔵室に搬送される通風路であり、例えば冷蔵庫１０００の背面部に形成されている。各貯蔵室への冷却空気の流入量は、冷却風路１０１０内に設けたダンパ（図１１では、冷蔵室１００用の冷蔵室ダンパ１０４のみ示す）によって調節される。

戻り風路１０２０は、各貯蔵室を冷却した空気が冷却器１００３に搬送される通風路である。冷蔵室戻り風路１０３は、冷蔵室１００及びチルド室１１０を冷却した空気が野菜室５００に搬送される通風路である。冷蔵室１００及びチルド室１１０を冷却した空気は、野菜室戻り風路５０１において野菜室５００を冷却した空気と合流して、冷却器１００３に搬送される。

冷蔵庫１０００の背面に設けられた制御基板１００１には、実施の形態１で説明した各構成要素に加えて、期限推定部１２、設定温度算出部１３、及び冷却制御部１４が実装されている。また、冷蔵室１００の扉に設けられた操作パネル１には、実施の形態１の構成に加えて、期限設定部１５が内蔵されている。

期限設定部１５は、操作パネル１に、ユーザが、食品を消費しなければならない期限（消費期限又は賞味期限）を設定するための期限設定画面２６を表示する。図１２（ａ）は、期限設定画面２６の一例を示す模式図である。この期限設定画面２６は、例えば上述した在庫食品一覧表示画面２３（図６）で一つの食品画像を選択すると、操作パネル１に表示される。期限設定画面２６は、選択された食品画像について、ユーザが期限（消費期限又は賞味期限）を入力できるように構成されている。

また、冷蔵室１００内に新たに食品が入庫した際に、図１２（ａ）に示した在庫食品一覧表示画面２３と同様の表示画面を表示し、期限の入力を受け付けることもできる。

期限推定部１２は、操作パネル１、食品劣化状態推定部６及び設定温度算出部１３に接続されている。期限推定部１２は、食品劣化状態推定部６における劣化状態の推定結果に基づいて、食品を消費しなければならない期限（消費期限又は賞味期限）を推定して操作パネル１に表示させると共に、推定結果を設定温度算出部１３に送信する。

この場合、例えば、期限推定部１２が推定した期限までの残り期間が近付いた食品について、操作パネル１に、図１２（ｂ）に示したような期限報知画面２７を表示する。図１２（ｂ）に示した期限報知画面２７では、食品画像と、その食品画像に対応する期限までの残り期間（例えば２日）が表示される。

設定温度算出部１３は、操作パネル１、期限推定部１２、冷却制御部１４及び期限設定部１５に接続されている。設定温度算出部１３は、期限推定部１２によって推定された期限と、期限設定部１５においてユーザにより設定された期限とに基づいて、食品に適した設定温度（推奨設定温度）を算出する。

そして、設定温度算出部１３は、推奨設定温度をユーザに知らせるため、操作パネル１に、例えば図１２（ｃ）に示したような推奨温度の報知画面２８を表示する。また、設定温度算出部１３は、算出した設定温度を達成するために必要な制御内容を冷却制御部１４に送信する。

冷却制御部１４は、設定温度算出部１３に加えて、圧縮機１００２、空気搬送装置１００４、冷蔵室ダンパ１０４及び他の貯蔵室のダンパ（図示せず）に接続され、これらの各機器を制御する。冷却制御部１４は、設定温度算出部１３から設定温度の入力を受け、圧縮機１００２、空気搬送装置１００４、冷蔵室ダンパ１０４及び他の貯蔵室のダンパのうち、少なくとも一つに制御信号を送信して貯蔵室の冷却制御（冷却能力の変更）を行う。なお、冷蔵室ダンパ１０４及び他の貯蔵室のダンパは、「吹出風量制御装置」を構成している。

＜動作＞
次に、実施の形態４の冷蔵庫１０００の動作の一例について、実施の形態１との相違点を中心に説明する。

図１１において、冷蔵室扉１０１が開閉されると、庫内撮影装置２は、冷蔵室１００内の全体を撮影し、撮影した冷蔵室１００内の全体画像（貯蔵室画像）を食品画像抽出部３に送信する。食品画像抽出部３は、前回と今回の扉開閉時の貯蔵室画像の差分により食品画像を抽出し、時刻情報（撮影時刻情報）を付帯情報として追加して、食品画像管理部４に送信する。

食品画像管理部４は、食品画像抽出部３から送信されてきた食品画像を、時刻情報に基づいて時系列に並び換えて、保存する。このとき、食品画像管理部４は、食品の入庫／出庫の判断を行い、食品画像の付帯情報に入出庫識別情報を追加して保存する。

次に、時間変化検出部５は、食品画像管理部４から送信されてきた食品画像の色及び大きさの時間変化を検出して、保存する。食品劣化状態推定部６は、時間変化検出部５に保存された色及び大きさの時間変化に基づいて、食品の劣化状態を推定する。さらに、食品劣化状態推定部６は、食品画像と共に、食品の劣化状態の推定結果を操作パネル１に表示する（図８参照）。

この実施の形態４では、食品劣化状態推定部６が推定した食品の劣化の進み方（劣化傾向）に基づいて、期限推定部１２が、その食品を消費しなければならない期限（消費期限又は賞味期限）を推定する。そして、図１２（ｂ）に示したように、推定した期限が近づいた食品画像を操作パネル１に表示してユーザに報知することにより、食品の消費し忘れを防ぎ、食品の無駄な廃棄の抑制を図っている。

図１３は、期限推定部１２における食品の消費期限又は賞味期限（ここでは消費期限）の推定方法を説明するための模式図である。図１３では、期限推定部１２が、時間変化検出部５に保存されている肉の時間的な色変化（ａ＊値の減少）から消費期限を推定する例を模式的に示している。図１３（ａ）及び（ｂ）は、入庫時及びＴ時間後の食品画像を示す模式図であり、図１３（ｃ）は、ａ＊値の時間変化を示すグラフである。図１３（ｃ）において、縦軸は食品（肉）のａ＊値であり、横軸は時間である。時間０は食品の入庫時であり（図７（ａ）参照）、Ｔ時間は当該食品が酸化するのに十分な時間である（図７（ｂ）参照）。また、図１３（ｃ）において、実線（曲線）はａ＊値の変化を示しており、時間軸と平行な破線（直線）はａ＊値の消費限界を示す。

図１３（ｃ）に示したａ＊値の変化は、冷蔵室扉１０１の開閉毎にａ＊値を測定して、それぞれのａ＊値を通る曲線として求めたものであり、時間と共に減少している。このａ＊値の減少特性と、Ｔ時間後のａ＊値の検出値とから、ａ＊値が消費限界に到達する時期、すなわち消費期限を推定することができる。食品劣化状態推定部６は、このようにして消費期限を推定し、消費期限が到達する前に、操作パネル１を介してユーザに報知する。ユーザへの報知は、食品画像と共にアラートを表示する方法（図８）でもよいし、消費期限までの残り時間を表示する方法（図１２（ｂ））でもよい。

これにより、ユーザは、食品の消費期限又は賞味期限の到達前に、当該期限を知ることができる。これにより、その食品を早期に消費し、消費し忘れを防止することができる。すなわち、食品の無駄な廃棄を抑制することができる。

なお、ここで示した消費限界は、予め設定されたａ＊の絶対値や初期値からの減少幅でもよく、あるいは検出されたａ＊の時間変化の特性データを反映した実績値でもよい。実使用状態に合った期限（消費期限、賞味期限、又は他の期限）を設定することができれば、同様の効果が得られる。

また図１３（ｃ）では、一般的な色指標であるａ＊値の減少特性から期限を推定する例を示したが、対象とする時間変化データはこれに限るものではなく、例えば、図７の例で示した、各種カラーサンプルの面積占有率の変化、あるいは特定のカラーサンプルの増減から劣化傾向を推定し、その値に対して消費限界値を設定し、その到達時期から期限を推定してもよい。

期限推定部１２によって推定された期限は、操作パネル１に表示される一方で、設定温度算出部１３に送信される。さらに、操作パネル１に内蔵された期限設定部１５でユーザが設定した期限も、設定温度算出部１３に送信される。設定温度算出部１３は、期限推定部１２によって推定された期限と、期限設定部１５においてユーザが設定した期限とを比較することによって、貯蔵室内の設定温度を決定する。

すなわち、期限推定部１２によって推定された期限が、期限設定部１５においてユーザが設定した期限よりも長い場合には、ユーザが希望する期限まで食品の品質は維持されると想定されるため、貯蔵室内の設定温度を変更する必要はない。

これに対し、期限推定部１２によって推定された期限（推定期限）が、期限設定部１５においてユーザが設定した期限（設定期限）よりも短い場合には、推定期限を設定期限に近付けるように、貯蔵室内の設定温度を低下させる。冷蔵室１００内の温度が低下すれば、食品の時間的な劣化の度合い（ａ＊の減少の勾配）は緩やかになるためである。

冷蔵庫１０００では、冷却器１００３で冷却された庫内空気が、空気搬送装置１００４によって冷却風路１０１０を経由して各貯蔵室へ搬送される。そして、各貯蔵室を冷却した戻り空気が、戻り風路１０２０を経由して再度冷却器１００３に戻る。このとき、冷却器１００３で冷却された空気（例えば−３０℃〜−２５℃）を、冷蔵室ダンパ１０４を初めとする複数のダンパの開閉により各貯蔵室に分配する。これら複数のダンパの開閉によって各貯蔵室への冷却空気の流入量を調節することにより、各貯蔵室に対して個別の温度設定を行っている。

例えば、最も低温に設定される冷凍室４００（例えば−２２℃〜−１６℃）の流入ダンパはほぼ全開とし、最も高温に設定される野菜室５００（例えば３℃〜９℃）の流入ダンパはほぼ全閉としている。そして、例えば、野菜室５００より温度設定の低い冷蔵室１００（例えば０℃〜６℃）及びチルド室１１０（例えば０℃〜２℃）を冷却した戻り空気で野菜室５００を間接冷却することにより、各貯蔵室の温度を調整している。

ここで、冷却過剰又は冷却不足に応じて、各貯蔵室の温度設定は±２〜３℃程度の調整が可能である。例えば、冷凍室４００は−２５℃〜−１３℃程度の範囲で設定変更が可能であり、冷蔵室１００は−２℃〜９℃程度の範囲で設定変更が可能である。

冷却不足により特定の貯蔵室を低温に設定する場合、例えば冷蔵室１００のみを低温に設定する場合には、冷蔵室ダンパ１０４の開度を大きくすることによって、冷蔵室１００への冷却空気の流入量を増加させる。また、複数の貯蔵室を低温に設定する場合には、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を増加させて、冷凍サイクルの冷却能力を上昇させる必要がある。そのため、複数の貯蔵室を低温に設定する場合には、冷蔵庫１０００の消費電力は増加する。

一方、冷却過剰により貯蔵室を高温に設定する場合には、特定の貯蔵室に対してはダンパの開度を小さくして、冷却空気の流入量を減少させる。また、複数の貯蔵室を高温に設定する場合には、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を減少させればよく、冷蔵庫１０００の消費電力は減少する。

従って、冷却制御部１４は、設定温度算出部１３によって算出された設定温度に応じて、冷蔵室ダンパ１０４を初めとする各貯蔵室のダンパの開度、圧縮機１００２の回転数、及び空気搬送装置１００４による搬送風量を制御する。このとき、特に特定の貯蔵室の設定温度を低下させたい場合は、できるだけ圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量は増加させず、該当する貯蔵室のダンパ開度の増加により設定温度を低下させるのが望ましい。ダンパ開度の変更だけであれば消費電力は変化しないので、無駄な冷却によりエネルギー消費量を増加させることなく、ユーザの希望する消費期限又は賞味期限を満足することができる。

＜効果＞
以上説明したように、本発明の実施の形態４によれば、食品劣化状態推定部６によって食品の劣化傾向を推定し、その推定結果に基づいて期限推定部１２が期限を推定し、推定期限が近づいた食品をユーザに報知するため、食品の消費し忘れを抑制し、無駄な廃棄を抑制することができる。

また、期限を経過した食品を冷蔵室１００内に収納し続けることによるスペース及びエネルギーの無駄を低減することができる。すなわち、食品を放置していたら浪費されていたであろう冷却能力を、他の食品及び他の貯蔵室に分配することにより、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を低下させることができ、冷蔵庫１０００全体として消費エネルギーを低減することができる。

また、期限設定部１５においてユーザによる期限の設定を受け付け、この設定期限と食品劣化状態推定部６による推定期限とを比較して貯蔵室内の設定温度を算出するため、ユーザが希望する期限まで食品の品質を維持することができる。

＜他の構成例＞
図１１に示した構成例では、実施の形態１で説明した構成要素に加え、冷凍サイクルと、期限推定部１２、設定温度算出部１３、冷却制御部１４及び期限設定部１５を備えているが、実施の形態２で説明した扉開閉検知装置７、照明装置８、撮影信号発信装置９、入庫食品記憶部１０をさらに備えてもよく、あるいは実施の形態３で説明した庫内温度検出装置１１をさらに備えてもよい。

いずれの場合も、食品劣化状態推定部６が冷蔵室扉１０１の開閉状況又は冷蔵室１００内の温度履歴を反映して食品の劣化傾向を推定し、その劣化傾向の推定結果に基づいて、期限推定部１２が期限（消費期限又は賞味期限）を推定するため、期限の推定精度を向上することができ、また食品の消費し忘れを防止し、無駄な廃棄を抑制することができる。

１ 操作パネル（表示部）、 ２ 庫内撮影装置（撮影装置）、 ３ 食品画像抽出部、 ４ 食品画像管理部、 ５ 時間変化検出部、 ６ 食品劣化状態推定部、 ７ 扉開閉検知装置、 ８ 照明装置、 ９ 撮影信号発信装置、 １０ 入庫食品記憶部、 １１ 庫内温度検出装置、 １２ 期限推定部、 １３ 設定温度算出部、 １４ 冷却制御部、 １５ 期限設定部、 １００ 冷蔵室（貯蔵室）、 １０１ 冷蔵室扉（扉）、 １０２ 冷蔵室棚板、 １０３ 冷蔵室戻り風路、 １０４ 冷蔵室ダンパ、 １１０ チルド室、 １１１ チルドケース、 ２００ 製氷室、 ３００ 切替室、 ４００ 冷凍室、 ５００ 野菜室、 ５０１ 野菜室戻り風路、 １０００ 冷蔵庫、 １００１ 制御基板（制御装置）、 １００２ 圧縮機、 １００５ 冷却器、 １００４ 空気搬送装置、 １０１０ 冷却風路、 １０２０ 戻り風路。

Claims (4)

1. 食品を貯蔵する貯蔵室と、
   前記貯蔵室内を撮影する撮影装置と、
   前記撮影装置によって撮影された前記貯蔵室内の画像から食品画像を抽出して管理する制御装置と、
   前記制御装置に管理されている食品画像に関し、ユーザが期限を設定する期限設定部と、
   表示部と
   を備え、
   前記制御装置は、
   前記食品画像の時間変化を検出する時間変化検出部と、
   前記時間変化検出部によって検出された前記食品画像の時間変化に基づいて前記食品の劣化傾向を推定する食品劣化状態推定部と、
   前記食品劣化状態推定部によって推定された食品の劣化傾向に基づき、前記食品に関する期限を推定する期限推定部と、
   前記期限推定部によって推定された期限が、前記ユーザが設定した期限以降となり得る前記貯蔵室内の設定温度を算出する設定温度算出部と
   を有し、
   前記制御装置は、前記表示部に、前記食品画像と、当該食品画像に対応する食品の劣化に関する情報とを共に表示することを特徴とする冷蔵庫。
2. 前記期限設定部は、前記冷蔵庫の外側に設けられていることを特徴とする請求項１に記載の冷蔵庫。
3. 冷媒を圧縮する圧縮機と、前記圧縮機から吐出された冷媒を凝縮させる凝縮器と、前記凝縮器から流出した冷媒を膨張させる絞り装置と、前記絞り装置で膨張した冷媒によって前記貯蔵室に供給する空気を冷却する冷却器とを有する冷凍サイクルと、
   前記冷却器で冷却された空気を前記貯蔵室に搬送する空気搬送装置と、
   前記貯蔵室に供給する空気の流入量を調節する吹出風量制御装置と、
   前記設定温度算出部によって算出された前記貯蔵室の設定温度に従って、前記圧縮機、前記空気搬送装置及び前記吹出風量制御装置のうちの少なくとも１つを制御することにより、前記貯蔵室に対する冷却能力を変更する冷却制御部を備えた
   ことを特徴とする請求項１又は２に記載の冷蔵庫。
4. 前記制御装置は、前記食品画像に加えて、前記期限推定部が推定した期限、及び前記設定温度算出部が算出した温度のうち、少なくとも一つを表示する
   ことを特徴とする請求項１から３までのいずれか１項に記載の冷蔵庫。