JP6887041B1 - 倉庫制御の汎化法、装置、システム、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】倉庫の属性（収納棚の数やレイアウトとトポロジー、移載手段の種類や数と性能、収納物品の種類や数など）に依存せずに、倉庫の効率的制御を実現する方法を提供すること。【解決手段】収納棚の数、レイアウト、収納棚の段数、間口数、移載手段の種類、性能及び台数などの倉庫属性と、占有間口数や空き間口数とそのアドレス及び利用可能な移載手段の台数とアドレスなどの時々刻々変化する倉庫状況、及びどの物品を何個どの出庫ゲートへ移載するかなどを示す移載命令を記述する特徴量と移載指示全体をパターンとして扱い、それを人工ニューラルネットワークを含む機械学習手段に入力して、個別の対象倉庫が目的に沿った制御を行うように学習させ、制御を行う。【選択図】図６

Description

本願は、たとえば倉庫制御の汎化法、装置、システム、プログラム、並びに記録媒体に係り、特に、倉庫の構造、規模、入出庫方式、物品移動方式を含む倉庫方式・倉庫構造に依存せずに、倉庫内物品の移動を制御する技術に関連する倉庫制御の汎化法、装置、システム、プログラム、並びに記録媒体に関する。

近年、インターネットを介した物品販売が盛んに行われ、それに伴って倉庫が大型化すると同時に、扱う物品の種類及び点数が増加の一途をたどっている。この競争的状況の中で配送時間の短縮化が進んだ結果、効率良く倉庫を運用する要望は高まる一方である。しかし、倉庫の大きさ、形態、運用の方法は、扱う物品の種類、点数、大きさなどによって異なる。これに加え、扱う物品の種類によっては季節変動が大きい場合もあるうえに、キャンペーンなどのビジネス的要因による変動もあり、倉庫のハードウエアはこれらを考慮して個別に設計される。その結果、倉庫への入庫と倉庫からの出庫、及び倉庫内物品の移載を制御するソフトウエアも、必然的に個別に設計をしなければならない状況にある。しかもこの制御ソフトウエアの性能が、出庫効率をはじめとする倉庫の性能を直接的に決定する。

このように、倉庫の制御ソフトウエアは個別設計をしなければならないだけでなく、性能を決定する重要な要素であるため、膨大な時間とリソースを投入して開発される。倉庫を制御する制御ソフトウエアの開発が置かれているリソース投入的なこの状況を改善する方法として、あらかじめ汎用的なソフトウエアを構築しておき、それに対してハードウエアとしての各倉庫の属性（収納棚の数、レイアウト、収納棚の段数、間口数、移載手段の種類、性能及び台数など）を設定してカストマイズし、各倉庫に合致する制御ソフトウエアを自動的に生成させる方法が考えられる。

しかし、このような汎用的な制御ソフトウエアをあらかじめ構築することは、非常に困難である。一般に、倉庫の制御ソフトウエアは、前述の倉庫属性を把握し、その上で時々刻々変化する倉庫の現在の状況、即ち占有間口数や空き間口数とそのアドレス及び利用可能な移載手段の台数とアドレス、及びどの物品を何個どの出庫ゲートへ移載するかなどを示す移載命令を含む現在の倉庫状況が入力され、それらが演算された結果としてどのようなパスで物品を移動させるかを示した制御指令が出力される。ところが、倉庫内の物品移動の制御に必要なこのような倉庫属性・倉庫状況の組み合わせは膨大な数に上る。そのため、すべての状況を勘案した汎用的ソフトウエアを構築することは実質的に不可能であった。その結果、状況が限定された個別の自動倉庫ハードウエアに対して個別に制御ソフトウエアを作成せざるを得なかった。

特開平０２−２５５４１２号公報 特開平０５−２０４８９１号公報 特開２０２０−００７０６０号公報

山本大輔他「強化学習を用いた巡回セールスマン問題の解法」、情報処理学会第８１回全国大会、１−３５７、２０１９。 関西大学 社会連携部 産学官連携センター、「深層学習による最短ルートの決定方法」、https://www.kansai-u.ac.jp/renkei/seeds/asset/list/2019/telecommunications/telecommunications25.pdf 疋田聡、「深層学習とモンテカルロ木探索を用いた強化学習の組合せ最適化問題での実験」、人工知能学会研究会資料、ＳＩＧ−ＡＧＩ−００８−０８。 Ｌａｖａｌｌｅ、Ｓ．Ｍ．、Ｒａｐｉｄｌｙ−Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅｓ： Ａ Ｎｅｗ Ｔｏｏｌ ｆｏｒ Ｐａｔｈ Ｐｌａｎｎｉｎｇ、ＴＲ ９８−１１， Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐｔ．， Ｉｏｗａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ， Ｏｃｔｏｂｅｒ １９９８．

本発明はこのような状況を改善することを企図したものであり、倉庫の制御ソフトウエアを個別に作成することなく、汎用的に適用できる倉庫制御の汎化法、装置、システム、プログラム、並びに記録媒体を提供することを課題とする。

上述のように、従来のソフトウエアでこれを実現することは実質的に不可能であった。本発明者は、ここに着目し、まず、この理由は、倉庫を構成するコンポーネントの総数が非常に大きいため、いわゆる組み合わせ爆発が発生するためであることを突き止めるに至った。そこで、可能な組み合わせをもれなく数え上げる代わりに、倉庫属性と倉庫状況を記述する特徴量と移載指示全体をパターンとして扱い、それを人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をはじめとする機械学習手段に入力し、目的に沿った制御を行うように学習を行わせる方法を着想した。この倉庫属性と倉庫状況を表す特徴量をパターンとして学習して目的に沿った制御信号を出力するようになった機械学習手段に新たな移載指令を入力し、移載制御信号を出力させる。このようにすれば、対象倉庫に応じたパターンを学習することによって属性が異なる倉庫に対して同じ構造の機械学習手段を使い、異なる属性の倉庫を制御することが可能となる。

これが可能であるのは、倉庫ではそれを構成するコンポーネント総数は多いものの、コンポーネントの種類は少なく、かつ各コンポーネントの状況が自動的に入手できるという特徴に依る。すなわち、まず、コンポーネントの種類が少ないので、コンポーネントの種類毎に属性をすべて記述することが可能である。一方、運用中の倉庫状況、即ち倉庫内のコンポーネントの状況（各間口の空き状況や移載手段の現在位置・空き状況など）は時々刻々変化する上にその組み合わせは膨大である。しかし、これらの情報を全て収集し、それ等を組み合わせて必要な加工を施して特徴量として機械学習手段に入力することができれば、倉庫を制御する学習が可能である。ここで倉庫状況は、倉庫内に設置されたセンサーなどから自動的に入手可能であることに着目すれば、機械学習手段に入力すべき特徴量を自動的に得ることができることが理解できるはずである。すなわち、属性と状況から得られる膨大な特徴量を自動的に得、それをパターンとして機械学習手段の入力とすることができるのである。本発明の一態様は、全てを数え上げるという組み合わせ爆発を、パターン化して扱うことで回避できるＡＮＮを含む機械学習手段の特徴と、コンポーネント総数は多いがその種類は少ないので記述可能であるという特徴と、かつ状況が自動的に入手できるので特徴量を自動的に入手できるという特徴と、これらをパターン化して取り扱うことが可能であるという自動化倉庫の特徴に着目した結果、着想するに至ったものである。

しかし機械学習手段としてＡＮＮを用いる場合、あらゆる属性の倉庫を、全く同じＡＮＮで制御を行うことにはやはり無理がある。例えば全コンポーネント数が異なれば、ＡＮＮの入力ノード数を変更する必要がある。入力ノード数が異なれば、中間層の数や、各中間層のノード数も変更する必要がある。一方、制御対象の種類と数によって出力ノード数は異なる。したがって、各倉庫の属性に合わせて入力ノード数、中間層数、各中間層のノード数、および出力ノード数を変更する必要がある。この要請に応えるためには、制御対象とする倉庫の属性に合わせてＡＮＮの上記変数を設定できるようにすればよい。しかし、これらの設定はノウハウに属する部分も多いため、学習結果を参照して調整しなければならない。そこでこの設定を、ＧＵＩ画面を介して行うことにより、学習結果を参照しながら設定する必要がある。

一方、学習を行うためには、制御対象の倉庫の運用データが大量に必要になる。しかしこのことが常に可能とは限らない。特に新規設計の倉庫では、運用実績がないのでデータを準備することが困難である。この問題を解決するための方法として、本発明の一態様では、対象倉庫のシミュレータを構築して仮想的な運用を行い、そのデータを機械学習手段の学習データとして用いる。これを実現するために、本発明の一態様ではシミュレータからのデータを機械学習手段に入力するインターフェースも備えることができる。このインターフェースを通して、シミュレータからの制御対象倉庫の属性と状況のデータ、および様々な移載指令データが入力されることにより学習を行うことができる。

しかし一般に、機械学習手段としてＡＮＮを用いる場合には、何を入力するかは性能を決定する重要なパラメータである上に、その選択には高度なノウハウが存在する。従って倉庫やそのシミュレータからのデータをそのまま入力するのではなく、加工して入力した方が良い結果を得られる可能性がある。しかし、どの倉庫データをどのように加工して入力するかは、ノウハウが大きく物を言う部分である。そこで、本発明の一態様ではＧＵＩ化したインターフェースによって入力パラメータを選択・加工し、学習結果を参照しながら、入力パラメータを取捨選択、あるいは加工する機能を持たせる。

シミュレータの役割は、機械学習手段の学習データを準備するだけにとどまらない。上記の学習は、シミュレータから出力される倉庫属性と倉庫状況のデータを機械学習手段に入力して倉庫の制御信号を機械学習手段が出力するので、この出力によって倉庫を仮想的に運用してもよい。機械学習手段は、学習初期には効率の良くない制御信号を出力するが、学習が進むにつれて効率的な制御信号を出力するように学習する。いずれの場合でも、倉庫シミュレータと機械学習手段の間にループを形成させることにより、機械学習手段は効率的な制御を迅速に学習することが可能となる。

すなわち、より具体的には、上記課題を解決すべく、本発明の第１の態様に係る倉庫の制御方法は、収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性と、現在の占有間口数や空き間口数とそのアドレス及び利用可能移載手段の台数と各移載手段の現在アドレス、及びどの物品を何個どこの移載先へ移載するか、のうち少なくともいずれか一つを含む移載命令と、を含む情報全体をパターンとして扱うことにより、倉庫属性に依存せずに倉庫の制御を汎用的に行うことを特徴とする人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を用いる。

本発明の第２の態様として、上記第１の態様において、前記機械学習は、深層学習法を含むＡＮＮ、強化学習、モンテカルロ木探索、Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ（ＲＲＴ）、のうち少なくともいずれか一つの手段によるものとしてもよい。

本発明の第３の態様として、上記第１の態様において、前記機械学習をなす手段として人工ニューラルネットワークを用いる場合は入力ノード数、隠れ層の数、各隠れ層のノード数、及び出力ノード数、層間の接続トポロジーのうち少なくともいずれか一つを含む前記人工ニューラルネットワークの属性を、あるいは強化学習、モンテカルロ木探索、ＲＲＴを含む方法を用いる場合は、棚、段、間口のレイアウト、移載手段の数のうち少なくともいずれか一つを含む倉庫属性を設定して学習前に機械学習手段の構造をＧＵＩ画面により設定し、それに対して学習を行って、学習済の前記機械学習手段によって制御を行うとしてもよい。

本発明の第４の態様として、上記第１の態様において、前記倉庫の制御に係る制御対象倉庫の動作をシミュレートするシミュレータを用い、シミュレータからの出力を機械学習手段の学習データおよび／または教師データあるいは報酬として用いるとしてもよい。

本発明の第５の態様として、上記第１の態様において、前記機械学習に係る学習時に機械学習手段からの出力でシミュレータを制御し、その結果得られるシミュレータの出力を前記人工ニューラルネットワークに入力することで学習を行うとしてもよい。

本発明の第６の態様として、上記第１の態様において、倉庫属性、倉庫状況、移載指令を記述するパラメータの全てあるいは一部をそのままおよび／または加工して機械学習手段へ入力するとしてもよい。

本発明の第７の態様として、上記第１の態様において、所望の制御が行われるように学習した機械学習手段に現在の倉庫の属性と状況および移載指令を入力し、得られた人工ニューラルネットワークの出力によって倉庫を制御するとしてもよい。

本発明の第８の態様として、上記第１の態様において、学習済モデルに入力する倉庫の状況データとして、倉庫の棚の物品占有情報や空き情報、収納物品情報、移載手段の現在位置のうちの少なくとも１つを、移載指令として移載元と移載先の空間情報と移載物品情報のうちの少なくとも１つを、ぞれぞれ含むとしてもよい。

本発明の第９の態様として、上記第８の態様において、前記入力されたものから、倉庫が目的に合致した動作をするように、移載順序と時間、移載経由アドレスのうちの少なくとも１つを含む制御パラメータを出力するようにしてもよい。

本発明の第１０の態様として、上記第３の態様において、人工ニューラルネットワーク、強化学習、モンテカルロ木探索、ＲＲＴを含む機械学習手段の構造を設定するためのＧＵＩ（Ｇｕｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅなど）のうちの少なくとも１つをさらに備えたようにしてもよい。

本発明の第１１の態様として、上記第５の態様において、機械学習手段からの出力を倉庫シミュレータの制御に使うか使わないかを切り替えるためのＧＵＩをさらに備えるようにしてもよい。

また、上記課題を解決すべく、本発明の第１２の態様に係る倉庫の制御装置は、収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性が入力される第１の入力部と、現在の占有間口数や空き間口数とそのアドレス及び利用可能移載手段の台数と各移載手段の現在アドレス、及びどの物品を何個どこの移載先へ移載するか、のうち少なくともいずれか一つを含む移載命令が入力される第２の入力部と、前記第１及び第２の入力部から得られる情報全体をパターンとして扱うことで、人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を行う学習部とを備えて構成される。

本発明の第１３の態様として、上記第１２の態様において、前記機械学習は、深層学習法を含むＡＮＮ、強化学習、モンテカルロ木探索、Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ（ＲＲＴ）、のうち少なくともいずれか一つの手段によるものとしてもよい。

本発明の第１４の態様として、上記第１２の態様において、前記機械学習をなす手段として人工ニューラルネットワークを用いる場合は入力ノード数、隠れ層の数、各隠れ層のノード数、及び出力ノード数、層間の接続トポロジーのうち少なくともいずれか一つを含む前記人工ニューラルネットワークの属性を、あるいは強化学習、モンテカルロ木探索、ＲＲＴを含む方法を用いる場合は、棚、段、間口のレイアウト、移載手段の数のうち少なくともいずれか一つを含む倉庫属性を設定して学習前に機械学習手段の構造をＧＵＩ画面により設定し、それに対して学習を行って、学習済の前記機械学習手段によって制御を行うとしてもよい。

本発明の第１５の態様として、上記第１２の態様において、前記倉庫の制御に係る制御対象倉庫の動作をシミュレートするシミュレータを用い、シミュレータからの出力を機械学習手段の学習データおよび／または教師データあるいは報酬として用いるとしてもよい。

本発明の第１６の態様として、上記第１２の態様において、前記機械学習に係る学習時に機械学習手段からの出力でシミュレータを制御し、その結果得られるシミュレータの出力を前記人工ニューラルネットワークに入力することで学習を行うとしてもよい。

本発明の第１７の態様として、上記第１２の態様において、倉庫属性、倉庫状況、移載指令を記述するパラメータの全てあるいは一部をそのままおよび／または加工して機械学習手段へ入力するとしてもよい。

本発明の第１８の態様として、上記第１２の態様において、所望の制御が行われるように学習した機械学習手段に現在の倉庫の属性と状況および移載指令を入力し、得られた人工ニューラルネットワークの出力によって倉庫を制御するとしてもよい。

本発明の第１９の態様として、上記第１２の態様において、学習済モデルに入力する倉庫の状況データとして、倉庫の棚の物品占有情報や空き情報、収納物品情報、移載手段の現在位置のうちの少なくとも１つを、移載指令として移載元と移載先の空間情報と移載物品情報のうちの少なくとも１つを、ぞれぞれ含むとしてもよい。

本発明の第２０の態様として、上記第１９の態様において、前記入力されたものから、倉庫が目的に合致した動作をするように、移載順序と時間、移載経由アドレスのうちの少なくとも１つを含む制御パラメータを出力するようにしてもよい。

本発明の第２１の態様として、上記第１４の態様において、人工ニューラルネットワーク、強化学習、モンテカルロ木探索、ＲＲＴを含む機械学習手段の構造を設定するためのＧＵＩ（Ｇｕｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅなど）のうちの少なくとも１つをさらに備えたようにしてもよい。

本発明の第２２の態様として、上記第１６の態様において、機械学習手段からの出力を倉庫シミュレータの制御に使うか使わないかを切り替えるためのＧＵＩをさらに備えるようにしてもよい。

また、上記課題を解決すべく、本発明の第２３の態様に係る倉庫の制御システムは、収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性が入力される第１の入力手段と、現在の占有間口数や空き間口数とそのアドレス及び利用可能移載手段の台数と各移載手段の現在アドレス、及びどの物品を何個どこの移載先へ移載するか、のうち少なくともいずれか一つを含む移載命令が入力される第２の入力手段と、前記第１及び第２の入力部から得られる情報全体をパターンとして扱うことで、人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を行う学習手段とを備えて構成される。

さらにまた、上記課題を解決すべく、本発明の第２４の態様に係る倉庫の制御プログラムは、コンピュータを、収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性が入力される第１の入力手段と、現在の占有間口数や空き間口数とそのアドレス及び利用可能移載手段の台数と各移載手段の現在アドレス、及びどの物品を何個どこの移載先へ移載するか、のうち少なくともいずれか一つを含む移載命令が入力される第２の入力手段と、前記第１及び第２の入力部から得られる情報全体をパターンとして扱うことで、人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を行う学習手段と、として機能させることを特徴とする。

本発明の第２５の態様として、上記第２４の態様に係る倉庫の制御プログラムが記憶された記録媒体として実現されてもよい。

本発明の態様によれば、多種多様な倉庫の属性に依存せず、その制御を可能にする汎用的手段が提供される。

本発明の一実施形態に係る立体自動倉庫を出庫側から見た斜視図である。 本発明の一実施形態に係るデジタルピッキングシステムの全体概念を示す斜視図である。 本発明の一実施形態に係る倉庫の別の例を示す斜視図である。 本発明の一実施形態に係る立体自動倉庫の別の例を示す斜視図である。 本発明の一実施形態に係る汎化制御手段の全体像を示す概念図である。 本発明の一実施形態に係る機械学習手段の例を示す概念図である。 本発明の一実施形態に係る機械学習手段の例を示す概念図である。 本発明の一実施形態に係る機械学習手段の例を示す概念図である。 本発明の一実施形態に係る機械学習手段の例を示す概念図である。 本発明の一実施形態に係る機械学習手段の構成と学習を設定するＧＵＩの一例を示す概念図である。 本発明の一実施形態に係る機械学習手段の構成と学習を設定するＧＵＩの別の一例を示す概念図である。 本発明の一実施形態に係るシミュレータと機械学習手段のインターフェースを設定するＧＵＩの一例を示す概念図である。

以下、図面を参照して、本発明の一実施形態について説明する。本願に係る技術思想が適用される態様として限定されるものではないものの、図1Ａ〜図１Ｄに本発明の一実施形態に係る倉庫の各例を示す。倉庫は入庫、保管・仕分、出庫の機能を有するが、図1Ａは立体自動倉庫を出庫側から見た斜視図である。本例では棚１が８列並んでおり、各棚には７つの段があり、各段には数十の間口が存在し、各間口に物品を載せたトレイが収納される。入庫された物品２は棚１の空き間口に入れられる。この入庫物品は、出庫命令を受けるまで入庫間口に留まる場合もあるが、倉庫内の状況に応じて、棚間、段間、間口間を移動する場合もある。出庫命令を受けると、物品は物品移載手段（図示せず）によって各棚の出庫端まで移動し、場合によっては待機コンベア３に載せられ、コンベア４に移載する下層階に運ぶ昇降装置（図示せず）が来るまで待機する。昇降装置が来たら下層階まで移動してコンベア４に移載された物品５は、物品をトレイから取り出して出庫コンベア６上の出荷トレイ７に移し替えるＧＴＰ（Ｇｏｏｄｓ Ｔｏ Ｐｅｒｓｏｎ）ステーション８に到着する。ＧＴＰステーションでは作業者９がコンベアで運ばれてきた物品を必要数だけピッキングし、出荷トレイ７に入れる。この作業は、ロボットアーム１０によって自動で行われてもよい。すべての物品のピッッキングが終了したら、出荷トレイは出庫コンベア６に乗せられ、出庫ステーションに運ばれてトラックに移載される。なお、物品搬送にベルトコンベアを用いる代わりにローラーコンベアを用いる方法もあり、下記で説明するすべての場合も同様である。

本願に係る技術思想が適用される対象としての他の例として、デジタルピッキングシステムを図１Ｂに示す。ここでは出庫される物品が出荷トレイ１１に乗せられ、コンベア１２上を水平に動いている。各ピッキング作業者１３は自分が担当する棚１４から出荷すべき物品を必要数だけピッキングし、目前のコンベア上を流れる出荷トレイ１１に物品を投入する。これを間違いなく行うために、棚１４の各間口の全面には出荷指示表示１５が設置される場合がある。

本願に係る技術思想が適用される対象としてのまた別の例を図１Ｃに示す。この例では、倉庫床面に小型の棚１６を多数置き、これに物品が収納されている。棚１６の底は床面から浮いた構造になっており、そこに薄型のＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ：無人搬送車）１７が入り込む。円弧内には棚１６とＡＧＶ１７の拡大図を示す。ＡＧＶ１７にはリフターが設置されており、棚１６の中央に潜り込むとリフターが上昇して棚１６を持ち上げ、そのまま移載先へと運ばれる。これは図１Ａとも図１Ｂとも異なる物品移載方法であり、物品は数段の低い高さの棚に収納されるので、どちらかと言えば物品は平面的に保管されている。なおＡＧＶでは場所を示す目印（通常床に設置される）が必要であるが、ＡＭＲ（Ａｕｔｏｎｏｍｏｕｓ Ｍｏｖｉｎｇ Ｒｏｂｏｔ：自律移動ロボット）を用いれば床等に設置された目印を不要にすることが可能である。

本願に係る技術思想が適用される対象としてのさらに別の例を図１Ｄに示す。この例では、棚１８に収納されている物品にアクセスする方法として、物品を乗せて水平・垂直に移動することで棚前面全体にアクセスし、物品の出し入れを可能としたスタッカークレーン１９が移載手段として使われた例である。スタッカークレーンに乗せられた物品は、その後コンベア等に移載されて入庫、移載、あるいは出庫される。

このように、倉庫には様々な保管手段と様々なレイアウトがあり、その上物品の移載手段も、ベルトコンベア、ローラーコンベア、昇降装置、自走式電動移動台車、スタッカークレーン、ＡＧＶ／ＡＭＲなどがあり、ピッキング手段には人手やロボットアームによる方法など、様々な手段が用いられる。本発明の一実施形態では、多種多様な倉庫の制御ソフトウエアを対象倉庫毎に個別に設計構築する代わりに、機械学習手段によって対象倉庫に対して目的とする制御を獲得する倉庫制御技術を対象とする。

深層学習などのＡＮＮは処理すべきデータを論理的に記述する代わりにパターンとして扱って入力とし、目的の出力を出す。本発明の一実施形態では処理すべきデータは倉庫属性（収納棚の数やレイアウト、移載手段の種類や台数と性能など）、倉庫状況（収納物品の種類や数とその収納場所、どの棚が空いているか、どの移載手段が空いているか、その移載手段が現在どこにいるかなど）、及び移載命令（どの物品を何個、どの移載先へ移載するか）であり、これらが入力されるべき情報である。一方、出力されるべき情報としては、できるだけ移載時間を短くする制御、あるいは電力使用量を小さくする制御を行う場合には移載時間、あるいは移載ルートを出力情報としてもよいがこれに限られない。たとえば、出庫時間を短縮化する制御を行う場合には、短い出庫時間を出力するような学習を行なわせれば良い。あるいは、倉庫の運用電力を小さくする制御を行う場合には、電力を小さくするような学習を行なわせれば良い。これらに限らず、出庫時の移載負荷の平準化を行う場合、騒音を最小にする場合、入庫時間を短くしたい場合など、それぞれに応じた学習を行わせることにより、目的の制御を行うことが可能である。どのような学習を行わせるかは、制御目的に応じて入力信号および／または教師信号・報酬を選択することで可能である。

このように機械学習は制御対象倉庫に応じた学習を行うことができる。機械学習のこの特性によって、制御対象倉庫の属性に依存せずに汎用的な制御を行うことが可能となる。機械学習として深層学習などのＡＮＮをはじめとし、以下に限らないが、強化学習やモンテカルロ木探索、ＲＲＴ（Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ）などを利用すること、あるいはこれらの組合せを用いてもよい。

上記のように機械学習手段を用いて倉庫を制御するためには、学習データが必要である。しかし新規設計、納入前の制御対象倉庫においてはＡＮＮに学習させるべきデータが十分に存在しない。そこで制御対象の倉庫に対するシミュレータを構築する。シミュレータは制御対象倉庫の動きをシミュレートするものであり、収納棚の数やレイアウト、移載手段の種類や台数と性能、収納物品の種類や数などの制御対象の倉庫属性とそれらの動作、どの棚が空いているか、どの移載手段が空いているか、その移載手段が現在どこにいるかなどの様々な倉庫状況をコンピュータ上で表現でき、様々な命令（例えば入庫命令、出庫命令を含む移載命令であるがこれらに限らない）を与えることで、実際の制御対象倉庫の動作を模倣するものである。このようなシミュレータを構築することは可能であり、これを使うことで学習データを大量につくることができる。さらに学習途中の機械学習手段の出力によってシミュレータに構築した対象倉庫を制御させ、例えば出庫時間をより短くするように報酬や教師信号を与えることで、機械学習手段を学習させることが可能となる。その一実施形態を図２に示す。なお図２以降では図１Ａの構造を有する倉庫を中心に説明するが、物品移載は移載元座標から移載先座標へ移動させることであり、この本質は倉庫一般に当てはまるので、主に図１Ａの構造によって説明しても本発明の一般性は失われないことが当業者には理解される。

図２において、倉庫シミュレータ２１は以下に限られないが、倉庫収納タイプ（棚置き、平置きなど）、棚数、棚段数、間口数、棚座標、段座標、間口座標などの収納場所属性、移載手段タイプ（電動移動台車、スタッカークレーン、コンベア、ＡＧＶ／ＡＲＲなど）と台数、走行速度、最大積載重量、現在座標などの移載手段属性などがコンピュータ上に表現される。これに対して初期状態２３として物品が何も収納されていない状況を設定してそこに物品の入庫からスタートする方法もあれば、ある程度の物品が収納されている状態を初期状態として設定してしてもよい。機械学習手段２２には移載命令２６が外部から入力され、一方、倉庫シミュレータ２１からは倉庫属性２４及び倉庫状況２５が入力され、制御出力２７が出される。最初は学習が行われていないので、目的に沿った制御信号を出すことができないが、制御目的に沿った報酬や教師信号２８を与えて学習が進むにつれ、適切な制御信号を出力するようになる。

図２では機械学習手段の制御出力が倉庫シミュレータに入力され、倉庫の制御に使われる例を示している。これにより、倉庫シミュレータと一体化して機械学習手段の学習を進めることができる。しかし別の方法として、あらかじめ構築した簡単な制御ソフトウエアによって入庫、移載、出庫などの最低限の制御を行わせ、並行して機械学習手段に学習を行わせても良い。この場合には、機械学習手段の学習が進んだ段階で、あらかじめ構築した制御ソフトウエアにとって代わって倉庫シミュレータを制御させる。

図３Ａ〜図３Ｄに本発明の一実施形態に係る機械学習手段の一例を示す。図３Ａに深層学習を含むＡＮＮ３０を用いた例を示す。入力層３１には倉庫属性２４（収納棚の数、レイアウト、収納棚の段数、間口数、移載手段の種類、性能及び台数など）、倉庫状況２５（占有間口数や空き間口数とそのアドレス及び利用可能な移載手段の台数とアドレスなど）、及び移載命令２６（どの物品を何個、どの出庫ゲートへ移載するかなど）が入力される。入力層３１、隠れ層３２、出力層３３の間の接続には様々な倉庫状況を学習した結果として制御目的に沿う結果を出力するような汎化されたパターンが形成されており、出力層３３に移載時間や移載電力など制御目的に応じた予測パラメータ値と移載パスなどの制御信号２７が出力される。例えば、これに限らないが、移載時間が短くなるように学習させる場合には、深層学習から出力された移載時間を記憶しておき、次の出力ではより移載時間が短くなるような学習を行わせ、その時の移載パスを倉庫の制御に用いる。なお、図３Ａでは入力層、隠れ層、出力層が１次元に配置されているが、これに限らず、２次元以上でも良い。

図３Ａでは倉庫属性と倉庫状況をパターン化してＡＮＮに入力したが、図３Ｂに示すのは移載パスの成功例３４をパターンとしてＡＮＮに入力して学習させる一実施形態を示す。この例はｓｔａｒｔ３５で示す間口に移載物品が存在し、それをｅｎｄ３６で示す間口に移載する例であり、移載パスとして時間が最短とされる成功パスである。様々な空き間口や空き移載手段等で表される倉庫状況、及び様々なｓｔａｒｔとｅｎｄに対する成功パスの例をパターン化し、その多数を図３Ａに示すＡＮＮに学習させる方法である。

図３Ｃに、本発明のまた別の実施形態に係る、強化学習を用いた例を示す。Ａ〜Ｅまでの５つの棚３７が存在する場合を示しており、各棚の格子３８は間口であり、その座標を（Ａ_ｘ１、Ａ_ｙ１）〜（Ａ_ｘｎ、Ａ_ｙｎ）、・・・（Ｅ_ｘ１、Ｅ_ｙ１）〜（Ｅ_ｘｎ、Ｅ_ｙｎ）で表す。いま、棚Ａの薄い灰色の間口（Ａ_ｘ２、Ａ_ｙ２）に収納されている物品を、棚Ｅの濃い灰色の間口（Ｅ_ｘ３、Ｅ_ｙ３）へと移載する場合を考える。図３Ｃには全ての間口から次の棚の空き間口へ移動するパスを細線で示しており、各パスには経路コスト（例えば移動に必要な時間）が設定あるいは定義されている。これにより、（Ａ_ｘ２、Ａ_ｙ２）から（Ｅ_ｘ３、Ｅ_ｙ３）へ至る様々なルートに至る時間が評価される。この時間の評価においては、移載手段の現在位置などを考慮した単位パス移動時間を採用してもよい。なお、実際には塞がっている間口も存在するので、その情報があらかじめ倉庫状況として棚Ａ〜Ｂの全ての間口に対して登録され、塞がっている間口を避ける学習が行われる。物品収納場所が離散化した値であるという特性から、強化学習のアルゴリズムはこれに限られないが、状態空間と行動空間が共に離散化されている場合に使われるＱ学習、ＤＱＮ（Ｄｅｅｐ Ｑ−Ｎｅｔｗｏｒｋｓ）、ＣＥＭ（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｍｅｔｈｏｄ）、ＳＡＲＳＡ（Ｓｔａｔｅ−ａｃｔｉｏｎ−ｒｅｗａｒｄ−ｓｔａｔｅ−ａｃｔｉｏｎ）、Ｄｅｅｐ ＳＡＲＳＡ、及びＲＲＴ（Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ）を含む手法を用いてもよい。こうして評価されたパスの中で時間最小のパスが選択される。

図３Ｄに、本発明のさらに別の実施形態に係る、ＲＲＴの例を示す。ＲＲＴでは次のステップの目標アドレスを暫定的に決める。例えば図３Ｃの棚Ａの灰色の間口（Ａ２２）に収納されているトレイを、棚Ｅの濃い灰色の間口（Ｅ３３）に移載することを考える。その間に棚Ｂ〜Ｄが存在しているが、まず棚Ｂの＊で示される間口（Ｂ３１）に移載することを試みる。これには様々なパスがあり得るが、それらからランダムに選択して仮想的に移載を試みる。もし仮想的な移載で途中に障害場所（間口が既にトレイで塞がっていて使えないなど）に遭遇したら、パス探索を中止して次のパス探索を開始する。同じ探索を棚Ｂの間口＊から棚Ｃの間口●に、さらに棚Ｃの間口●から棚Ｄの間口▲に、最後に棚Ｄの間口▲から棚Ｅの濃い灰色の間口へと探索を繰り返す。こうして棚Ａの灰色の間口から棚Ｅの濃い灰色の間口に至るパスが探索される。探索されたパスの中から最短時間のパスを選択することにより、目的の移載ルートを得ることが可能となる。なお、図３Ａ〜図３Ｄには深層学習、強化学習、ＲＲＴを単独に用いた実施例を示したが、これらを組み合わせて用いても良い。

図４に、本発明の一実施形態に係る個別倉庫に応じた機械学習手段の構成を設定するＧＵＩ画面４０の一例を示す。図３Ａのような深層学習タイプのＡＮＮ３０を用いる場合には、制御対象の倉庫属性に応じて入力ノード数、中間層の層数と各層のノード数、及び出力層のノード数を設定し、かつ制御目的に応じてＡＮＮへの入力と出力、及び教師信号を決定し、最適な結果を得ることができるように設定して調節する必要がある。これを行うためのＧＵＩを図４に示す。

ここでは深層学習を用いた場合の例を示す。まず深層学習ＡＮＮの入力ノード数、出力ノード数、隠れ層の数、各隠れ層のノード数を図４のノード数４１と層数４２の設定ボックスで設定する。

次にＡＮＮに入力する特徴量４３を設定する。このために、画面左に表示されている対象倉庫の全ての属性と状況の一欄４４、及び移載命令４５の内容から、各特徴量を形成するのに必要な属性・状況、あるいは移載命令を選択する。そのために「Ｓｅｌ／Ｍａｔｈ」ボタン４６によって倉庫属性、倉庫状況、あるいは移載命令の項目を少なくとも１つ選択する。もし複数の倉庫属性と移載命令から演算を行って特徴量を得る場合には、倉庫属性の選択後に必要な演算を設定してもよい。この演算は方程式で記述できる数学的演算に限らず、ａｎｄ／ｏｒで代表される何らかの論理演算でもよい。

一方、教師信号を設定するために「教師信号の設定」ボタン４７を用いる。このボタンを押すことにより教師信号の選択と各種設定を行う。さらに、出力ノードの意味付けと各種設定を行うために出力設定ボタン４８を用いる。例えば、出庫時間を短くする学習を行う場合には出力ノードの少なくとも１つを出庫時間ノードとして出力設定を行い、さらに教師信号が本出力設定ノードの値が小さくなるような学習動作を行うように設定する。なお、これらの設定は学習が終了すれば固定値で運用できるので、ＡＮＮの学習の初期段階で行えばよい。

図５は、本発明のさらに別の実施形態として、機械学習手段として強化学習を用いた場合のＧＵＩ画面５０の一例を示す。強化学習は出発点からゴールに至るパス探索を行うので、探索対象空間のトポロジーが前提として存在する。本実施形態におけるトポロジーは対象倉庫の構造であり、これらは倉庫属性５１として事前に与えられ、強化学習手段における倉庫表現５２としてコンピュータ上に保持される。一方、倉庫内の空き間口情報や移載手段の現在位置などが倉庫状況５３として入力される。これらに対して移載命令５４が出され、それを前提とした移載パスが探索され、出庫時間を短くする場合には、移動の結果、移載棚に到達できたパスの中から最も時間が短いものが選ばれると同時に、このときのパスも出力５５される。この場合、最も時間が短いパスを選ぶ手段として機械学習手段の出力を保持・演算する機能５６を有してもよい。なお、強化学習では学習の過程において、パス探索が成功した時点から過去に遡って報酬を与える学習法を採用してもよい。図５は強化学習の例であるが、これに限られず、モンテカルロ木探索、ＲＲＴなど、他の機械手段を用いる場合は、それに応じたＧＵＩとすることができる。

図６に本発明のさらに別の実施形態に係るシミュレータと機械学習手段のインターフェースを設定するＧＵＩ６０の一例を示す。ＧＵＩ画面には、まず倉庫シミュレータ部分６１に倉庫構成（本例では７つの棚があり、各棚は３段で構成されている）がグラフィカルに表示されている。一方、機械学習手段の概要６２も表示されており、これに対して倉庫シミュレータから出力される倉庫属性と倉庫状況が機械学習手段に入力されるインターフェース６３もグラフィカルに表示されている。機械学習手段には、上記の他に移載命令６４、報酬・教師信号６５も入力され、倉庫シミュレータ―に対する制御信号６６が出力され、それにより倉庫が制御される。この制御出力はＯＮ／ＯＦＦ可能としてもよく、ＯＮ／ＯＦＦボタン６７で設定可能である。

例えば、棚１の１段目に収納されている物品を棚７の３段目から出庫する出庫命令が出されて機械学習手段６２に入力されると、機械学習手段はそれに応じた制御信号を出力する。この制御信号の倉庫シミュレータへの入力がＯＮならば、その制御信号６６によって倉庫シミュレータが仮想的な動作を開始し、棚１の１段目に収納されている灰色で示される間口に収納されていた物品が棚２→棚３→棚４→棚５→棚６→棚７の灰色で示す間口を経由して出庫される様子がグラフィカルに表示される。図６に物品で占有されている間口と空いている間口を、表示色を変えるなどの方法によってグラフィカルに区別できる表示を行ってもよい。こうすることで、機械学習手段からの制御信号によってどのように物品が移載されるのかをリアルに示すことが可能となる。

この表示が重要であるのは以下の理由による。機械学習手段の構成（例えば、ＡＮＮであれば入力層のノード数、隠れ層の数と各隠れ層のノード数、出力ノード数）、および機械学習手段に入力する特徴量とその算出方法は大きくノウハウに依存する部分であることは既に述べた。従って、上記のようなリアルな物品の動きを見ることで、どのような特徴量を機械学習手段に入力させるべきかを、人間が直感的に把握することが可能である。これにより、より適切な特徴量を倉庫属性、倉庫状況から求めることが可能となる。

図６では倉庫構成として図１Ａの場合、機械学習手段として深層学習タイプのＡＮＮを採用した場合を示しているが、これらは対象倉庫の構成や採用する学習手段に応じて変更すべきことは言うまでもない。また、同一画面に特徴量の算出を行うボタンも表示されているが、任意である。例えば、機械学習手段をクリックすることで、図４や図５などに示されるフェーズに切り替わり、ここで特徴量の詳細設定を行ってもよい。一方、図６には機械学習手段からの出力設定を行うボタンが表示されていないが、図６の画面にこれを含めてもよい。

以上説明したように、本願の各実施形態によれば、倉庫の属性や状況に依存せずに、さまざまな自動化倉庫の入庫・移載・出庫の制御に汎用的に利用できる。したがって、本願の各実施形態は物流業、一般製造業、食品業、薬品業等をはじめ各産業において大いなる利用可能性を有している。

１：棚、２：入庫物品、３：待機コンベア、４：コンベア、５：移載された物品、６：出庫コンベア、７：出荷トレイ、８：ＧＴＰステーション、９：作業者、１０：ロボットアーム、１１：出荷トレイ、１２：コンベア、１３：ピッキング作業者、１４：棚、１５：出荷指示表示、１６：棚、１７：ＡＧＶ、１８：棚、１９：スタッカークレーン、２１：倉庫シミュレータ、２２：機械学習手段、２３：初期状態、２４：倉庫属性、２５：倉庫状況、２６：移載命令、２７：制御出力、２８：報酬・教師信号、３０：ＡＮＮ、３１：入力層、３２：隠れ層、３３：出力層、３４：移載パス成功例、３５：ｓｔａｒｔ、３６：ｅｎｄ、３７：棚、３８：間口、４０：機械学習手段の構成を設定するＧＵＩ画面、４１：ノード数設定ボックス、４２：層数設定、４３：特徴量設定ボタン、４４：倉庫属性・状況、４５：移載命令、４６：Ｓｅｌ／Ｍａｔｈボタン、４７：教師信号設定ボタン、４８：出力設定ボタン、５０：強化学習を用いた、５１：倉庫属性、５２：倉庫表現、５３：倉庫状況、５４：移載命令、５５：移載パス、５６：出力を保持・演算機能、６０：シミュレータと機械学習手段のインターフェース設定ＧＵＩ、６１：倉庫シミュレータ部分、６２：機械学習手段の概要、６３：インターフェース、６４：移載命令、６５：報酬・教師信号、６６：制御信号、６７：ＯＮ／ＯＦＦボタン

Claims (24)

1. 入力層、隠れ層、出力層を備える人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を用いた倉庫の制御方法であって、
   収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性と、現在の占有間口数、空き間口数とそのアドレス、及び利用可能移載手段の台数と各移載手段の現在アドレス、のうち少なくともいずれか一つを含む倉庫状況と、どの物品を何個どこの移載先へ移載するか、を含む移載命令と、を含むデータをパターン化された入力として前記入力層に与え、移載時間を短くする制御目的、電力使用量を小さくする制御目的、出庫時間を短縮化する制御目的、出庫時の移載負荷の平準化を行う制御目的、騒音を最小にする制御目的、入庫時間を短くする制御目的、のうちの少なくとも一つを含み得る物流倉庫としての制御目的に沿った教師信号及び報酬信号を前記機械学習の教師データ及び報酬データとして用いた学習を行わせることにより、移載時間情報、移載ルート情報、移載電力情報、移載パス情報のうちの少なくとも一つを含み得る、前記物流倉庫としての制御目的に応じた制御情報を出力させ、前記出力された制御情報を用いることにより、倉庫の制御を行うことを特徴とする倉庫の制御方法。
2. 前記機械学習は、深層学習法を含むＡＮＮ、強化学習、モンテカルロ木探索、Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ（ＲＲＴ）、のうち少なくともいずれか一つの手段による請求項１に記載の方法。
3. 前記機械学習をなす手段として人工ニューラルネットワークを用いる場合は入力ノード数、隠れ層の数、各隠れ層のノード数、及び出力ノード数、層間の接続トポロジーのうち少なくともいずれか一つを含む前記人工ニューラルネットワークの属性を、あるいは強化学習、モンテカルロ木探索、ＲＲＴを含む方法を用いる場合は、棚、段、間口のレイアウト、移載手段の数のうち少なくともいずれか一つを含む倉庫属性を設定して学習前に機械学習手段の構造をＧＵＩ画面により設定し、それに対して学習を行って、学習済の前記機械学習手段によって制御を行うことを特徴とする請求項１に記載の方法。
4. 前記倉庫の制御に係る制御対象倉庫の動作をシミュレートするシミュレータを用い、シミュレータからの出力を機械学習手段の学習データおよび／または教師データあるいは報酬として用いることを特徴とする請求項１に記載の方法。
5. 前記機械学習に係る学習時に機械学習手段からの出力でシミュレータを制御し、その結果得られるシミュレータの出力を前記人工ニューラルネットワークに入力することで学習を行うことを特徴とする請求項１に記載の方法。
6. 倉庫属性、倉庫状況、移載指令を記述するパラメータの全てあるいは一部をそのままおよび／または加工して機械学習手段へ入力することを特徴とする請求項１に記載の方法。
7. 所望の制御が行われるように学習した機械学習手段に現在の倉庫の属性と状況および移載指令を入力し、得られた人工ニューラルネットワークの出力によって倉庫を制御すること特徴とする請求項１に記載の方法。
8. 学習済モデルに入力する倉庫の状況データとして、倉庫の棚の物品占有情報や空き情報、収納物品情報、移載手段の現在位置のうちの少なくとも１つを、移載指令として移載元と移載先の空間情報と移載物品情報のうちの少なくとも１つを、ぞれぞれ含むことを特徴とする請求項１に記載の方法。
9. 前記入力されたものから、倉庫が目的に合致した動作をするように、移載順序と時間、移載経由アドレスのうちの少なくとも１つを含む制御パラメータを出力することを特徴とする請求項８に記載の方法。
10. 人工ニューラルネットワーク、強化学習、モンテカルロ木探索、ＲＲＴを含む機械学習手段の構造を設定するためのＧＵＩ（Ｇｕｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のうちの少なくとも１つをさらに備えた請求項３に記載の方法。
11. 機械学習手段からの出力を倉庫シミュレータの制御に使うか使わないかを切り替えるためのＧＵＩをさらに備えることを特徴とする請求項５に記載の方法。
12. 入力層、隠れ層、出力層を備える人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を用いた倉庫の制御装置であって、
    収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性と、現在の占有間口数、空き間口数とそのアドレス、及び利用可能移載手段の台数と各移載手段の現在アドレス、のうち少なくともいずれか一つを含む倉庫状況とがパターン化されて入力される第１の入力部と、
    どの物品を何個どこの移載先へ移載するか、を含む移載命令が入力される第２の入力部と、
    前記第１及び第２の入力部から得られるデータを入力として前記入力層に与え、移載時間を短くする制御目的、電力使用量を小さくする制御目的、出庫時間を短縮化する制御目的、出庫時の移載負荷の平準化を行う制御目的、騒音を最小にする制御目的、入庫時間を短くする制御目的、のうちの少なくとも一つを含み得る物流倉庫としての制御目的に沿った教師信号及び報酬信号を前記機械学習の教師データ及び報酬データとして用いた学習を行わせることにより、移載時間情報、移載ルート情報、移載電力情報、移載パス情報のうちの少なくとも一つを含み得る、前記物流倉庫としての制御目的に応じた制御情報を出力させる学習部と、
    前記出力された制御情報を用いることにより倉庫の制御を行う制御部と
    を備えた倉庫の制御装置。
13. 前記機械学習は、深層学習法を含むＡＮＮ、強化学習、モンテカルロ木探索、Ｒａｐｉｄｌｙ ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ（ＲＲＴ）、のうち少なくともいずれか一つの手段による請求項１２に記載の制御装置。
14. 前記機械学習をなす手段として人工ニューラルネットワークを用いる場合は入力ノード数、隠れ層の数、各隠れ層のノード数、及び出力ノード数、層間の接続トポロジーのうち少なくともいずれか一つを含む前記人工ニューラルネットワークの属性を、あるいは強化学習、モンテカルロ木探索、ＲＲＴを含む方法を用いる場合は、棚、段、間口のレイアウト、移載手段の数のうち少なくともいずれか一つを含む倉庫属性を設定して学習前に機械学習手段の構造をＧＵＩ画面により設定し、それに対して学習を行って、学習済の前記機械学習手段によって制御を行うことを特徴とする請求項１２に記載の制御装置。
15. 前記倉庫の制御に係る制御対象倉庫の動作をシミュレートするシミュレータを用い、シミュレータからの出力を機械学習手段の学習データおよび／または教師データあるいは報酬として用いることを特徴とする請求項１２に記載の制御装置。
16. 前記機械学習に係る学習時に機械学習手段からの出力でシミュレータを制御し、その結果得られるシミュレータの出力を前記人工ニューラルネットワークに入力することで学習を行うことを特徴とする請求項１２に記載の制御装置。
17. 倉庫属性、倉庫状況、移載指令を記述するパラメータの全てあるいは一部をそのままおよび／または加工して機械学習手段へ入力することを特徴とする請求項１２に記載の制御装置。
18. 所望の制御が行われるように学習した機械学習手段に現在の倉庫の属性と状況および移載指令を入力し、得られた人工ニューラルネットワークの出力によって倉庫を制御すること特徴とする請求項１２に記載の制御装置。
19. 学習済モデルに入力する倉庫の状況データとして、倉庫の棚の物品占有情報や空き情報、収納物品情報、移載手段の現在位置のうちの少なくとも１つを、移載指令として移載元と移載先の空間情報と移載物品情報のうちの少なくとも１つを、ぞれぞれ含むことを特徴とする請求項１２に記載の制御装置。
20. 前記入力されたものから、倉庫が目的に合致した動作をするように、移載順序と時間、移載経由アドレスのうちの少なくとも１つを含む制御パラメータを出力することを特徴とする請求項１９に記載の制御装置。
21. 人工ニューラルネットワーク、強化学習、モンテカルロ木探索、ＲＲＴを含む機械学習手段の構造を設定するためのＧＵＩ（Ｇｕｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のうちの少なくとも１つをさらに備えた請求項１４に記載の制御装置。
22. 機械学習手段からの出力を倉庫シミュレータの制御に使うか使わないかを切り替えるためのＧＵＩをさらに備えることを特徴とする請求項１６に記載の制御装置。
23. 入力層、隠れ層、出力層を備える人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を用いた倉庫の制御システムであって、
    収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性と、現在の占有間口数、空き間口数とそのアドレス、及び利用可能移載手段の台数と各移載手段の現在アドレス、のうち少なくともいずれか一つを含む倉庫状況とがパターン化されて入力される第１の入力手段と、
    どの物品を何個どこの移載先へ移載するか、を含む移載命令が入力される第２の入力手段と、
    前記第１及び第２の入力部から得られるデータを入力として前記入力層に与え、移載時間を短くする制御目的、電力使用量を小さくする制御目的、出庫時間を短縮化する制御目的、出庫時の移載負荷の平準化を行う制御目的、騒音を最小にする制御目的、入庫時間を短くする制御目的、のうちの少なくとも一つを含み得る物流倉庫としての制御目的に沿った教師信号及び報酬信号を前記機械学習の教師データ及び報酬データとして用いた学習を行わせることにより、移載時間情報、移載ルート情報、移載電力情報、移載パス情報のうちの少なくとも一つを含み得る、前記物流倉庫としての制御目的に応じた制御情報を出力させる学習手段と、
    前記出力された制御情報を用いることにより倉庫の制御を行う制御手段と
    を備えた倉庫の制御システム。
24. コンピュータを、
    入力層、隠れ層、出力層を備える人工ニューラルネットワーク（ＡＮＮ、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む機械学習を用いた倉庫の制御に用いるために、
    収納棚の数とそのレイアウト、収納棚あたりの段数、各段での物品収納単位である間口の数、物品を移動する移載手段の種類と性能、およびそれらの台数とレイアウト、のうち少なくともいずれか一つを含む倉庫属性と、現在の占有間口数、空き間口数とそのアドレス、及び利用可能移載手段の台数と各移載手段の現在アドレス、のうち少なくともいずれか一つを含む倉庫状況とがパターン化されて入力される第１の入力手段と、
    どの物品を何個どこの移載先へ移載するか、を含む移載命令が入力される第２の入力手段と、
    前記第１及び第２の入力部から得られるデータを入力として前記入力層に与え、移載時間を短くする制御目的、電力使用量を小さくする制御目的、出庫時間を短縮化する制御目的、出庫時の移載負荷の平準化を行う制御目的、騒音を最小にする制御目的、入庫時間を短くする制御目的、のうちの少なくとも一つを含み得る物流倉庫としての制御目的に沿った教師信号及び報酬信号を前記機械学習の教師データ及び報酬データとして用いた学習を行わせることにより、移載時間情報、移載ルート情報、移載電力情報、移載パス情報のうちの少なくとも一つを含み得る、前記物流倉庫としての制御目的に応じた制御情報を出力させる学習手段と、
    前記出力された制御情報を用いることにより倉庫の制御を行う制御手段と
    として機能させることを特徴とする倉庫の制御プログラム。
    

Images