[go: up one dir, main page]

JP7247161B2 - 情報処理システム及び情報処理システムにおけるデータ配置方法 - Google Patents

情報処理システム及び情報処理システムにおけるデータ配置方法 Download PDF

Info

Publication number
JP7247161B2
JP7247161B2 JP2020214706A JP2020214706A JP7247161B2 JP 7247161 B2 JP7247161 B2 JP 7247161B2 JP 2020214706 A JP2020214706 A JP 2020214706A JP 2020214706 A JP2020214706 A JP 2020214706A JP 7247161 B2 JP7247161 B2 JP 7247161B2
Authority
JP
Japan
Prior art keywords
information processing
data
microservice
processing system
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020214706A
Other languages
English (en)
Other versions
JP2022100620A (ja
Inventor
鎮平 野村
光雄 早坂
和正 松原
英一 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020214706A priority Critical patent/JP7247161B2/ja
Priority to CN202111011293.XA priority patent/CN114676079B/zh
Priority to US17/474,720 priority patent/US11412034B2/en
Priority to US17/857,759 priority patent/US11706287B2/en
Publication of JP2022100620A publication Critical patent/JP2022100620A/ja
Priority to JP2023040950A priority patent/JP7448703B2/ja
Application granted granted Critical
Publication of JP7247161B2 publication Critical patent/JP7247161B2/ja
Priority to US18/331,336 priority patent/US12015664B2/en
Priority to JP2024029804A priority patent/JP7766126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668Details of memory controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/161Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0894Policy-based network configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865Monitoring of software
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、情報処理システム及び情報処理システムにおけるデータ配置方法に関する。
マルチクラウドの環境では、オンプレミスのクラウドやパブリッククラウド、さらには必要に応じてエッジクラウドが連携しながら、これら分散した拠点に設置されたクラウドに格納されているデータの分析を行う。分析処理は、アプリケーションを細かく分解された処理をマイクロサービス化し、それらを組み合わせたワークフローを作成することで実施し、開発容易性を実現する。この時、各マイクロサービス(処理)は、Web APIを介して各分散拠点のクラウドで実行されており、マイクロサービス単位でWANを介した通信が発生する。このため、その実行に時間がかかる問題がある。
データ分析処理は、試行錯誤サイクルを頻繁に回しながら精度を高めていくため、マイクロサービス単位の通信が多くなれば、その分試行錯誤サイクルの実行速度が遅くなってしまう。
特許文献1には、パーソナルコンピュータ、セル電話、スマートフォン、携帯情報端末等の複数のエッジデバイスが、夫々ネットワークを介してクラウドと通信可能に接続されるシステムにおいて、クラウドとエッジデバイス間でリアルタイムに処理を行うアプリケーションが、エッジデバイスやクラウドから収集されるリアルタイムフィードに基づき通知や推奨等のサービスを提供することが記載されている。
特表2015-505404号公報
特許文献1に開示された技術において、分散した拠点にデータが散在する場合は、拠点間のWANによる通信が多発し、サイクルの実行速度が遅くなる。
本発明は、上記事情に鑑みなされたものであり、その目的は、分散した拠点に設置された情報処理装置間の通信回数を削減し、アプリケーションの実行速度を向上させることが可能な情報処理システム及び情報処理システムにおけるデータ配置方法を提供することにある。
上記課題を解決すべく、本発明の一つの観点に従う情報処理システムは、複数の拠点のそれぞれに設けられて通信ネットワークを介して互いに接続された複数の情報処理装置と通信可能な管理装置を有する情報処理システムであって、情報処理装置は、アプリケーションの機能を分割してなるマイクロサービスを実行する第1のプロセッサと、マイクロサービスが使用するデータが格納された記憶装置と、を有し、管理装置は、第2のプロセッサと、各情報処理装置が有するマイクロサービス及びデータの情報と、各情報処理装置の性能を記載した性能情報と、を有し、第2のプロセッサは、所定のデータを用いて、所定の複数のマイクロサービスを所定の順序で情報処理装置に実行させることによりアプリケーションを実行し、アプリケーションを実行するに際して、各情報処理装置が有するマイクロサービス及びデータの情報と、性能情報とに基づいて、マイクロサービス及びデータを情報処理装置間で移動させることを特徴とする。
本発明によれば、分散した拠点に設置された情報処理装置間の通信回数を削減し、アプリケーションの実行速度を向上させることができる。
実施形態に係る情報処理システムの概略構成を示す図である。 実施形態に係る情報処理システムのEdge1に格納されている広域分散メタデータ管理表の構成の一例を示す図である。 実施形態に係る情報処理システムのOn-Prem1に格納されている広域分散メタデータ管理表の構成の一例を示す図である。 実施形態に係る情報処理システムのPubCloud1に格納されている広域分散メタデータ管理表の構成の一例を示す図である。 実施形態に係る情報処理システムのApplication Platformが作成する広域分散メタデータ管理表の構成の一例を示す図である。 実施形態に係る情報処理システムのユーザ定義処理フローの構成の一例を示す図である。 実施形態に係る情報処理システムのアプリID-アプリ名変換表の構成の一例を示す図である。 実施形態に係る情報処理システムのデータID-データ名変換表の構成の一例を示す図である。 実施形態に係る情報処理システムのアプリ/データ管理表の構成の一例を示す図である。 実施形態に係る情報処理システムのアプリ稼働実績履歴表の構成の一例を示す図である。 実施形態に係る情報処理システムのリソース/性能管理表の構成の一例を示す図である。 実施形態に係る情報処理システムの帯域表の構成の一例を示す図である。 実施形態に係る情報処理システムのレイテンシ表の構成の一例を示す図である。 実施形態に係る情報処理システムのポリシー管理表の構成の一例を示す図である。 実施形態に係る情報処理システムの動作の一例を示すフローチャートである。 実施形態に係る情報処理システムの処理場所探索処理の一例を示すフローチャートである。 実施形態に係る情報処理システムの実行処理の一例を示すフローチャートである。 実施形態に係る情報処理システムの処理制御処理の一例を示すフローチャートである。 実施形態に係る情報処理システムのデータ・アプリ移動処理の一例を示すフローチャートである。 実施形態に係る情報処理システムのデータ・アプリ移動処理の概要を説明するための図である。 実施例1に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施例1に係る情報処理システムの処理場所組み合わせ表の構成の他の例を示す図である。 実施例2に係る情報処理システムのアプリデータ管理表の構成の一例を示す図である。 実施例2に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施例3に係る情報処理システムのアプリデータ管理表の構成の一例を示す図である。 実施例3に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施例4に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施例4に係る情報処理システムのアプリ実行時間算出処理の一例を示すフローチャートである。 実施例4に係る情報処理システムの想定QoS費用算出処理の一例を示すフローチャートである。 実施例5に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施例6に係る情報処理システムの処理場所組み合わせ表の構成の一例を示す図である。 実施形態に係る情報処理システムにおけるポリシーとこのポリシーに基づく処理場所組み合わせ表の生成方法の一例を示すフローチャートである。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
なお、以下の説明において、「メモリ」は、1以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも1つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。
また、以下の説明において、「プロセッサ」は、1以上のプロセッサである。少なくとも1つのプロセッサは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサであるが、GPU(Graphics Processing Unit)のような他種のプロセッサでもよい。少なくとも1つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
また、少なくとも1つのプロセッサは、処理の一部又は全部を行うハードウェア回路(例えばFPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサでもよい。
本開示において、ストレージデバイスは、1台のHDD(Hard Disk Drive)やSSD(Solid State Drive)等の1台のストレージドライブ、複数台のストレージドライブを含むRAID装置、及び複数のRAID装置を含む。また、ドライブがHDDである場合には、例えば、SAS(Serial Attached SCSI) HDDを含んでもよく、NL-SAS(ニアラインSAS) HDDを含んでもよい。
また、以下の説明において、「xxxテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「xxxテーブル」を「xxx情報」と言うことができる。
また、以下の説明において、各テーブルの構成は一例であり、1つのテーブルは、2以上のテーブルに分割されてもよいし、2以上のテーブルの全部又は一部が1つのテーブルであってもよい。
また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶資源(例えば、メモリ)及び/又は通信インターフェースデバイス(例えば、ポート)を用いながら行うため、処理の主語がプログラムとされてもよい。プログラムを主語として説明された処理は、プロセッサまたはそのプロセッサを有する計算機が行う処理としてもよい。
プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な(例えば非一時的な)記録媒体にあってもよい。また、以下の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号(又は、参照符号のうちの共通符号)を使用し、同種の要素を区別して説明する場合は、要素の識別番号(又は参照符号)を使用することがある。
以下、本明細書に用いる用語の定義をする。
・データ・アプリ(アプリケーションの略:以下適宜用いる)移動時間:データやアプリを指定の拠点に移動させたときの時間(以下、「移動時間」とも称する)
・アプリ実行時間:拠点でアプリを実行したときの実行時間
・処理時間:各処理について、データ・アプリ移動時間とアプリ実行時間とを合わせた時間
次に、図1~図20を参照して、実施例1~実施例6に共通する実施形態の情報処理システムの構成及び動作について説明する。
図1は、実施形態に係る情報処理システムの概略構成を示す図である。
本実施形態の情報処理システム1は、Host10、Edge1 20、On-Prem1 30、PubCloud1 40及びApplication Platform50を有する。これらHost10、Edge1 20、On-Prem1 30、PubCloud1 40及びApplication Platform50は、WAN(Wide Area Network)などから構成されるネットワーク100により、互いに通信可能に接続されている。
Host10は本実施形態の情報処理システム1のユーザがアクセスするものであり、一例としてPC(Personal Computer)、サーバ等の情報処理装置からなる。情報処理装置は一般的にプロセッサ(演算素子)、メモリ(記憶媒体)及び通信インターフェースを有し、さらに、必要に応じてマウス、キーボード等の入力装置、ディスプレイ等の表示装置を有する。
なお、以降の説明において、"○○部は"と動作主体を記した場合、それは、プロセッサがメモリからプログラムである○○部の処理内容を読み出したうえで○○部の機能(詳細後記)を実現することを意味する。
Host10のメモリ11にはフロー開発・設定処理部12が格納されている。フロー開発・設定処理部12は、Host10のユーザがアプリケーションを実行する際に、ユーザからの指示に基づき、このアプリケーションの機能を分割してなるマイクロサービス及びこのマイクロサービスが使用するデータの実行順を規定するワークフローを作成し、このワークフローに基づいてアプリケーションを実行させる。この際、フロー開発・設定処理部12は、Application Platform50が提示する処理場所案のいずれかを、ユーザからの指示入力に基づいて選択する。
Edge1 20はHost10が設置されている拠点の近くに設置されているエッジクラウドである。On-Prem1 30は、Host10を操作するユーザが所属する会社の敷地内等の拠点に設置されているオンプレミスのクラウドである。PubCloud1 40は、いわゆるパブリッククラウドである。図1においてこれらEdge1 20、On-Prem1 30及びPubCloud1 40はいずれも1つのみ図示しているが、複数のエッジクラウド等が設けられていてもよい。
これらEdge1 20、On-Prem1 30及びPubCloud1 40はいずれも少なくとも1つのサーバを有する。Edge1 20、On-Prem1 30及びPubCloud1 40のメモリ21、31、41には、それぞれ処理制御処理部22、32、42、実行基盤処理23、33、43、広域分散メタデータ管理処理部24、34、44及びグローバルデータ仮想化処理部26、36、46が格納されている。
処理制御処理部22、32、42は、それぞれのEdge1 20等に配置され、デプロイ(実行)されるマイクロサービスの処理を監視する。実行基盤処理23、33、43は、マイクロサービスを構成するコンテナを管理するプラットフォームを提供する。広域分散メタデータ管理処理部24、34、44は、Edge1 20等に配置され、マイクロサービスにより実行されるデータを管理する。グローバルデータ仮想化処理部26、36、46は、これらEdge1 20、On-Prem1 30及びPubCloud1 40においてデータ仮想化処理を実行し、データ取得の要求があった際にこのデータが要求を受け付けたEdge1 20、On-Prem1 30及びPubCloud1 40に格納されていないとき、他のEdge1 20、On-Prem1 30及びPubCloud1 40からデータを移動させる。
また、Edge1 20、On-Prem1 30及びPubCloud1 40のメモリ21、31、41には、広域分散メタデータ管理表25、35、45が格納されている。広域分散メタデータ管理表25、35、45の詳細については後述する。
さらに、Edge1 20、On-Prem1 30及びPubCloud1 40は、データが格納されるストレージ装置であるデータレイク27、37、47を有する。
Application Platform50は、Edge1 20、On-Prem1 30及びPubCloud1 40において実行されるマイクロサービス、ひいてはアプリケーションの管理を行うプラットフォームサーバである。Application Platform50はEdge1 20、On-Prem1 30及びPubCloud1 40のいずれの拠点に設けられてもよい。
Application Platform50のメモリ51には、フロー開発基盤処理部52及び分散拠点間処理配置最適化処理部53が格納されている。フロー開発基盤処理部52は、Host10においてユーザがワークフローを作成する環境を管理する。分散拠点間処理配置最適化処理部53は、ユーザが作成したワークフローに基づいて、Edge1 20、On-Prem1 30及びPubCloud1 40に分散配置されているマイクロサービス及びデータの最適配置を行うために、これらEdge1 20、On-Prem1 30及びPubCloud1 40間で適宜マイクロサービス及びデータの移動を行う。この際、分散拠点間処理配置最適化処理部53は、複数設けられた所定のポリシーに従って、マイクロサービス及びデータの最適配置を行う。分散拠点間処理配置最適化処理部53の動作の詳細については後述する。
また、Application Platform50のメモリ51には、アプリID-アプリ名変換表54、データID-データ名変換表55、アプリデータ管理表56、アプリ稼働実績履歴表57、リソース/性能管理表58、帯域表59、レイテンシ表(図1において図略)及びポリシー管理表60が格納されている。これら各種表の詳細については後述する。
図2は、実施形態に係る情報処理システムのEdge1 20に格納されている広域分散メタデータ管理表25の構成の一例を示す図である。
広域分散メタデータ管理表25は、Edge1 20のデータレイク27に格納されているマイクロサービス及びデータの一覧である。広域分散メタデータ管理表25は、エントリとして、データ名25a、データ保持場所25b、データサイズ25c、データ概要25d、スナップショット日25e、レプリカ情報25f、国内移動可否25g及び国外移動可否25hを有する。
データ名25aには、Edge1 20のデータレイク27に格納されているマイクロサービス及びデータの名前が格納されている。データ保持場所25bには、データ名25aに記載されたマイクロサービス等が格納されている場所のリンクが格納されている。データサイズ25cには、データ名25aに記載されたマイクロサービス等のサイズが格納されている。データ概要25dには、データ名25aに記載されたマイクロサービス等の概要が格納されている。スナップショット日25eは、データ名25aに記載されたマイクロサービス等(この場合データに限定される)がスナップショットであるとき、このスナップショットが作成された日が格納されている。レプリカ情報25fには、データ名25aに記載されたマイクロサービス等が他拠点のマイクロサービス等のレプリカであるとき、元のマイクロサービス等が格納されている拠点が格納されている。国内移動可否25gには、データ名25aに記載されたマイクロサービス等を国内において他拠点に移動することができるか否かの情報が格納されている。国外移動可否25hには、データ名25aに記載されたマイクロサービス等が国外にある他拠点に移動することができるか否かの情報が格納されている。国内移動可否25g及び国外移動可否25hに記載された情報は、マイクロサービス等毎に予め定められている。
図2に示すように、本実施形態の情報処理システム1では、Edge1 20(On-Prem130及びPubCloud1 40でも同様)は適切なタイミングでデータレイク27に格納されているデータのスナップショットを作成してデータレイク27に格納している。また、Edge1 20は、他拠点のデータレイク37、47に格納されているマイクロサービス等のレプリカをデータレイク27に格納している。また、本実施形態の情報処理システム1では、マイクロサービスはコンテナとソースコードとを有する。以下、マイクロサービスを「処理」と称することがある。
図3は、実施形態に係る情報処理システム1のOn-Prem1 30に格納されている広域分散メタデータ管理表35の構成の一例を示す図であり、図4は、実施形態に係る情報処理システム1のPubCloud1 40に格納されている広域分散メタデータ管理表45の構成の一例を示す図である。
これら広域分散メタデータ管理表35、45は、いずれもEdge1 20に格納されている広域分散メタデータ管理表25と同様の構成を有する。すなわち、広域分散メタデータ管理表35、45は、エントリとして、データ名35a、45a、データ保持場所35b、45b、データサイズ35c、45c、データ概要35d、45d、スナップショット日35e、45e、レプリカ情報35f、45f、国内移動可否35g、45g及び国外移動可否35h、45hを有する。
図5は、実施形態に係る情報処理システム1のApplication Platform50が作成する広域分散メタデータ管理表61の構成の一例を示す図である。広域分散メタデータ管理表61は、Application Platform50が必要に応じて各拠点(Edge1 20など)に広域分散メタデータ管理表25の内容を問い合わせ、この問い合わせ結果に基づいて一時的に作成する。
広域分散メタデータ管理表61は、拠点名61aが追加された以外は広域分散メタデータ管理表25、35、45と同様の構成を有する。すなわち、広域分散メタデータ管理表61は、エントリとして、拠点名61a、データ名61b、データ保持場所61c、データサイズ61d、データ概要61e、スナップショット日61f、レプリカ情61g、国内移動可否61h及び国外移動可否61iを有する。エントリの内容は、各拠点の広域分散メタデータ管理表25、35、45を集約したものである。また、拠点名61aには、データ名61bに記載されたマイクロサービス等が格納されている拠点の名称が格納されている。
図6は、実施形態に係る情報処理システム1のユーザ定義処理フロー70の構成の一例を示す図である。
図6に示すユーザ定義処理フロー70は、Host10のフロー開発・設定処理部12が作成するワークフローの具体的な内容を規定するものであり、ワークフロー単位で作成される。ユーザ定義処理フロー70は、エントリとして、アプリID70a、入力データ転送元アプリID70b、出力データ転送先アプリID70c及び使用データID70dを有する。
ユーザ定義処理フロー70の各行はワークフローにより実行されるステップを表し、上の行で示すステップから順に実行される。アプリID70aには、このステップにおいて実行されるマイクロサービスを特定するためのIDが格納されている。入力データ転送元アプリID70bには、このステップにおいて実行されるマイクロサービスが必要とする入力データをこのマイクロサービスに転送する転送元のアプリIDが格納されている。出力データ転送先アプリID70cには、このステップにおいて実行されるマイクロサービスが出力する出力データを転送すべき転送先のアプリIDが格納されている。使用データID70dには、このステップにおいて実行されるマイクロサービスが使用するデータのIDが格納されている。
図7は、実施形態に係る情報処理システム1のアプリID-アプリ名変換表54の構成の一例を示す図である。
アプリID-アプリ名変換表54は、エントリとして、アプリID54a及びアプリ名54bを有する。アプリID-アプリ名変換表54の各行はマイクロサービスのそれぞれに対応している。アプリID54aにはマイクロサービスのIDが格納されている。このアプリID54aはユーザ定義処理フロー70のアプリID70aに対応している。アプリ名54bはマイクロサービスの名前が格納されている。このアプリ名54bは、広域分散メタデータ管理表25、35、45、61のデータ名25a、35a、45a、61bに記載されているマイクロサービスの名前に対応している。
図8は、実施形態に係る情報処理システム1のデータID-データ名変換表55の構成の一例を示す図である。
データID-データ名変換表55は、エントリとして、データID55a及びデータ名55bを有する。データID-データ名変換表55の各行はデータのそれぞれに対応している。データID55aにはデータのIDが格納されている。このデータID55aはユーザ定義処理フロー70の使用データID70dに対応している。データ名55bはデータの名前が格納されている。このデータ名55bは、広域分散メタデータ管理表25、35、45、61のデータ名25a、35a、45a、61bに記載されているデータの名前に対応している。
図9は、実施形態に係る情報処理システム1のアプリデータ管理表56の構成の一例を示す図である。
アプリデータ管理表56は、Host10のユーザが作成したワークフローで使用されるマイクロサービス及びデータを示すテーブルであり、ワークフロー単位で作成される。アプリデータ管理表56は、ユーザ定義処理フロー70と広域分散メタデータ管理表61とに基づいて、Application Platform50が作成する。
アプリデータ管理表56は、エントリとして、フロー1 56a、URL56b、国内移動可否56c、国外移動可否56dを有する。
フロー1 56aには、ワークフロー(図9に示す例ではフロー1という名称のワークフロー)で使用されるマイクロサービス等の名称が格納されている。URL56bには、フロー1 56aに記載されたマイクロサービス等が格納されている拠点へのリンクがURLとして格納されている。国内移動可否56cは、フロー1 56aに記載されたマイクロサービス等を国内において他拠点に移動することができるか否かの情報が格納されている。国外移動可否56dには、フロー1 56aに記載されたマイクロサービス等が国外にある他拠点に移動することができるか否かの情報が格納されている。
図10は、実施形態に係る情報処理システム1のアプリ稼働実績履歴表57の構成の一例を示す図である。
アプリ稼働実績履歴表57は、マイクロサービスが各拠点において稼働された際の実績値が格納されたテーブルである。アプリ稼働実績履歴表57の各行では、マイクロサービス、データ、実行拠点及びQoS設定の組み合わせが異なっている。
アプリ稼働実績履歴表57は、エントリとして、アプリ名57a、データ名57b、実行拠点57c、QoS設定57d、実行平均時間57e、平均QoS費用57f、実行回数57g、最終実行日時57h、平均Read量57i、平均Write量57j、アクセスパターン傾向57kを有する。
アプリ名57aにはマイクロサービスの名称が格納されている。データ名57bには、アプリ名57aに記載されているマイクロサービスが使用するデータの名称が格納されている。実行拠点57cには、アプリ名57aに記載されているマイクロサービスが実行される拠点が記載されている。QoS設定57dには、アプリ名57aに記載されているマイクロサービスに設定されているQoSのレベルが記載されている。本実施形態では、QoSのレベルは高い順にGold、Silver、Bronze及びBest-Effortが設定されている。実行平均時間57eには、アプリ名57aに記載されているマイクロサービスが実行される平均時間が記載されている。平均QoS費用57fには、アプリ名57aに記載されているマイクロサービスを実行する際に必要とされるQoS費用の平均値が記載されている。実行回数57gには、アプリ名57aに記載されているマイクロサービスが実行された回数が記載されている。最終実行日時57hには、アプリ名57aに記載されているマイクロサービスが最後に実行された日時が記載されている。平均Read量57iには、アプリ名57aに記載されているマイクロサービスが読み込んだデータの平均量が記載されている。平均Write量57jには、アプリ名57aに記載されているマイクロサービスが書き込んだデータの平均量が記載されている。アクセスパターン傾向57kには、アプリ名57aに記載されているマイクロサービスのアクセスパターンの傾向が記載されている。本実施形態では、アクセスパターンの傾向はRandomまたはSequentialのいずれかである。
図11は、実施形態に係る情報処理システム1のリソース/性能管理表58の構成の一例を示す図である。リソース/性能管理表58は、各拠点におけるリソース/性能が記載されたテーブルである。
リソース/性能管理表58は、エントリとして、拠点名58a、CPU58b、Core数58c、メモリ58d、CPU利用率58e、メモリ使用率58f、消費電力58g、SLA58h、場所58i、リソース費用58j、API課金58k、データ転送費(in)58m、データ転送費(out)58nを有する。
拠点名58aには拠点の名前が格納されている。CPU58bには、拠点名58aに記載されている拠点のサーバ/クラウドが有するCPUのクロック周波数が格納されている。Core数58cには、拠点名58aに記載されている拠点のサーバ/クラウドが有するCPUのコア数が格納されている。メモリ58dには、拠点名58aに記載されている拠点のサーバ/クラウドが有するメモリの容量が格納されている。CPU利用率58eには、拠点名58aに記載されている拠点のサーバ/クラウドが有するCPUの利用率が記載されている。メモリ使用率58fには、拠点名58aに記載されている拠点のサーバ/クラウドが有するメモリの使用率が格納されている。消費電力58gには、拠点名58aに記載されている拠点のサーバ/クラウドの消費電力が格納されている。SLA58hには、拠点名58aに記載されている拠点のサーバ/クラウドのSLA(Service Level Agreement)の値が格納されている。場所58iには、拠点名58aに記載されている拠点のサーバ/クラウドの設置場所(設置国)が格納されている。リソース費用58jには、拠点名58aに記載されている拠点のサーバ/クラウドのQoSのレベル毎のリソース費用が格納されている。API課金58kには、拠点名58aに記載されている拠点のサーバ/クラウドにおいてAPI(特にWebAPI)を実行する際の課金が格納されている。データ転送費(in)58mには、拠点名58aに記載されている拠点のサーバ/クラウドからデータを転送する際に必要とされる費用が格納されている。データ転送費(out)58nには、拠点名58aに記載されている拠点のサーバ/クラウドへデータを転送する際に必要とされる費用が格納されている。
図12は、実施形態に係る情報処理システム1の帯域表59の構成の一例を示す図である。
帯域表59には、各行の右端に記載された拠点と各列の上端に記載された拠点との間のネットワークの帯域が各セルに記載されている。
図13は、実施形態に係る情報処理システム1のレイテンシ表62の構成の一例を示す図である。
レイテンシ表62には、各行の右端に記載された拠点と各列の上端に記載された拠点との間のネットワークのレイテンシが各セルに記載されている。
図14は、実施形態に係る情報処理システム1のポリシー管理表60の構成の一例を示す図である。
ポリシー管理表60には、フロー名60aに記載されたワークフロー毎に予め定められたポリシー(ポリシー0 60b~ポリシー2 60d)が記載されている。ワークフロー毎に最低1つのポリシーが予め定められているが、1つのワークフローに複数のポリシーが予め定められていてもよい。なお、本実施形態では、ポリシー0 60bが最も優先されるポリシーであり、ポリシーの番号が大きくなるに連れて優先度が下がっている。
次に、図15~図19のフローチャート及び図20を参照して、本実施形態の情報処理システム1の動作について説明する。
図15は、実施形態に係る情報処理システムの動作の一例を示すフローチャートである。
まず、Host10のユーザは、各拠点(Edge1 20、On-Prem1 30、PubCloud1 40)の広域分散メタデータ管理表25、35、45の処理(マイクロサービス)とデータの内容とを参照し、データ分析処理フロー(ワークフロー)を作成する(1501)。ユーザが作成したワークフローは、ユーザ定義処理フロー70として格納される。なお、Application Platform50は、各拠点(Edge1 20、On-Prem1 30、PubCloud1 40)の広域分散メタデータ管理表25、35、45を集約して広域分散メタデータ管理表61を作成し、ユーザはこの広域分散メタデータ管理表61を参照してもよい。
次に、Host10のユーザは、1501で作成したワークフローに適用されるポリシーを決定する(1502)。決定したポリシーは、ポリシー管理表60に格納される。
次に、Host10のユーザは、1501で作成したワークフローの実行を各拠点(Edge1 20、On-Prem1 30、PubCloud1 40)に指示する(1503)。Application Platform50は、ユーザからのワークフローの指示を受けて、分散拠点間処理配置最適化処理部53による処理場所探索処理を実行する(1504)。1504の詳細については後述する。この処理場所探索処理は、1502でユーザが決定したポリシーで条件を満足すると判定される(1505においてYES)まで繰り返される。
次に、1504の処理場所探索処理によってユーザに提示される処理場所案の中から、Host10のユーザが処理場所案を1つ選択する(1506)。そして、Application Platform50は、1506において選択された処理場所案に基づいて、分散拠点間処理配置最適化処理部53による処理実行処理を行う(1507)。
さらに、1507における処理実行処理が失敗したと判定された(1508においてYES)場合は1502に戻ってポリシー設定処理を再度行い、処理実行処理が成功したと判定されたら(1508においてNO)、Host10のユーザは実行結果を取得する(1509)。
図16は、実施形態に係る情報処理システム1の処理場所探索処理の一例を示すフローチャートである。図16に示すフローチャートは、図15の1504に対応する。
まず、Application Platform50の分散拠点間処理配置最適化処理部53は、1503でユーザから実行指示のあったワークフロー(ユーザ定義処理フロー70)を取得し、アプリデータ管理表56を作成する(1601)。次いで、分散拠点間処理配置最適化処理部53は、ポリシー管理表60から、1503でユーザから実行指示のあったワークフローのポリシーを取得する(1602)。
次いで、分散拠点間処理配置最適化処理部53は、アプリデータ管理表56、リソース/性能管理表58及び1602で取得したポリシーに基づいて、データ・アプリケーションの国内外の移動の可否を考慮して、各アプリケーション及びデータの実行場所(処理場所)の組み合わせ表を作成する(1603)。実行場所の組み合わせ表の具体例については後述する実施例で示す。そして、分散拠点間処理配置最適化処理部53は、1603で作成した実行場所の組み合わせ表をユーザに提示する(1604)。
図17は、実施形態に係る情報処理システムの実行処理の一例を示すフローチャートである。図17に示すフローチャートは、図15の1507に対応する。
まず、分散拠点間処理配置最適化処理部53は、図15の1506でユーザが選択した処理場所案に基づいて、アプリケーション(マイクロサービス)及びデータを指定された拠点に移動させる(1701)。次いで、分散拠点間処理配置最適化処理部53は、次の処理の拠点の処理制御処理へ前処理の処理結果を送信するとともに、次の拠点に対して処理開始の指示を送信する(1702)。
次いで、分散拠点間処理配置最適化処理部53は、1702において処理の実行に失敗したか否かを判定する(1703)。そして、処理の実行に失敗したと判定したら(1703においてYES)1707に移行し、処理の実行に成功したと判定したら(1703においてNO)1704に移行する。1704では、拠点から処理結果を受信する。
次いで、分散拠点間処理配置最適化処理部53は、次の処理があるか否かを判定し(1705)、次の処理があると判定したら(1705においてYES)1702に戻って次の処理開始を指示し、次の処理がないと判定したら(1705においてNO)1706に移行する。
1706では、分散拠点間処理配置最適化処理部53は、アプリ稼働実績履歴表57に実行時間、使用リソース、アプリ・データ関係の数値を記録する。
そして、分散拠点間処理配置最適化処理部53は、Host10のユーザに対して処理結果を返す。
図18は、実施形態に係る情報処理システム1の処理制御処理の一例を示すフローチャートである。図18のフローチャートに示す処理制御処理は、各拠点(Edge1 20、On-Prem1 30、PubCloud1 40)において実行される。
まず、各拠点の処理制御処理部22、32、42は、他の拠点から前処理データと処理開始指示を受信する(1801)。次いで、処理制御処理部22、32、42は、マイクロサービス及びデータを移動させる(1802)。1802の詳細については後述する。さらに、処理制御処理部22、32、42は、自身(同一拠点)内の連続する処理を実行する(1803)。
そして、処理制御処理部22、32、42は、処理結果をApplication Platform50に送信し(1804)、自身の拠点で実行した各処理の処理実行履歴を記録してApplication Platform50に送信する(1805)。
図19は、実施形態に係る情報処理システム1のデータ・アプリ移動処理の一例を示すフローチャートである。図19に示すフローチャートは、図18の1802に対応する。
まず、各拠点のグローバルデータ仮想化処理部26、36、46は、アプリ・データの(移動)要求を受信する(1901)と、自身の拠点内に要求があったデータ・アプリがデータレイク27、37、47内に格納されているか否かを判定する(1902)。そして、自身の拠点内に要求があったデータ・アプリがデータレイク27、37、47内に格納されていると判定したら(1902においてYES)1905において要求があったデータ・アプリを送信し、要求があったデータ・アプリがデータレイク27、37、47内に格納されていないと判定したら(1902においてNO)、広域分散メタデータ管理表25、35、45を参照して要求があったデータ・アプリの所在地を探索する(1903)。そして、所在地である他拠点からデータをコピーし(1904)、要求があったデータ・アプリを送信する。
図20は、実施形態に係る情報処理システム1のデータ・アプリ移動処理の概要を説明するための図であり、図19の処理の流れを説明する図である。
まず、図20に示す例では、On-Prem1 30がデータA(dataA)の要求を受信する(図中(1))。On-Prem1 30のデータレイク37にはデータAが格納されていないので、On-Prem1及びデータAがデータレイク27に格納されているEdge1 20のグローバルデータ仮想化処理部26、36は、データAをEdge1 20からOn-Prem1 30にコピーし(図中(2))、データAを取得して送信する(図中(3))。
このように構成される本実施形態によれば、ポリシーに従ってマイクロサービス及びデータを各拠点間で移動させて実施させることができる。従って、本実施形態によれば、分散した拠点間の通信回数を削減し、アプリケーションの実行速度を向上させることが可能になる。
以下、図14に示すポリシー管理表60に記載された各ポリシーの特徴について、ポリシー毎(実施例毎)に説明する。実施例1では、ポリシーとして性能(レイテンシ)重視(最小拠点数)を採用した際の情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー1に採用される。
図21は、実施例1に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。処理場所組み合わせ表80は、図16のフローチャートの1603においてApplication Platform50の分散拠点間処理配置最適化処理部53が作成するものである。
図21に示す処理場所組み合わせ表80は、まだポリシーが適用される前のものである。実施例1において、フロー1はデータA~E(dataA-E)及びマイクロサービス1~5(Proc1-5)からなり、処理場所組み合わせ表80の最上行に示す組み合わせで実行されるものとする。これらマイクロサービス及びデータの組み合わせ及び拠点の組み合わせ(本実施例では拠点としてEdge1、On-Prem1、PubCloud1、PubCloud2が存在するものとする)を考慮すると、144通りの組み合わせが存在するものとする。
図22は、実施例1に係る情報処理システム1の処理場所組み合わせ表80の構成の他の例を示す図であり、ポリシーを適用した場合の処理場所組み合わせ表80を示す図である。
実施例1におけるポリシーは、拠点間のレイテンシを最小にして情報処理システム1全体の性能を重視するものであり、このため、マイクロサービス等が実行される拠点数が最も少ない処理場所の組み合わせがユーザに提案される。
図22に示す例では、組み合わせ番号(#)1の処理場所の組み合わせにおける実行拠点数が1であり(つまり全ての処理をEdge1で行う)、分散拠点間処理配置最適化処理部53はこの組み合わせ番号1の処理場所の組み合わせをユーザに提案する。
実施例2では、ポリシーとして性能(CPUネック重視)、データ・アプリ移動時間最短及び性能(レイテンシ)重視(最小拠点数)を採用した際の情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー2に採用される。
図23は、実施例2に係る情報処理システム1のアプリデータ管理表56の構成の一例を示す図であり、図24は、実施例2に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。実施例2において、図23に示すように、フロー2はデータA~F(dataA-F)及びマイクロサービス1~6(Proc1-6)からなり、図24に示す処理場所組み合わせ表80の最上行に示す組み合わせで実行されるものとする。
実施例2におけるポリシーは、アプリ実行時間と、データ・アプリ移動時間と、に基づいて、実行の実行時間を小さくすることで情報処理システム1全体の性能を重視するものである。さらに拠点間のレイテンシを考慮してもよい。
ここに、想定アプリ実行時間は、リソース/性能管理表58のCPU利用率58eとアプリ稼働実績履歴表57のQoS設定57dがGoldであるエントリの実行平均時間57eから算出する。一例として、

Edge1 20でのProc1の想定実行時=Proc1のEdge1(Gold)での実行平均時間/(1-Edge1 20のCPU利用率58e)

から求める。また、データ・アプリ移動時間は、広域分散メタデータ管理表25、35、45、61の該当するマイクロサービス等のデータサイズ25c…と帯域表59から、拠点間の想定移動時間を算出する。一例として、

On-Prem1 30にあるdataC+Proc3をEdge1 20に移動する時間=(dataCサイズ+Proc3サイズ)/(On-Prem1 30-Edge1 20間の帯域MB/s)

から求める。
図24に示す例では、想定アプリ実行時間のみを考慮すると組み合わせ番号(#)が6の組み合わせが最適であると考えられるが、組み合わせ番号4、6の想定移動時間が他の組み合わせに比較して長いので最終的に組み合わせ番号4、6が最適とは判断されない。そこで、分散拠点間処理配置最適化処理部53は、想定移動時間及び実行拠点数を考慮し、最終的に組み合わせ番号(#)1が最適であると判断し、この組み合わせ番号1の処理場所の組み合わせをユーザに提案する。
実施例3では、ポリシーとしてコスト最小重視を採用した際の情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー3に採用される。
図25は、実施例3に係る情報処理システム1のアプリデータ管理表56の構成の一例を示す図であり、図26は、実施例2に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。実施例2において、図25に示すように、フロー3はデータA~E(dataA-E)及びマイクロサービス1~5(Proc1-5)からなり、図25に示す処理場所組み合わせ表80の最上行に示す組み合わせで実行されるものとする。
実施例3におけるポリシーは、マイクロサービス等を各拠点で実行する際に必要とされるコストを最小にするものであり、このため、マイクロサービス等を各拠点で実行する際に必要とされる各種コストの総和(本実施例ではプロセスデータ移動費、インフラ使用料、プロセス実行API課金の総和である想定総費用)を最小にする組み合わせをユーザに提案する。
図26に示す例では、組み合わせ番号(#)3、7の処理場所の組み合わせにおける想定総費用が最小であり、分散拠点間処理配置最適化処理部53はこの組み合わせ番号3、7の処理場所の組み合わせをユーザに提案する。
実施例4では、ポリシーとしてQoS重視を採用した際の情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー4に採用される。
図27は、実施例4に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。
実施例4におけるポリシーは、各拠点においてマイクロサービス等を実行する際の想定アプリ実行時間数を所定時間内(本実施例では60秒以内)に収めるものであり、このため、分散拠点間処理配置最適化処理部53は、想定アプリ実行時間及び想定QoS費用を算出し、想定アプリ実行時間が所定時間内に収まる処理場所の組み合わせをユーザに提案する。
図28は、実施例4に係る情報処理システム1のアプリ実行時間算出処理の一例を示すフローチャートである。
まず、分散拠点間処理配置最適化処理部53はアプリ稼働実績履歴表57を取得する(2801)。次に、2801で取得したアプリ稼働実績履歴表57のQoS設定57dにおいてQoSの設定がない場合は、以下の処理においてQoSはBest-Effortであるとする(2802)。
次に、分散拠点間処理配置最適化処理部53は、2803~2811のループにおいて、各実行場所(各拠点)におけるアプリ実行時間の試算を行う。
まず、分散拠点間処理配置最適化処理部53は、2801で取得したアプリ稼働実績履歴表57におけるマイクロサービスとデータとの組み合わせにおいて、実行履歴が格納されているか否かを判定する(2804)。そして、対象となる拠点においてマイクロサービスとデータとの組み合わせが実行された履歴があると判定したら(2805)、分散拠点間処理配置最適化処理部53はこの履歴から実行時間を取得する(2806)。また、対象となる拠点以外でマイクロサービスとデータとの組み合わせが実行された履歴があると判定したら(2807)、分散拠点間処理配置最適化処理部53はリソース/性能管理表58を取得し(2808)、対象となる拠点で使用されているCPUと履歴がある拠点で使用されているCPUとのスペックの差から実行時間を試算する(2809)。さらに、マイクロサービスとデータとの組み合わせが初めて実行されると判定したら実行時間は不明とする(2810)
そして、全ての組み合わせを計算したら(2811)、処理場所組み合わせ表80の各組み合わせにおける総アプリ実行時間を算出する(2812)。
図29は、実施例4に係る情報処理システム1の想定QoS費用算出処理の一例を示すフローチャートである。
まず、分散拠点間処理配置最適化処理部53は、アプリ稼働実績履歴表57を取得し(2901)、次いで、アプリデータ管理表56を取得する(2902)。
そして、分散拠点間処理配置最適化処理部53は、アプリデータ管理表56の移動可否情報56c、56dと、アプリ稼働実績履歴表57の実行平均時間57eとを参照して、各QoSと拠点の組み合わせ表を作成する(2903)。
図27に示す例では、組み合わせ番号(#)1、2、n1、n2の処理場所の組み合わせにおける想定アプリ実行時間がいずれも60秒以内であり、分散拠点間処理配置最適化処理部53はこの組み合わせ番号3、7の処理場所の組み合わせをユーザに提案する。
実施例5では、ポリシーとして省エネ重視を採用した際の情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー5に採用される。
図30は、実施例5に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。
実施例5におけるポリシーは、マイクロサービス等を実行する際に最も省エネで実行できることを重視するものであり、このため、マイクロサービス等を実行した際の想定消費電力が最も少ない処理場所の組み合わせがユーザに提案される。
図30に示す例では、組み合わせ番号(#)1の処理場所の組み合わせにおける想定消費電力が最も小さく、分散拠点間処理配置最適化処理部53はこの組み合わせ番号1の処理場所の組み合わせをユーザに提案する。
実施例6では、ポリシーとして省エネ重視を採用し、さらに、いずれかの拠点においてマイクロサービス等の実行に障害が生じた際のマイクロサービス等の再配置を行う情報処理システム1の動作について説明する。このポリシーは、図14に示すように、ワークフローのフロー5に採用される。
図31は、実施例6に係る情報処理システム1の処理場所組み合わせ表80の構成の一例を示す図である。
実施例6におけるポリシーは、実施例5と同様に、マイクロサービス等を実行する際に最も省エネで実行できることを重視するものであり、このため、マイクロサービス等を実行した際の想定消費電力が最も少ない処理場所の組み合わせがユーザに提案される。
図31に示す例では、組み合わせ番号(#)1の処理場所の組み合わせにおける想定消費電力が最も小さく、分散拠点間処理配置最適化処理部53はこの組み合わせ番号1の処理場所の組み合わせをユーザに提案したが、PubCloud1 40に障害が生じて使用不可能になった。そこで、分散拠点間処理配置最適化処理部53は、PubCloud1 40を使用しない組み合わせである組み合わせ番号5の組み合わせをユーザに提案する。
以上の実施例1~実施例5におけるポリシーの選択及び選択されたポリシーに基づく処理場所組み合わせ表80の作成手順を図32にまとめた。
なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)、Python等の広範囲のプログラム又はスクリプト言語で実装できる。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
1…情報処理システム 10…Host 20…Edge1 24…広域分散メタデータ管理処理部 25…広域分散メタデータ管理表 26…グローバルデータ仮想化処理部 27…データレイク 30…On-Prem1 34…広域分散メタデータ管理処理部 35…広域分散メタデータ管理表 36…グローバルデータ仮想化処理部 37…データレイク 40…PubCloud1 44…広域分散メタデータ管理処理部 45…広域分散メタデータ管理表 46…グローバルデータ仮想化処理部 47…データレイク 50…Application Platform 53…分散拠点間処理配置最適化処理部 56…アプリデータ管理表 57…アプリ稼働実績履歴表 58…リソース/性能管理表 59…帯域表 60…ポリシー管理表 61…広域分散メタデータ管理表 62…レイテンシ表 70…ユーザ定義処理フロー 80…処理場所組み合わせ表 100…ネットワーク

Claims (13)

  1. 複数の拠点のそれぞれに設けられて通信ネットワークを介して互いに接続された複数の情報処理装置と通信可能な管理装置を有する情報処理システムであって、
    前記情報処理装置は、アプリケーションの機能を分割してなるマイクロサービスを実行する第1のプロセッサと、前記マイクロサービスが使用するデータが格納された記憶装置と、を有し、
    前記管理装置は、第2のプロセッサと、各前記情報処理装置が有する前記マイクロサービス及び前記データの情報と、前記各情報処理装置の性能を記載した性能情報と、を有し、
    前記データの前記情報は、前記データを格納している場所と、前記データのサイズとを含み、
    前記第2のプロセッサは、
    所定の前記データを用いて、所定の複数の前記マイクロサービスを所定の順序で前記情報処理装置に実行させることにより前記アプリケーションを実行し、
    前記アプリケーションを実行するに際して、前記各情報処理装置が有する前記マイクロサービス及び前記データの前記情報と、前記性能情報とに基づいて、前記マイクロサービス及び前記データを前記情報処理装置間で移動させる
    ことを特徴とする情報処理システム。
  2. 前記マイクロサービス及び前記データは、他の前記情報処理装置への移動の可否が定められており、
    前記第2のプロセッサは、前記マイクロサービス及び前記データの移動の可否を考慮して前記マイクロサービス及び前記データを前記情報処理装置間で移動させることを特徴とする請求項1に記載の情報処理システム。
  3. 前記移動可否には、国内への移動可否と、国外への移動可否と、が定められており、
    前記第2のプロセッサは、前記国内への移動可否と、前記国外への移動可否と、考慮して、前記マイクロサービス及び前記データを前記情報処理装置間で移動させることを特徴とする請求項2に記載の情報処理システム。
  4. 前記第2のプロセッサは、前記アプリケーションにかかるマイクロサービスを実行する1または複数の前記情報処理装置が所属している拠点の数が少なくなるように、前記マイクロサービスを移動させることを特徴とする請求項1に記載の情報処理システム。
  5. 候補となる前記各情報処理装置がマイクロサービスを実行する想定実行時間と、前記情報処理装置間で前記マイクロサービス及び前記データを移送させる想定移動時間と、を算出し、前記想定実行時間と前記想定移動時間とに基づき候補となる前記情報処理装置の組み合わせごとの想定総実行時間を算出し、前記想定総実行時間に基づいて前記マイクロサービス及び前記データを移動させることを特徴とする請求項1に記載の情報処理システム。
  6. 前記性能情報のCPU利用率と、前記マイクロサービスの実行実績における過去の実行時間とに基づいて、前記想定実行時間を算出し、
    前記情報処理装置間の帯域情報と、前記マイクロサービス及び前記データのサイズとに基づいて、前記想定移動時間を算出する
    ことを特徴とする請求項5に記載の情報処理システム。
  7. 前記マイクロサービス及び前記データの移動コストと前記アプリケーションを前記情報処理装置で実行するための実行コストと、の総コストに基づいて、前記マイクロサービス及び前記データを移動させることを特徴とする請求項1に記載の情報処理システム。
  8. 前記性能情報には、前記情報処理装置ごとに、前記マイクロサービスを実行するための時間当たりのコストと、前記マイクロサービス及び前記データを送受信するためのサイズ当たりコストと、が含まれており、
    前記マイクロサービスの実行実績における過去の実行時間と、前記時間当たりのコストに基づいて、前記実行コストを算出し、
    前記マイクロサービス及び前記データのサイズと、前記サイズ当たりのコストとに基づいて、前記移動コストを算出する
    ことを特徴とする請求項7に記載の情報処理システム。
  9. 候補となる前記各情報処理装置が前記マイクロサービスを実行する想定実行時間と、前記情報処理装置間で前記マイクロサービス及び前記データを移送させる想定移動時間と、
    を算出し、前記想定実行時間と前記想定移動時間とに基づき候補となる前記情報処理装置の組み合わせごとの想定総実行時間を算出し、
    前記マイクロサービス及び前記データの移動コストと、前記アプリケーションを前記情報処理装置で実行するための実行コストと、の総コストを算出し、
    前記想定移動時間及び前記総コストは、QoSごとに算出されており、
    前記想定移動時間及び前記総コストに基づいて、QoSを選択して前記マイクロサービス及び前記データを前記情報処理装置間で移動させる
    ことを特徴とする請求項1に記載の情報処理システム。
  10. 前記性能情報には、前記各情報処理装置の想定消費電力が含まれており、
    前記アプリケーションの実行に伴う前記情報処理装置の想定消費電力が小さくなるように、前記マイクロサービス及び前記データを前記情報処理装置間で移動させる
    ことを特徴とする請求項1に記載の情報処理システム。
  11. 前記情報処理装置の障害発生状況を取得し、障害が発生していない前記情報処理装置へ前記マイクロサービス及び前記データを移動させる
    ことを特徴とする請求項1に記載の情報処理システム。
  12. 前記マイクロサービス及び前記データを前記情報処理装置間で移動させて前記マイクロサービスを実行させる前記情報処理装置の組み合わせを、その拠点数、総実行時間、総コスト、想定消費電力の少なくともいずれかとともに提示し、
    前記マイクロサービスを実行させる前記情報処理装置の組み合わせの選択を受け付けて、前記マイクロサービス及び前記データを前記情報処理装置間で移動させる
    ことを特徴とする請求項1に記載の情報処理システム。
  13. 複数の拠点のそれぞれに設けられ、通信ネットワークを介して互いに接続された複数の情報処理装置と通信可能な管理装置を有する情報処理システムにおけるデータ配置方法であって、
    前記情報処理装置はアプリケーションの機能を分割してなるマイクロサービスが使用するデータが格納された記憶装置を有し、
    前記管理装置は、前記各情報処理装置が有する前記マイクロサービス及び前記データの情報と、前記各情報処理装置の性能を記載した性能情報と、を有し、
    前記データの前記情報は、前記データを格納している場所と、前記データのサイズとを含み、
    所定の前記データを用いて、所定の複数の前記マイクロサービスを所定の順序で前記情報処理装置に実行させることにより前記アプリケーションを実行し、
    前記アプリケーションを実行するに際して、前記各情報処理装置が有する前記マイクロサービス及び前記データの前記情報と、前記性能情報とに基づいて、前記マイクロサービス及び前記データを前記情報処理装置間で移動させる
    ことを特徴とする情報処理システムにおけるデータ配置方法。
JP2020214706A 2020-12-24 2020-12-24 情報処理システム及び情報処理システムにおけるデータ配置方法 Active JP7247161B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020214706A JP7247161B2 (ja) 2020-12-24 2020-12-24 情報処理システム及び情報処理システムにおけるデータ配置方法
CN202111011293.XA CN114676079B (zh) 2020-12-24 2021-08-31 信息处理系统和信息处理系统中的数据配置方法
US17/474,720 US11412034B2 (en) 2020-12-24 2021-09-14 Information processing system and application services distribution method in information processing system
US17/857,759 US11706287B2 (en) 2020-12-24 2022-07-05 Information processing system and application services distribution method in information processing system
JP2023040950A JP7448703B2 (ja) 2020-12-24 2023-03-15 情報処理システム及び情報処理システムにおけるデータ配置方法
US18/331,336 US12015664B2 (en) 2020-12-24 2023-06-08 Information processing system and application services distribution method in information processing system
JP2024029804A JP7766126B2 (ja) 2020-12-24 2024-02-29 情報処理システム及び情報処理システムにおけるデータ配置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020214706A JP7247161B2 (ja) 2020-12-24 2020-12-24 情報処理システム及び情報処理システムにおけるデータ配置方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023040950A Division JP7448703B2 (ja) 2020-12-24 2023-03-15 情報処理システム及び情報処理システムにおけるデータ配置方法

Publications (2)

Publication Number Publication Date
JP2022100620A JP2022100620A (ja) 2022-07-06
JP7247161B2 true JP7247161B2 (ja) 2023-03-28

Family

ID=82070576

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020214706A Active JP7247161B2 (ja) 2020-12-24 2020-12-24 情報処理システム及び情報処理システムにおけるデータ配置方法
JP2023040950A Active JP7448703B2 (ja) 2020-12-24 2023-03-15 情報処理システム及び情報処理システムにおけるデータ配置方法
JP2024029804A Active JP7766126B2 (ja) 2020-12-24 2024-02-29 情報処理システム及び情報処理システムにおけるデータ配置方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023040950A Active JP7448703B2 (ja) 2020-12-24 2023-03-15 情報処理システム及び情報処理システムにおけるデータ配置方法
JP2024029804A Active JP7766126B2 (ja) 2020-12-24 2024-02-29 情報処理システム及び情報処理システムにおけるデータ配置方法

Country Status (3)

Country Link
US (3) US11412034B2 (ja)
JP (3) JP7247161B2 (ja)
CN (1) CN114676079B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12164676B2 (en) 2021-09-22 2024-12-10 Ridgeline, Inc. Enabling an action based on a permission identifier for real-time identity resolution in a distributed system
JP2023088212A (ja) * 2021-12-14 2023-06-26 株式会社日立製作所 情報基盤管理方法、情報基盤の管理サーバ、及び情報基盤管理プログラム
US12045242B2 (en) * 2022-07-07 2024-07-23 Capital One Services, Llc Transaction exchange platform with classification microservice to generate alternative workflows
US12293214B2 (en) 2022-07-07 2025-05-06 Capital One Services, Llc Transaction exchange platform to determine secondary workflows for transaction object processing
WO2024069847A1 (ja) * 2022-09-29 2024-04-04 楽天モバイル株式会社 マイクロサービスの分散デプロイメント制御
US20250238156A1 (en) * 2024-01-24 2025-07-24 Dell Products L.P. Data migration and asynchronous replication with trustworthy energy awareness
JP7769851B1 (ja) * 2025-04-10 2025-11-14 株式会社エクサウィザーズ 情報処理方法、プログラム及び情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102777A (ja) 2015-12-03 2017-06-08 富士通株式会社 負荷分散処理サーバ、負荷分散処理方法、及び、システム
JP2017138895A (ja) 2016-02-05 2017-08-10 株式会社日立製作所 仮想化環境管理システムおよび仮想化環境管理方法
US20190363954A1 (en) 2018-05-25 2019-11-28 Hewlett Packard Enterprise Development Lp Device for orchestrating distributed application deployment with end-to-end performance guarantee
JP2019211955A (ja) 2018-06-04 2019-12-12 株式会社日立製作所 システム及びサービス制御方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330899A (ja) * 2002-05-15 2003-11-21 Japan Telecom Co Ltd 情報処理方法
JP2004126968A (ja) * 2002-10-03 2004-04-22 Fujitsu Ltd 並列計算機のジョブスケジューリング装置
US7257409B2 (en) 2004-03-31 2007-08-14 Lucent Technologies Inc. Centralized cell homing and load balancing in a base station controller
JPWO2011108185A1 (ja) * 2010-03-05 2013-06-20 日本電気株式会社 制御ポリシ調整装置、制御ポリシ調整方法、及びプログラム
US9628583B2 (en) * 2010-04-29 2017-04-18 Nokia Technologies Oy Method and apparatus for coordinating service information across multiple server nodes
US8423646B2 (en) * 2010-07-09 2013-04-16 International Business Machines Corporation Network-aware virtual machine migration in datacenters
EP2674861A4 (en) * 2011-02-08 2016-04-27 Fujitsu Ltd EMBODIMENT PROGRAM, EMISSION CONTROL DEVICE AND EMISSION CONTROL METHOD
US9098344B2 (en) 2011-12-27 2015-08-04 Microsoft Technology Licensing, Llc Cloud-edge topologies
JP2015191282A (ja) * 2014-03-27 2015-11-02 富士通株式会社 ジョブスケジュールプログラム、ジョブスケジュール方法、及びジョブスケジュール装置
JP2015194855A (ja) 2014-03-31 2015-11-05 富士通株式会社 情報処理システム、制御プログラム、及び情報処理システムの制御方法
KR102471665B1 (ko) * 2015-08-27 2022-11-25 포그혼 시스템스 인코포레이티드 에지 인텔리전스 플랫폼 및 사물 인터넷 센서 스트림 시스템
CN106227611A (zh) * 2016-07-26 2016-12-14 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
US10585682B2 (en) * 2016-08-05 2020-03-10 Oracle International Corporation Tenant self-service troubleshooting for a multi-tenant identity and data security management cloud service
WO2018142592A1 (ja) * 2017-02-03 2018-08-09 株式会社日立製作所 情報処理システム及び情報処理方法
KR101826498B1 (ko) * 2017-05-02 2018-02-07 나무기술 주식회사 클라우드 플랫폼 시스템
US11922564B2 (en) * 2017-06-05 2024-03-05 Umajin Inc. Generative content system that supports location-based services and methods therefor
US10956849B2 (en) * 2017-09-29 2021-03-23 At&T Intellectual Property I, L.P. Microservice auto-scaling for achieving service level agreements
US10644970B2 (en) * 2018-07-11 2020-05-05 Sony Interactive Entertainment LLC Tracking application utilization of microservices
DE102018219070B3 (de) * 2018-11-08 2020-03-12 Siemens Healthcare Gmbh Übertragen eines Datensatzes und Bereitstellen einer Datenübertragungsinformation
US11366704B2 (en) * 2018-11-27 2022-06-21 Sap Se Configurable analytics for microservices performance analysis
US10911332B2 (en) * 2018-12-17 2021-02-02 Cisco Technology, Inc. Time sensitive networking in a microservice environment
JP7197783B2 (ja) * 2019-01-11 2022-12-28 富士通株式会社 情報処理システム、管理装置および管理プログラム
JP7063289B2 (ja) 2019-02-22 2022-05-09 日本電信電話株式会社 オフロードサーバのソフトウェア最適配置方法およびプログラム
US11032164B1 (en) * 2019-05-30 2021-06-08 Cox Communications, Inc. Edge-based cloud application acceleration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102777A (ja) 2015-12-03 2017-06-08 富士通株式会社 負荷分散処理サーバ、負荷分散処理方法、及び、システム
JP2017138895A (ja) 2016-02-05 2017-08-10 株式会社日立製作所 仮想化環境管理システムおよび仮想化環境管理方法
US20190363954A1 (en) 2018-05-25 2019-11-28 Hewlett Packard Enterprise Development Lp Device for orchestrating distributed application deployment with end-to-end performance guarantee
JP2019211955A (ja) 2018-06-04 2019-12-12 株式会社日立製作所 システム及びサービス制御方法

Also Published As

Publication number Publication date
CN114676079B (zh) 2024-08-27
US20230319131A1 (en) 2023-10-05
US20220210218A1 (en) 2022-06-30
US20220337659A1 (en) 2022-10-20
JP2023072063A (ja) 2023-05-23
US11706287B2 (en) 2023-07-18
US11412034B2 (en) 2022-08-09
CN114676079A (zh) 2022-06-28
US12015664B2 (en) 2024-06-18
JP2024059903A (ja) 2024-05-01
JP7448703B2 (ja) 2024-03-12
JP2022100620A (ja) 2022-07-06
JP7766126B2 (ja) 2025-11-07

Similar Documents

Publication Publication Date Title
JP7247161B2 (ja) 情報処理システム及び情報処理システムにおけるデータ配置方法
US10564870B1 (en) Placing data storage volumes
US10902324B2 (en) Dynamic data snapshot management using predictive modeling
CN101311912B (zh) 计算机系统、其控制方法以及系统管理装置
US9953276B2 (en) Method and system that measures and reports computational-resource usage in a data center
CN101258497A (zh) 分布式文件系统中基于集中策略的磁盘空间预分配的方法
US10860236B2 (en) Method and system for proactive data migration across tiered storage
JP2019133291A (ja) 情報処理装置,情報処理システムおよび制御プログラム
JP2021197010A (ja) 分散型ストレージシステム及びリバランス処理方法
Khan et al. Towards cloud storage tier optimization with rule-based classification
US20200183748A1 (en) Methods and systems that generate optimal or near-optimal matching of resources to resource users by employing resource-exchange optimization tools
WO2024187900A1 (zh) 分布式存储系统的数据存储方法、系统、设备及存储介质
EP4258096B1 (en) Predictive block storage size provisioning for cloud storage volumes
EP4465214A1 (en) Model-aware method and system for training and/or fine-tuning a machine learning model
Fazul et al. PRBP: A prioritized replica balancing policy for HDFS balancer
US11966854B2 (en) Knowledge graph for determining a resource vendor from which to lease resources
CN116360677A (zh) 用于在解聚存储架构中分布和管理io的方法和系统
Kishani et al. Padsa: Priority-aware block data storage architecture for edge cloud serving autonomous vehicles
US10686876B1 (en) Deploying a content distribution network using resources from cloud service providers
US12511290B1 (en) Query optimization and distribution
US12386667B2 (en) Dynamically selecting artificial intelligence models and hardware environments to execute tasks
US20250362963A1 (en) Dynamically selecting artificial intelligence models and hardware environments to execute tasks
Sarferaz Workload-Management und Performance
CN120780241A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN117591011A (zh) 基于瓦块重叠的数据回储优化方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7247161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350