JP7007565B2 - 情報処理装置および情報処理プログラム - Google Patents
情報処理装置および情報処理プログラム Download PDFInfo
- Publication number
- JP7007565B2 JP7007565B2 JP2017222952A JP2017222952A JP7007565B2 JP 7007565 B2 JP7007565 B2 JP 7007565B2 JP 2017222952 A JP2017222952 A JP 2017222952A JP 2017222952 A JP2017222952 A JP 2017222952A JP 7007565 B2 JP7007565 B2 JP 7007565B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- data group
- file
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/1827—Management specifically adapted to NAS
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
1つの側面では、本発明は、データの更新内容を転送先に確実に反映させることが可能な情報処理装置および情報処理プログラムを提供することを目的とする。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る情報処理システムの構成例および処理例を示す図である。図1に示す情報処理システムは、情報処理装置1と、情報処理装置1の外部に接続されたストレージ装置2とを有する。
まず、制御部1bは、データ群3aに対する第1の操作を行ったとする(ステップS1)。すると、制御部1bは、操作対象であるデータ群3aに対応する操作情報4aを、転送制御情報4に登録する(ステップS2)。なお、この第1の操作とは、例えば、データ群3aに含まれるデータの少なくとも一部を更新する操作であってもよいし、データ群3a自体を新規に記憶部1aに格納する操作であってもよい。
図2は、第2の実施の形態に係る情報処理システムの構成例を示す図である。図2に示す情報処理システムは、クラウドストレージゲートウェイ100、NAS(Network Attached Storage)クライアント210およびストレージシステム220を有する。クラウドストレージゲートウェイ100は、ネットワーク231を介してNASクライアント210と接続し、また、ネットワーク232を介してストレージシステム220と接続する。ネットワークは、例えばLAN(Local Area Network)であり、ネットワークは、例えばWAN(Wide Area Network)である。
RAM102は、クラウドストレージゲートウェイ100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
以上のようなハードウェア構成によって、クラウドストレージゲートウェイ100の処理機能を実現することができる。なお、NASクライアント210や制御サーバ221aも、図3と同様のハードウェア構成を有するコンピュータとして実現可能である。
ディレクトリテーブル111は、ディレクトリの階層構造を表現するための管理情報である。図5(A)に示すように、ディレクトリテーブル111には、「parent」「name」「ino」の各項目を有するレコードが登録される。各レコードは、ディレクトリ構造上の1つのディレクトリ(フォルダ)、またはディレクトリ内の1つのファイルに対応付けられている。「parent」は、親ディレクトリのinode番号を示し、「name」は、レコードに対応するディレクトリまたはファイルの名称を示し、「ino」は、レコードに対応するディレクトリまたはファイルのinode番号を示す。
なお、図10に示すテーブル115aは、チャンクグループテーブル115から、グループ番号「1」のチャンクグループに属するチャンクデータに対応するレコードを抽出したものである。同様に、図10に示すテーブル115bは、チャンクグループテーブル115から、グループ番号「2」のチャンクグループに属するチャンクデータに対応するレコードを抽出したものである。また、図10に示すテーブル115cは、チャンクグループテーブル115から、グループ番号「3」のチャンクグループに属するチャンクデータに対応するレコードを抽出したものである。
クラウド転送処理部133は、ファイルシステム処理部132によるデータ管理部110に対するデータ操作とは非同期に、データ管理部110に記憶された各種のデータをクラウドストレージ240に転送する。前述のように、クラウドストレージ240に対してはオブジェクト単位でデータが転送される。
クラウド転送処理部133は、データ管理部110に登録された情報の中から、オブジェクトとしてクラウドストレージ240に転送すべき情報を判別する必要がある。この判別方法の例としては、クラウド転送処理部133が、データ管理部110の登録情報全体を監視する方法がある。クラウド転送処理部133は、データ管理部110の登録情報を更新するファイルシステム処理部132とは非同期に動作するので、登録情報の更新箇所の通知を、ファイルシステム処理部132から直接受け付けることは難しい。そこで、データ管理部110の登録情報全体を監視することで、クラウド転送処理部133は、登録情報の更新箇所を認識して、クラウドストレージ240に転送すべき情報を判別できる。しかし、この方法では、データ管理部110に登録情報全体を監視するための処理負荷が高く、処理効率が低いという問題がある。
図15は、操作ログテーブルのデータ構成例を示す図である。操作ログテーブル121のレコードのうち、ファイル操作ログを示すレコードは、「counter」「type」「ino」「action」「update」の各項目を有する。また、操作ログテーブル121のレコードのうち、データ操作ログを示すレコードは、「counter」「type」「gno」「action」「update」の各項目を有する。
[ステップS101]ファイルシステム処理部132は、NASクライアント210からのファイルの書き込み要求を、NASサービス処理部131を介して受信する。このとき、ファイルの書き込み先を示すディレクトリ情報、ファイル名、ファイルサイズが指定される。ファイルシステム処理部132は、書き込み要求を受信すると、ファイル作成開始処理を実行する。
[ステップS111]ファイルシステム処理部132は、ディレクトリテーブル111に対して、書き込みが要求されたファイルに対応するレコードを追加する。
[ステップS121]ファイルシステム処理部132は、NASクライアント210から受信したファイルの実データを、チャンク単位に分割する。
[ステップS123]ファイルシステム処理部132は、処理対象のチャンクについて、チャンク書き込み処理を実行する。
[ステップS125]ファイルシステム処理部132は、エントリテーブル112に登録された、書き込みが要求されたファイルに対応するレコードを更新する。この処理では、例えば、「mode」「nlink」「uid」「gid」「atime」「mtime」「ctime」の各項目に情報が登録される。
[ステップS131]ファイルシステム処理部132は、処理対象のチャンクのデータを基にハッシュ値を算出する。
[ステップS138]ファイルシステム処理部132は、操作ログテーブル121に対してデータ操作ログを追加する。このとき、追加されたデータ操作ログにおいては、「gno」の項目に、ステップS137で生成されたグループ番号が記録され、「action」の項目に「データ書き込み中」が記録され、「update」の項目に、更新カウンタの値として「1」が記録される。
[ステップS151]ファイルシステム処理部132は、操作ログテーブル121を参照し、書き込みが要求されたファイルに対応するファイル操作ログが存在するかを判定する。ファイルシステム処理部132は、該当するファイル操作ログが見つかった場合、ステップS153の処理を実行し、該当するファイル操作ログが存在しない場合、ステップS152の処理を実行する。
図23は、ファイル更新が要求された場合のデータ書き込み処理の例を示すフローチャートである。
また、ステップS166で「No」と判定され、かつ、ステップS164でカウントダウン後の参照カウンタの値が「0」になった場合、ファイルシステム処理部132は、この参照カウンタを含むレコードをチャンクテーブル114から削除してもよい。また、ステップS166で「Yes」と判定された場合、ファイルシステム処理部132は、チャンクテーブル114から、ステップS167で削除されたチャンクグループに属するすべてのチャンクデータのレコードを削除してもよい。
なお、NASクライアント210からファイルの削除が要求された場合には、次のような処理が実行される。ファイルシステム処理部132は、削除対象のファイルに含まれる各チャンクを処理対象として、図23のステップS164~S168の処理を実行する。これにより、削除対象のファイルに関連付けられたチャンクデータの参照カウンタの値が更新される。また、すべてのチャンクデータの参照カウンタが「0」になったチャンクグループが出現した場合、そのチャンクグループに関する情報群をクラウドストレージ240から削除するためのデータ操作ログが、操作ログテーブル121に登録される。
[ステップS201]クラウド転送処理部133は、操作ログテーブル121から先頭の操作ログ(すなわち、「counter」の項目に記録された値が最も小さいレコード)を取得する。
[ステップS204]クラウド転送処理部133は、データ操作ログに基づくクラウド転送処理を実行する。
[ステップS221]クラウド転送処理部133は、取得された操作ログの「action」の項目に「ファイル作成完了」が含まれている場合、ステップS222の処理を実行し、「ファイル作成完了」が含まれていない場合、ステップS223の処理を実行する。
図27は、データ操作ログに基づくクラウド転送処理の例を示すフローチャートである。この図27の処理は、図24のステップS204の処理に対応する。
なお、上記の各実施の形態に示した装置(情報処理装置1、クラウドストレージゲートウェイ100)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(BD)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
(付記1) 外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群と、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報とを記憶する記憶部と、制御部とを有し、
前記制御部は、
前記複数のデータ群のうち第1のデータ群に対する第1の操作を行うと、前記第1のデータ群に対応する第1の操作情報を前記転送制御情報に登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送する、
情報処理装置。
前記第1の操作情報の更新では、前記カウント値を更新し、
前記第1の操作情報と前記保持情報との比較では、前記第1の操作情報に含まれる前記カウント値と前記保持情報に含まれる前記カウント値とを比較する、
付記1記載の情報処理装置。
前記第1のデータ群の転送では、前記第1の操作情報に設定された前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送し、
前記第1の操作情報の更新では、前記第1の操作情報に前記第2の操作を示す第2の操作内容を設定し、
前記第1のデータ群の再転送では、前記第1の操作情報に設定された前記第2の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送する、
付記1または2に記載の情報処理装置。
前記第1のデータ群の再転送では、前記第1の操作情報に前記第1の操作内容と前記第2の操作内容とが設定されている場合、前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータと、前記第2の操作内容に基づいて前記第1のデータ群の中から抽出されたデータとを前記外部ストレージ装置に転送する、
付記3に記載の情報処理装置。
前記制御部は、さらに、前記第1のデータ群の再転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、前記第1の操作情報と前記保持情報とが一致した場合、前記第1の操作情報を前記転送制御情報から削除する、
付記1乃至4のいずれか1つに記載の情報処理装置。
付記1乃至5のいずれか1つに記載の情報処理装置。
(付記7) 前記複数のデータ群はそれぞれ、外部情報処理装置から前記外部ストレージ装置に対して書き込みが要求されたファイルに関する管理データ群であり、
前記第1の操作と前記第2の操作は、前記外部情報処理装置から前記第1のデータ群に対応する第1のファイルの書き込みが要求されてから書き込み処理の完了を前記外部情報処理装置に応答するまでの間に、前記第1のファイルに対応する前記管理データ群に対して段階的に実行される操作である、
付記1乃至6のいずれか1つに記載の情報処理装置。
前記第1のデータ群に対応する前記管理データ群は、前記第1のファイルを分割して生成された前記分割領域と、生成された前記分割領域にそれぞれ含まれる前記分割データの前記記憶部における格納場所との対応関係を示すデータと、前記第1のファイルのメタデータとを含み、
前記第1の操作は、前記メタデータの書き込み操作であり、前記第2の操作は、前記対応関係を示すデータの書き込み操作である、
付記7に記載の情報処理装置。
前記分割データの格納では、1以上の前記分割データをグループ化して生成された分割データ群を、それぞれ前記複数のデータ群に含まれるデータ群の1つとして前記記憶部に格納する、
付記1乃至6のいずれか1つに記載の情報処理装置。
記憶部に記憶された、外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群のうち、第1のデータ群に対する第1の操作を行うと、前記記憶部に記憶された、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報に対して、前記第1のデータ群に対応する第1の操作情報を登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送する、
処理を実行させる情報処理プログラム。
前記第1の操作情報の更新では、前記カウント値を更新し、
前記第1の操作情報と前記保持情報との比較では、前記第1の操作情報に含まれる前記カウント値と前記保持情報に含まれる前記カウント値とを比較する、
付記10に記載の情報処理プログラム。
前記第1のデータ群の転送では、前記第1の操作情報に設定された前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送し、
前記第1の操作情報の更新では、前記第1の操作情報に前記第2の操作を示す第2の操作内容を設定し、
前記第1のデータ群の再転送では、前記第1の操作情報に設定された前記第2の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送する、
付記10または11に記載の情報処理プログラム。
前記コンピュータに、
前記第1のデータ群の再転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、前記第1の操作情報と前記保持情報とが一致した場合、前記第1の操作情報を前記転送制御情報から削除する、
処理をさらに実行させる、
付記10乃至12のいずれか1つに記載の情報処理プログラム。
前記第1の操作と前記第2の操作は、前記外部情報処理装置から前記第1のデータ群に対応する第1のファイルの書き込みが要求されてから書き込み処理の完了を前記外部情報処理装置に応答するまでの間に、前記第1のファイルに対応する前記管理データ群に対して段階的に実行される操作である、
付記10乃至13のいずれか1つに記載の情報処理プログラム。
処理を前記コンピュータにさらに実行させ、
前記第1のデータ群に対応する前記管理データ群は、前記第1のファイルを分割して生成された前記分割領域と、生成された前記分割領域にそれぞれ含まれる前記分割データの前記記憶部における格納場所との対応関係を示すデータと、前記第1のファイルのメタデータとを含み、
前記第1の操作は、前記メタデータの書き込み操作であり、前記第2の操作は、前記対応関係を示すデータの書き込み操作である、
付記14に記載の情報処理プログラム。
1a 記憶部
1b 制御部
2 ストレージ装置
3a,3b,3c データ群
4 転送制御情報
4a,4a1 操作情報
Claims (11)
- 外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群と、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報とを記憶する記憶部と、制御部とを有し、
前記制御部は、
前記複数のデータ群のうち第1のデータ群に対する第1の操作を行うと、前記第1のデータ群に対応する第1の操作情報に所定のカウント値を設定し、前記カウント値が設定された前記第1の操作情報を前記転送制御情報に登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報に含まれる前記カウント値を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報に含まれる前記カウント値と、前記保持情報に含まれる前記カウント値とを比較し、
前記第1の操作情報に含まれる前記カウント値と前記保持情報に含まれる前記カウント値とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送する、
情報処理装置。 - 外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群と、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報とを記憶する記憶部と、制御部とを有し、
前記制御部は、
前記複数のデータ群のうち第1のデータ群に対する第1の操作を行うと、前記第1のデータ群に対応する第1の操作情報に前記第1の操作を示す第1の操作内容を設定し、前記第1の操作内容が設定された前記第1の操作情報を前記転送制御情報に登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1の操作情報に設定された前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報に前記第2の操作を示す第2の操作内容を設定することで当該第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群の中から、前記第1の操作情報に設定された前記第2の操作内容に基づいて抽出されたデータを前記外部ストレージ装置に再転送する、
情報処理装置。 - 前記第1の操作情報の更新では、前記第1の操作情報に対して前記第2の操作内容を追加的に設定し、
前記第1のデータ群の再転送では、前記第1の操作情報に前記第1の操作内容と前記第2の操作内容とが設定されている場合、前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータと、前記第2の操作内容に基づいて前記第1のデータ群の中から抽出されたデータとを前記外部ストレージ装置に転送する、
請求項2に記載の情報処理装置。 - 外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群と、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報とを記憶する記憶部と、制御部とを有し、
前記制御部は、
前記複数のデータ群のうち第1のデータ群に対する第1の操作を行うと、前記第1のデータ群に対応する第1の操作情報を前記転送制御情報に登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送するとともに、前記転送制御情報に登録された前記第1の操作情報を前記保持情報として一時的に保持し、
前記第1のデータ群の再転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、前記第1の操作情報と前記保持情報とが一致した場合、前記第1の操作情報を前記転送制御情報から削除する、
情報処理装置。 - 前記転送制御情報からは、前記操作情報が登録順に取得される、
請求項1記載の情報処理装置。 - 前記複数のデータ群はそれぞれ、外部情報処理装置から前記外部ストレージ装置に対して書き込みが要求されたファイルに関する管理データ群であり、
前記第1の操作と前記第2の操作は、前記外部情報処理装置から前記第1のデータ群に対応する第1のファイルの書き込みが要求されてから書き込み処理の完了を前記外部情報処理装置に応答するまでの間に、前記第1のファイルに対応する前記管理データ群に対して段階的に実行される操作である、
請求項1または5記載の情報処理装置。 - 前記制御部は、さらに、前記外部情報処理装置から書き込みが要求された各ファイルのデータを分割して分割領域に割り当て、前記分割領域にそれぞれ含まれる分割データを、重複を排除した状態で前記記憶部に格納し、
前記第1のデータ群に対応する前記管理データ群は、前記第1のファイルを分割して生成された前記分割領域と、生成された前記分割領域にそれぞれ含まれる前記分割データの前記記憶部における格納場所との対応関係を示すデータと、前記第1のファイルのメタデータとを含み、
前記第1の操作は、前記メタデータの書き込み操作であり、前記第2の操作は、前記対応関係を示すデータの書き込み操作である、
請求項6に記載の情報処理装置。 - 前記制御部は、さらに、外部情報処理装置から前記外部ストレージ装置に対して書き込みが要求されたファイルのデータを分割して分割領域に割り当て、前記分割領域にそれぞれ含まれる分割データを、重複を排除した状態で前記記憶部に格納し、
前記分割データの格納では、1以上の前記分割データをグループ化して生成された分割データ群を、それぞれ前記複数のデータ群に含まれるデータ群の1つとして前記記憶部に格納する、
請求項1または5記載の情報処理装置。 - コンピュータに、
記憶部に記憶された、外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群のうち、第1のデータ群に対する第1の操作を行うと、前記記憶部に記憶された、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報に対して、前記第1のデータ群に対応する第1の操作情報を、当該第1の操作情報に所定のカウント値を設定した状態で登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報に含まれる前記カウント値を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報に含まれる前記カウント値と、前記保持情報に含まれる前記カウント値とを比較し、
前記第1の操作情報に含まれる前記カウント値と前記保持情報に含まれる前記カウント値とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送する、
処理を実行させる情報処理プログラム。 - コンピュータに、
記憶部に記憶された、外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群のうち、第1のデータ群に対する第1の操作を行うと、前記記憶部に記憶された、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報に対して、前記第1のデータ群に対応する第1の操作情報を、当該第1の操作情報に前記第1の操作を示す第1の操作内容を設定した状態で登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1の操作情報に設定された前記第1の操作内容に基づいて前記第1のデータ群の中から抽出されたデータを前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報に前記第2の操作を示す第2の操作内容を設定することで当該第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群の中から、前記第1の操作情報に設定された前記第2の操作内容に基づいて抽出されたデータを前記外部ストレージ装置に再転送する、
処理を実行させる情報処理プログラム。 - コンピュータに、
記憶部に記憶された、外部ストレージ装置に対する転送単位ごとにそれぞれ分類された複数のデータ群のうち、第1のデータ群に対する第1の操作を行うと、前記記憶部に記憶された、前記複数のデータ群のいずれかにそれぞれ対応する1以上の操作情報が登録される転送制御情報に対して、前記第1のデータ群に対応する第1の操作情報を登録し、
前記第1のデータ群が転送対象として抽出されると、前記第1のデータ群に対応する前記第1の操作情報を保持情報として一時的に保持するとともに、前記第1のデータ群を前記外部ストレージ装置に転送し、
前記外部ストレージ装置に対する前記第1のデータ群の転送中に前記第1のデータ群に対する第2の操作を行った場合、前記転送制御情報に登録された前記第1の操作情報を更新し、
前記外部ストレージ装置に対する前記第1のデータ群の転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、
前記第1の操作情報と前記保持情報とが一致しない場合、前記第1の操作情報に対応する前記第1のデータ群を前記外部ストレージ装置に再転送するとともに、前記転送制御情報に登録された前記第1の操作情報を前記保持情報として一時的に保持し、
前記第1のデータ群の再転送が完了すると、前記転送制御情報に登録された前記第1の操作情報と、前記保持情報とを比較し、前記第1の操作情報と前記保持情報とが一致した場合、前記第1の操作情報を前記転送制御情報から削除する、
処理を実行させる情報処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017222952A JP7007565B2 (ja) | 2017-11-20 | 2017-11-20 | 情報処理装置および情報処理プログラム |
| US16/172,909 US10719556B2 (en) | 2017-11-20 | 2018-10-29 | Information processing apparatus and computer-readable storage medium storing information processing program |
| EP18203350.6A EP3495963B1 (en) | 2017-11-20 | 2018-10-30 | Information processing apparatus and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017222952A JP7007565B2 (ja) | 2017-11-20 | 2017-11-20 | 情報処理装置および情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019095925A JP2019095925A (ja) | 2019-06-20 |
| JP7007565B2 true JP7007565B2 (ja) | 2022-01-24 |
Family
ID=64100601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017222952A Active JP7007565B2 (ja) | 2017-11-20 | 2017-11-20 | 情報処理装置および情報処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10719556B2 (ja) |
| EP (1) | EP3495963B1 (ja) |
| JP (1) | JP7007565B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11681798B2 (en) * | 2019-10-31 | 2023-06-20 | Kyndryl, Inc. | Security screening of a universal serial bus device |
| JP7241105B2 (ja) * | 2021-01-21 | 2023-03-16 | 株式会社日立製作所 | ファイルストレージシステム及びファイルストレージシステムによるファイル管理方法 |
| JP2023150248A (ja) * | 2022-03-31 | 2023-10-16 | 富士通株式会社 | ストレージ制御プログラム、ストレージ制御方法およびストレージ制御装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203029A (ja) | 2001-11-02 | 2003-07-18 | Nec Corp | スイッチ方法、装置およびプログラム |
| JP2007310701A (ja) | 2006-05-19 | 2007-11-29 | Hitachi Ltd | データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法 |
| JP2012141738A (ja) | 2010-12-28 | 2012-07-26 | Hitachi Solutions Ltd | 情報管理方法、及び情報提供用計算機 |
| US20130054530A1 (en) | 2011-08-29 | 2013-02-28 | Oracle International Corporation | Live file system migration |
| JP2014529111A (ja) | 2011-06-30 | 2014-10-30 | アマゾン・テクノロジーズ・インコーポレーテッド | シャドーイングストレージゲートウェイ |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0384545A (ja) | 1989-08-29 | 1991-04-10 | Fuji Photo Film Co Ltd | ハロゲン化銀カラー写真感光材料およびカラー画像形成方法 |
| US5889935A (en) * | 1996-05-28 | 1999-03-30 | Emc Corporation | Disaster control features for remote data mirroring |
| JPH10161916A (ja) * | 1996-11-28 | 1998-06-19 | Hitachi Ltd | データベースの複製に伴う更新競合の検出方法 |
| US7546482B2 (en) * | 2002-10-28 | 2009-06-09 | Emc Corporation | Method and apparatus for monitoring the storage of data in a computer system |
| US7506812B2 (en) * | 2004-09-07 | 2009-03-24 | Semtek Innovative Solutions Corporation | Transparently securing data for transmission on financial networks |
| JP2008515120A (ja) | 2004-09-30 | 2008-05-08 | ネオパス ネットワークス,インク. | ストレージネットワーク用ストレージポリシーモニタリング |
| JP2008181461A (ja) | 2007-01-26 | 2008-08-07 | Hitachi Ltd | Nas装置間でのデータ移行を制御する装置及び方法 |
| JP5284905B2 (ja) | 2009-08-12 | 2013-09-11 | 富士通株式会社 | データ移行方法、及びプログラム |
| US9811532B2 (en) * | 2010-05-03 | 2017-11-07 | Panzura, Inc. | Executing a cloud command for a distributed filesystem |
| US8380949B2 (en) | 2010-05-20 | 2013-02-19 | International Business Machines Corporation | Managing write operations to an extent of tracks migrated between storage devices |
| US9805054B2 (en) * | 2011-11-14 | 2017-10-31 | Panzura, Inc. | Managing a global namespace for a distributed filesystem |
| US9405686B2 (en) * | 2013-03-13 | 2016-08-02 | Cloud Physics, Inc | Cache allocation system and method using a sampled cache utility curve in constant space |
| US20160063050A1 (en) | 2014-08-28 | 2016-03-03 | Joerg Schoen | Database Migration Consistency Checker |
| US10242012B1 (en) * | 2015-09-30 | 2019-03-26 | EMC IP Holding Company LLC | Managing truncation of files of file systems |
| US10228871B2 (en) * | 2016-02-22 | 2019-03-12 | Netapp Inc. | Enabling data integrity checking and faster application recovery in synchronous replicated datasets |
| US10067874B2 (en) * | 2016-06-07 | 2018-09-04 | International Business Machines Corporation | Optimizing the management of cache memory |
-
2017
- 2017-11-20 JP JP2017222952A patent/JP7007565B2/ja active Active
-
2018
- 2018-10-29 US US16/172,909 patent/US10719556B2/en active Active
- 2018-10-30 EP EP18203350.6A patent/EP3495963B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203029A (ja) | 2001-11-02 | 2003-07-18 | Nec Corp | スイッチ方法、装置およびプログラム |
| JP2007310701A (ja) | 2006-05-19 | 2007-11-29 | Hitachi Ltd | データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法 |
| JP2012141738A (ja) | 2010-12-28 | 2012-07-26 | Hitachi Solutions Ltd | 情報管理方法、及び情報提供用計算機 |
| JP2014529111A (ja) | 2011-06-30 | 2014-10-30 | アマゾン・テクノロジーズ・インコーポレーテッド | シャドーイングストレージゲートウェイ |
| US20130054530A1 (en) | 2011-08-29 | 2013-02-28 | Oracle International Corporation | Live file system migration |
Also Published As
| Publication number | Publication date |
|---|---|
| US10719556B2 (en) | 2020-07-21 |
| US20190155960A1 (en) | 2019-05-23 |
| JP2019095925A (ja) | 2019-06-20 |
| EP3495963B1 (en) | 2021-02-24 |
| EP3495963A1 (en) | 2019-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12229148B2 (en) | Data connector component for implementing integrity checking, anomaly detection, and file system metadata analysis | |
| US10489059B2 (en) | Tier-optimized write scheme | |
| US12169483B2 (en) | On-demand parallel processing of objects using data connector components | |
| US8209498B2 (en) | Method and system for transferring duplicate files in hierarchical storage management system | |
| JP5878548B2 (ja) | 重複排除ストレージ・システム、その内部の合成バックアップを容易にする方法、及び、プログラム | |
| US9928210B1 (en) | Constrained backup image defragmentation optimization within deduplication system | |
| US10831613B2 (en) | Replicating a source data set to a target data store | |
| CN103548003B (zh) | 用于提高去重复系统备份性能的客户端侧指纹缓存的方法和系统 | |
| US12174789B2 (en) | Sibling object generation for storing results of operations performed upon base objects | |
| US12182067B2 (en) | Containerization and serverless thread implementation for processing objects | |
| US20220138152A1 (en) | Full and incremental scanning of objects | |
| US20190361850A1 (en) | Information processing system and information processing apparatus | |
| US10437682B1 (en) | Efficient resource utilization for cross-site deduplication | |
| CN103460197A (zh) | 计算机系统、文件管理方法以及元数据服务器 | |
| US20130212070A1 (en) | Management apparatus and management method for hierarchical storage system | |
| EP3819754B1 (en) | Information processing apparatus and recording medium storing information processing program | |
| US10789228B2 (en) | Data presence/absence determination apparatus and computer-readable storage medium storing program for determination of data presence/absence | |
| WO2016079629A1 (en) | Optimizing database deduplication | |
| CN102667709A (zh) | 用于提供数据的长期存储的系统和方法 | |
| JP7007565B2 (ja) | 情報処理装置および情報処理プログラム | |
| EP3998533B1 (en) | On-demand parallel processing of objects using data connector components |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200825 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7007565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |