[go: up one dir, main page]

JP2020119030A - Information processing apparatus control program, information processing apparatus control method, and information processing apparatus - Google Patents

Information processing apparatus control program, information processing apparatus control method, and information processing apparatus Download PDF

Info

Publication number
JP2020119030A
JP2020119030A JP2019007139A JP2019007139A JP2020119030A JP 2020119030 A JP2020119030 A JP 2020119030A JP 2019007139 A JP2019007139 A JP 2019007139A JP 2019007139 A JP2019007139 A JP 2019007139A JP 2020119030 A JP2020119030 A JP 2020119030A
Authority
JP
Japan
Prior art keywords
image
difference
function
information processing
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019007139A
Other languages
Japanese (ja)
Other versions
JP6677830B1 (en
Inventor
翔太 塩原
Shota Shiobara
翔太 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2019007139A priority Critical patent/JP6677830B1/en
Application granted granted Critical
Publication of JP6677830B1 publication Critical patent/JP6677830B1/en
Publication of JP2020119030A publication Critical patent/JP2020119030A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】道路標識等が運転手に視認しにくい状態であることを検出可能な、情報処理装置の制御プログラム等を提供すること。【解決手段】情報処理装置の制御プログラムは、情報処理装置に、画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出機能と、画像に含まれる1以上の物体を、第1の精度とは異なる第2の精度で検出する第2画像検出機能と、一の画像を取得する画像取得機能と、一の画像における、第1画像検出機能による第1検出結果と、第2画像検出機能による第2検出結果との差異を抽出する抽出機能と、抽出機能により差異が抽出された場合、当該差異に関する情報を、一の画像に関連付けて出力する出力機能と、を実現させる。【選択図】 図1PROBLEM TO BE SOLVED: To provide a control program or the like of an information processing device capable of detecting that a road sign or the like is difficult to be visually recognized by a driver. SOLUTION: A control program of an information processing apparatus has a first image detection function for detecting one or more objects included in an image with the first accuracy, and one or more objects included in the image. , A second image detection function that detects with a second accuracy different from the first accuracy, an image acquisition function that acquires one image, and a first detection result by the first image detection function in one image. Realizes an extraction function that extracts the difference from the second detection result by the second image detection function, and an output function that outputs information about the difference in association with one image when the difference is extracted by the extraction function. Let me. [Selection diagram] Fig. 1

Description

本発明は、情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置に関し、特に、画像に含まれる1以上の物体を検出する画像検出において用いられる、情報処理装置の制御プログラム等に関する。 The present invention relates to a control program for an information processing apparatus, a method for controlling the information processing apparatus, and an information processing apparatus, and in particular, a control program for an information processing apparatus used in image detection for detecting one or more objects included in an image. Etc.

車両の安全運転を支援する技術の発展が著しい。例えば、特許文献1には、車両に搭載されたドライブレコーダやスマートフォン等で撮像された画像から、当該画像に含まれる道路標識を認識し、認識した内容を運転者に伝える技術が開示されている。 The development of technology that supports safe driving of vehicles is remarkable. For example, Patent Document 1 discloses a technique of recognizing a road sign included in an image captured from an image captured by a drive recorder, a smartphone, or the like mounted on a vehicle, and transmitting the recognized content to a driver. ..

また、近年、人工知能(AI:Artificial Intelligence)や機械学習の発展により、画像認識や画像検出の精度が飛躍的に向上している。そこで、精度の高い画像検出を、特許文献1に記載の技術のような道路標識の認識に適用すれば、道路標識が見え難い状態であっても、当該道路標識を適切に認識して、運転者に伝えることが可能である。 Also, in recent years, the accuracy of image recognition and image detection has dramatically improved due to the development of artificial intelligence (AI) and machine learning. Therefore, if high-accuracy image detection is applied to recognition of a road sign like the technique described in Patent Document 1, even if the road sign is difficult to see, the road sign is appropriately recognized and driving is performed. It is possible to tell the person.

特開2017−068351号公報JP, 2017-068351, A

上述のように、最近の画像認識・画像検出の技術を利用すれば、道路標識が木葉に覆われていたり、運転手から見えにくい角度を向いていたりといった、運転手が運転時には視認できない状態でも、ドライブレコーダ等で撮像した画像から、道路標識を検出できてしまう。従って、道路標識を運転手が視認しにくい状態が放置されてしまうという問題が起こり得る。しかしながら、そのような、運転手が視認しにくい状態で道路標識を放置することは、安全面から適切ではない。 As described above, using recent image recognition and image detection technologies, even when the driver cannot see the road sign while driving, such as when the road sign is covered with leaves or facing an angle that is difficult for the driver to see. , A road sign can be detected from an image captured by a drive recorder or the like. Therefore, a problem may occur that the road sign is left in a state where it is difficult for the driver to visually recognize it. However, it is not appropriate from the safety point of view to leave the road sign in such a state that the driver cannot easily see the road sign.

そこで、本発明は、上述のような問題を解消し、道路標識等、ユーザが適切に視認する必要があるオブジェクトが、視認しにくい状態であることを検出可能な、情報処理装置の制御プログラム等を提供する。 Therefore, the present invention solves the above-mentioned problems, and can detect that an object, such as a road sign, that the user needs to properly visually recognize is in a state in which it is difficult to visually recognize, and the like. I will provide a.

本発明の一実施形態に係る情報処理装置の制御プログラムは、情報処理装置に、画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出機能と、画像に含まれる1以上の物体を、第1の精度とは異なる第2の精度で検出する第2画像検出機能と、一の画像を取得する画像取得機能と、一の画像における、第1画像検出機能による第1検出結果と、第2画像検出機能による第2検出結果との差異を抽出する抽出機能と、抽出機能により差異が抽出された場合、当該差異に関する情報を、一の画像に関連付けて出力する出力機能と、を実現させる。 A control program for an information processing apparatus according to an embodiment of the present invention includes a first image detection function for detecting, with a first accuracy, one or more objects included in an image in the information processing apparatus, and a 1 A second image detection function for detecting the above objects with a second accuracy different from the first accuracy, an image acquisition function for acquiring one image, and a first image detection function for one image based on the first image detection function. An extraction function for extracting a difference between the detection result and the second detection result by the second image detection function, and an output function for outputting information regarding the difference in association with one image when the difference is extracted by the extraction function And realize.

本発明の一実施形態に係る制御プログラムにおいて、第1の精度は、画像検出が所定の条件下で人間によって実行された際の人間による検出精度を示す所定の閾値よりも高く、第2の精度は、所定の閾値以下であってもよい。 In the control program according to the embodiment of the present invention, the first accuracy is higher than a predetermined threshold value indicating a human detection accuracy when the image detection is executed by a human under a predetermined condition, and a second accuracy is set. May be less than or equal to a predetermined threshold.

本発明の一実施形態に係る制御プログラムは、情報処理装置に、一の画像の撮影場所に関する情報である場所情報を取得する場所情報取得機能をさらに実現させ、出力機能は、差異に関する情報とともに、一の画像の場所情報を出力してもよい。 A control program according to an embodiment of the present invention causes an information processing apparatus to further realize a location information acquisition function of acquiring location information that is information regarding a shooting location of one image, and an output function includes information regarding a difference, The location information of one image may be output.

本発明の一実施形態に係る制御プログラムは、情報処理装置に、抽出機能により抽出された差異と、一の画像の撮影場所との関連性を判定する判定機能と、をさらに実現させ、出力機能は、判定機能によって判定された関連性に応じて、差異に関する情報を出力してもよい。 A control program according to an embodiment of the present invention further causes an information processing device to realize a difference function extracted by an extraction function and a determination function of determining a relationship between a shooting location of one image and an output function. May output information regarding the difference according to the relevance determined by the determination function.

本発明の一実施形態に係る制御プログラムにおいて、判定機能は、所定の記憶部に記憶されている、一の画像の撮影場所に関連付けられた当該撮影場所に関する少なくとも1以上の特徴に基づき、関連性を判定してもよい。 In the control program according to the embodiment of the present invention, the determination function is based on at least one or more characteristics related to a shooting location of one image, which is stored in a predetermined storage unit, and is related to each other. May be determined.

本発明の一実施形態に係る制御プログラムは、情報処理装置に、出力機能によって出力された差異に関する情報の出力が必要か否かについての選択情報をユーザから受け付ける受付機能と、差異と、選択情報とに基づき、一の画像の撮影場所に関する特徴を学習する学習機能と、をさらに実現させてもよい。 A control program according to an embodiment of the present invention includes a reception function of receiving from a user selection information as to whether or not it is necessary to output information regarding a difference output by an output function to an information processing device, a difference, and selection information. Based on the above, a learning function of learning a feature relating to a shooting location of one image may be further realized.

本発明の一実施形態に係る情報処理装置の制御方法は、画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出部と、画像に含まれる1以上の物体を、第1の精度とは異なる第2の精度で検出する第2画像検出部とを備える情報処理装置が、一の画像を取得する画像取得ステップと、一の画像における、第1画像検出部による第1検出結果と、第2画像検出部による第2検出結果との差異を抽出する抽出ステップと、抽出ステップにて差異が抽出された場合、当該差異に関する情報を出力する出力ステップと、を実行する。 A control method for an information processing apparatus according to an embodiment of the present invention includes a first image detection unit that detects one or more objects included in an image with a first accuracy, and one or more objects included in the image. An information processing apparatus including a second image detection unit that detects a second accuracy different from the first accuracy includes an image acquisition step of acquiring one image, and a first image detection unit for the first image in the one image. 1) performing an extraction step of extracting a difference between the detection result and the second detection result of the second image detection section, and an output step of outputting information on the difference when the difference is extracted in the extraction step ..

本発明の一実施形態に係る情報処理装置は、画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出部と、画像に含まれる1以上の物体を、第1の精度とは異なる第2の精度で検出する第2画像検出部と、一の画像を取得する画像取得部と、一の画像における、第1画像検出部による第1検出結果と、第2画像検出部による第2検出結果との差異を抽出する抽出部と、抽出部により差異が抽出された場合、当該差異に関する情報を出力する出力部と、を備える。 An information processing apparatus according to an embodiment of the present invention includes a first image detection unit that detects one or more objects included in an image with a first accuracy, and one or more objects included in the image as a first image detection unit. A second image detection unit that detects with a second accuracy different from the accuracy, an image acquisition unit that acquires one image, a first detection result by the first image detection unit in one image, and a second image detection An extraction unit that extracts a difference from the second detection result by the unit, and an output unit that outputs information about the difference when the extraction unit extracts the difference.

本発明によれば、ユーザが適切に視認する必要のあるオブジェクトが、視認しにくい状態であることを検出可能な、情報処理装置の制御プログラム等を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the control program of an information processing apparatus etc. which can detect that the object which a user needs to recognize appropriately are in a state where it is difficult to recognize visually.

本発明の一実施形態に係る画像検出システム構成の概略図である。1 is a schematic diagram of an image detection system configuration according to an embodiment of the present invention. 本発明の一実施形態に係るサーバ(情報処理装置)のハードウェア構成の一例である。1 is an example of a hardware configuration of a server (information processing device) according to an embodiment of the present invention. (a)、(b)とも、本発明の一実施形態に係る画像検出システムの概要を説明する図である。(A) And (b) is a figure explaining the outline of the image detection system which concerns on one Embodiment of this invention. (a)、(b)とも、本発明の一実施形態に係る画像検出システムによる出力結果を表示する画面例である。Both (a) and (b) are examples of screens that display the output result of the image detection system according to the embodiment of the present invention. 本発明の一実施形態に係るサーバの制御方法のフロー図である。It is a flowchart of the control method of the server which concerns on one Embodiment of this invention. (a)は、画像検出の対象となる画像の一例、(b)は、本発明の一実施形態に係る画像検出システムで利用されるテーブルである。(A) is an example of an image to be image-detected, and (b) is a table used in the image detection system according to the embodiment of the present invention. 本発明の一実施形態に係る画像検出システムによる出力結果を表示する画面例である。6 is an example of a screen displaying an output result by the image detection system according to the embodiment of the present invention.

以降、諸図面を参照しながら、本発明の一実施形態を詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

<システム構成>
図1は、本発明の一実施形態に係る画像検出システムの構成例を示す図である。図1に示すように、画像検出システム400は、ネットワーク300を介して互いに接続された、サーバ(情報処理装置)100と、通信端末200(200A,200B)とを含む。
<System configuration>
FIG. 1 is a diagram showing a configuration example of an image detection system according to an embodiment of the present invention. As shown in FIG. 1, the image detection system 400 includes a server (information processing device) 100 and a communication terminal 200 (200A, 200B) connected to each other via a network 300.

通信端末200は、撮像部を備え、撮像した動画像や静止画をサーバ100へ送信可能な通信端末である。撮像部としては、カメラ、ビデオ、センサ、ライダー(LiDER)等、対象物を撮像できるものであればその種類は問わない。通信端末200の例として、図1では、スマートフォン200Aと、車両に搭載され、カメラ210Bの撮像する動画像を記録するドライブレコーダ200Bとを示してあるが、通信端末200はこれらに限られるものではない。また、図1において、通信端末200を2つのみ示してあるが、これ以上でも、これ以下であってもよい。なお、これ以降、特に区別する必要がない場合、スマートフォン200A、ドライブレコーダ200Bを、通信端末200と表す。 The communication terminal 200 is a communication terminal that includes an image capturing unit and can transmit a captured moving image or still image to the server 100. The image capturing unit may be of any type, such as a camera, a video, a sensor, and a lidar (LiDER), as long as it can capture an image of an object. As an example of the communication terminal 200, FIG. 1 illustrates a smartphone 200A and a drive recorder 200B mounted on a vehicle and recording a moving image captured by the camera 210B, but the communication terminal 200 is not limited to these. Absent. Although only two communication terminals 200 are shown in FIG. 1, more or less communication terminals 200 may be used. In the following description, the smartphone 200A and the drive recorder 200B will be referred to as the communication terminal 200, unless otherwise required to be distinguished.

サーバ100は、通信端末200が撮像した画像から、1以上の物体を検出する画像検出を実行する(詳細は後述する)。サーバ100は、典型的にはクラウド上で実現されてもよい。 The server 100 executes image detection for detecting one or more objects from the image captured by the communication terminal 200 (details will be described later). The server 100 may be typically realized on the cloud.

ネットワーク300は、サーバ100、及び、各通信端末200を接続する役割を担う。ネットワーク300は、これらの間でデータを送受信することができるように接続経路を提供する通信網を意味する。ネットワーク300は、無線ネットワークや有線ネットワークを含んでよい。具体的には、ネットワーク300は、ワイヤレスLAN(wireless LAN:WLAN)や広域ネットワーク(wide area network:WAN)、ISDNs(integrated service digital networks)、無線LANs、LTE(long term evolution)、LTE−Advanced、第4世代(4G)、第5世代(5G)、CDMA(code division multiple access)等である。なお、ネットワーク300は、これらの例に限られず、例えば、公衆交換電話網(Public Switched Telephone Network:PSTN)やブルートゥース(Bluetooth(登録商標))、光回線、ADSL(Asymmetric Digital Subscriber LINE)回線、衛星通信網等であってもよい。また、ネットワーク300は、これらの組み合わせであってもよい。 The network 300 plays a role of connecting the server 100 and each communication terminal 200. The network 300 means a communication network that provides a connection path so that data can be transmitted and received between them. The network 300 may include a wireless network or a wired network. Specifically, the network 300 includes a wireless LAN (WLAN), a wide area network (WAN), ISDNs (integrated service digital networks), wireless LANs, LTE (long term evolution), LTE-Advanced, The fourth generation (4G), the fifth generation (5G), CDMA (code division multiple access), and the like. The network 300 is not limited to these examples. For example, the public switched telephone network (PSTN), Bluetooth (registered trademark), optical line, ADSL (Asymmetric Digital Subscriber LINE) line, satellite. It may be a communication network or the like. Further, the network 300 may be a combination of these.

なお、サーバ100及び通信端末200は、本開示に記載される機能、及び/又は、方法を実現できる情報処理装置であればどのような情報処理装置であってもよい。例えば、これら情報処理装置の例として、スマートフォン、携帯電話(フィーチャーフォン)、コンピュータ(例えば、デスクトップ、ラップトップ、タブレットなど)、サーバ装置、メディアコンピュータプラットホーム(例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダなど)、ハンドヘルドコンピュータデバイス(例えば、PDA(Personal Digital Assistant)、電子メールクライアントなど)、ウェアラブル端末(例えば、メガネ型デバイス、時計型デバイスなど)、他種のコンピュータ、又はコミュニケーションプラットホームを含んでよい。 Note that the server 100 and the communication terminal 200 may be any information processing device as long as it is an information processing device that can implement the functions and/or methods described in the present disclosure. For example, examples of these information processing devices include smartphones, mobile phones (feature phones), computers (for example, desktops, laptops, tablets, etc.), server devices, media computer platforms (for example, cables, satellite set-top boxes, digital video). A recorder, etc.), a handheld computing device (eg PDA (Personal Digital Assistant), email client, etc.), a wearable terminal (eg glasses-type device, watch-type device, etc.), another type of computer, or a communication platform. ..

<ハードウェア構成>
図1の説明に先立ち、図2を用いて、サーバ100のハードウェア構成について説明する。なお、図2ではサーバ100として示してあるが、ハードウェア構成は、通信端末200も同様である。
<Hardware configuration>
Prior to the description of FIG. 1, the hardware configuration of the server 100 will be described with reference to FIG. Although shown as the server 100 in FIG. 2, the communication terminal 200 has the same hardware configuration.

サーバ100は、プロセッサ101と、メモリ102と、ストレージ103と、入出力インタフェース(I/F)104と、通信I/F105との協働により、本実施形態に記載される機能や方法を実現する。例えば、本開示の機能又は方法は、メモリ102に読み込まれたプログラムに含まれる命令をプロセッサ101が実行することによって実現される。 The server 100 realizes the functions and methods described in the present embodiment by the cooperation of the processor 101, the memory 102, the storage 103, the input/output interface (I/F) 104, and the communication I/F 105. .. For example, the function or method of the present disclosure is realized by the processor 101 executing an instruction included in a program read into the memory 102.

プロセッサ101は、ストレージ103に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び/又は、方法を実行する。プロセッサ101は、例えば、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を含み、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、1又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。 The processor 101 executes a function and/or a method realized by a code or an instruction included in a program stored in the storage 103. The processor 101 is, for example, a central processing unit (CPU), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), microprocessor (microprocessor), processor core (processor core), multiprocessor (multiprocessor), ASIC (Application- Specific integrated circuit), FPGA (Field Programmable Gate Array), etc., and implemented by a logic circuit (hardware) or dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or the like. Each process disclosed in the embodiment may be realized. Further, these circuits may be realized by one or a plurality of integrated circuits, and the plurality of processes shown in each embodiment may be realized by a single integrated circuit. Further, the LSI may be referred to as VLSI, super LSI, ultra LSI, or the like depending on the degree of integration.

メモリ102は、ストレージ103からロードしたプログラムを一時的に記憶し、プロセッサ101に対して作業領域を提供する。メモリ102には、プロセッサ101がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ102は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む。 The memory 102 temporarily stores the program loaded from the storage 103 and provides a work area to the processor 101. The memory 102 also temporarily stores various data generated while the processor 101 is executing the program. The memory 102 includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.

ストレージ103は、プログラムを記憶する。ストレージ103は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含む。 The storage 103 stores the program. The storage 103 includes, for example, a HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, and the like.

通信I/F105は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク300を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F105は、ネットワーク300を介して、他の情報処理装置である通信端末200との通信を実行する。通信I/F105は、各種データをプロセッサ101からの指示に従って、他の情報処理装置に送信する。また、通信I/F105は、他の情報処理装置から送信された各種データを受信し、プロセッサ101に伝達する。 The communication I/F 105 is implemented as hardware such as a network adapter, communication software, or a combination thereof, and transmits and receives various data via the network 300. The communication may be performed by wire or wireless, and any communication protocol may be used as long as mutual communication can be performed. The communication I/F 105 executes communication with the communication terminal 200, which is another information processing apparatus, via the network 300. The communication I/F 105 transmits various data to another information processing device according to an instruction from the processor 101. Further, the communication I/F 105 receives various data transmitted from another information processing device and transfers the data to the processor 101.

入出力I/F104は、サーバ100に対する各種操作を入力する入力装置、及び、サーバ100で処理された処理結果を出力する出力装置を含む。入出力I/F104は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ101に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(画像を介した操作入力)、マイク(音声による操作入力)を含む。出力装置は、プロセッサ101で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。 The input/output I/F 104 includes an input device that inputs various operations on the server 100 and an output device that outputs a processing result processed by the server 100. In the input/output I/F 104, an input device and an output device may be integrated, or an input device and an output device may be separated. The input device is realized by any of all types of devices that can receive an input from a user and transmit information related to the input to the processor 101, or a combination thereof. The input device includes, for example, a hardware key such as a touch panel, a touch display, and a keyboard, a pointing device such as a mouse, a camera (operation input via an image), and a microphone (operation input by voice). The output device outputs the processing result processed by the processor 101. The output device includes, for example, a touch panel, a speaker, and the like.

<機能構成>
図1に戻り、サーバ100、通信端末200の機能構成について説明する。図1に示すように、サーバ100は、通信制御部110、第1画像検出部121、第2画像検出部122、入出力制御部130、抽出部140、出力部150、判定部160、受付部170、学習部180、及び、記憶部190を備える。なお、図1に記載の各機能部が必須ではなく、これ以降に説明する各実施形態において、必須でない機能部はなくともよい。また、各機能部の機能または処理は、実現可能な範囲において、機械学習またはAI(Artificial Intelligence)により実現されてもよい。
<Functional configuration>
Returning to FIG. 1, the functional configurations of the server 100 and the communication terminal 200 will be described. As illustrated in FIG. 1, the server 100 includes a communication control unit 110, a first image detection unit 121, a second image detection unit 122, an input/output control unit 130, an extraction unit 140, an output unit 150, a determination unit 160, a reception unit. 170, a learning unit 180, and a storage unit 190. Note that the functional units illustrated in FIG. 1 are not essential, and in the embodiments described below, the non-essential functional units may be omitted. Further, the function or processing of each functional unit may be realized by machine learning or AI (Artificial Intelligence) in a feasible range.

通信制御部110は、通信I/F105を介した外部装置との間の通信を制御する。すなわち、通信制御部110は、通信端末200との間の通信で取得したデータを、第1画像検出部121、第2画像検出部122及び記憶部190へ送信したり、それら機能部からのデータを、通信端末200へ送信したりする。従って、通信制御部110は、通信端末200が撮像した一の画像を取得する画像取得部として機能する。 The communication control unit 110 controls communication with an external device via the communication I/F 105. That is, the communication control unit 110 transmits the data acquired by the communication with the communication terminal 200 to the first image detection unit 121, the second image detection unit 122, and the storage unit 190, or the data from the functional units. Is transmitted to the communication terminal 200. Therefore, the communication control unit 110 functions as an image acquisition unit that acquires one image captured by the communication terminal 200.

入出力制御部130は、入出力I/F104を介した外部装置との各種情報の伝達を制御する。例えば、入出力制御部130は、タッチパネル、キーボード、マイク等の図示しない入力装置からのユーザからの入力指示に応じて各機能部へ情報を伝達したり、タッチパネル、モニタ、スピーカ等の図示しない出力装置に対し、各機能部からの情報を伝達したりする。なお、通信端末200が撮像した一の画像が、例えばユーザによって持ち運び可能なメモリ等に保存され、当該メモリを入力装置として、サーバ100へ画像が入力される場合もある。このような場合、入出力制御部130は、一の画像を取得する画像取得部として機能する。 The input/output control unit 130 controls transmission of various types of information with an external device via the input/output I/F 104. For example, the input/output control unit 130 transmits information to each functional unit according to an input instruction from a user (not shown) such as a touch panel, a keyboard, a microphone or the like, and outputs (not shown) such as a touch panel, a monitor or a speaker. Information from each functional unit is transmitted to the device. In addition, one image captured by the communication terminal 200 may be stored in, for example, a memory that can be carried by a user, and the image may be input to the server 100 using the memory as an input device. In such a case, the input/output control unit 130 functions as an image acquisition unit that acquires one image.

第1画像検出部121は、画像に含まれる1以上の物体を検出する画像検出において、第1の精度を有する。第2画像検出部122は、画像に含まれる1以上の物体を、第1の精度とは異なる第2の精度で検出する。なお、本実施形態における画像検出とは、画像に含まれる物体を検出し、その物体に関する情報を出力する処理を指す。物体に関する情報とは、物体のカテゴリ、名称、色、検出した物体の画像における位置(座標等)等であってよい。なお、物体に関する情報には、検出した物体の意味が含まれてもよい。例えば、物体が道路標識であった場合、当該道路標識の意味として、「駐車禁止」、「一時停止」といった内容が出力されてもよい。第1画像検出部121及び第2画像検出部122による画像検出には、既知の画像検出技術(画像認識技術)を用いることができ、詳細なアルゴリズム等の説明は省略する。 The first image detection unit 121 has a first accuracy in image detection for detecting one or more objects included in the image. The second image detection unit 122 detects one or more objects included in the image with a second accuracy different from the first accuracy. The image detection in this embodiment refers to a process of detecting an object included in an image and outputting information about the object. The information about the object may be the category, name, color of the object, the position (coordinates, etc.) of the detected object in the image, and the like. The information about the object may include the meaning of the detected object. For example, when the object is a road sign, the meanings of the road sign may be output such as “no parking” and “pause”. A known image detection technique (image recognition technique) can be used for image detection by the first image detection unit 121 and the second image detection unit 122, and detailed description of algorithms and the like will be omitted.

第1画像検出部121と第2画像検出部122とは、上述のように、異なる検出精度を有する。ここで、検出精度とは、同一条件で複数の画像に対して画像検出を実行した結果の正解率に応じた指標である。第1画像検出部121と、第2画像検出部122とは、検出精度が異なるものであれば、画像検出のアルゴリズムはそれぞれ異なってもよい。なお、画像検出において同一のアルゴリズムを用いる場合に、第1画像検出部121と第2画像検出部122とで異なる検出精度を実現するためには、画像検出のアルゴリズムで用いられるパラメータを、第1画像検出部121と第2画像検出部122との間で変更したり、既知の画像検出に関するアプリケーションソフトウェアにおいて、異なるバージョンを用いたりしてもよい。一般的に、旧バージョンよりも新バージョンの方が検出精度が向上する。 The first image detection unit 121 and the second image detection unit 122 have different detection accuracy as described above. Here, the detection accuracy is an index according to the correct answer rate as a result of performing image detection on a plurality of images under the same condition. The first image detection unit 121 and the second image detection unit 122 may have different image detection algorithms as long as the detection accuracy is different. When the same algorithm is used in image detection, in order to realize different detection accuracy between the first image detection unit 121 and the second image detection unit 122, the parameters used in the image detection algorithm are set to the first A change may be made between the image detection unit 121 and the second image detection unit 122, or a different version may be used in known application software relating to image detection. In general, the new version has a higher detection accuracy than the old version.

抽出部140は、一の画像における、第1画像検出部121による第1検出結果と、第2画像検出部122による第2検出結果との差異を抽出する。出力部150は、抽出部140によって差異が抽出された場合、当該差異に関する情報を、一の画像に関連付けて出力する。 The extraction unit 140 extracts the difference between the first detection result by the first image detection unit 121 and the second detection result by the second image detection unit 122 in one image. When the difference is extracted by the extraction unit 140, the output unit 150 outputs information regarding the difference in association with one image.

サーバ100の他の機能部の説明に先立ち、通信端末200の機能構成について説明する。図1に示すように、通信端末200は、通信制御部210、撮像制御部220、位置情報取得部230、及び、記憶部240を備える。なお、各機能部の機能または処理は、実現可能な範囲において、機械学習またはAIにより実現されてもよい。 Prior to description of other functional units of the server 100, the functional configuration of the communication terminal 200 will be described. As shown in FIG. 1, the communication terminal 200 includes a communication control unit 210, an imaging control unit 220, a position information acquisition unit 230, and a storage unit 240. Note that the function or processing of each functional unit may be realized by machine learning or AI within a feasible range.

通信制御部210は、ネットワーク300を介した、通信端末200と外部装置(例えば、サーバ100)との間の各種情報の送受信を実行させる。撮像制御部220は、通信端末200のユーザからの指示に応じて、撮像部による撮像を制御する。位置情報取得部230は、通信端末200の現在位置の位置情報を測定する機能を備える。位置情報取得部230は、例えば、GPS(Global Positioning System)を用いて、通信端末200の現在位置の位置情報として、該通信端末200の緯度および経度を測定する。なお、位置情報の計測は、GPSに限られず、公衆のWi−Fi等の無線LAN、IMES(Indoor MEssaging System)やRFID(Radio Frequency Identifier)、BLE(Bluetooth Low Energy)等の通信方式を用いて、通信端末200の位置情報を測定してもよい。また、LTEやCDMA等の移動体通信システムを用いて、通信端末200の位置情報を測定してもよい。記憶部240は、ストレージ等に、通信端末200が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。 The communication control unit 210 executes transmission/reception of various information between the communication terminal 200 and an external device (for example, the server 100) via the network 300. The imaging control unit 220 controls imaging by the imaging unit according to an instruction from the user of the communication terminal 200. The position information acquisition unit 230 has a function of measuring position information of the current position of the communication terminal 200. The position information acquisition unit 230 measures the latitude and longitude of the communication terminal 200 as position information of the current position of the communication terminal 200 by using, for example, GPS (Global Positioning System). In addition, the measurement of the position information is not limited to GPS, and the communication method such as public wireless LAN such as Wi-Fi, IMES (Indoor MEssaging System), RFID (Radio Frequency Identifier), BLE (Bluetooth Low Energy), or the like is used. Alternatively, the position information of the communication terminal 200 may be measured. The position information of the communication terminal 200 may be measured using a mobile communication system such as LTE or CDMA. The storage unit 240 has a function of storing various programs and various data necessary for the communication terminal 200 to operate in a storage or the like.

<画像検出処理>
上述の、本発明の一実施形態による画像検出処理について、図3を用いて説明する。画像10は、通信端末200が撮像した画像である。画像10には、木11、道路標識12が含まれるが、道路標識12の一部が木11によって覆われている。画像10は、サーバ100において、第1画像検出部121と第2画像検出部122とにそれぞれ送信される。そして、第1画像検出部121による画像検出の結果、テーブルTB11に示す第1検出結果が得られたとする。同様に、第2画像検出部122による画像検出の結果、テーブルTB12に示す第2検出結果が得られたとする。
<Image detection processing>
The above-described image detection processing according to the embodiment of the present invention will be described with reference to FIG. The image 10 is an image captured by the communication terminal 200. The image 10 includes a tree 11 and a road sign 12, but a part of the road sign 12 is covered with the tree 11. The image 10 is transmitted to the first image detection unit 121 and the second image detection unit 122 in the server 100, respectively. Then, it is assumed that the first detection result shown in the table TB11 is obtained as a result of the image detection by the first image detection unit 121. Similarly, it is assumed that the second detection result shown in the table TB12 is obtained as a result of the image detection by the second image detection unit 122.

図3の例において、検出結果は、画像10に含まれる物体の情報が、タグとしてテキスト情報で出力されている。ここで、第1検出結果と第2検出結果とでは、第1検出結果には「駐車禁止」、「40」というタグがあるのに対し、第2検出結果には検出されていない。なお、第2検出結果では、「0」というタグが出力されており、道路標識12の「40」という数字の検出が不可能であったことが分かる。 In the example of FIG. 3, as the detection result, the information of the object included in the image 10 is output as text information as a tag. Here, in the first detection result and the second detection result, the first detection result has the tags "parking prohibited" and "40", whereas the second detection result does not detect them. In the second detection result, the tag "0" is output, which indicates that the number "40" on the road sign 12 cannot be detected.

抽出部140は、第1検出結果と第2検出結果との差異を抽出する。図3の例では、「駐車禁止」、「40」が第1検出結果に含まれ、第2検出結果には含まれないこと、「0」が第2検出結果に含まれ、第1検出結果には含まれないことが、差異として抽出される。 The extraction unit 140 extracts the difference between the first detection result and the second detection result. In the example of FIG. 3, “parking prohibited” and “40” are included in the first detection result, not included in the second detection result, and “0” is included in the second detection result. What is not included in is extracted as a difference.

記憶部190は、抽出部140によって抽出された差異に関する情報を、画像10に関連付けて記憶する。例えば、図3(b)に示すように、画像10の画像ID(image_10)に対し、検出差(「駐車禁止」「40」)を関連付けて、検出結果テーブルTB13として記憶されてもよい。さらに、記憶部190には、画像10の撮影場所に関する情報である場所情報が記憶されてもよい。図3(b)の例では、場所情報として、位置情報が検出結果テーブルTB13に記憶されている。なお、場所情報は、通信端末200による画像10の撮像時に、位置情報取得部230によって取得することができる。また、場所情報は、サーバ100による例えばウェブサイトのクロール等によって、画像10の撮影場所を特定してもよい。 The storage unit 190 stores the information regarding the difference extracted by the extraction unit 140 in association with the image 10. For example, as shown in FIG. 3B, a detection difference (“no parking” “40”) may be associated with the image ID (image_10) of the image 10 and stored as the detection result table TB13. Further, the storage unit 190 may store location information that is information regarding the shooting location of the image 10. In the example of FIG. 3B, position information is stored as location information in the detection result table TB13. The location information can be acquired by the position information acquisition unit 230 when the image 10 is captured by the communication terminal 200. Further, the location information may specify the shooting location of the image 10 by, for example, crawling a website by the server 100.

出力部150は、抽出部140によって抽出された差異に関する情報を、画像10に関連付けて出力する。図4(a)、(b)に、出力部150による出力結果が表示された通信端末200Aの表示画面例を示す。すなわち、出力部150は、差異に関する情報を、通信端末200の所定の表示部に表示させるための情報を出力する。なお、出力部150による出力結果は、通信端末200Aに出力される態様に限られるものではなく、例えば、サーバ100に接続された他のモニタに出力されてもよいし、画像10を撮像した通信端末200Aとは別の、情報処理装置(例えば、道路標識12の管理者の端末等)において出力されてもよい。ここでは、通信端末200Aの場合を一例に説明する。なお、出力結果は、画像に限られるものではなく、テキスト情報であってもよいし、音声情報であってもよい。 The output unit 150 outputs the information regarding the difference extracted by the extraction unit 140 in association with the image 10. 4A and 4B show examples of display screens of the communication terminal 200A on which the output result of the output unit 150 is displayed. That is, the output unit 150 outputs the information for displaying the information regarding the difference on a predetermined display unit of the communication terminal 200. The output result by the output unit 150 is not limited to the form output to the communication terminal 200A, and may be output to another monitor connected to the server 100, or the communication in which the image 10 is captured, for example. The information may be output from an information processing device (for example, the terminal of the administrator of the road sign 12) different from the terminal 200A. Here, the case of the communication terminal 200A will be described as an example. The output result is not limited to an image, and may be text information or audio information.

図4(a)の例では、抽出部140によって差異が抽出された画像の撮影場所を示すマーク22が、地図21上に出力されている。従って、画像の撮像された場所を、ユーザに迅速に把握させることができる。出力部150は、ユーザがマーク22を選択すると、図4(b)に示すように、マーク22で撮像された画像23と、抽出された差異に関する情報24(図の例では、「駐車禁止」、「40」)が表示される。 In the example of FIG. 4A, the mark 22 indicating the shooting location of the image of which the difference is extracted by the extraction unit 140 is output on the map 21. Therefore, the user can promptly grasp the place where the image was captured. When the user selects the mark 22, the output unit 150, as shown in FIG. 4B, the image 23 captured by the mark 22 and the extracted difference information 24 (“parking prohibited” in the example of the figure). , “40”) is displayed.

図5のフローチャートを用いて、本発明の一実施形態によるサーバ100の制御方法について説明する。なお、図5のフローチャートは、1の画像に対する処理を示すものである。まず、サーバ100は、入出力制御部130または通信制御部110から、画像を取得する(ステップS11)。そして、第1画像検出部121及び第2画像検出部122によって、1の画像に対する画像検出が実行される(ステップS12)。抽出部140は、第1画像検出部121による第1検出結果と、第2画像検出部122による第2検出結果との間に差異が検出されるかを判定する(ステップS13)。検出差がある場合(ステップS13でYES)、出力部150は、検出差に関する情報を出力する(ステップS14)。検出差がない場合(ステップS13でNO)、処理を終了する。 A control method of the server 100 according to the embodiment of the present invention will be described with reference to the flowchart of FIG. Note that the flowchart of FIG. 5 shows processing for one image. First, the server 100 acquires an image from the input/output control unit 130 or the communication control unit 110 (step S11). Then, the first image detection unit 121 and the second image detection unit 122 perform image detection for one image (step S12). The extraction unit 140 determines whether a difference is detected between the first detection result by the first image detection unit 121 and the second detection result by the second image detection unit 122 (step S13). If there is a detection difference (YES in step S13), the output unit 150 outputs information regarding the detection difference (step S14). If there is no detection difference (NO in step S13), the process ends.

上述のように、本発明の一実施形態によれば、検出精度の異なる2つの画像検出部によって同一の画像について画像検出した結果、検出結果に差異があった場合に、差異に関する情報が出力される。検出精度の異なる画像検出において検出結果に差異があることは、その画像に、差異を発生させる状態が含まれることを意味する。従って、例えば道路標識が視認できないなど、安全面に問題がある場所を検出することが可能となる。 As described above, according to the embodiment of the present invention, when there is a difference in the detection result as a result of image detection of the same image by two image detection units having different detection accuracy, information regarding the difference is output. It The difference in the detection result in the image detection with different detection accuracy means that the image includes a state that causes the difference. Therefore, it is possible to detect a place having a safety problem, for example, a road sign cannot be visually recognized.

なお、第1の精度は、画像検出が所定の条件下で人間によって実行された際の人間による検出精度を示す所定の閾値よりも高く、第2の精度は、所定の閾値以下であってよい。人間による検出精度は、第1の精度や第2の精度を求めるのと同じ条件下で、一人以上のユーザによって予め画像検出を行うことで設定することができる。例えば、「1の画像に写っている物体を、2秒以内に抽出する」という条件で、複数の画像について画像検出を行い、抽出できた物体の数、エラー率等から、人間による検出精度を設定してもよい。 The first accuracy may be higher than a predetermined threshold value indicating the detection accuracy by the human when the image detection is performed by the human under the predetermined condition, and the second accuracy may be equal to or lower than the predetermined threshold value. .. The human detection accuracy can be set by performing image detection in advance by one or more users under the same conditions as when obtaining the first accuracy and the second accuracy. For example, image detection is performed on a plurality of images under the condition of "extracting an object shown in one image within 2 seconds", and the detection accuracy by humans is determined from the number of extracted objects, the error rate, and the like. You may set it.

本発明の一実施形態によれば、第1の精度は人間の検出精度よりも高く、第2の精度は人間の検出精度よりも低く設定される。従って、第1画像検出部121によって検出され、第2画像検出部122によって検出されなかった物体は、ユーザによって検出されない可能性が高い物体となる。すなわち、本発明の一実施形態によれば、ユーザが視認しにくい状態にあるものを検出することができ、例えば、画像10のような道路標識の画像に本発明を適用した場合、ユーザが確実に視認すべき物体が視認しにくい状態にあることを検出することが可能となる。 According to one embodiment of the present invention, the first accuracy is set higher than the human detection accuracy and the second accuracy is set lower than the human detection accuracy. Therefore, an object detected by the first image detection unit 121 and not detected by the second image detection unit 122 is an object that is highly likely not to be detected by the user. That is, according to an embodiment of the present invention, it is possible to detect an object that is difficult for the user to visually recognize, and for example, when the present invention is applied to an image of a road sign such as the image 10, the user can be sure. It is possible to detect that the object to be visually recognized is in a state in which it is difficult to visually recognize.

なお、本発明の一実施形態によれば、サーバ100は、抽出部140により抽出された差異と、一の画像の撮影場所との関連性を判定する判定部160をさらに備える。出力部150は、判定部160によって判定された関連性に応じて、差異に関する情報を出力してもよい。抽出された差異と一の画像の撮影場所との関連性とは、抽出された差異の、撮影場所に対する重要性を示す指標であって、例えば、撮影場所に関連付けられた特徴を示す情報をいう。図6を用いて、本実施形態について説明する。 According to the embodiment of the present invention, the server 100 further includes a determination unit 160 that determines the relationship between the difference extracted by the extraction unit 140 and the shooting location of one image. The output unit 150 may output information regarding the difference according to the relevance determined by the determination unit 160. The relationship between the extracted difference and the shooting location of one image is an index indicating the importance of the extracted difference with respect to the shooting location, and refers to, for example, information indicating characteristics associated with the shooting location. .. This embodiment will be described with reference to FIG.

図6(a)は、画像10と同じ場所を撮像した画像30を示す図である。画像10と異なり、画像30には、人物31が木11の後方に写っている。ここで、第1画像検出部121と第2画像検出部122とによる画像検出の結果、人物31が、差異として抽出される可能性もあるが、人物31は、ユーザが確実に視認すべき物体には値せず、敢えて出力する必要のない情報であるといえる。このような場合、判定部160は、画像30の撮影場所と、抽出部140により抽出された差異との関連性がないと判定する。なお、判定部160による判定は、例えば、記憶部190に記憶されている、一の画像の撮影場所に関連付けられた当該撮影場所に関する少なくとも1以上の特徴に基づき行うことができる。図6(b)に、記憶部190に記憶されている特徴の例を示す。図6(b)に示すように、撮影場所のカテゴリに対し、複数のキーワードが関連付けられて記憶されている。図の例では、カテゴリ「道路」に対し、「標識」、「信号」、「道路上の物体」、「路上駐車」、「ひび」といったキーワードが特徴として関連付けられている。判定部160は、画像検出の結果から、画像のカテゴリを設定し、抽出部140により抽出された差異が、当該カテゴリに関連付けられている場合に、関連性があると判定する。 FIG. 6A is a diagram showing an image 30 obtained by capturing the same place as the image 10. Unlike the image 10, the image 31 shows the person 31 behind the tree 11. Here, as a result of image detection by the first image detection unit 121 and the second image detection unit 122, the person 31 may be extracted as a difference, but the person 31 is an object that the user should definitely recognize. It can be said that the information does not need to be output and does not need to be output. In such a case, the determination unit 160 determines that there is no relevance between the shooting location of the image 30 and the difference extracted by the extraction unit 140. Note that the determination by the determination unit 160 can be performed, for example, based on at least one or more features related to the shooting location of one image, which is stored in the storage unit 190. FIG. 6B shows an example of the features stored in the storage unit 190. As shown in FIG. 6B, a plurality of keywords are stored in association with the category of the shooting location. In the example of the figure, keywords such as “sign”, “signal”, “object on road”, “street parking”, and “crack” are associated with the category “road” as features. The determination unit 160 sets an image category based on the image detection result, and determines that the difference extracted by the extraction unit 140 is relevant when the difference is associated with the category.

このような構成によれば、不要な差異についての情報が出力されないようにすることが可能となる。 With such a configuration, it is possible to prevent information about unnecessary differences from being output.

なお、本発明の一実施形態によれば、サーバ100は、さらに、出力部150によって出力された差異に関する情報の出力が必要か否かについての選択情報をユーザから受け付ける受付部170を備えてもよい。また、出力された差異と、ユーザによる選択情報とに基づき、一の画像の撮影場所に関する特徴を学習する学習部180を備えてもよい。図7を用いて、本実施形態について説明する。 It should be noted that, according to an embodiment of the present invention, the server 100 may further include a receiving unit 170 that receives, from a user, selection information as to whether or not it is necessary to output the information regarding the difference output by the output unit 150. Good. In addition, the learning unit 180 may be provided to learn the feature regarding the shooting location of one image based on the output difference and the selection information by the user. This embodiment will be described with reference to FIG. 7.

図7は、画像30の、第1画像検出部121及び第2画像検出部122による検出差が出力された通信端末200Aの画面例である。図7の例では、差異に関する情報として、「道路標識」、「40」の他、「人」というキーワードが出力されている。ユーザは、図7の出力結果に対し、OKボタン34又は選択ボタン33のいずれかを選択することができる。選択ボタン33が選択された場合、不要なキーワードを選択する画面に遷移し、ユーザは、「人」というキーワードが不要であることを入力することができる。学習部180は、画像30に対し「人」というキーワードが不要であることを学習し、例えば図6(b)に示す撮影場所に関する特徴のテーブルを更新することができる。 FIG. 7 is an example of a screen of the communication terminal 200A in which the detection difference of the image 30 by the first image detection unit 121 and the second image detection unit 122 is output. In the example of FIG. 7, the keyword “person” is output as the information regarding the difference in addition to “road sign” and “40”. The user can select either the OK button 34 or the selection button 33 for the output result of FIG. 7. When the selection button 33 is selected, a screen for selecting unnecessary keywords is displayed, and the user can input that the keyword “person” is unnecessary. The learning unit 180 learns that the keyword “person” is not necessary for the image 30 and can update the table of the characteristics regarding the shooting location shown in FIG. 6B, for example.

このような構成によれば、一の画像に対して出力すべき差異が適切に学習され、より使い勝手の良い画像検出システムを提供することが可能となる。 With such a configuration, the difference to be output for one image is appropriately learned, and it is possible to provide a more convenient image detection system.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、サーバ100が備えるとして説明した各構成部は、複数のサーバによって分散されて実現されてもよい。また、各構成部は、API(Application Programming Interface:アプリケーションプログラミングインターフェース)によって提供されてもよい。 Although the present invention has been described based on the drawings and the embodiments, it should be noted that those skilled in the art can easily make various variations and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions and the like included in each constituent unit and each step can be rearranged so as not to logically contradict, and a plurality of constituent units and steps can be combined or divided into one. Is. In addition, the configurations described in the above embodiments may be combined as appropriate. For example, each component described as being included in the server 100 may be distributed and realized by a plurality of servers. Further, each component may be provided by an API (Application Programming Interface).

また、上述では、道路標識の例について説明した。しかしながら本発明は、道路標識の例に限らず、ユーザが適切に視認すべき物体や情報が、視認不可である状態となっていることを検出する全てのものに適用可能である。例えば、自動車のダッシュボードの配置など、機器のユーザインタフェースの設計時にも、本発明を適用することができる。 In addition, the example of the road sign has been described above. However, the present invention is not limited to the example of the road sign, and can be applied to all objects that detect that the object or information that the user should appropriately visually recognize is in the invisible state. For example, the present invention can be applied also when designing a user interface of a device such as a layout of a dashboard of a car.

本開示の各実施形態のプログラムは、情報処理装置に読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムや情報処理装置プログラムを含む。 The program of each embodiment of the present disclosure may be provided in a state of being stored in a storage medium readable by the information processing device. The storage medium can store the program in a “non-transitory tangible medium”. The programs include, for example, software programs and information processing device programs.

記憶媒体は適切な場合、1つ又は複数の半導体ベースの、又は他の集積回路(IC)(例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向けIC(ASIC)等)、ハード・ディスク・ドライブ(HDD)、ハイブリッド・ハード・ドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ(FDD)、磁気テープ、固体ドライブ(SSD)、RAMドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、又はこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組合せでよい。 The storage medium is, where appropriate, one or more semiconductor-based or other integrated circuits (ICs) (eg, field programmable gate array (FPGA), application specific IC (ASIC), etc.), hard Disk drive (HDD), hybrid hard drive (HHD), optical disk, optical disk drive (ODD), magneto-optical disk, magneto-optical drive, floppy diskette, floppy disk drive (FDD), magnetic tape, solid-state drive (SSD), RAM drive, secure digital card or drive, any other suitable storage medium, or any suitable combination of two or more thereof. Storage media may be volatile, non-volatile, or a combination of volatile and non-volatile, where appropriate.

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ100に提供されてもよい。 Further, the program of the present disclosure may be provided to the server 100 via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.

また、本開示の各実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Each embodiment of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave in which a program is embodied by electronic transmission.

なお、本開示のプログラムは、例えば、JavaScript(登録商標)、Python等のスクリプト言語、C言語、Go言語、Swift,Koltin、Java(登録商標)等を用いて実装される。 The program of the present disclosure is implemented using, for example, a script language such as Java Script (registered trademark), Python, C language, Go language, Swift, Koltin, Java (registered trademark), or the like.

400 画像検出システム
300 ネットワーク
100 サーバ(情報処理装置)
200 通信端末
200A スマートフォン
210B カメラ
200B ドライブレコーダ
101 プロセッサ
102 メモリ
103 ストレージ
110 通信制御部
121 第1画像検出部
122 第2画像検出部
130 入出力制御部
140 抽出部
150 出力部
160 判定部
170 受付部
180 学習部
190 記憶部
210 通信制御部
220 撮像制御部
230 位置情報取得部
240 記憶部
10 画像
11 木
12 道路標識
21 地図
22 マーク
23 画像
24 情報
30 画像
31 人物
33 選択ボタン
34 ボタン
400 image detection system 300 network 100 server (information processing device)
200 communication terminal 200A smartphone 210B camera 200B drive recorder 101 processor 102 memory 103 storage 110 communication control unit 121 first image detection unit 122 second image detection unit 130 input/output control unit 140 extraction unit 150 output unit 160 determination unit 170 reception unit 180 Learning part 190 Storage part 210 Communication control part 220 Imaging control part 230 Position information acquisition part 240 Storage part 10 Image 11 Tree 12 Road sign 21 Map 22 Mark 23 Image 24 Information 30 Image 31 Person 33 Selection button 34 Button

Claims (8)

情報処理装置に、
画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出機能と、
画像に含まれる1以上の物体を、前記第1の精度とは異なる第2の精度で検出する第2画像検出機能と、
一の画像を取得する画像取得機能と、
前記一の画像における、前記第1画像検出機能による第1検出結果と、前記第2画像検出機能による第2検出結果との差異を抽出する抽出機能と、
前記抽出機能により前記差異が抽出された場合、当該差異に関する情報を、前記一の画像に関連付けて出力する出力機能と、
を実現させる情報処理装置の制御プログラム。
In the information processing device,
A first image detection function of detecting at least one object included in the image with a first accuracy;
A second image detection function for detecting one or more objects included in the image with a second accuracy different from the first accuracy;
Image acquisition function to acquire one image,
An extraction function for extracting a difference between the first detection result of the first image detection function and the second detection result of the second image detection function in the one image;
When the difference is extracted by the extraction function, an output function of outputting information regarding the difference in association with the one image,
A control program of an information processing device for realizing the above.
前記第1の精度は、前記画像検出が所定の条件下で人間によって実行された際の前記人間による検出精度を示す所定の閾値よりも高く、前記第2の精度は、前記所定の閾値以下である、
ことを特徴とする請求項1に記載の情報処理装置の制御プログラム。
The first accuracy is higher than a predetermined threshold indicating the detection accuracy by the human when the image detection is performed by the human under predetermined conditions, and the second accuracy is equal to or lower than the predetermined threshold. is there,
The control program for the information processing apparatus according to claim 1, wherein
前記情報処理装置に、
前記一の画像の撮影場所に関する情報である場所情報を取得する場所情報取得機能をさらに実現させ、
前記出力機能は、前記差異に関する情報とともに、前記一の画像の前記場所情報を出力する、
ことを特徴とする請求項1または2に記載の情報処理装置の制御プログラム。
In the information processing device,
A further realization of a location information acquisition function for obtaining location information which is information relating to the shooting location of the one image,
The output function outputs the location information of the one image together with the information about the difference,
The control program of the information processing device according to claim 1 or 2, characterized in that.
前記情報処理装置に、
前記抽出機能により抽出された前記差異と、前記一の画像の前記撮影場所との関連性を判定する判定機能と、
をさらに実現させ、
前記出力機能は、前記判定機能によって判定された前記関連性に応じて、前記差異に関する情報を出力する、
ことを特徴とする請求項3に記載の情報処理装置の制御プログラム。
In the information processing device,
A determination function of determining the relationship between the difference extracted by the extraction function and the shooting location of the one image;
Is further realized,
The output function outputs information regarding the difference according to the relevance determined by the determination function,
The control program of the information processing apparatus according to claim 3, wherein
前記判定機能は、所定の記憶部に記憶されている、前記一の画像の撮影場所に関連付けられた当該撮影場所に関する少なくとも1以上の特徴に基づき、前記関連性を判定する、
ことを特徴とする請求項4に記載の情報処理装置の制御プログラム。
The determination function determines the relevance based on at least one or more features related to a shooting location of the one image, which is stored in a predetermined storage unit,
The control program for the information processing apparatus according to claim 4, wherein
前記情報処理装置に、
前記出力機能によって出力された前記差異に関する情報の出力が必要か否かについての選択情報をユーザから受け付ける受付機能と、
前記差異と、前記選択情報とに基づき、前記一の画像の撮影場所に関する特徴を学習する学習機能と、
をさらに実現させる、
ことを特徴とする請求項5に記載の情報処理装置の制御プログラム。
In the information processing device,
A reception function that receives selection information from the user as to whether or not it is necessary to output the information regarding the difference output by the output function,
A learning function of learning a feature related to a shooting location of the one image based on the difference and the selection information,
To further realize,
The control program of the information processing apparatus according to claim 5, wherein
画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出部と、画像に含まれる1以上の物体を、前記第1の精度とは異なる第2の精度で検出する第2画像検出部とを備える情報処理装置が、
一の画像を取得する画像取得ステップと、
前記一の画像における、前記第1画像検出部による第1検出結果と、前記第2画像検出部による第2検出結果との差異を抽出する抽出ステップと、
前記抽出ステップにて前記差異が抽出された場合、当該差異に関する情報を出力する出力ステップと、
を実行する情報処理装置の制御方法。
A first image detection unit that detects at least one object included in the image with a first accuracy, and a first image detection unit that detects at least one object included in the image with a second accuracy different from the first accuracy. The information processing device including the two-image detection unit,
An image acquisition step of acquiring one image,
An extraction step of extracting a difference between the first detection result by the first image detection unit and the second detection result by the second image detection unit in the one image;
When the difference is extracted in the extracting step, an output step of outputting information regarding the difference,
A method for controlling an information processing apparatus for executing the method.
画像に含まれる1以上の物体を、第1の精度で検出する第1画像検出部と、
画像に含まれる1以上の物体を、前記第1の精度とは異なる第2の精度で検出する第2画像検出部と、
一の画像を取得する画像取得部と、
前記一の画像における、前記第1画像検出部による第1検出結果と、前記第2画像検出部による第2検出結果との差異を抽出する抽出部と、
前記抽出部により前記差異が抽出された場合、当該差異に関する情報を出力する出力部と、
を備える情報処理装置。
A first image detection unit that detects at least one object included in the image with a first accuracy;
A second image detection unit that detects one or more objects included in the image with a second accuracy different from the first accuracy;
An image acquisition unit that acquires one image,
An extraction unit that extracts a difference between the first detection result of the first image detection unit and the second detection result of the second image detection unit in the one image;
When the difference is extracted by the extraction unit, an output unit that outputs information regarding the difference,
An information processing apparatus including.
JP2019007139A 2019-01-18 2019-01-18 Information processing apparatus control program, information processing apparatus control method, and information processing apparatus Active JP6677830B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019007139A JP6677830B1 (en) 2019-01-18 2019-01-18 Information processing apparatus control program, information processing apparatus control method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019007139A JP6677830B1 (en) 2019-01-18 2019-01-18 Information processing apparatus control program, information processing apparatus control method, and information processing apparatus

Publications (2)

Publication Number Publication Date
JP6677830B1 JP6677830B1 (en) 2020-04-08
JP2020119030A true JP2020119030A (en) 2020-08-06

Family

ID=70057973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019007139A Active JP6677830B1 (en) 2019-01-18 2019-01-18 Information processing apparatus control program, information processing apparatus control method, and information processing apparatus

Country Status (1)

Country Link
JP (1) JP6677830B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117981A (en) * 2008-11-14 2010-05-27 Mitsubishi Electric Corp Face detection device
JP2013122723A (en) * 2011-12-12 2013-06-20 Seiko Epson Corp Detection device and detection method
JP2015187782A (en) * 2014-03-26 2015-10-29 株式会社メガチップス Object detector
JP2016167173A (en) * 2015-03-10 2016-09-15 株式会社Jvcケンウッド Warning device, warning method and warning program
JP2018147405A (en) * 2017-03-08 2018-09-20 カシオ計算機株式会社 Identification apparatus, identification method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117981A (en) * 2008-11-14 2010-05-27 Mitsubishi Electric Corp Face detection device
JP2013122723A (en) * 2011-12-12 2013-06-20 Seiko Epson Corp Detection device and detection method
JP2015187782A (en) * 2014-03-26 2015-10-29 株式会社メガチップス Object detector
JP2016167173A (en) * 2015-03-10 2016-09-15 株式会社Jvcケンウッド Warning device, warning method and warning program
JP2018147405A (en) * 2017-03-08 2018-09-20 カシオ計算機株式会社 Identification apparatus, identification method, and program

Also Published As

Publication number Publication date
JP6677830B1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
US11461925B2 (en) Pose prediction method and apparatus, and model training method and apparatus
US11288511B2 (en) System and method for displaying pertinent data to supplement information in images provided from a mobile communication device using augmented reality
US8907773B2 (en) Image processing for image display apparatus mounted to vehicle
US10003944B2 (en) Electronic device and method for providing emergency video call service
US20200076876A1 (en) Image Sharing Method and System, and Electronic Device
US20150186426A1 (en) Searching information using smart glasses
CN110084317B (en) Method and device for recognizing images
US11914774B1 (en) Dynamic interface flow based on device location
US11507266B1 (en) Media capture based on media specifications
US10473467B2 (en) Method for determining at which level a vehicle is when the vehicle is in a multi-level road system
AU2015259585B2 (en) Tagging visual media on a mobile device
US9516468B2 (en) Mobile terminal, content panel display method, and mobile terminal program
CN107832598A (en) Solve lock control method and Related product
CN110060477B (en) Method and device for pushing information
US9386435B2 (en) Information transmission method, device and server
CN115565158A (en) Parking space detection method and device, electronic equipment and computer readable medium
CN111586295B (en) Image generation method and device and electronic equipment
JP6677830B1 (en) Information processing apparatus control program, information processing apparatus control method, and information processing apparatus
CN112115740B (en) Method and apparatus for processing an image
US9532167B2 (en) Mobile terminal, location information related content providing server, content panel display method, and mobile terminal program
CN110991312A (en) Method, apparatus, electronic device, and medium for generating detection information
US20140085664A1 (en) Methods and Systems for Sharing Photographs with a Third Party Printer
CN112906551B (en) Video processing method, device, storage medium and electronic device
CN111401182B (en) Image detection method and device for feeding pens
KR20140019939A (en) Positioninng service system, method and providing service apparatus for location information, mobile in the system thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200313

R150 Certificate of patent or registration of utility model

Ref document number: 6677830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250