[go: up one dir, main page]

WO2023053444A1 - 移動体制御システム、移動体制御方法、および画像通信装置 - Google Patents

移動体制御システム、移動体制御方法、および画像通信装置 Download PDF

Info

Publication number
WO2023053444A1
WO2023053444A1 PCT/JP2021/036427 JP2021036427W WO2023053444A1 WO 2023053444 A1 WO2023053444 A1 WO 2023053444A1 JP 2021036427 W JP2021036427 W JP 2021036427W WO 2023053444 A1 WO2023053444 A1 WO 2023053444A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth information
image
amount
moving body
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/036427
Other languages
English (en)
French (fr)
Inventor
夏季 甲斐
裕志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2021/036427 priority Critical patent/WO2023053444A1/ja
Priority to US18/694,125 priority patent/US20240393800A1/en
Priority to JP2023550997A priority patent/JPWO2023053444A1/ja
Publication of WO2023053444A1 publication Critical patent/WO2023053444A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G05D2105/28—Specific applications of the controlled vehicles for transportation of freight
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/70—Industrial sites, e.g. warehouses or factories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals

Definitions

  • the present invention relates to a mobile body control system, a mobile body control method, and an image communication device.
  • Patent Document 1 an information processing device provided inside or outside a robot derives information on the position or posture of the robot based on the sensing results of sensors mounted on the robot, and controls the robot. disclosed to do.
  • One aspect of the present invention has been made in view of the above problem, and it is possible to control the amount of depth information so that the amount of depth information is appropriate according to the operation of a mobile object.
  • One purpose is to provide a possible technology.
  • a moving object control system includes acquisition means for acquiring operation details of the moving object; control means for controlling the amount of depth information acquired from a sensor according to the operation details of the moving object; Prepare.
  • a mobile object control method acquires the operation details of a mobile object, and controls the amount of depth information acquired from a sensor according to the acquired operation details of the mobile object.
  • An image communication apparatus includes receiving means for receiving parameters related to changes in the amount of information determined according to the operation details of a moving object, and depth information acquired from a sensor according to the parameters. and a control means for controlling the amount.
  • the information amount of depth information it is possible to control the information amount of depth information so that the information amount of depth information is appropriate according to the operation content of a mobile object.
  • FIG. 1 is a block diagram showing a functional configuration of a mobile body control system according to exemplary Embodiment 1 of the present invention
  • FIG. It is a flowchart which shows the flow of a mobile control method.
  • FIG. 8 is a block diagram showing the functional configuration of an image communication device according to exemplary Embodiment 2 of the present invention
  • FIG. 11 is a block diagram showing the functional configuration of a server device according to exemplary embodiment 3 of the present invention
  • FIG. 11 is a block diagram showing the configuration of a mobile body control system according to exemplary Embodiment 4 of the present invention
  • FIG. 4 is a diagram for explaining a quantization range of depth information
  • It is a figure which shows 16-bit depth information and 8-bit grayscale information.
  • FIG. 8 is a block diagram showing the functional configuration of an image communication device according to exemplary Embodiment 2 of the present invention
  • FIG. 11 is a block diagram showing the functional configuration of a server device according to exemplary embodiment 3 of the present invention
  • FIG. 10 is a diagram showing another example of quantization processing
  • FIG. 12 is a flow chart showing the flow of a moving body control method according to exemplary embodiment 4 of the present invention
  • FIG. 12 is a block diagram showing the configuration of a mobile body control system according to exemplary embodiment 5 of the present invention
  • FIG. 12 is a flow chart showing the flow of a moving body control method according to exemplary embodiment 5 of the present invention
  • It is a figure which shows an example of the hardware of a computer.
  • the mobile body control system 100 changes the amount of depth information acquired from the sensor according to the motion of the mobile body.
  • FIG. 1 is a block diagram showing the configuration of a mobile body control system 100. As shown in FIG.
  • the mobile body control system 100 includes an acquisition unit 11 and a control unit 12.
  • the acquisition unit 11 is a configuration that implements acquisition means in this exemplary embodiment.
  • the control unit 12 is a configuration that implements control means in this exemplary embodiment.
  • the depth information may be changed according to the throughput of the network connected to the mobile object.
  • HD high resolution
  • image RAW data (30 fps (frame per second)
  • color images consume a network bandwidth of 660 Mbps
  • depth images consume a network bandwidth of 440 Mbps. Therefore, if there is no room in the communication throughput of the network, it will be necessary to reduce either one or both of the information amount of the color image and the information amount of the depth image.
  • the sensor acquires depth information.
  • the sensors are, for example, RGB-D cameras with depth sensors, 3D LiDAR (Light Detection and Ranging), TOF (Time-Of-Flight) sensors, and the like.
  • a depth image representing the depth of the color image may be acquired. Note that the depth information is depth information that indicates the distance from the sensor to surrounding objects.
  • One or a plurality of sensors are installed on the mobile body, and the acquisition unit 11 acquires color images and depth information output from the sensors.
  • the depth information expresses the depth of each pixel of the color image, for example, in 16 bits (0 to 65535 [mm]).
  • the control unit 12 can change the amount of depth information by compressing the depth image or reducing the amount of data of the depth information. For example, the control unit 12 can change the amount of depth information by converting the depth information from 16 bits to 8 bits.
  • compression parameters Parameters that affect the compression rate, such as quantization parameters, are called compression parameters.
  • the acquisition unit 11 acquires the motion content of the mobile object.
  • mobile objects include automated guided forklifts (AGF), automated guided vehicles (AGV), and autonomous mobile robots (AMR).
  • SLAM Simultaneous Localization And Mapping
  • the moving body may have a function of automatically generating a travel route, and may automatically avoid obstacles without being bound by a fixed route.
  • the work content is roughly divided into two: “travel” and “cargo handling”.
  • an automatic forklift truck "runs", it moves to a destination while estimating its own position using VSLAM, mainly using color images. Therefore, by increasing the amount of information in the color image and decreasing the amount of information in the depth image, it is possible to perform self-position estimation with higher accuracy.
  • the automatic forklift when the automatic forklift "runs", if there is an obstacle in the direction of travel of the automatic forklift, the automatic forklift must stop or avoid the obstacle. When avoiding obstacles, the automatic forklift needs to acquire depth information of obstacles with high precision, so the amount of depth information is increased and the amount of color image information is reduced.
  • an automatic forklift when it performs "cargo handling", it mainly performs pallet recognition, rack recognition, QR marker recognition, etc. while loading and unloading.
  • pallets and racks automatic forklifts need to acquire depth information of pallets and racks with high accuracy, so the amount of information in depth images is increased and the amount of information in color images is reduced.
  • QR marker the automatic forklift needs to process the image of the QR marker, so the information amount of the color image is increased and the information amount of the depth image is decreased.
  • control unit 12 may reduce depth information when the moving body moves along the mark. Further, when the robot deviates from the assumed route due to actions such as obstacle avoidance, the control unit 12 may increase the depth information. Further, when the moving body conveys the article, the control unit 12 may increase the depth information when the article is delivered.
  • the control unit 12 controls the amount of depth information acquired from the sensor according to the operation details of the mobile object. For example, when the mobile object is an automatic forklift and the automatic forklift is "running", the control unit 12 reduces the amount of depth information. Also, when there is an obstacle in the traveling direction of the automatic forklift, the control unit 12 increases the amount of depth information.
  • each function of the mobile object control system 100 may be implemented on the cloud.
  • the acquisition unit 11 may be one device, and the control unit 12 may be one device. These may be implemented in one device or in separate devices. For example, when implemented in separate devices, information of each unit is transmitted and received via a communication network to advance processing.
  • the control unit 12 controls the amount of depth information according to the operation of the mobile body. It is possible to suitably control the information amount of the depth image.
  • FIG. 2 is a flow diagram showing the flow of the moving body control method. As shown in FIG. 2, the moving body control method includes steps S1 to S2.
  • the acquisition unit 11 acquires the motion content of the moving object (S1). Then, the control unit 12 controls the information amount of the depth information acquired from the sensor according to the acquired operation contents of the moving object (S2).
  • step S2 the amount of depth information acquired from the sensor is changed according to the acquired motion of the mobile body.
  • the amount of depth information can be controlled so that the amount of depth information in mobile control is appropriate.
  • the image communication apparatus is mounted on, for example, a mobile body and changes the amount of depth information acquired by a sensor.
  • FIG. 3 is a block diagram showing the functional configuration of the image communication device 2.
  • the image communication device 2 includes a receiver 21 and a controller 22 .
  • the receiving unit 21 is a configuration that implements receiving means in this exemplary embodiment.
  • the control unit 22 is a configuration that implements control means in this exemplary embodiment.
  • the receiving unit 21 receives parameters related to changing the amount of information, which are determined according to the operation details of the mobile object. As will be described later, the parameters for changing the amount of information are transmitted from the server device. Parameters related to the change in information amount include the bit rate allocation amount for color images, the bit rate allocation amount for depth information, and the like.
  • the work content is roughly divided into two: “travel” and “cargo handling”.
  • “Running” includes “normal running”, “avoidance of obstacles”, and the like.
  • Cargo handling includes “pallet recognition”, “rack recognition”, “QR marker recognition” and the like.
  • the server device acquires the operation details of the automatic forklift, determines parameters including the bit rate allocation amount for color images, the bit rate allocation amount for depth images, etc. according to the operation contents of the automatic forklift, and sends the parameters to the image communication device 2. Send.
  • the control unit 22 changes the amount of depth information acquired from the sensor according to the parameter. For example, the control unit 22 changes the compression rate of the depth information according to the bit rate allocation amount of the depth information included in the parameter received by the receiving unit 21, and changes the information amount corresponding to the bit rate allocation amount of the depth information. Change the information amount of the depth information so that
  • the control unit 22 controls the parameters related to changes in the amount of information, which are determined according to the operation of the moving object, from the sensor. Since the information amount of the acquired depth information is changed, it is possible to control the information amount of the depth information so that the information amount of the depth information in mobile body control is appropriate.
  • the server device in this exemplary embodiment acquires the operation details of the mobile object, and determines parameters for changing the amount of depth information according to the operation details of the mobile object.
  • FIG. 4 is a block diagram showing the functional configuration of the server device 3.
  • the server device 3 includes an acquisition section 31 and a transmission section 32 .
  • the acquisition unit 31 is a configuration that implements acquisition means in this exemplary embodiment.
  • the transmission unit 32 is a configuration that implements transmission means in this exemplary embodiment.
  • the acquisition unit 31 acquires the operation content of the mobile object. If the moving body is, for example, an automatic forklift, the work content is roughly divided into two: “travel” and “cargo handling.” “Running” includes “normal running”, “avoidance of obstacles”, and the like. “Cargo handling” includes “pallet recognition”, “rack recognition”, “QR marker recognition” and the like. The work content of the mobile object is managed by another server device or the like. The acquisition unit 31 acquires information about which of these the work content of the mobile object is from another server device or the like.
  • the transmission unit 32 determines a parameter for changing the amount of depth information acquired from the sensor according to the operation content of the mobile object, and transmits the parameter to the mobile object.
  • Parameters related to the change in information amount include the bit rate allocation amount for color images, the bit rate allocation amount for depth information, and the like.
  • the transmission unit 32 determines parameters including the bit rate allocation amount for color images, the bit rate allocation amount for depth information, etc. from the communication throughput between the mobile unit and the server device 3 and the work content of the mobile unit, Send the parameters to the mobile.
  • the transmission unit 32 sets parameters for changing the amount of depth information acquired from the sensor according to the motion of the moving object. determine and send the parameters to the mobile. Therefore, by receiving this parameter on the moving body side and changing the information amount of the depth image representing the depth of the color image acquired from the sensor according to the parameter, the information amount of the depth information in moving body control becomes appropriate. Thus, the information amount of depth information can be controlled.
  • FIG. 5 is a block diagram showing the configuration of the mobile control system 100A.
  • the mobile control system 100A includes an image communication device 2A and a server device 3A.
  • the image communication device 2A also includes a receiver 21 , a controller 22 and a transmitter 23 .
  • the receiving unit 21 is a configuration that implements the receiving means of the image communication apparatus in this exemplary embodiment.
  • the control unit 22 is a configuration that implements control means in this exemplary embodiment.
  • the transmission unit 23 is a configuration that implements the transmission means of the image communication apparatus in this exemplary embodiment.
  • the server device 3A also includes an acquisition unit 31, a transmission unit 32, an image processing unit 35, and a reception unit 37.
  • the acquisition unit 31 is a configuration that implements acquisition means in this exemplary embodiment.
  • the transmission unit 32 is a configuration that realizes the control means or transmission means of the server device in this exemplary embodiment.
  • the image processing unit 35 is a configuration that implements image processing means in this exemplary embodiment.
  • the acquisition unit 31 of the server device 3A acquires the operation content of the mobile object.
  • the operation contents of the mobile object may be managed by another server device or the like, for example.
  • the acquisition unit 31 of the server device 3A may acquire information about the work content of the mobile object from another server device or the like.
  • the server device 3A may include a planning unit that plans the motion of the mobile object and a holding unit that holds the action plan of the mobile object. Further, the acquiring unit 31 may acquire the work content of the moving body from the planning unit or the holding unit.
  • the transmission unit 32 of the server device 3A changes the approximation accuracy when approximating the depth information according to the operation content of the mobile body, and notifies the control unit 22 of the approximation accuracy after the change. Specifically, the transmission unit 32 changes the approximation accuracy when approximating the depth information, and transmits parameters including the changed approximation accuracy to the reception unit 21 of the image communication device 2A.
  • Approximation accuracy indicates the degree of error when approximating depth information. For example, if the quantization range, which will be described later, is narrower, the error will be smaller, and the approximation accuracy will be higher. Also, the wider the quantization range, the larger the error, and the lower the approximation accuracy.
  • the control unit 22 of the image communication device 2A approximates the depth information according to the approximation accuracy received by the receiving unit 21. For example, the control unit 22 of the image communication device 2A quantizes the depth information by narrowing the quantization range, which will be described later, when approximating the depth information so as to increase the approximation accuracy. Further, when approximating the depth information so that the approximation accuracy is low, the control unit 22 of the image communication device 2A quantizes the depth information by widening the quantization range, which will be described later.
  • the reception unit 21 of the image communication device 2A receives parameters including approximation accuracy when approximating depth information, which are determined according to the operation content of the mobile object. Note that the approximation accuracy when approximating this depth information is sometimes called a quantization range.
  • the control unit 22 reduces the information amount of the depth information by approximating the depth information according to the approximation accuracy.
  • the approximation accuracy may be the approximation accuracy after being changed by the server device 3A.
  • FIG. 6 is a diagram for explaining the quantization range of depth information.
  • the depth information expresses the distance (depth) to the object corresponding to each pixel of the color image in 16 bits (0 to 65535 [mm]), for example.
  • the effective depth is defined as the depth range from the lower limit D min to the upper limit D max .
  • the horizontal axis represents the effective depth of the RGB-D camera, and the vertical axis represents the sampling depth . max .
  • a 16-bit depth image is indicated by a solid line, and an 8-bit depth image is indicated by a dotted line.
  • Quantization in this specification includes changing the degree of discreteness of discrete values and downsampling information expressed by discrete values.
  • depth information is quantized within a quantization range.
  • the scale factor s in the quantization range is given by the following formula (Formula 1).
  • FIG. 7 is a diagram showing 16-bit depth information and 8-bit grayscale information. As shown in FIG. 7, when 16-bit depth information is quantized and converted into 8-bit grayscale information, the graph becomes a step-like graph, and 8-bit causes a larger quantization error than 16-bit. This quantization error e s is given by the following equation (Equation 3). It can be seen that the narrower the quantization range, the smaller the quantization error.
  • FIG. 8 is a diagram showing another example of quantization processing. As shown in FIG. 8, the 16-bit depth image may be transformed using a sigmoid function instead of the 8-bit linear transformation.
  • the sigmoid function is given by the following formula (formula 4).
  • the quantization range is not explicitly defined by the lower limit value D min and the upper limit value D max as in linear transformation, but is controlled by the parameter a of the sigmoid function shown in (Equation 4). It will be.
  • the image processing unit 35 of the server device 3A detects obstacles based on the depth information. For example, when the image processing unit 35 detects an obstacle by recognizing a color image while the mobile body is running, it notifies the transmitting unit 32 of the recognition result.
  • the transmission unit 32 of the server device 3A changes the approximation accuracy of the depth information according to the motion content of the mobile body and the detection result of the obstacle.
  • the receiving unit 21 of the image communication device 2A receives parameters including the approximation accuracy of the depth information, which are determined according to the motion of the moving object and the obstacles detected based on the depth information.
  • the control unit 22 performs quantization processing by limiting the quantization range of depth information, thereby reducing the quantization error. can be reduced.
  • the change unit 22 of the image communication device 2A includes obstacle detection means for detecting an obstacle based on the image acquired from the sensor.
  • the approximation accuracy of the depth information may be changed according to.
  • the control unit 22 can more efficiently change the information amount of the depth information by compressing the depth information after performing the quantization process.
  • control unit 22 controls the compression ratio of the image acquired from the sensor according to the operation details of the moving object. For example, when the moving body is an automatic forklift and the automatic forklift is "running", the control unit 22 changes the compression rate of the color image so as to increase the information amount of the color image.
  • the transmission unit 32 of the server device 3A changes the ratio of the bit rates allocated to the image and the depth information according to the operation details of the mobile object.
  • the reception unit 21 of the image communication device 2A receives parameters including the ratio of bit rates to be assigned to images and depth information, which are determined according to the operation details of the mobile object.
  • the transmission unit 23 transmits the depth information quantized and compressed by the control unit 22 and the color image compressed by the control unit 22 to the server device 3A.
  • the transmission unit 23 can estimate the communication throughput from the stream delivery information of the color image and the depth information, and acquire the transmittable band.
  • the transmittable band is B (bps) and the bit rate allocation ratio is r
  • the color image bit rate b RGB (bps) and the depth image bit rate b Depth (bps) are given by the following equation (Equation 5 ) and (Equation 6). Note that the allocation ratio r is controlled within a range of 0 to 1 according to the operation contents of the robot.
  • the transmission unit 32 of the server device 3A changes the image bit rate and the depth information bit rate according to the communication throughput of the network to which the mobile unit is connected.
  • the bit rate of color images is b RGB (bps)
  • the bit rate of depth images is b Depth (bps).
  • FIG. 9 is a flow chart showing the flow of the moving body control method. As shown in FIG. 9, the moving body control method includes steps S11 to S17.
  • the acquisition unit 31 of the server device 3A acquires the operation content of the mobile object and notifies the transmission unit 32 (S11).
  • the operation contents of the mobile object are managed by another server device or the like.
  • the acquisition unit 31 of the server device 3A acquires information about the operation details of the moving object from another server device or the like.
  • the image processing unit 35 of the server device 3A performs recognition processing for at least one of the color image and the depth information, and notifies the transmission unit 32 of the server device 3A of the recognition result (S12).
  • the transmission unit 32 of the server device 3A determines the depth range of the depth image, the bit rate allocation amount of the color image, and the bit rate allocation amount of the depth image according to the operation content of the moving body and the recognition result by the image processing unit 35. is changed and included in the parameter, and the parameter is transmitted to the image communication apparatus 2A (S13).
  • the reception unit 21 of the image communication device 2A Upon receiving the parameters from the server device 3A, the reception unit 21 of the image communication device 2A notifies the control unit 22 of the approximation accuracy, the color image bit rate allocation amount, and the depth image bit rate allocation amount.
  • the control unit 22 reduces the amount of depth information by quantizing the depth information according to the approximation accuracy (S14).
  • control unit 22 changes the bit rates of the color image and the depth information according to the bit rate allocation amount of the color image and the bit rate allocation amount of the depth information received from the server device 3A (S15). Compress the color image and depth information according to the bit rate (S16).
  • the transmission unit 23 of the image communication device 2A transmits the compressed color image and depth information to the server device 3A (S17).
  • each function of the mobile object control system 100A may be implemented on the cloud.
  • the acquisition unit 31 and the transmission unit 32 may be one device
  • the image processing unit 35 and the reception unit 37 may be one device. These may be implemented in one device or in separate devices. For example, when implemented in separate devices, information of each unit is transmitted and received via a communication network to advance processing.
  • the transmission unit 32 of the server device 3A changes the approximation accuracy of the depth information according to the motion of the mobile body,
  • the control unit 22 is notified of the approximation accuracy after the change. Therefore, the control unit 22 of the image communication device 2A can reduce the amount of depth information by quantizing the depth information according to the approximation accuracy.
  • the transmission unit 32 of the server device 3A changes the approximation accuracy of the depth information according to the operation content of the moving body and the recognition result by the image processing unit 35, and transmits the changed approximation accuracy to the control unit 22.
  • the control unit 22 of the image communication device 2A can further preferably reduce the amount of depth information by quantizing the depth information according to the approximation accuracy.
  • control unit 22 of the image communication apparatus 2A changes the amount of information of the depth information by changing the compression rate of the depth information, the information amount of the depth information according to the allocation ratio of the bit rate of the depth information. can be
  • control unit 22 of the image communication apparatus 2A changes the amount of information of the color image by changing the compression rate of the color image according to the operation of the mobile unit, the bit rate allocation of the color image
  • the information amount of the color image can be set according to the ratio.
  • the transmission unit 32 of the server device 3A changes the bit rate of the color image and the bit rate of the depth information according to the communication throughput of the transmission unit 23 of the image communication unit 2A, the color image and the depth information are transmitted.
  • the amount of information can be set according to the throughput.
  • FIG. 10 is a block diagram showing the configuration of the mobile control system 100B.
  • the mobile body control system 100B includes an image communication device 2B and a server device 3B.
  • the image communication device 2B includes a receiving unit 21, a changing unit 22, a transmitting unit 23, an RGB image acquiring unit 24, a depth image acquiring unit 25, an RGB compressing unit 26, a depth compressing unit 27, and quantization information. and an additional portion 28 .
  • the changing unit 22 also includes a quantization range changing unit 221 and a compression parameter changing unit 222 .
  • the transmitter 23 also includes an RGB transmitter 231 and a depth transmitter 232 .
  • the server device 3B includes an acquisition unit 31, a transmission unit 32, an image processing unit 35, a throughput measurement unit 36, and a reception unit 37.
  • the receiver 37 also includes an RGB receiver/decoder 33 and a depth receiver/decoder 34 .
  • the receiving unit 21 of the image communication device 2B receives from the server device 3B parameters including the approximation accuracy (quantization range) of the depth information, which are determined according to the motion of the moving object, and sets the parameters to the quantization range. It outputs to the changing unit 221 and the quantization information adding unit 28 .
  • the receiving unit 21 of the image communication device 2B also receives parameters including the allocation ratio between the color image bit rate and the depth information bit rate from the server device 3B, and outputs the parameters to the compression parameter changing unit 222 .
  • the quantization range changing unit 221 changes the quantization range by outputting the quantization range input from the receiving unit 21 to the depth image acquiring unit 25 .
  • the RGB image acquisition unit 24 acquires a color image from the sensor. Also, the depth image acquisition unit 25 acquires depth information from the sensor. The depth image acquisition unit 25 reduces the amount of depth information by quantizing the depth information according to the quantization range, as described in the fourth exemplary embodiment.
  • the RGB compression unit 26 compresses the color image output from the RGB image acquisition unit 24 according to the compression parameter for the color image output from the compression parameter change unit 222 and outputs the compressed color image to the RGB transmission unit 231. do.
  • the RGB transmission unit 231 transmits the color image compressed by the RGB compression unit 26 to the server device 3B.
  • the depth compression unit 27 compresses the quantized depth image output from the depth image acquisition unit 25 according to the compression parameter of the depth image output from the compression parameter change unit 222, and compresses the compressed depth image. to the depth transmission unit 232 .
  • the quantization information adding unit 28 adds quantization information to the packet for transmitting the depth information after being compressed by the depth compression unit 27, and sends the packet to which the quantization information has been added to the depth transmission unit 232 in the server device. Send to 3B.
  • the acquisition unit 31 of the server device 3B acquires the operation content of the mobile object.
  • the operation contents of the mobile object are managed by another server device or the like.
  • the acquisition unit 31 of the server device 3B acquires information about the work content of the mobile object from another server device or the like.
  • the transmission unit 32 of the server device 3B changes the approximation accuracy of the depth information according to the operation content of the mobile object, and transmits the changed approximation accuracy to the image communication device 2B.
  • the transmission unit 32 changes the approximation range of the depth information according to the operation content of the moving body and the recognition result by the image processing unit 35, and transmits the approximation accuracy after the change to the image communication device 2B.
  • the image processing unit 35 performs recognition processing for at least one of the color image and the depth information. For example, when the image processing unit 35 detects an obstacle by recognizing a color image while the mobile body is running, it notifies the transmitting unit 32 of the recognition result.
  • the throughput measurement unit 36 measures, for example, the time taken to receive a predetermined number of packets from the image communication device 2B, and measures the communication throughput from the data amount of the specified number of packets and the time taken to receive the specified number of packets. The throughput measurement unit 36 then notifies the transmission unit 32 of the communication throughput.
  • the RGB receiving/decoding unit 33 receives the compressed color image from the image communication device 2B and decodes the compressed color image. Also, the depth receiving/decoding unit 34 receives the compressed depth information from the image communication device 2B and decodes the compressed depth information.
  • FIG. 11 is a flow diagram showing the flow of the moving body control method. As shown in FIG. 11, the moving body control method includes steps S21 to S28. A case of an RGB image will be described as an example of a color image.
  • the acquisition unit 31 of the server device 3B acquires the operation content of the mobile unit and notifies the transmission unit 32 of the operation content.
  • the transmission unit 32 changes the allocation ratio and quantization range between the bit rate of the RGB image and the bit rate of the depth information according to the operation of the mobile unit, and changes the allocation ratio and quantization range of the bit rate to the image communication apparatus. 2B is notified (S21).
  • the bit rate of the RGB image is B1
  • the bit rate of depth information is B2
  • the lower limit value Dmin of the quantization range is 200
  • the upper limit value Dmax of the quantization range is 10,000.
  • the receiving unit 21 of the image communication device 2B Upon receiving the bit rate allocation ratio and the quantization range, the receiving unit 21 of the image communication device 2B outputs the quantization range to the quantization range changing unit 221 and outputs the bit rate allocation ratio to the compression parameter changing unit 222. do.
  • the quantization range changing unit 221 inputs the quantization range and sets it in the depth image acquiring unit 25 . Further, the compression parameter changing unit 222 sets the RGB image compression parameter (compression ratio) to the RGB compression unit 26, and sets the depth image compression parameter (compression ratio) to the depth compression unit 27 (S22).
  • the quantization information addition unit 28 adds the quantization range to the header of the packet transmitting the depth information
  • the depth transmission unit 232 is caused to transmit (S23).
  • the lower limit value of the quantization range of 200 and the upper limit value of the quantization range of 10000 are added to the unique header of the packet that transmits the depth information, and the depth image (data) with the compression rate of B2 is accommodated in the payload.
  • the receiving unit 37 of the server device 3B receives the RGB image and the depth image, and decodes the received RGB image and depth information. Then, by transmitting the RGB image and the depth information to another server device that controls the moving body, the other server device controls the moving body (S24).
  • the acquisition unit 31 of the server device 3B acquires the operation content of the mobile unit and notifies the transmission unit 32 of the operation content.
  • the transmission unit 32 changes the allocation ratio and quantization range between the bit rate of the RGB image and the bit rate of the depth information according to the operation of the mobile unit, and changes the allocation ratio and quantization range of the bit rate to the image communication apparatus. 2B is notified (S25).
  • the bit rate of the RGB image is B1′
  • the bit rate of depth information is B2′
  • the lower limit value D min of the quantization range is 2000
  • the upper limit value D max of the quantization range is 4000.
  • the receiving unit 21 of the image communication device 2B Upon receiving the bit rate allocation ratio and the quantization range, the receiving unit 21 of the image communication device 2B outputs the quantization range to the quantization range changing unit 221 and outputs the bit rate allocation ratio to the compression parameter changing unit 222. do.
  • the quantization range changing unit 221 inputs the quantization range and sets it in the depth image acquiring unit 25 . Further, the compression parameter changing unit 222 sets the RGB image compression parameter to the RGB compression unit 26, and sets the depth information compression parameter to the depth compression unit 27 (S26).
  • the quantization information addition unit 28 adds the quantization range to the header of the packet transmitting the depth information
  • the depth transmission unit 232 is caused to transmit (S27).
  • the lower limit value of the quantization range of 2000 and the upper limit value of the quantization range of 4000 are added to the unique header of the packet that transmits the depth information, and the depth information (data) with the compression rate of B2′ is accommodated in the payload. ing.
  • the receiving unit 37 of the server device 3B receives the RGB image and depth information, and decodes the received RGB image and depth information. Then, by transmitting the RGB image and the depth information to another server device that controls the moving body, the other server device controls the moving body (S28).
  • the quantization information adding unit 28 of the image communication device 2B transmits the depth information compressed by the depth compression unit 27.
  • the quantization information is added to the packet, and the depth transmission unit 232 is caused to transmit the packet to which the quantization information has been added to the server apparatus 3B. Therefore, on the server device 3B side, it is possible to easily check the compression rate of frequently updated RGB images and depth information, and the quantization range of depth information.
  • the throughput measuring unit 36 of the server device 3B measures the communication throughput from the data amount of the predetermined number of packets and the time taken to receive the predetermined number of packets, the throughput according to the communication state at that time can be obtained. can be done.
  • Some or all of the functions of the image communication devices 2, 2A, 2B and the server devices 3, 3A, 3B may be implemented by hardware such as integrated circuits (IC chips), or may be implemented by software. .
  • the image communication devices 2, 2A, 2B and the server devices 3, 3A, 3B are, for example, implemented by computers that execute program instructions, which are software that implements each function.
  • An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
  • Computer C comprises at least one processor C1 and at least one memory C2.
  • a program P for operating the computer C as the image communication devices 2, 2A, 2B and the server devices 3, 3A, 3B is recorded in the memory C2.
  • the processor C1 reads the program P from the memory C2 and executes it, thereby implementing the functions of the image communication devices 2, 2A, 2B and the server devices 3, 3A, 3B.
  • processor C1 for example, CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit) , a microcontroller, or a combination thereof.
  • memory C2 for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination thereof can be used.
  • the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data.
  • Computer C may further include a communication interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, disk, card, semiconductor memory, programmable logic circuit, or the like can be used.
  • the computer C can acquire the program P via such a recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • (Appendix 1) Acquisition means for acquiring the motion content of the moving object; and a control means for controlling the amount of depth information acquired from a sensor according to the operation content of the moving body, Mobile control system.
  • the amount of depth information can be reduced by quantizing the depth information according to the approximation accuracy.
  • the amount of depth information can be further suitably reduced by quantizing the depth information according to the approximation accuracy.
  • the amount of depth information can be further suitably reduced by quantizing the depth information according to the approximation accuracy.
  • the information amount of the image can be set according to the allocation ratio of the bit rate of the image.
  • the information amount of the image and depth information can be set according to the bit rate of the image and depth information.
  • Appendix 7 The mobile body control system according to appendix 5 or 6, wherein the control means changes the bit rate of the image and the bit rate of the depth information according to communication throughput of a network to which the mobile body is connected.
  • the information amount of the image and depth information can be set according to the bit rate allocation ratio of the image and depth information.
  • the process of changing the amount of information includes: 9. The moving body control method according to appendix 8, wherein the depth information is approximated according to the operation content of the moving body.
  • the process of changing the amount of information includes: The moving body control method according to Supplementary Note 9, wherein the approximation accuracy of the depth information is changed according to the operation content of the moving body and the detection result of the obstacle.
  • the process of changing the amount of information includes: 11.
  • the process of changing the amount of information includes: 12. The moving body control method according to appendix 10 or 11, wherein the compression ratio of the image acquired from the sensor is controlled according to the operation content of the moving body.
  • the information amount of the image can be set according to the allocation ratio of the bit rate of the image.
  • the process of changing the amount of information includes: 13.
  • the information amount of the image and depth information can be set according to the bit rate of the image and depth information.
  • the process of changing the amount of information includes: 14.
  • the information amount of the image and depth information can be set according to the bit rate allocation ratio of the image and depth information.
  • the receiving means receives the parameter including the approximation accuracy when approximating the depth information, which is determined according to the operation content of the moving body; 16.
  • the image communication apparatus according to appendix 15, wherein the control means reduces the information amount of the depth information by approximating the depth information according to the approximation accuracy.
  • Appendix 17 17. The method according to appendix 16, wherein the receiving means receives the parameter including the approximation accuracy of the depth information, which is determined according to the motion of the moving object and the obstacle detected based on the depth information. image communication device.
  • the information amount of the depth information can be further suitably reduced.
  • the receiving means receives the parameters including the approximation accuracy of the depth information, which are determined according to the motion of the moving body and the obstacle detected based on the image acquired from the sensor. 18.
  • the image communication device according to 17.
  • the information amount of the depth information can be further suitably reduced.
  • Appendix 19 19. The image communication apparatus according to appendix 17 or 18, wherein the control means controls the compression ratio of the image acquired from the sensor according to the parameter determined according to the operation content of the moving body.
  • the information amount of the image can be set according to the allocation ratio of the bit rate of the image.
  • the information amount of the image and depth information can be set according to the bit rate of the image and depth information.
  • Appendix 21 21.
  • the information amount of the image and depth information can be set according to the bit rate allocation ratio of the image and depth information.
  • At least one processor is provided, and the processor acquires the operation content of the moving body, and the processing of controlling the amount of depth information acquired from the sensor according to the acquired operation content of the moving body;
  • a mobile control system that executes
  • the robot control system may further include a memory, and the memory may store a program for causing the processor to execute the acquisition process and the control process. Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.
  • Appendix 23 at least one processor, wherein the processor receives a parameter related to changing the amount of information determined according to the operation content of the mobile body; A process of controlling the amount of depth information acquired from the sensor according to the parameter; An image communication device that executes
  • the image communication apparatus may further include a memory, and the memory may store a program for causing the processor to execute the receiving process and the controlling process. Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Civil Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することが可能となるように、移動体の動作内容を取得する取得部（１１）と、移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する制御部（１２）と、を備えている。

Description

移動体制御システム、移動体制御方法、および画像通信装置
　本発明は、移動体制御システム、移動体制御方法、および画像通信装置に関する。
　従来、深度センサによって取得した画像を用いて、ロボットを制御する技術が開発されている。これに関連する技術として、下記の特許文献１および特許文献２に開示された発明がある。
　特許文献１には、ロボットの内部または外部に備えられた情報処理装置が、ロボットに搭載されたセンサのセンシング結果に基づいて、ロボットの位置又はロボットの姿勢に関する情報を導出し、ロボットの制御を行うことが開示されている。
国際公開２０２１／０３３５０９号 日本国特開２０１５－００８３６７号公報
　特許文献１に開示されたシステムにおいて、ロボットの外部に情報処理装置が備えられていた場合、ロボットが、センサによって取得した画像を情報処理装置に送信する必要がある。しかしながら、ロボットが、センシング結果をそのまま送信すると、ネットワーク帯域が圧迫され、例えば、センシング結果の送信に遅延が生じる可能性がある。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することが可能な技術を提供することを一目的とする。
　本発明の一態様に係る移動体制御システムは、移動体の動作内容を取得する取得手段と、移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する制御手段と、を備える。
　本発明の一態様に係る移動体制御方法は、移動体の動作内容を取得し、取得した移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する。
　本発明の一態様に係る画像通信装置は、移動体の動作内容に応じて決定された、情報量の変更に関するパラメータを受信する受信手段と、パラメータに応じて、センサから取得したデプス情報の情報量を制御する制御手段と、を備える。
　本発明の一態様によれば、移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
本発明の例示的実施形態１に係る移動体制御システムの機能的構成を示すブロック図である。 移動体制御方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る画像通信装置の機能的構成を示すブロック図である。 本発明の例示的実施形態３に係るサーバ装置の機能的構成を示すブロック図である。 本発明の例示的実施形態４に係る移動体制御システムの構成を示すブロック図である。 デプス情報の量子化範囲を説明するための図である。 １６ｂｉｔのデプス情報と、８ｂｉｔのグレースケール情報とを示す図である。 量子化処理の他の一例を示す図である。 本発明の例示的実施形態４に係る移動体制御方法の流れを示すフロー図である。 本発明の例示的実施形態５に係る移動体制御システムの構成を示すブロック図である。 本発明の例示的実施形態５に係る移動体制御方法の流れを示すフロー図である。 コンピュータのハードウェアの一例を示す図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　＜移動体制御システム１００の概要＞
　本例示的実施形態に係る移動体制御システム１００は、概略的に言えば、移動体の動作内容に応じて、センサから取得したデプス情報の情報量を変更するものである。
　＜移動体制御システム１００の構成＞
　本例示的実施形態に係る移動体制御システム１００の構成について、図１を参照して説明する。図１は、移動体制御システム１００の構成を示すブロック図である。
　図１に示すように、移動体制御システム１００は、取得部１１と、制御部１２とを備えている。取得部１１は、本例示的実施形態において取得手段を実現する構成である。制御部１２は、本例示的実施形態において制御手段を実現する構成である。
　移動体に接続されるネットワークのスループットに応じて、デプス情報を変更してもよい。例えば、ＨＤ（高解像度）の画像のＲＡＷデータ（３０ｆｐｓ（flame per second））の場合、カラー画像が６６０Ｍｂｐｓ、デプス画像が４４０Ｍｂｐｓのネットワーク帯域を消費することになる。そのため、ネットワークの通信スループットに余裕がなければ、カラー画像の情報量およびデプス画像の情報量の何れか一方または両方の情報量を削減する必要が生じる。
　センサは、デプス情報を取得する。センサは、例えば、深度センサを有するＲＧＢ－Ｄカメラや、３Ｄ　ＬｉＤＡＲ（Light Detection and Ranging）、ＴＯＦ（Time-Of-Flight）センサ等である。カラー画像以外に、カラー画像の奥行きを表すデプス（Depth）画像を取得してもよい。なお、デプス情報は、センサから周囲の物体までの距離を示す深度情報である。
　１台または複数台のセンサが移動体に設置されており、取得部１１は、センサから出力されるカラー画像およびデプス情報を取得する。デプス情報は、カラー画像の各画素の深さを、例えば、１６ビット（０～６５５３５［ｍｍ］）で表現している。制御部１２は、デプス画像の圧縮や、デプス情報のデータ量を減少させることで、デプス情報の情報量を変更することができる。例えば、制御部１２は、デプス情報を１６ビットから８ビットに変換することによって、デプス情報の情報量を変更することができる。
　例えば、カラー画像およびデプス情報をＭＰＥＧ（Moving Picture Experts Group）で圧縮する場合、量子化パラメータを変更することによって圧縮率を制御することが可能である。量子化パラメータ等の圧縮率に影響を与えるパラメータを、圧縮パラメータと呼ぶことにする。
　取得部１１は、移動体の動作内容を取得する。移動体は、例えば、無人搬送用の機構を備えた自動フォークリフト（ＡＧＦ：Automated Guided Forklift）、無人搬送車（ＡＧＶ：Automated Guided Vehicle）、自動走行ロボット（ＡＭＲ：Autonomous Mobile Robot）等である。
　移動体は、例えば、自己位置推定（ＳＬＡＭ：Simultaneous Localization And Mapping）機能を搭載しており、カメラやレーザセンサ等の外界センサと、エンコーダやジャイロスコープ等の内界センサとを併用することで自己位置推定を行ってもよい。また、移動体は、自動で走行経路を生成する機能を備えて、固定ルートに縛られず障害物の自動回避等を行ってもよい。
　移動体が、例えば、自動フォークリフトの場合、作業内容は、「走行」と「荷役」との２つに大別される。自動フォークリフトが「走行」する場合、主にカラー画像を使ってＶＳＬＡＭで自己位置推定を行いながら目的地へ移動する。そのため、カラー画像の情報量を増やし、デプス画像の情報量を減らすことにより、より高精度な自己位置推定を行うことができる。
　また、自動フォークリフトが「走行」する場合、自動フォークリフトの進行方向に障害物があれば、自動フォークリフトが一時停止または障害物を回避する必要がある。障害物を回避する場合には、自動フォークリフトが、障害物の奥行情報を高精度で取得する必要があるため、デプス情報の情報量を増やし、カラー画像の情報量を減らす。
　また、自動フォークリフトが「荷役」を行う場合、主にパレット認識、ラック認識、ＱＲマーカー認識等を行いながら、荷上げや荷下ろし処理を行う。パレット認識およびラック認識時には、自動フォークリフトが、パレットやラックの奥行情報を高精度で取得する必要があるため、デプス画像の情報量を増やし、カラー画像の情報量を減らす。また、ＱＲマーカー認識時には、自動フォークリフトが、ＱＲマーカーの画像処理を行う必要があるため、カラー画像の情報量を増やし、デプス画像の情報量を減らす。
　例えば、磁気テープ等の目印に応じて、移動する移動体の場合、制御部１２は、移動体が目印に沿って移動する場合は、デプス情報を少なくするようにしても良い。また、障害物回避などの動作により想定するルートから逸れて移動する場合、制御部１２は、デプス情報を多くするようにしても良い。また、移動体が物品を搬送する場合、制御部１２は、物品の受け渡しの際にデプス情報を多くするようにしても良い。
　制御部１２は、移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する。例えば、移動体が自動フォークリフトであり、自動フォークリフトが「走行」中の場合、制御部１２は、デプス情報の情報量を減らす。また、自動フォークリフトの進行方向に障害物がある場合、制御部１２は、デプス情報の情報量を増やす。
　なお、移動体制御システム１００の各機能がクラウド上で実装されてもよい。例えば、取得部１１が１つの装置であってもよく、制御部１２が１つの装置であってもよい。これらは、１つの装置内に実装されてもよいし、別々の装置に実装されてもよい。例えば、別々の装置に実装される場合、通信ネットワークを介して各部の情報が送受信されて処理が進められる。
　＜移動体制御システム１００の効果＞
　以上説明したように、本例示的実施形態に係る移動体制御システム１００によれば、制御部１２が、移動体の動作内容に応じて、デプス情報の情報量を制御するため、移動体制御におけるデプス画像の情報量を好適に制御することができる。
　＜移動体制御システム１００による移動体制御方法の流れ＞
　以上のように構成された移動体制御システム１００が実行する移動体制御方法の流れについて、図２を参照して説明する。図２は、移動体制御方法の流れを示すフロー図である。図２に示すように、移動体制御方法は、ステップＳ１～Ｓ２を含む。
　まず、取得部１１は、移動体の動作内容を取得する（Ｓ１）。そして、制御部１２は、取得した移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する（Ｓ２）。
　＜移動体制御方法の効果＞
　以上説明したように、本例示的実施形態に係る移動体制御方法によれば、ステップＳ２において、取得した移動体の動作内容に応じて、センサから取得したデプス情報の情報量を変更するので、移動体制御におけるデプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態における画像通信装置は、例えば、移動体に搭載され、センサによって取得されたデプス情報の情報量を変更する。
　＜画像通信装置２の構成＞
　本例示的実施形態に係る画像通信装置２の構成について、図３を参照して説明する。図３は、画像通信装置２の機能的構成を示すブロック図である。図３に示すように、画像通信装置２は、受信部２１と、制御部２２とを備えている。受信部２１は、本例示的実施形態において受信手段を実現する構成である。制御部２２は、本例示的実施形態において制御手段を実現する構成である。
　受信部２１は、移動体の動作内容に応じて決定された、情報量の変更に関するパラメータを受信する。後述のように、情報量の変更に関するパラメータは、サーバ装置から送信される。この情報量の変更に関するパラメータには、カラー画像のビットレート割当量、デプス情報のビットレート割当量等が含まれる。
　移動体が、例えば、自動フォークリフトの場合、作業内容は、「走行」と「荷役」との２つに大別される。「走行」には、「通常の走行」、「障害物の回避」等が含まれる。また、「荷役」には、「パレット認識」、「ラック認識」、「ＱＲマーカー認識」等が含まれる。
　サーバ装置は、自動フォークリフトの動作内容を取得し、自動フォークリフトの動作内容に応じて、カラー画像のビットレート割当量、デプス画像のビットレート割当量等を含むパラメータを決定し、画像通信装置２に送信する。
　制御部２２は、パラメータに応じて、センサから取得したデプス情報の情報量を変更する。例えば、制御部２２は、受信部２１によって受信されたパラメータに含まれるデプス情報のビットレート割当量に応じて、デプス情報の圧縮率を変更し、デプス情報のビットレート割当量に対応する情報量となるようにデプス情報の情報量を変更する。
　＜画像通信装置２の効果＞
　以上説明したように、本例示的実施形態に係る画像通信装置２によれば、制御部２２が、移動体の動作内容に応じて決定された、情報量の変更に関するパラメータに応じて、センサから取得したデプス情報の情報量を変更するので、移動体制御におけるデプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　〔例示的実施形態３〕
　本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態におけるサーバ装置は、移動体の動作内容を取得し、移動体の動作内容に応じて、デプス情報の情報量を変更するためのパラメータを決定する。
　＜サーバ装置３の構成＞
　本例示的実施形態に係るサーバ装置３の構成について、図４を参照して説明する。図４は、サーバ装置３の機能的構成を示すブロック図である。図４に示すように、サーバ装置３は、取得部３１と、送信部３２とを備えている。取得部３１は、本例示的実施形態において取得手段を実現する構成である。送信部３２は、本例示的実施形態において送信手段を実現する構成である。
　取得部３１は、移動体の動作内容を取得する。移動体が、例えば、自動フォークリフトの場合、作業内容は、「走行」と「荷役」との２つに大別される。「走行」には、「通常の走行」、「障害物の回避」等が含まれる。また、「荷役」には、「パレット認識」、「ラック認識」、「ＱＲマーカー認識」等が含まれる。移動体の作業内容は、別のサーバ装置等によって管理されている。取得部３１は、別のサーバ装置等から、移動体の作業内容が、これらの何れであるかに関する情報を取得する。
　送信部３２は、移動体の動作内容に応じて、センサから取得したデプス情報の情報量を変更するためのパラメータを決定し、当該パラメータを移動体に送信する。この情報量の変更に関するパラメータには、カラー画像のビットレート割当量、デプス情報のビットレート割当量等が含まれる。送信部３２は、移動体とサーバ装置３との間の通信スループットと、移動体の作業内容とから、カラー画像のビットレート割当量、デプス情報のビットレート割当量等を含むパラメータを決定し、当該パラメータを移動体に送信する。
　＜サーバ装置３の効果＞
　以上説明したように、本例示的実施形態に係るサーバ装置３によれば、送信部３２は、移動体の動作内容に応じて、センサから取得したデプス情報の情報量を変更するためのパラメータを決定し、当該パラメータを移動体に送信する。したがって、移動体側でこのパラメータを受信し、パラメータに応じて、センサから取得したカラー画像の奥行きを表すデプス画像の情報量を変更することにより、移動体制御におけるデプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　〔例示的実施形態４〕
　本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態２および３において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　＜移動体制御システム１００Ａの構成＞
　本例示的実施形態に係る移動体制御システム１００Ａの構成について、図５を参照して説明する。図５は、移動体制御システム１００Ａの構成を示すブロック図である。
　図５に示すように、移動体制御システム１００Ａは、画像通信装置２Ａと、サーバ装置３Ａとを含む。また、画像通信装置２Ａは、受信部２１と、制御部２２と、送信部２３とを備えている。受信部２１は、本例示的実施形態において画像通信装置の受信手段を実現する構成である。制御部２２は、本例示的実施形態において制御手段を実現する構成である。送信部２３は、本例示的実施形態において画像通信装置の送信手段を実現する構成である。
　また、サーバ装置３Ａは、取得部３１と、送信部３２と、画像処理部３５と、受信部３７とを含む。取得部３１は、本例示的実施形態において取得手段を実現する構成である。送信部３２は、本例示的実施形態においてサーバ装置の制御手段または送信手段を実現する構成である。画像処理部３５は、本例示的実施形態において画像処理手段を実現する構成である。
　サーバ装置３Ａの取得部３１は、移動体の動作内容を取得する。移動体の動作内容は、例えば、別のサーバ装置等によって管理されてもよい。サーバ装置３Ａの取得部３１は、別のサーバ装置等から、移動体の作業内容に関する情報を取得してもよい。
　サーバ装置３Ａ内に、移動体の動作を計画する計画部や、移動体の行動計画を保持する保持部があってもよい。また、取得部３１は、上記計画部または保持部から移動体の作業内容を取得してもよい。
　サーバ装置３Ａの送信部３２は、移動体の動作内容に応じて、デプス情報を近似するときの近似精度を変更して、変更後の近似精度を制御部２２に通知する。具体的には、送信部３２が、デプス情報を近似するときの近似精度を変更して、変更後の近似精度を含むパラメータを画像通信装置２Ａの受信部２１に送信する。
　近似精度は、デプス情報を近似するときの誤差の度合いを示している。例えば、後述の量子化範囲が狭ければ誤差が小さくなるため、近似精度は高くなる。また、量子化範囲が広ければ誤差が大きくなるため、近似精度は低くなる。
　画像通信装置２Ａの制御部２２は、受信部２１によって受信された近似精度に応じて、デプス情報を近似する。例えば、画像通信装置２Ａの制御部２２は、近似精度が高くなるようにデプス情報を近似する場合には、後述の量子化範囲を狭くしてデプス情報を量子化する。また、画像通信装置２Ａの制御部２２は、近似精度が低くなるようにデプス情報を近似する場合には、後述の量子化範囲を広くしてデプス情報を量子化する。
　画像通信装置２Ａの受信部２１は、移動体の動作内容に応じて決定された、デプス情報を近似するときの近似精度を含むパラメータを受信する。なお、このデプス情報を近似するときの近似精度を、量子化範囲と呼ぶこともある。
　制御部２２は、近似精度に応じて前記デプス情報を近似することによって、前記デプス情報の情報量を削減する。近似精度は、サーバ装置３Ａによって変更された後の近似精度であってもよい。
　図６は、デプス情報の量子化範囲を説明するための図である。デプス情報は、カラー画像の各画素に対応するオブジェクトまでの距離（深さ）を、例えば、１６ビット（０～６５５３５［ｍｍ］）で表現したものである。実効デプスは、下限値Ｄｍｉｎから上限値Ｄｍａｘまでのデプス範囲として規定される。図６に示すように、ＲＧＢ－Ｄカメラの実効デプスを横軸、サンプリングデプスを縦軸とすると、量子化範囲は、デプス画像の量子化処理における実効デプスの下限値Ｄｍｉｎと、上限値Ｄｍａｘとによって規定される。なお、１６ｂｉｔのデプス画像を実線で示し、８ｂｉｔのデプス画像を点線で示している。
　本明細書における量子化とは、離散値で表現される情報について、離散値の離散の度合いを変更することや、ダウンサンプリングすることを含む。
　本例示的実施形態においては、量子化範囲でデプス情報を量子化するものとする。量子化範囲におけるスケールファクタｓは、次式（式１）の通りである。
　　ｓ＝２５５／（Ｄｍａｘ－Ｄｍｉｎ）　・・・（式１）
　座標（ｕ，ｖ）における画素を、画素（ｕ，ｖ）とし、画素（ｕ，ｖ）における１６ｂｉｔのデプス情報をＩ１６ｂｉｔ（ｕ，ｖ）とすると、量子化した後の８ｂｉｔのグレースケール画像Ｉ８ｂｉｔ（ｕ，ｖ）は、次式（式２）の通りとなる。なお、次式（式２）は、８ｂｉｔのグレースケール画像Ｉ８ｂｉｔ（ｕ，ｖ）の値が、０～２５５の範囲となるようにしている。
　　Ｉ８ｂｉｔ（ｕ，ｖ）＝ｍａｘ（０，ｍｉｎ（２５５，ｓ×（Ｉ１６ｂｉｔ（ｕ，ｖ）－Ｄｍｉｎ）））　・・・（式２）
　図７は、１６ｂｉｔのデプス情報と、８ｂｉｔのグレースケール情報とを示す図である。図７に示すように、１６ｂｉｔのデプス情報を量子化して、８ｂｉｔのグレースケール情報に変換した場合、階段状のグラフとなるため、８ｂｉｔでは１６ｂｉｔよりも大きな量子化誤差が発生する。この量子化誤差ｅｓは、次式（式３）の通りとなる。量子化範囲が狭い程、量子化誤差が小さくなることが分かる。
　　ｅｓ＝ｓ－１　・・・（式３）
　図８は、量子化処理の他の一例を示す図である。図８に示すように、１６ｂｉｔのデプス画像を８ｂｉｔの線形変換ではなく、シグモイド関数を用いて変換するようにしてもよい。シグモイド関数は、次式（式４）の通りである。
　　ｆ（ｘ）＝１／（１＋ｅ－ａｘ）　・・・（式４）
　この場合、量子化範囲は、線形変換のような下限値Ｄｍｉｎと、上限値Ｄｍａｘとで明示的に規定されるのではなく、（式４）に示すシグモイド関数のパラメータａで制御されることになる。
　サーバ装置３Ａの画像処理部３５は、デプス情報に基づいて、障害物を検出する。例えば、移動体の走行中に、画像処理部３５が、カラー画像の認識処理によって障害物を検出した場合、認識結果を送信部３２に通知する。
　サーバ装置３Ａの送信部３２は、移動体の動作内容と、障害物の検出結果とに応じて、デプス情報の近似精度を変更する。
　また、画像通信装置２Ａの受信部２１は、移動体の動作内容と、デプス情報に基づいて検出された障害物とに応じて決定された、デプス情報の近似精度を含むパラメータを受信するようにしてもよい。例えば、移動体の走行中に、カラー画像の認識処理によって障害物が検出された場合、制御部２２は、デプス情報の量子化範囲を限定して量子化処理を行うことにより、量子化誤差を減らすことができる。
　また、画像通信装置２Ａの変更部２２は、センサから取得した画像に基づいて、障害物を検出する障害物検出手段を備え、制御部２２は、移動体の動作内容と、障害物の検出結果とに応じて、デプス情報の近似精度を変更するようにしてもよい。制御部２２は、量子化処理を行った後のデプス情報を圧縮することによって、より効率的にデプス情報の情報量を変更することができる。
　また、制御部２２は、移動体の動作内容に応じて、センサから取得する画像の圧縮率を制御する。例えば、移動体が自動フォークリフトであり、自動フォークリフトが「走行」中の場合、制御部２２は、カラー画像の情報量を増やすようにカラー画像の圧縮率を変更する。
　サーバ装置３Ａの送信部３２は、移動体の動作内容に応じて、画像とデプス情報とに割当てるビットレートの比率を変更する。
　画像通信装置２Ａの受信部２１は、移動体の動作内容に応じて決定された、画像とデプス情報とに割当てるビットレートの比率を含むパラメータを受信する。
　送信部２３は、制御部２２によって量子化されて圧縮されたデプス情報と、制御部２２によって圧縮されたカラー画像とをサーバ装置３Ａに送信する。送信部２３は、カラー画像とデプス情報とのストリーム配信情報から、通信スループットを推定し、送信可能な帯域を取得可能である。
　送信可能な帯域をＢ（ｂｐｓ）、ビットレートの割当比率をｒとすると、カラー画像のビットレートをｂＲＧＢ（ｂｐｓ）、およびデプス画像のビットレートｂＤｅｐｔｈ（ｂｐｓ）は、次式（式５）および（式６）の通りとなる。なお、割当比率ｒは、ロボットの動作内容に応じて、０～１の範囲で制御される。
　　ｂＲＧＢ＝（１－ｒ）×Ｂ　・・・（式５）
　　ｂＤｅｐｔｈ＝ｒ×Ｂ　・・・（式６）
　サーバ装置３Ａの送信部３２は、移動体が接続されるネットワークの通信スループットに応じて、画像のビットレートとデプス情報のビットレートとを変更する。上述の通り、カラー画像のビットレートはｂＲＧＢ（ｂｐｓ）、デプス画像のビットレートはｂＤｅｐｔｈ（ｂｐｓ）となる。
　＜移動体制御システム１００Ａによる移動体制御方法の流れ＞
　以上のように構成された移動体制御システム１００Ａが実行する移動体制御方法の流れについて、図９を参照して説明する。図９は、移動体制御方法の流れを示すフロー図である。図９に示すように、移動体制御方法は、ステップＳ１１～Ｓ１７を含む。
　まず、サーバ装置３Ａの取得部３１は、移動体の動作内容を取得し、送信部３２に通知する（Ｓ１１）。移動体の動作内容は、別のサーバ装置等によって管理されている。サーバ装置３Ａの取得部３１は、別のサーバ装置等から、移動体の動作内容に関する情報を取得する。
　次に、サーバ装置３Ａの画像処理部３５は、カラー画像およびデプス情報の少なくともいずれか一方の認識処理を行い、認識結果をサーバ装置３Ａの送信部３２に通知する（Ｓ１２）。
　サーバ装置３Ａの送信部３２は、移動体の動作内容と、画像処理部３５による認識結果とに応じて、デプス画像のデプス範囲、カラー画像のビットレート割当量、およびデプス画像のビットレート割当量を変更してパラメータに含め、当該パラメータを画像通信装置２Ａに送信する（Ｓ１３）。
　画像通信装置２Ａの受信部２１は、サーバ装置３Ａからパラメータを受信すると、制御部２２に近似精度、カラー画像のビットレート割当量、およびデプス画像のビットレート割当量を通知する。制御部２２は、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量を削減する（Ｓ１４）。
　また、制御部２２は、サーバ装置３Ａから受信したカラー画像のビットレート割当量、およびデプス情報のビットレート割当量に応じて、カラー画像およびデプス情報のビットレートを変更し（Ｓ１５）、それぞれのビットレートに応じてカラー画像およびデプス情報を圧縮する（Ｓ１６）。
　最後に、画像通信装置２Ａの送信部２３は、圧縮後のカラー画像およびデプス情報をサーバ装置３Ａに送信する（Ｓ１７）。
　なお、移動体制御システム１００Ａの各機能がクラウド上で実装されてもよい。また、例えば、取得部３１と送信部３２とが１つの装置であってもよく、画像処理部３５と受信部３７とが１つの装置であってもよい。これらは、１つの装置内に実装されてもよいし、別々の装置に実装されてもよい。例えば、別々の装置に実装される場合、通信ネットワークを介して各部の情報が送受信されて処理が進められる。
　＜移動体制御システム１００Ａの効果＞
　以上説明したように、本例示的実施形態に係る移動体制御システム１００Ａによれば、サーバ装置３Ａの送信部３２は、移動体の動作内容に応じて、デプス情報の近似精度を変更して、変更後の近似精度を制御部２２に通知する。したがって、画像通信装置２Ａの制御部２２は、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量を削減することができる。
　また、サーバ装置３Ａの送信部３２は、移動体の動作内容と、画像処理部３５による認識結果とに応じて、デプス情報の近似精度を変更して、変更後の近似精度を制御部２２に通知する。したがって、画像通信装置２Ａの制御部２２は、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量をさらに好適に削減することができる。
　また、画像通信装置２Ａの制御部２２は、デプス情報の圧縮率を変更することによって、当該デプス情報の情報量を変更するので、デプス情報のビットレートの割当比率に応じたデプス情報の情報量とすることができる。
　また、画像通信装置２Ａの制御部２２は、移動体の動作内容に応じて、カラー画像の圧縮率を変更することによって、当該カラー画像の情報量を変更するので、カラー画像のビットレートの割当比率に応じたカラー画像の情報量とすることができる。
　また、サーバ装置３Ａの送信部３２は、画像通信部２Ａの送信部２３の通信スループットに応じて、カラー画像のビットレートとデプス情報のビットレートとを変更するので、カラー画像およびデプス情報を通信スループットに応じた情報量とすることができる。
　〔例示的実施形態５〕
　本発明の第５の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態２～４において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　＜ロボット制御システム１００Ｂの構成＞
　本例示的実施形態に係る移動体制御システム１００Ｂの構成について、図１０を参照して説明する。図１０は、移動体制御システム１００Ｂの構成を示すブロック図である。
　図１０に示すように、移動体制御システム１００Ｂは、画像通信装置２Ｂと、サーバ装置３Ｂとを含む。画像通信装置２Ｂは、受信部２１と、変更部２２と、送信部２３と、ＲＧＢ画像取得部２４と、デプス画像取得部２５と、ＲＧＢ圧縮部２６と、デプス圧縮部２７と、量子化情報追加部２８とを備えている。また、変更部２２は、量子化範囲変更部２２１と、圧縮パラメータ変更部２２２とを備えている。また、送信部２３は、ＲＧＢ送信部２３１と、デプス送信部２３２と、を備えている。
　サーバ装置３Ｂは、取得部３１と、送信部３２と、画像処理部３５と、スループット計測部３６と、受信部３７と、を備えている。また、受信部３７は、ＲＧＢ受信・復号部３３と、デプス受信・復号部３４と、を備えている。
　画像通信装置２Ｂの受信部２１は、サーバ装置３Ｂから、移動体の動作内容に応じて決定された、デプス情報の近似精度（量子化範囲）を含むパラメータを受信し、当該パラメータを量子化範囲変更部２２１と、量子化情報追加部２８とに出力する。また、画像通信装置２Ｂの受信部２１は、サーバ装置３Ｂからカラー画像のビットレートとデプス情報のビットレートとの割当比率を含むパラメータを受信し、当該パラメータを圧縮パラメータ変更部２２２に出力する。
　量子化範囲変更部２２１は、受信部２１から入力した量子化範囲を、デプス画像取得部２５に出力することにより、量子化範囲を変更する。
　ＲＧＢ画像取得部２４は、センサからカラー画像を取得する。また、デプス画像取得部２５は、センサからデプス情報を取得する。デプス画像取得部２５は、例示的実施形態４で説明したように、量子化範囲に応じてデプス情報を量子化することによって、デプス情報の情報量を削減する。
　ＲＧＢ圧縮部２６は、圧縮パラメータ変更部２２２から出力されるカラー画像の圧縮パラメータに応じて、ＲＧＢ画像取得部２４から出力されるカラー画像を圧縮し、圧縮したカラー画像をＲＧＢ送信部２３１に出力する。ＲＧＢ送信部２３１は、ＲＧＢ圧縮部２６によって圧縮された後のカラー画像をサーバ装置３Ｂに送信する。
　デプス圧縮部２７は、圧縮パラメータ変更部２２２から出力されるデプス画像の圧縮パラメータに応じて、デプス画像取得部２５から出力される量子化処理された後のデプス画像を圧縮し、圧縮したデプス画像をデプス送信部２３２に出力する。
　量子化情報追加部２８は、デプス圧縮部２７によって圧縮された後のデプス情報を送信するパケットに量子化情報を追加し、デプス送信部２３２に、量子化情報を追加した後のパケットをサーバ装置３Ｂに送信させる。
　サーバ装置３Ｂの取得部３１は、移動体の動作内容を取得する。移動体の動作内容は、別のサーバ装置等によって管理されている。サーバ装置３Ｂの取得部３１は、別のサーバ装置等から、移動体の作業内容に関する情報を取得する。
　サーバ装置３Ｂの送信部３２は、移動体の動作内容に応じて、デプス情報の近似精度を変更して、変更後の近似精度を画像通信装置２Ｂに送信する。また、送信部３２は、移動体の動作内容と、画像処理部３５による認識結果とに応じて、デプス情報の近似範囲を変更して、変更後の近似精度を画像通信装置２Ｂに送信するようにしてもよい。
　画像処理部３５は、カラー画像およびデプス情報の少なくともいずれか一方の認識処理を行う。例えば、移動体の走行中に、画像処理部３５が、カラー画像の認識処理によって障害物を検出した場合、認識結果を送信部３２に通知する。
　スループット計測部３６は、例えば、画像通信装置２Ｂから所定数のパケットを受信する時間を計測し、所定数のパケットのデータ量と、所定数のパケットを受信する時間とから通信スループットを計測する。そして、スループット計測部３６は、通信スループットを送信部３２に通知する。
　ＲＧＢ受信・復号部３３は、画像通信装置２Ｂから圧縮されたカラー画像を受信し、圧縮されたカラー画像を復号する。また、デプス受信・復号部３４は、画像通信装置２Ｂから圧縮されたデプス情報を受信し、圧縮されたデプス情報を復号する。
　＜移動体制御システム１００Ｂによる移動体制御方法の流れ＞
　以上のように構成された移動体制御システム１００Ｂが実行する移動体制御方法の流れについて、図１１を参照して説明する。図１１は、移動体制御方法の流れを示すフロー図である。図１１に示すように、移動体制御方法は、ステップＳ２１～Ｓ２８を含む。なお、カラー画像の一例として、ＲＧＢ画像の場合について説明する。
　まず、サーバ装置３Ｂの取得部３１は、移動体の動作内容を取得し、送信部３２に通知する。送信部３２は、移動体の動作内容に応じて、ＲＧＢ画像のビットレートとデプス情報のビットレートとの割当比率および量子化範囲を変更し、ビットレートの割当比率および量子化範囲を画像通信装置２Ｂに通知する（Ｓ２１）。図１１においては、ＲＧＢ画像のビットレートをＢ１、デプス情報のビットレートをＢ２、量子化範囲の下限値Ｄｍｉｎを２００、量子化範囲の上限値Ｄｍａｘを１００００としている。
　画像通信装置２Ｂの受信部２１は、ビットレートの割当比率および量子化範囲を受信すると、量子化範囲を量子化範囲変更部２２１に出力し、ビットレートの割当比率を圧縮パラメータ変更部２２２に出力する。量子化範囲変更部２２１は、量子化範囲を入力して、デプス画像取得部２５に設定する。また、圧縮パラメータ変更部２２２は、ＲＧＢ画像の圧縮パラメータ（圧縮率）をＲＧＢ圧縮部２６に設定し、デプス画像の圧縮パラメータ（圧縮率）をデプス圧縮部２７に設定する（Ｓ２２）。
　次に、デプス送信部２３２が、デプス圧縮部２７によって圧縮されたデプス画像を送信する際、量子化情報追加部２８は、デプス情報を送信するパケットのヘッダに、量子化範囲を追加して、デプス送信部２３２に送信させる（Ｓ２３）。図１１においては、デプス情報を送信するパケットの独自ヘッダに、量子化範囲の下限値２００、量子化範囲の上限値１００００を追加し、ペイロードに圧縮率Ｂ２のデプス画像（データ）を収容している。
　次に、サーバ装置３Ｂの受信部３７が、ＲＧＢ画像およびデプス画像を受信し、受信したＲＧＢ画像およびデプス情報を復号する。そして、移動体を制御する別のサーバ装置にＲＧＢ画像およびデプス情報を送信することにより、別のサーバ装置に移動体を制御させる（Ｓ２４）。
　同様に、サーバ装置３Ｂの取得部３１は、移動体の動作内容を取得し、送信部３２に通知する。送信部３２は、移動体の動作内容に応じて、ＲＧＢ画像のビットレートとデプス情報のビットレートとの割当比率および量子化範囲を変更し、ビットレートの割当比率および量子化範囲を画像通信装置２Ｂに通知する（Ｓ２５）。図１１においては、ＲＧＢ画像のビットレートをＢ１’、デプス情報のビットレートをＢ２’、量子化範囲の下限値Ｄｍｉｎを２０００、量子化範囲の上限値Ｄｍａｘを４０００としている。
　画像通信装置２Ｂの受信部２１は、ビットレートの割当比率および量子化範囲を受信すると、量子化範囲を量子化範囲変更部２２１に出力し、ビットレートの割当比率を圧縮パラメータ変更部２２２に出力する。量子化範囲変更部２２１は、量子化範囲を入力して、デプス画像取得部２５に設定する。また、圧縮パラメータ変更部２２２は、ＲＧＢ画像の圧縮パラメータをＲＧＢ圧縮部２６に設定し、デプス情報の圧縮パラメータをデプス圧縮部２７に設定する（Ｓ２６）。
　次に、デプス送信部２３２が、デプス圧縮部２７によって圧縮されたデプス情報を送信する際、量子化情報追加部２８は、デプス情報を送信するパケットのヘッダに、量子化範囲を追加して、デプス送信部２３２に送信させる（Ｓ２７）。図１１においては、デプス情報を送信するパケットの独自ヘッダに、量子化範囲の下限値２０００、量子化範囲の上限値４０００を追加し、ペイロードに圧縮率Ｂ２’のデプス情報（データ）を収容している。
　次に、サーバ装置３Ｂの受信部３７が、ＲＧＢ画像およびデプス情報を受信し、受信したＲＧＢ画像およびデプス情報を復号する。そして、移動体を制御する別のサーバ装置にＲＧＢ画像およびデプス情報を送信することにより、別のサーバ装置に移動体を制御させる（Ｓ２８）。
　＜移動体制御システム１００Ｂの効果＞
　以上説明したように、本例示的実施形態に係る移動体制御システム１００Ｂによれば、画像通信装置２Ｂの量子化情報追加部２８が、デプス圧縮部２７によって圧縮された後のデプス情報を送信するパケットに量子化情報を追加し、デプス送信部２３２に、量子化情報を追加した後のパケットをサーバ装置３Ｂに送信させる。したがって、サーバ装置３Ｂ側で、頻繁に更新されるＲＧＢ画像およびデプス情報の圧縮率や、デプス情報の量子化範囲を容易に確認することができる。
　また、サーバ装置３Ｂのスループット計測部３６が、所定数のパケットのデータ量と、所定数のパケットを受信する時間とから通信スループットを計測するので、その時の通信状態に応じたスループットを取得することができる。
　〔ソフトウェアによる実現例〕
　画像通信装置２，２Ａ，２Ｂ、サーバ装置３，３Ａ，３Ｂの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、画像通信装置２，２Ａ，２Ｂ、サーバ装置３，３Ａ，３Ｂは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１２に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを画像通信装置２，２Ａ，２Ｂ、サーバ装置３，３Ａ，３Ｂとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、画像通信装置２，２Ａ，２Ｂ、サーバ装置３，３Ａ，３Ｂの各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　移動体の動作内容を取得する取得手段と、
　前記移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する制御手段と、を備える、
移動体制御システム。
　上記の構成によれば、移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　（付記２）
　前記制御手段は、前記移動体の動作内容に応じて、前記デプス情報を近似する、付記１に記載の移動体制御システム。
　上記の構成によれば、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量を削減することができる。
　（付記３）
　前記デプス情報に基づいて、障害物を検出する障害物検出手段を備え、
　前記制御手段は、前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、付記２に記載の移動体制御システム。
　上記の構成によれば、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量をさらに好適に削減することができる。
　（付記４）
　前記センサから取得した画像に基づいて、障害物を検出する障害物検出手段を備え、
　前記制御手段は、前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、付記２に記載の移動体制御システム。
　上記の構成によれば、近似精度に応じてデプス情報を量子化することによって、デプス情報の情報量をさらに好適に削減することができる。
　（付記５）
　前記制御手段は、前記移動体の動作内容に応じて、前記センサから取得する画像の圧縮率を制御する、付記３又は４に記載のロボット制御システム。
　上記の構成によれば、画像のビットレートの割当比率に応じた画像の情報量とすることができる。
　（付記６）
　前記制御手段は、前記移動体の動作内容に応じて、前記画像と前記デプス情報とに割当てるビットレートの比率を変更する、付記５に記載の移動体制御システム。
　上記の構成によれば、画像およびデプス情報のビットレートに応じた画像およびデプス情報の情報量とすることができる。
　（付記７）
　前記制御手段は、前記移動体が接続されるネットワークの通信スループットに応じて、前記画像のビットレートと前記デプス情報のビットレートとを変更する、付記５または６に記載の移動体制御システム。
　上記の構成によれば、画像およびデプス情報のビットレートの割当比率に応じた画像およびデプス情報の情報量とすることができる。
　（付記８）
　移動体の動作内容を取得し、
　取得した前記移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する、
移動体制御方法。
　上記の構成によれば、移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　（付記９）
　前記情報量を変更する処理は、
　　前記移動体の動作内容に応じて、前記デプス情報を近似する、付記８に記載の移動体制御方法。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量を削減することができる。
　（付記１０）
　前記デプス情報に基づいて、障害物を検出し、
　前記情報量を変更する処理は、
　　前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、付記９に記載の移動体制御方法。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量を削減することができる。
　（付記１１）
　前記センサから取得した画像に基づいて、障害物を検出し、
　前記情報量を変更する処理は、
　　前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、付記１０に記載の移動体制御方法。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量を削減することができる。
　（付記１２）
　前記情報量を変更する処理は、
　　前記移動体の動作内容に応じて、前記センサから取得する画像の圧縮率を制御する、付記１０又は１１に記載の移動体制御方法。
　上記の構成によれば、画像のビットレートの割当比率に応じた画像の情報量とすることができる。
　（付記１３）
　前記情報量を変更する処理は、
　　前記移動体の動作内容に応じて、前記画像と前記デプス情報とに割当てるビットレートの比率を変更する、付記１２に記載の移動体制御方法。
　上記の構成によれば、画像およびデプス情報のビットレートに応じた画像およびデプス情報の情報量とすることができる。
　（付記１４）
　前記情報量を変更する処理は、
　　前記移動体が接続されるネットワークの通信スループットに応じて、前記画像のビットレートと前記デプス情報のビットレートとを変更する、付記１２または１３に記載の移動体制御方法。
　上記の構成によれば、画像およびデプス情報のビットレートの割当比率に応じた画像およびデプス情報の情報量とすることができる。
　（付記１５）
　移動体の動作内容に応じて決定された、情報量の変更に関するパラメータを受信する受信手段と、
　前記パラメータに応じて、センサから取得したデプス情報の情報量を制御する制御手段と、を備える、
画像通信装置。
　上記の構成によれば、移動体の動作内容に応じて、デプス情報の情報量が適切となるように、デプス情報の情報量を制御することができる。
　（付記１６）
　前記受信手段は、前記移動体の動作内容に応じて決定された、前記デプス情報を近似するときの近似精度を含む前記パラメータを受信し、
　前記制御手段は、前記近似精度に応じて前記デプス情報を近似することによって、前記デプス情報の情報量を削減する、付記１５に記載の画像通信装置。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量を削減することができる。
　（付記１７）
　前記受信手段は、前記移動体の動作内容と、前記デプス情報に基づいて検出された障害物とに応じて決定された、前記デプス情報の近似精度を含む前記パラメータを受信する、付記１６に記載の画像通信装置。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量をさらに好適に削減することができる。
　（付記１８）
　前記受信手段は、前記移動体の動作内容と、前記センサから取得した画像に基づいて検出された障害物とに応じて決定された、前記デプス情報の近似精度を含む前記パラメータを受信する、付記１７に記載の画像通信装置。
　上記の構成によれば、近似精度に応じてデプス情報を近似することによって、デプス情報の情報量をさらに好適に削減することができる。
　（付記１９）
　前記制御手段は、前記移動体の動作内容に応じて決定された前記パラメータに応じて、前記センサから取得する画像の圧縮率を制御する、付記１７又は１８に記載の画像通信装置。
　上記の構成によれば、画像のビットレートの割当比率に応じた画像の情報量とすることができる。
　（付記２０）
　前記受信手段は、前記移動体の動作内容に応じて決定された、前記画像と前記デプス情報とに割当てるビットレートの比率を含む前記パラメータを受信する、付記１９に記載の画像通信装置。
　上記の構成によれば、画像およびデプス情報のビットレートに応じた画像およびデプス情報の情報量とすることができる。
　（付記２１）
　前記受信手段は、前記移動体が接続されるネットワークの通信スループットに応じて決定された、前記画像のビットレートと前記デプス情報のビットレートとを受信する、付記１９または２０に記載の画像通信装置。
　上記の構成によれば、画像およびデプス情報のビットレートの割当比率に応じたカ画像およびデプス情報の情報量とすることができる。
　（付記２２）
　少なくとも１つのプロセッサを備え、前記プロセッサは、移動体の動作内容を取得する処理と、取得した前記移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する処理と、
を実行する移動体制御システム。
　なお、このロボット制御システムは、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記制御する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　（付記２３）
　少なくとも１つのプロセッサを備え、前記プロセッサは、移動体の動作内容に応じて決定された、情報量の変更に関するパラメータを受信する処理と、
　前記パラメータに応じて、センサから取得したデプス情報の情報量を制御する処理と、
を実行する画像通信装置。
　なお、この画像通信装置は、更にメモリを備えていてもよく、このメモリには、前記受信する処理と、前記制御する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　（付記２４）
　前記変更手段は、前記デプス画像の圧縮率を変更することによって、当該デプス画像の情報量を変更する、付記３に記載のロボット制御システム。
　（付記２５）
　ロボットの動作内容を取得する取得手段と、
　前記ロボットの動作内容に応じて、カメラから取得したデプス画像の情報量を変更するためのパラメータを決定し、当該パラメータを前記ロボットに送信する送信手段と、を備える、
サーバ装置。
　（付記２６）
　前記送信手段は、前記ロボットの動作内容に応じて、前記デプス画像における量子化対象のデプス範囲を変更した前記パラメータを前記ロボットに送信する、付記２５に記載のサーバ装置。
　２，２Ａ，２Ｂ　画像送信装置
　３，３Ａ，３Ｂ　サーバ装置
　１１，３１　取得部
　１２，２２　制御部
　２１，３７　受信部
　２３，３２　送信部
　２４　ＲＧＢ画像取得部
　２５　デプス画像取得部
　２６　ＲＧＢ圧縮部
　２７　デプス圧縮部
　２８　量子化情報追加部
　３３　ＲＧＢ受信・復号部
　３４　デプス受信・復号部
　３５　画像処理部
　３６　スループット計測部
　１００，１００Ａ，１００Ｂ　ロボット制御システム
　２３１　ＲＧＢ送信部
　２３２　デプス送信部

 

Claims (21)

  1. 　移動体の動作内容を取得する取得手段と、
    　前記移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する制御手段と、を備える、
    移動体制御システム。
  2. 　前記制御手段は、前記移動体の動作内容に応じて、前記デプス情報を近似する、請求項１に記載の移動体制御システム。
  3. 　前記デプス情報に基づいて、障害物を検出する障害物検出手段を備え、
    　前記制御手段は、前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、請求項２に記載の移動体制御システム。
  4. 　前記センサから取得した画像に基づいて、障害物を検出する障害物検出手段を備え、
    　前記制御手段は、前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、請求項２に記載の移動体制御システム。
  5. 　前記制御手段は、前記移動体の動作内容に応じて、前記センサから取得する画像の圧縮率を制御する、請求項３又は４に記載の移動体制御システム。
  6. 　前記制御手段は、前記移動体の動作内容に応じて、前記画像と前記デプス情報とに割当てるビットレートの比率を変更する、請求項５に記載の移動体制御システム。
  7. 　前記制御手段は、前記移動体が接続されるネットワークの通信スループットに応じて、前記画像のビットレートと前記デプス情報のビットレートとを変更する、請求項５または６に記載の移動体制御システム。
  8. 　移動体の動作内容を取得し、
    　取得した前記移動体の動作内容に応じて、センサから取得するデプス情報の情報量を制御する、
    移動体制御方法。
  9. 　前記情報量を変更する処理は、
    　　前記移動体の動作内容に応じて、前記デプス情報を近似する、請求項８に記載の移動体制御方法。
  10. 　前記デプス情報に基づいて、障害物を検出し、
    　前記情報量を変更する処理は、
    　　前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、請求項９に記載の移動体制御方法。
  11. 　前記センサから取得した画像に基づいて、障害物を検出し、
    　前記情報量を変更する処理は、
    　　前記移動体の動作内容と、前記障害物の検出結果とに応じて、前記デプス情報の近似精度を変更する、請求項９に記載の移動体制御方法。
  12. 　前記情報量を変更する処理は、
    　　前記移動体の動作内容に応じて、前記センサから取得する画像の圧縮率を制御する、請求項１０又は１１に記載の移動体制御方法。
  13. 　前記情報量を変更する処理は、
    　　前記移動体の動作内容に応じて、前記画像と前記デプス情報とに割当てるビットレートの比率を変更する、請求項１２に記載の移動体制御方法。
  14. 　前記情報量を変更する処理は、
    　　前記移動体が接続されるネットワークの通信スループットに応じて、前記画像のビットレートと前記デプス情報のビットレートとを変更する、請求項１２または１３に記載の移動体制御方法。
  15. 　移動体の動作内容に応じて決定された、情報量の変更に関するパラメータを受信する受信手段と、
    　前記パラメータに応じて、センサから取得したデプス情報の情報量を制御する制御手段と、を備える、
    画像通信装置。
  16. 　前記受信手段は、前記移動体の動作内容に応じて決定された、前記デプス情報を近似するときの近似精度を含む前記パラメータを受信し、
    　前記制御手段は、前記近似精度に応じて前記デプス情報を近似することによって、前記デプス情報の情報量を削減する、請求項１５に記載の画像通信装置。
  17. 　前記受信手段は、前記移動体の動作内容と、前記デプス情報に基づいて検出された障害物とに応じて決定された、前記デプス情報の近似精度を含む前記パラメータを受信する、請求項１６に記載の画像通信装置。
  18. 　前記受信手段は、前記移動体の動作内容と、前記センサから取得した画像に基づいて検出された障害物とに応じて決定された、前記デプス情報の近似精度を含む前記パラメータを受信する、請求項１６に記載の画像通信装置。
  19. 　前記制御手段は、前記移動体の動作内容に応じて決定された前記パラメータに応じて、前記センサから取得する画像の圧縮率を制御する、請求項１７又は１８に記載の画像通信装置。
  20. 　前記受信手段は、前記移動体の動作内容に応じて決定された、前記画像と前記デプス情報とに割当てるビットレートの比率を含む前記パラメータを受信する、請求項１９に記載の画像通信装置。
  21. 　前記受信手段は、前記移動体が接続されるネットワークの通信スループットに応じて決定された、前記画像のビットレートと前記デプス情報のビットレートとを受信する、請求項１９または２０に記載の画像通信装置。
PCT/JP2021/036427 2021-10-01 2021-10-01 移動体制御システム、移動体制御方法、および画像通信装置 Ceased WO2023053444A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/036427 WO2023053444A1 (ja) 2021-10-01 2021-10-01 移動体制御システム、移動体制御方法、および画像通信装置
US18/694,125 US20240393800A1 (en) 2021-10-01 2021-10-01 Moving body control system, moving body control method, and image communication device
JP2023550997A JPWO2023053444A1 (ja) 2021-10-01 2021-10-01

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036427 WO2023053444A1 (ja) 2021-10-01 2021-10-01 移動体制御システム、移動体制御方法、および画像通信装置

Publications (1)

Publication Number Publication Date
WO2023053444A1 true WO2023053444A1 (ja) 2023-04-06

Family

ID=85782088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036427 Ceased WO2023053444A1 (ja) 2021-10-01 2021-10-01 移動体制御システム、移動体制御方法、および画像通信装置

Country Status (3)

Country Link
US (1) US20240393800A1 (ja)
JP (1) JPWO2023053444A1 (ja)
WO (1) WO2023053444A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160902A1 (ja) * 2011-05-24 2012-11-29 日産自動車株式会社 車両用監視装置及び車両の監視方法
WO2018155159A1 (ja) * 2017-02-24 2018-08-30 パナソニックＩｐマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
WO2019082958A1 (ja) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法
WO2020111134A1 (ja) * 2018-11-29 2020-06-04 住友電気工業株式会社 システム、サーバコンピュータ、車載装置、制御方法、半導体集積回路及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6232075B2 (ja) * 2013-12-03 2017-11-22 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP7029910B2 (ja) * 2016-12-22 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP7032062B2 (ja) * 2017-06-02 2022-03-08 株式会社Ihi 点群データ処理装置、移動ロボット、移動ロボットシステム、および点群データ処理方法
CN112771867A (zh) * 2018-09-28 2021-05-07 夏普株式会社 3d数据生成装置、3d数据再现装置、控制程序以及记录介质
JP7351079B2 (ja) * 2018-11-30 2023-09-27 ソニーグループ株式会社 制御装置、制御方法及びプログラム
EP3729333A4 (en) * 2019-02-19 2020-12-16 SZ DJI Technology Co., Ltd. AUTONOMOUS NAVIGATION BASED ON LOCAL DETECTION, AND ASSOCIATED SYSTEMS AND PROCESSES
JP2020177289A (ja) * 2019-04-15 2020-10-29 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7276023B2 (ja) * 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
JP7310524B2 (ja) * 2019-10-11 2023-07-19 トヨタ自動車株式会社 遠隔自動運転車両、及び車両遠隔指示システム
JP2022110260A (ja) * 2021-01-18 2022-07-29 ソニーグループ株式会社 移動装置、および移動装置制御方法
JP2022182277A (ja) * 2021-05-28 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法および自律移動体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160902A1 (ja) * 2011-05-24 2012-11-29 日産自動車株式会社 車両用監視装置及び車両の監視方法
WO2018155159A1 (ja) * 2017-02-24 2018-08-30 パナソニックＩｐマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
WO2019082958A1 (ja) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法
WO2020111134A1 (ja) * 2018-11-29 2020-06-04 住友電気工業株式会社 システム、サーバコンピュータ、車載装置、制御方法、半導体集積回路及びコンピュータプログラム

Also Published As

Publication number Publication date
US20240393800A1 (en) 2024-11-28
JPWO2023053444A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
US8406290B2 (en) User sensitive information adaptive video transcoding framework
JP7323545B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
KR101581097B1 (ko) 인코딩 방법 및 장치와, 디코딩 방법 및 장치
US20200371243A1 (en) Image capturing control method and apparatus, image capturing system and tof camera
KR20210153060A (ko) 비디오 인코더의 레이트 제어
US11814071B2 (en) Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session
US6778605B1 (en) Image processing apparatus and method
CN112771859A (zh) 基于感兴趣区域的视频数据编码方法、装置和存储介质
US20110044557A1 (en) Method and control unit for rectifying a camera image
KR20160024771A (ko) 화상 통신 장치, 화상 송신 장치 및 화상 수신 장치
WO2019001283A1 (zh) 编码分辨率控制方法及装置
US20200276996A1 (en) Server implementing automatic remote control of moving conveyance and method of automatic remote control of moving conveyance
KR20160142200A (ko) Mjpeg 압축방식을 이용하는 영상촬영장치
US20250159256A1 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
CN107197276A (zh) 半导体设备、编码控制方法和相机设备
US20130301700A1 (en) Video encoding device and encoding method thereof
US20220294971A1 (en) Collaborative object detection
US11533484B1 (en) Method and system for optimizing image and video compression for machine vision
CN112866630A (zh) 车辆及其控制方法
WO2023053444A1 (ja) 移動体制御システム、移動体制御方法、および画像通信装置
US12490049B2 (en) Electronic device for confirming position of external electronic device, and operation method therefor
JP2019047401A (ja) 画像処理装置
US7581018B2 (en) Server system for performing communication over wireless network
US12051327B2 (en) In-vehicle wireless communication device, wireless communication system, and wireless communication method
CN111066323B (zh) 计算机视觉系统中的图像压缩/解压缩

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959478

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18694125

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023550997

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21959478

Country of ref document: EP

Kind code of ref document: A1