[go: up one dir, main page]

WO2018151579A1 - 건설 장비의 화면 표시 시스템 및 화면 표시 방법 - Google Patents

건설 장비의 화면 표시 시스템 및 화면 표시 방법 Download PDF

Info

Publication number
WO2018151579A1
WO2018151579A1 PCT/KR2018/002077 KR2018002077W WO2018151579A1 WO 2018151579 A1 WO2018151579 A1 WO 2018151579A1 KR 2018002077 W KR2018002077 W KR 2018002077W WO 2018151579 A1 WO2018151579 A1 WO 2018151579A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
avm
camera
failure
failure flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/002077
Other languages
English (en)
French (fr)
Inventor
신성현
윤홍철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD Hyundai Infracore Co Ltd
Original Assignee
Doosan Infracore Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Doosan Infracore Co Ltd filed Critical Doosan Infracore Co Ltd
Priority to CN201880012138.XA priority Critical patent/CN110300828B/zh
Priority to EP18754425.9A priority patent/EP3572591B1/en
Priority to US16/486,948 priority patent/US10844579B2/en
Publication of WO2018151579A1 publication Critical patent/WO2018151579A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to construction equipment, and more particularly, to a screen display system and a screen display method of construction equipment that can display a camera image in an emergency mode when a failure occurs in some of the screen display system.
  • construction equipment such as excavators may cause a safety accident when the driver does not identify obstacles located in the direction of movement, and thus, a screen display system capable of identifying the situation of the front and rear and side of the construction equipment may be provided. It is a very important factor.
  • a plurality of cameras are installed in various directions of construction equipment, and an AVM (Around View Monitor) system is being researched to display images captured from each camera on a screen or synthesized as one.
  • AVM Around View Monitor
  • the AVM system may generate AVM image data based on the captured image, and may further process the image data through various steps to add various additional information. In this case, when a failure occurs in one of the steps, the camera image may not be provided to the user, which may be directly connected to a safety accident.
  • An object of the present invention is to provide a screen display system of construction equipment that can provide a camera image to the user even when some failure occurs.
  • Another object of the present invention is to provide a screen display method of the construction equipment.
  • the object of the present invention is not limited to the above objects, and may be variously expanded within a range without departing from the spirit and scope of the present invention.
  • a screen display system of construction equipment is based on a plurality of cameras, the camera image data to generate a plurality of camera image data
  • An AVM controller for generating AVM image data and selecting at least one of the AVM image data and the camera image data as first image data based on a first failure flag;
  • a main display unit for displaying an image corresponding to the image data.
  • the AVM controller selects the AVM image data as the first image data when the first failure flag corresponds to a normal state, and when the first failure flag corresponds to a failure state. At least one of the camera image data may be selected as the first image data.
  • the screen display system of the construction equipment may further include an additional information synthesizer configured to output second image data generated based on the first image data.
  • the main display unit displays an image corresponding to the first image data when the second failure flag indicating whether the additional information synthesizing unit corresponds to a failure state, and when the second failure flag corresponds to a normal state, An image corresponding to the second image data may be displayed.
  • the additional information synthesizing unit may be a gateway for communication control of a serial bus (CAN) that is a network to which the AVM control unit, the additional information synthesizing unit, and the main display unit are connected.
  • CAN serial bus
  • the screen display system of the construction equipment may be configured to either one of the first image data and the second image data when a third failure flag indicating whether the main display part is in a failure state corresponds to a failure state.
  • the display apparatus may further include an auxiliary display unit for displaying a corresponding image.
  • the auxiliary display unit displays an image corresponding to the first image data when the second failure flag corresponds to the failure state, and when the second failure flag corresponds to a normal state.
  • An image corresponding to the second image data may be displayed.
  • the AVM image generating unit may generate the AVM image data based on the camera image data, and the AVM image data and the camera image data based on the first failure flag.
  • the switching circuit may determine the target to provide the first image data based on at least one of the first failure flag, the second failure flag, and the third failure flag. .
  • the first image data selector selects at least one of the camera image data as the first image data when the first disorder flag corresponds to the disorder state, and the first disorder.
  • the AVM video data may be selected as the first video data.
  • the first image data selector may include the main camera image data and the auxiliary camera image data among the camera image data as the first image data when the first failure flag corresponds to the failure state. You can choose.
  • the switching circuit may provide the main camera image data as the first image data to the main display unit, and provide the auxiliary camera image data as the first image data to the auxiliary display unit.
  • the AVM controller may include an AVM image generator configured to generate the AVM image data based on the camera image data, and based on at least one of the AVM image data and the camera image data.
  • a first image data generation unit for generating first image data, and a switching circuit for determining a target to provide the first image data among the additional information synthesizing unit, the main display unit, and the auxiliary display unit.
  • the first image data generation unit generates the first image data by merging at least two of the camera image data when the first failure flag corresponds to the failure state, and the first failure flag is in a normal state. If it is, the AVM video data may be set as the first video data.
  • a screen display method of construction equipment comprises the steps of receiving a plurality of camera image data, the AVM control unit based on the camera image data Generating AVM image data, selecting and outputting at least one of the AVM image data and the camera image data as first image data based on a first failure flag indicating whether the AVM controller has a failure; And displaying an image corresponding to the output image data, wherein the first image data is selected as one of the camera image data when the first failure flag corresponds to a failure state. If the fault flag corresponds to a normal state, it may be selected as the AVM image data.
  • the method may further include: outputting second image data generated by the additional information synthesizing unit based on the first image data, and adding a second failure flag indicating whether the additional information synthesizing unit is disabled.
  • the method may further include selecting and outputting one of the first image data and the second image data as output image data.
  • the output image data may be selected as the first image data when the second failure flag corresponds to a failure state, and may be selected as the second image data when the second failure flag corresponds to a normal state.
  • the image corresponding to the output image data is displayed on an auxiliary display unit when a third failure flag indicating whether a primary display unit is in a failure state corresponds to a failure state, and the third failure flag is in a normal state.
  • the main display may be displayed.
  • the AVM controller may generate and output at least one of the plurality of camera image data as the first image data.
  • the AVM controller generates at least one of the plurality of camera image data as first image data to be displayed on the main display unit, and the first image among the plurality of camera image data. At least one of the remaining image data that is not included in the data may be displayed on the auxiliary display unit.
  • the screen display system of the construction equipment processes the image data by bypassing another path even when a failure occurs in some devices of the screen display system while the image photographed from the camera is processed and provided to the user. (Ie, operating in the emergency mode), the user can provide the captured image or the processed image.
  • a method for displaying a screen of construction equipment includes an image taken from a camera or an image processed by the camera through a path for preparing for a failure (ie, an emergency mode) as well as a path for preparing a user. Since it can provide, the reliability of the screen display system of construction equipment can be improved, and it can improve the safety of construction equipment and prevent safety accidents.
  • FIG. 1 is a block diagram illustrating a screen display system of construction equipment according to example embodiments.
  • FIG. 2 is a block diagram illustrating an example of a camera unit and an AVM controller included in the screen display system of the construction equipment of FIG. 1.
  • FIG. 3 is a diagram illustrating an example in which cameras included in a camera unit of FIG. 2 are disposed in construction equipment.
  • FIG. 4 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 1.
  • FIG. 5 is a diagram illustrating an example of second image data generated by the additional information synthesizing unit based on the first image data of FIG. 4.
  • FIG. 6 is a diagram illustrating another example of first image data output from the AVM controller of FIG. 1.
  • FIG. 7 is a diagram illustrating an example of second image data generated by the additional information synthesizing unit based on the first image data of FIG. 6.
  • FIG. 8 and 9 are flowcharts illustrating an example of a screen display method performed by the screen display system of the construction equipment of FIG. 1.
  • FIG. 10 is a block diagram illustrating another example of a camera unit and an AVM control unit included in the screen display system of the construction equipment of FIG. 1.
  • FIG. 11 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 10.
  • FIG. 12 is a block diagram illustrating still another example of a camera unit and an AVM controller included in the screen display system of the construction equipment of FIG. 1.
  • FIG. 13 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 12.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another component.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a block diagram illustrating a screen display system of construction equipment according to example embodiments.
  • the screen display system 1000 of construction equipment includes a camera unit 100, an AVM control unit 200, an additional information synthesizing unit 300, a main display unit 400, an auxiliary display unit 500, and integration. It may include a control unit 600.
  • the camera unit 100 may include a plurality of cameras generating camera image data CI.
  • the camera unit 100 may include a plurality of cameras disposed at various locations of the construction equipment to grasp the situation on the front, rear, and side of the construction equipment.
  • Each of the cameras of the camera unit 100 may generate camera image data CI by capturing an image.
  • the AVM controller 200 generates an AVM (Around View Monitor) image data based on the camera image data CI, and generates the AVM image data or the camera image data CI based on the first fault flag. It can be selected as the video data IS1.
  • the AVM image data represents an image obtained by synthesizing or processing the at least one camera image data CI so that a user can easily grasp the surrounding situation of the front, rear, and both sides of the construction equipment.
  • the AVM controller 200 may output AVM image data or camera image data CI according to a first failure flag indicating whether the AVM controller 200 has failed.
  • the AVM controller 200 selects AVM image data as the first image data IS1 when the first failure flag corresponds to a normal state, and when the first failure flag corresponds to a failure state, the camera At least one of the image data CI may be selected as the first image data IS1.
  • the AVM control unit 200 may provide the first image data IS1 to the additional information synthesizing unit 300.
  • the AVM control unit 200 may provide the first image data IS1 to the main display unit 400 or the sub display unit 500. The structure and operation of the AVM controller 200 will be described in detail with reference to FIGS. 2, 10, and 12.
  • the additional information synthesizing unit 300 may output the second image data IS2 generated based on the first image data IS1. In one embodiment, the additional information synthesizing unit 300 may generate and output the second image data IS2 based on the first image data IS1. The additional information synthesizing unit 300 may generate the second image data IS2 by processing the first image data IS1 such that a user interface including additional information is added to the first image data IS1. Can be. For example, the additional information synthesizing unit 300 may generate second image data IS2 by adding entertainment related information, user terminal information, and the like to the first image data IS1. The additional information synthesizing unit 300 may perform not only the generation of the second image data IS2 but also other functions.
  • the additional information synthesizing unit 300 may include a gateway that performs a communication control function of a serial bus (CAN).
  • CAN serial bus
  • the additional information synthesizing unit 300 may be integrally formed with the AVM control unit 200 and the integrated control unit 600. That is, the AVM control unit 200 or the integrated control unit 600 may perform the second image data IS2 generation function together with its own function.
  • the main display unit 400 receives one of the first image data IS1 and the second image data IS2 based on a second failure flag indicating whether the additional information synthesizing unit 300 has a failure and an image corresponding thereto. Can be displayed.
  • the main display unit 400 represents a display device that displays an image captured by the camera or a processed image thereof in the normal mode.
  • the main display unit 400 displays an image corresponding to the first image data IS1 when the second failure flag corresponds to a failure state, and displays a second image when the second failure flag corresponds to a normal state.
  • An image corresponding to the image data IS2 may be displayed.
  • the main display unit 400 may display an image corresponding to the first image data IS1.
  • the main display unit 400 may display an image corresponding to the second image data IS2.
  • the auxiliary display unit 500 may display an image corresponding to one of the first image data IS1 and the second image data IS2 when the third failure flag indicating whether the main display unit 400 has a failure corresponds to a failure state. I can display it.
  • the auxiliary display unit 500 may display information other than an image captured by the camera in the normal mode (for example, an image of driving information, warning information, and the like).
  • the auxiliary display unit 500 displays an image corresponding to the first image data IS1 when the second failure flag corresponds to a failure state, and displays a second image when the second failure flag corresponds to a normal state.
  • An image corresponding to the image data IS2 may be displayed.
  • the integrated control unit 600 may control operations of the AVM control unit 200, the additional information synthesizing unit 300, the main display unit 400, and the auxiliary display unit 500.
  • the integrated control unit 600 may control the construction equipment as a whole by including an electronic power optimizing system (EPOS), an engine control unit (ECU), various sensors, and a setting device. have.
  • EPOS electronic power optimizing system
  • ECU engine control unit
  • the integrated control unit 600 monitors the state of each of the AVM control unit 200, the additional information synthesizing unit 300, the main display unit 400, and the auxiliary display unit 500, sets a failure flag when a failure occurs, and sets the AVM control unit ( 200 and the operation of the additional information synthesizing unit 300.
  • the integrated control unit 600 is connected to the AVM control unit 200, the additional information synthesizing unit 300, the main display unit 400, and the auxiliary display unit 500 via a serial bus (CAN), the control information Can be transmitted.
  • CAN serial bus
  • the serial bus (CAN) may be a controller area network (CAN) interface having a high integrity for building an intelligent device network.
  • the second image data IS2 may be transmitted in a low voltage differential signals (LVDS) scheme. Accordingly, high-speed communication is possible with low voltage operation, so that image data IS1 and IS2 having a relatively large capacity can be stably provided.
  • LVDS low voltage differential signals
  • FIG. 1 illustrates that the second image data IS2 is generated by the additional information synthesizing unit 300
  • the present invention is not limited thereto.
  • the second image data IS2 may be generated at various locations such as the AVM controller 200, an external image processing apparatus (not shown), and the like.
  • FIG. 2 is a block diagram illustrating an example of a camera unit and an AVM controller included in the screen display system of the construction equipment of FIG. 1.
  • 3 is a diagram illustrating an example in which cameras included in a camera unit of FIG. 2 are disposed in construction equipment.
  • the camera unit 100 may include first to fourth cameras 110, 120, 130, and 140.
  • the first to fourth cameras 110, 120, 130, and 140 included in the camera unit 100 may photograph the front, rear, and both sides of the construction equipment.
  • the first camera 110 is disposed in the front direction of the construction equipment, and may generate the first camera image data CI1 by photographing the front of the construction equipment.
  • the second camera 120 may be disposed in the right direction of the construction equipment and may generate the second camera image data CI2 by photographing the right direction of the construction equipment.
  • the third camera 130 may be disposed in a left direction of the construction equipment and may generate third camera image data CI3 by photographing the left direction of the construction equipment.
  • the fourth camera 140 may be disposed in the rear direction of the construction equipment and may generate fourth camera image data CI4 by photographing the rear of the construction equipment.
  • the AVM controller 200A may include an AVM image generator 210, a first image data selector 220, and a switching circuit 230.
  • the AVM image generator 210 may generate AVM image data AVM based on the first to fourth camera image data CI1 to CI4.
  • the AVM image generating unit 210 synthesizes the first to fourth camera image data (CI1 to CI4) to display the tower as viewed from the top of the construction equipment to grasp the situation around the construction equipment 360 degrees AVM image data AVM corresponding to a top view image may be generated.
  • the AVM image generator 210 may provide an enlarged image, a partial image, a composite image, etc., for the first to fourth camera image data CI1 to CI4 based on the operation of the construction equipment. .
  • the first image data selector 220 may select at least one of the AVM image data AVM and the camera image data CI1 to CI4 as the first image data IS1 based on the first failure flag.
  • the first failure flag may be set by performing a failure monitoring on the AVM image generating unit 210 or the camera unit 100 in the screen display system, or may be determined through a physical switch that may be operated by a user.
  • the first image data selector 220 may select the AVM image data AVM as the first image data IS1 when the first failure flag corresponds to a normal state.
  • the first image data selector 220 uses at least one of the first to fourth camera image data CI1 to CI4 as the first image data IS1.
  • the AVM image generation unit 210 does not generate the AVM image data AVM normally due to a failure in the AVM image generator 210, the first image data selector 220 is the first image data IS1.
  • One of the camera image data CI1 to CI4 may be output.
  • the first image data selector 220 may display the fourth camera image data CI4 corresponding to the rear image of the construction equipment and the first image data IS1. Can be output as In another example, when the AVM image data AVM is not normally generated, the first image data selector 220 may be a direction opposite to the work direction of the construction equipment among the first to fourth camera image data CI1 to CI4. The camera image data received from the camera photographing the image may be output as the first image data IS1.
  • the switching circuit 230 may determine a target to provide the first image data IS1 among the additional information synthesizing unit, the main display unit, and the sub display unit. In an embodiment, the switching circuit 230 may determine a target to provide the first image data IS1 based on at least one of the first failure flag, the second failure flag, and the third failure flag. For example, the switching circuit 230 may include a first failure flag indicating whether the AVM image generating unit 210 has a failure, a second failure flag indicating whether or not the additional information synthesizing unit has failed, and a third failure indicating whether the main display has failed.
  • a control signal SC including a flag is received, and the first image data (for each of the additional information synthesizing unit, the main display unit, and the sub display unit according to the state of the first failure flag, the second failure flag, and the third failure flag) It may be determined whether to provide IS1). Operation according to the states of the first to third failure flags will be described in detail with reference to FIGS. 8 and 9.
  • FIG. 4 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 1.
  • FIG. 5 is a diagram illustrating an example of second image data generated by the additional information synthesizing unit based on the first image data of FIG. 4.
  • the AVM controller may output AVM image data as first image data IS1-1.
  • the AVM controller when the AVM controller normally generates AVM image data (that is, when the first failure flag corresponds to a normal state), the AVM controller synthesizes camera image data photographed from all sides of construction equipment.
  • the AVM image data corresponding to the top view image of the construction equipment may be output as the first image data IS1-1.
  • the additional information synthesizing unit processes the second image data IS2-1 processing the first image data IS1-1 corresponding to the top view image.
  • the image of the second image data IS2-1 may include a camera image region CIR, a first information region IDR1, and a second information region IDR2.
  • the camera image area CIR an image corresponding to the first image data IS1-1 generated by the AVM controller may be displayed.
  • the first information area IDR1 may display an image including interworking information received from a user terminal (eg, a user's smartphone) such as network connection information, GPS connection information, Bluetooth connection information, time information, and the like. have.
  • an image including entertainment related information such as a sound volume, sound reproduction information, and the like may be displayed.
  • FIG. 6 is a diagram illustrating another example of first image data output from the AVM controller of FIG. 1.
  • FIG. 7 is a diagram illustrating an example of second image data generated by the additional information synthesizing unit based on the first image data of FIG. 6.
  • At least one of the camera image data CIs may be output as the first image data.
  • the AVM control unit when the AVM control unit cannot normally generate AVM image data (that is, when the first failure flag corresponds to a failure state), the AVM control unit captures camera image data photographed from the rear of construction equipment. May be output as the first image data IS1-2.
  • the additional information synthesizing unit processes the second image data IS2 obtained by processing the first image data IS1-2 corresponding to the rear image of the construction equipment. -2) can be generated.
  • the camera image area CIR may display an image corresponding to the first image data IS1-2 set as camera image data photographed from the rear of the construction equipment.
  • FIG. 8 and 9 are flowcharts illustrating an example of a screen display method performed by the screen display system of the construction equipment of FIG. 1.
  • a method of processing camera image data may be determined according to whether the AVM controller, the additional information synthesizing unit, and the main display unit are normally operated, and the image may be displayed.
  • the screen display method of construction equipment may output an image based on the AVM image data.
  • a state in which the AVM controller operates normally may be detected (S110).
  • the AVM controller may generate AVM image data based on camera image data (S115) and select AVM image data as first image data (S120). For example, when the first failure flag controlled by the integrated controller corresponds to a normal state, the AVM controller may determine that the AVM controller can normally generate AVM image data. Accordingly, the AVM controller may receive camera image data from a plurality of cameras, generate AVM image data such as a top view image, and output the first image data.
  • Whether the additional information synthesizing unit is normally operated may be detected (S130). For example, it may be detected whether the additional information synthesizing unit is normally operated based on a second failure flag indicating whether the additional information synthesizing unit is disabled, and the output image data may be determined as one of the first image data and the second image data.
  • the additional information synthesizing unit may generate second image data based on the first image data (S140). For example, when the second failure flag indicating whether or not the additional information synthesizing unit corresponds to a normal state, the switching circuit of the AVM controller determines that the additional information synthesizing unit can normally generate the second image data, and outputs the output image data.
  • the first image data may be provided to the additional information synthesizer to determine the second image data and generate the second image data.
  • Whether the main display unit operates normally may be detected (S150). For example, whether the main display unit normally operates may be sensed based on a third failure flag indicating whether the main display unit has a failure.
  • the additional information synthesizing unit may provide the second image data to the main display unit, and the main display unit may display an image corresponding to the second image data (ie, operate in the first mode) (S161). have.
  • the AVM control unit since the AVM control unit, the additional information synthesizing unit, and the main display unit all operate normally, the AVM control unit generates AVM image data based on camera image data captured by the cameras, and generates the AVM image data in the first mode.
  • the additional information synthesizing unit may be provided as the image data, and the additional information synthesizing unit may generate the second image data based on the AVM image data and provide the second image data to the main display unit, and the main display unit may display the second image data.
  • the additional information synthesizing unit provides the second image data to the sub display unit, and the sub display unit displays an image corresponding to the second image data (ie, operates in the second mode) ( S162) can be.
  • the AVM control unit since the AVM control unit and the additional information synthesizing unit operate normally but the main display unit does not operate normally, the AVM control unit generates AVM image data based on camera image data photographed by the cameras, and removes the AVM image data.
  • the additional information synthesizing unit may be provided as one image data, and the additional information synthesizing unit may generate second image data based on the AVM image data and provide the second image data to the auxiliary display unit, and the auxiliary display unit may display the second image data.
  • the switching circuit of the AVM controller determines that the additional information synthesizing unit cannot normally generate the second image data, and outputs the first output image data. Can be determined by the image data.
  • Whether the main display unit operates normally may be detected (S170).
  • the AVM controller may directly provide the first image data to the main display unit, and the main display unit may display an image corresponding to the first image data (ie, operate in the third mode) (S181). have.
  • the AVM control unit and the main display unit operate normally, but the additional information synthesizing unit does not operate normally, so that the AVM control unit generates AVM image data based on camera image data captured by the cameras, and removes the AVM image data.
  • the first image data may be directly provided to the main display unit, and the main display unit may display the first image data.
  • the AVM control unit directly provides the first image data to the sub display unit, and the sub display unit displays an image corresponding to the first image data (ie, operates in the fourth mode) ( S182).
  • the AVM control unit operates normally, but the additional information synthesizing unit and the main display unit do not operate normally. Therefore, the AVM control unit generates AVM image data based on camera image data captured by the cameras and removes the AVM image data.
  • the display unit may be directly provided to the auxiliary display unit as one image data, and the auxiliary display unit may display the first image data.
  • the method for displaying a screen of construction equipment is based on first image data determined as one of camera image data when the AVM controller (ie, the AVM image generator) cannot generate AVM image data normally. Can output an image.
  • AVM controller ie, the AVM image generator
  • a state in which the AVM controller does not operate normally may be detected (S210).
  • One of the camera image data may be selected as the first image data (S220).
  • the AVM controller may determine that the AVM image generator of the AVM controller cannot normally generate AVM image data. Accordingly, the switching circuit of the AVM controller may receive camera image data from a plurality of cameras, and output one of the camera image data as first image data.
  • the additional information synthesizing unit may generate second image data based on the first image data (S240). For example, when the second failure flag indicating whether or not the additional information synthesizing unit corresponds to a normal state, the switching circuit of the AVM controller determines that the additional information synthesizing unit can normally generate the second image data, and outputs the output image data.
  • the first image data may be provided to the additional information synthesizer to determine the second image data and generate the second image data.
  • the main display unit When the main display unit operates normally, the additional information synthesizing unit may provide the second image data to the main display unit, and the main display unit may display an image corresponding to the second image data (that is, operate in the fifth mode) (S261). have.
  • the switching circuit uses one of the camera image data photographed by the cameras as the first image data.
  • the additional information synthesizing unit may generate second image data based on one of the photographed camera image data and provide the second image data to the main display unit, and the main display unit may display the second image data.
  • the additional information synthesizing unit provides the second image data to the sub display unit, and the sub display unit displays the image corresponding to the second image data (ie, operates in the sixth mode) ( S262).
  • the additional information synthesizing unit operates normally, but the AVM image generating unit and the main display unit do not operate normally, so that the switching circuit uses one of the camera image data photographed by the cameras as the first image data to the additional information synthesizing unit.
  • the additional information synthesizer may generate second image data based on the AVM image data and provide the second image data to the auxiliary display unit, and the auxiliary display unit may display the second image data.
  • the switching circuit of the AVM controller determines that the additional information synthesizing unit cannot normally generate the second image data, and outputs the first output image data. Can be determined by the image data.
  • Whether or not the main display is normally operated may be detected (S270).
  • the switching circuit provides one of the camera image data directly to the main display unit as the first image data, and the main display unit displays an image corresponding to the first image data (ie, in the seventh mode). Operation) (S281).
  • the main display unit operates normally but the AVM image generating unit and the additional information synthesizing unit do not operate normally, so that the switching circuit directly provides one of the camera image data captured by the cameras as the first image data to the main display unit.
  • the main display unit may display the first image data.
  • the switching circuit directly provides one of the camera image data as the first image data to the sub display unit, and the sub display unit displays an image corresponding to the first image data (that is, Operation in the eighth mode) (S282).
  • the AVM image generating unit, the additional information synthesizing unit, and the main display unit do not operate normally, so the switching circuit directly provides one of the camera image data captured by the cameras as the first image data to the auxiliary display unit.
  • the auxiliary display may display the first image data.
  • FIG. 10 is a block diagram illustrating another example of a camera unit and an AVM control unit included in the screen display system of the construction equipment of FIG. 1.
  • FIG. 11 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 10.
  • the camera unit 100 may include first to fourth cameras 110, 120, 130, and 140, and the AVM controller 200B may include an AVM image generator 210 and a second camera.
  • the image data generator 221 and the switching circuit 230 may be included.
  • the AVM controller 200B according to the present exemplary embodiment is substantially the same as the AVM controller 200A of FIG. 2 except that the first image data generator 221 is added instead of the first image data selector 220.
  • the same reference numerals are used for the same or similar components, and redundant descriptions will be omitted.
  • the AVM image generator 210 may generate AVM image data AVM based on the first to fourth camera image data CI1 to CI4.
  • the first image data generator 221 may generate the first image data IS1 based on the AVM image data AVM or the camera image data CI1 to CI4. According to an embodiment, the first image data generator 221 may set the AVM image data AVM as the first image data IS1 when the first failure flag corresponds to a normal state. The first image data generator 221 may generate the first image data IS1 by merging at least two of the camera image data CI1 to CI4 when the first failure flag corresponds to a failure state. For example, as illustrated in FIG. 11, the first image data generator 221 combines the second to fourth camera image data CI to CI4 corresponding to the left image, the right image, and the rear image into one. The first merged first image data IS1-3 may be generated.
  • the switching circuit 230 may determine an object to provide first image data among the additional information synthesizing unit, the main display unit, and the sub display unit.
  • FIG. 12 is a block diagram illustrating still another example of a camera unit and an AVM controller included in the screen display system of the construction equipment of FIG. 1.
  • FIG. 13 is a diagram illustrating an example of first image data output from the AVM controller of FIG. 12.
  • the camera unit 100 includes first to fourth cameras 110, 120, 130, and 140
  • the AVM controller 200C includes an AVM image generator 210 and a second camera.
  • the image data selection unit 222 and the switching circuit 230 may be included.
  • the AVM controller 200C according to the present exemplary embodiment includes the main camera image data CI_P and the auxiliary camera image data CI_S in the first image data selector 222 when the AVM image generator 210 fails. Except for selecting the first image data to be described above, since they are substantially the same as the AVM controller 200A of FIG. 2, the same reference numerals are used for the same or similar components, and redundant descriptions thereof will be omitted.
  • the AVM image generator 210 may generate AVM image data AVM based on the first to fourth camera image data CI1 to CI4.
  • the first image data selector 222 may select at least one of the AVM image data AVM and the camera image data C1 to C4 as the first image data IS1 based on the first failure flag.
  • the first image data selector 222 may select the AVM image data AVM as the first image data IS1 when the first failure flag corresponds to a normal state.
  • the first image data selector 222 may include the main camera image data CI_P and the auxiliary camera image data CI_S among the camera image data CI1 to CCI4. May be selected as the first image data IS1.
  • the first image data selector 222 may determine the main camera image data CI_P and the auxiliary camera image data CI_S according to the operating state of the construction equipment. For example, as shown in FIG. 13, when performing the operation on the right side of the construction equipment, the first image data selector 222 may output the fourth camera image data CI4 corresponding to the rear image of the main camera.
  • the image data CI_P may be selected, and the third camera image data CI3 corresponding to the left image may be selected as the auxiliary camera image data CI_S.
  • the switching circuit 230 may determine a target to provide the first image data IS1 among the additional information synthesizing unit, the main display unit, and the sub display unit. In one embodiment, the switching circuit 230 provides the main camera image data CI_P as the first image data to the main display unit when the first failure flag corresponds to a failure state and the third failure flag is in a normal state.
  • the auxiliary display unit may provide auxiliary camera image data CI_S as first image data.
  • the AVM control unit 200C is constructed by providing image data in two directions on the main display unit and the sub display unit so that the user can grasp the situation on the rear and side situations, even when a failure occurs in the AVM image generating unit 210. It can increase the safety of equipment.
  • FIGS. 2, 10, and 12 illustrate that the switching circuit is located inside the AVM controller, the switching circuit may be located outside the AVM controller.
  • AVM image generator 220 First image data selection unit
  • switching circuit 300 additional information synthesis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

건설 장비의 화면 표시 시스템은 영상 데이터들을 생성하는 복수의 카메라들, 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하고, 제1 장애 플래그에 기초하여 AVM 영상 데이터 및 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로서 선택하는 AVM 제어부, 제1 영상 데이터에 기초하여 생성된 제2 영상 데이터를 출력하는 추가 정보 합성부, 및 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그에 기초하여 제1 영상 데이터 및 제2 영상 데이터 중 하나에 상응하는 영상을 표시하는 주 표시부를 포함한다.

Description

건설 장비의 화면 표시 시스템 및 화면 표시 방법
본 발명은 건설 장비에 관한 것으로, 보다 상세하게는 화면 표시 시스템 중 일부에서 장애 발생 시 비상 모드로 카메라 영상을 표시할 수 있는 건설 장비의 화면 표시 시스템 및 화면 표시 방법에 관한 것이다.
일반적으로, 굴삭기 등과 같은 건설 장비는 이동 방향에 위치하는 장애물을 운전자가 확인하지 못하는 경우 안전사고가 발생할 수 있으므로, 건설 장비의 전방은 물론, 후방 및 측방에 대한 상황을 파악할 수 있는 화면 표시 시스템이 매우 중요한 요소로 작용되고 있다. 이를 위하여, 건설 장비의 다양한 방향에 복수의 카메라들을 설치하고, 각 카메라로부터 촬영된 영상이 화면으로 각각 표시되거나 하나로 합성되어 표시되도록 하는 AVM(Around View Monitor) 시스템이 연구되고 있다.
AVM 시스템은 촬영된 영상에 기초하여 AVM 영상 데이터를 생성하고, 또한, 다양한 부가 정보를 추가하기 위해 여러 단계를 통해 영상 데이터가 가공될 수 있다. 이 경우, 단계들 중 하나에서 장애가 발생한 경우, 사용자에게 카메라 영상을 제공할 수 없고, 이는 안전사고와 직결될 수 있다.
본 발명의 일 목적은 일부 장애가 발생한 경우에도 사용자에게 카메라 영상을 제공할 수 있는 건설 장비의 화면 표시 시스템을 제공하는 것이다.
본 발명의 다른 목적은 상기 건설 장비의 화면 표시 방법을 제공하는 것이다.
다만, 본 발명의 목적은 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 예시적인 실시예들에 따른 건설 장비의 화면 표시 시스템은 복수의 카메라 영상 데이터들을 생성하는 복수의 카메라들, 상기 카메라 영상 데이터들에 기초하여 AVM(Around View Monitor) 영상 데이터를 생성하고, 제1 장애 플래그(flag)에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로서 선택하는 AVM 제어부, 및 상기 제1 영상 데이터에 상응하는 영상을 표시하는 주 표시부를 포함한다.
예시적인 실시예들에 있어서, 상기 AVM 제어부는 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 제1 영상 데이터로서 상기 AVM 영상 데이터를 선택하고, 상기 제1 장애 플래그가 장애 상태에 상응하는 경우, 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택할 수 있다.
예시적인 실시예들에 있어서, 상기 건설 장비의 화면 표시 시스템은 상기 제1 영상 데이터에 기초하여 생성된 제2 영상 데이터를 출력하는 추가 정보 합성부를 더 포함할 수 있다. 상기 주 표시부는 상기 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 장애 상태에 상응하는 경우 상기 제1 영상 데이터에 상응하는 영상을 표시하고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터에 상응하는 영상을 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 추가 정보 합성부는, 상기 AVM 제어부, 상기 추가 정보 합성부 및 상기 주 표시부가 연결된 네트워크인 시리얼 버스(CAN)의 통신 제어를 위한 게이트웨이일 수 있다.
예시적인 실시예들에 있어서, 상기 건설 장비의 화면 표시 시스템은 상기 주 표시부의 장애 여부를 나타내는 제3 장애 플래그가 장애 상태에 상응하는 경우, 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 하나에 상응하는 영상을 표시하는 보조 표시부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 보조 표시부는 상기 제2 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 제1 영상 데이터에 상응하는 영상을 표시하고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터에 상응하는 영상을 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 AVM 제어부는, 상기 카메라 영상 데이터들에 기초하여 상기 AVM 영상 데이터를 생성하는 AVM 영상 생성부, 상기 제1 장애 플래그에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택하는 제1 영상 데이터 선택부, 및 상기 추가 정보 합성부, 상기 주 표시부, 및 상기 보조 표시부 중 상기 제1 영상 데이터를 제공할 대상을 결정하는 스위칭 회로를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 스위칭 회로는 상기 제1 장애 플래그, 상기 제2 장애 플래그, 및 상기 제3 장애 플래그 중 적어도 하나에 기초하여 상기 제1 영상 데이터를 제공할 상기 대상을 결정할 수 있다.
예시적인 실시예들에 있어서, 상기 제1 영상 데이터 선택부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택하고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터를 상기 제1 영상 데이터로서 선택할 수 있다.
예시적인 실시예들에 있어서, 상기 제1 영상 데이터 선택부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 주 카메라 영상 데이터 및 보조 카메라 영상 데이터를 상기 제1 영상 데이터로서 선택할 수 있다. 상기 스위칭 회로는 상기 주 표시부에 상기 주 카메라 영상 데이터를 상기 제1 영상 데이터로서 제공하고, 상기 보조 표시부에 상기 보조 카메라 영상 데이터를 상기 제1 영상 데이터로서 제공할 수 있다.
예시적인 실시예들에 있어서, 상기 AVM 제어부는, 상기 카메라 영상 데이터들에 기초하여 상기 AVM 영상 데이터를 생성하는 AVM 영상 생성부, 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나에 기초하여 제1 영상 데이터를 생성하는 제1 영상 데이터 생성부, 및 상기 추가 정보 합성부, 상기 주 표시부, 및 상기 보조 표시부 중 상기 제1 영상 데이터를 제공할 대상을 결정하는 스위칭 회로를 포함할 수 있다. 상기 제1 영상 데이터 생성부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 적어도 두 개를 병합함으로써 상기 제1 영상 데이터를 생성하고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터를 상기 제1 영상 데이터로 설정할 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위하여, 본 발명의 예시적인 실시예들에 따른 건설 장비의 화면 표시 방법은 복수의 카메라 영상 데이터들을 수신하는 단계, AVM 제어부가 상기 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하는 단계, 상기 AVM 제어부의 장애 여부를 나타내는 제1 장애 플래그(flag)에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로서 선택하여 출력하는 단계, 및 상기 출력된 영상 데이터에 상응하는 영상을 표시하는 단계를 포함하고, 상기 제1 영상 데이터는 상기 제1 장애 플래그가 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 하나로 선택되고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터로 선택될 수 있다.
예시적인 실시예들에 있어서, 상기 방법은, 추가 정보 합성부가 상기 제1 영상 데이터에 기초하여 생성된 제2 영상 데이터를 출력하는 단계, 및 상기 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그에 기초하여, 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 하나를 출력 영상 데이터로서 선택하여 출력하는 단계를 더 포함할 수 있다. 상기 출력 영상 데이터는 상기 제2 장애 플래그가 장애 상태에 상응하는 경우 상기 제1 영상 데이터로 선택되고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터로 선택될 수 있다.
예시적인 실시예들에 있어서, 상기 출력 영상 데이터에 상응하는 상기 영상은 주 표시부의 장애 여부를 나타내는 제3 장애 플래그가 장애 상태에 상응하는 경우 보조 표시부에 표시되고, 상기 제3 장애 플래그가 정상 상태에 상응하는 경우 상기 주 표시부에 표시될 수 있다.
예시적인 실시예들에 있어서, 상기 AVM 제어부는 상기 제1 장애 플래그가 장애 상태에 상응하는 경우, 상기 복수의 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로 생성하여 출력할 수 있다.
예시적인 실시예들에 있어서, 상기 AVM 제어부는 상기 복수의 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로 생성하여 상기 주 표시부에서 표시되도록 하고, 상기 복수의 카메라 영상 데이터들 중 상기 제1 영상 데이터에 포함되지 않은 나머지 영상 데이터등 중 적어도 하나를 보조 표시부에 표시되도록 할 수 있다.
예시적인 실시예들에 따른 건설 장비의 화면 표시 시스템은 카메라로부터 촬영된 영상이 사용자에게 가공하여 제공하는 과정에서 화면 표시 시스템의 일부 장치에서 장애가 발생하는 경우에도, 다른 경로로 우회하여 영상 데이터를 처리(즉, 비상 모드로 동작)함으로써 사용자에게 촬영된 영상 또는 이를 가공한 영상을 제공할 수 있다.
예시적인 실시예들에 따른 건설 장비의 화면 표시 방법은 카메라로부터 촬영된 영상 또는 이를 가공한 영상을 사용자에게 일반적인 경로(즉, 정상 모드)뿐만 아니라 장애를 대비한 경로(즉, 비상 모드)를 통해 제공할 수 있으므로, 건설 장비의 화면 표시 시스템의 신뢰성을 높일 수 있으므로, 건설 장비의 안전성을 높이고 안전사고를 예방할 수 있다.
다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 예시적인 실시예들에 따른 건설 장비의 화면 표시 시스템을 나타내는 블록도이다.
도 2는 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 일 예를 나타내는 블록도이다.
도 3은 도 2의 카메라부에 포함된 카메라들이 건설 장비에 배치된 일 예를 나타내는 도면이다.
도 4는 도 1의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다.
도 5는 도 4의 제1 영상 데이터에 기초하여 추가 정보 합성부에서 생성된 제2 영상 데이터의 일 예를 나타내는 도면이다.
도 6은 도 1의 AVM 제어부에서 출력되는 제1 영상 데이터의 다른 예를 나타내는 도면이다.
도 7은 도 6의 제1 영상 데이터에 기초하여 추가 정보 합성부에서 생성된 제2 영상 데이터의 일 예를 나타내는 도면이다.
도 8 및 도 9는 도 1의 건설 장비의 화면 표시 시스템에 의해 수행되는 화면 표시 방법의 일 예를 나타내는 순서도들이다.
도 10은 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 다른 예를 나타내는 블록도이다.
도 11은 도 10의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다.
도 12는 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 또 다른 예를 나타내는 블록도이다.
도 13은 도 12의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 예시적인 실시예들에 따른 건설 장비의 화면 표시 시스템을 나타내는 블록도이다.
도 1을 참조하면, 건설 장비의 화면 표시 시스템(1000)는 카메라부(100), AVM 제어부(200), 추가 정보 합성부(300), 주 표시부(400), 보조 표시부(500), 및 통합 제어부 (600)를 포함할 수 있다.
카메라부(100)는 카메라 영상 데이터(CI)를 생성하는 복수의 카메라들을 포함할 수 있다. 예를 들어, 카메라부(100)는 건설 장비의 전방, 후방, 및 측방에 대한 상황을 파악하기 위해 건설 장비의 다양한 위치에 배치된 복수의 카메라들을 포함할 수 있다. 카메라부(100)의 카메라들 각각은 영상을 촬영함으로써 카메라 영상 데이터(CI)를 생성할 수 있다.
AVM 제어부(200)는 카메라 영상 데이터(CI)에 기초하여 AVM(Around View Monitor) 영상 데이터를 생성하고, 제1 장애 플래그(flag)에 기초하여 AVM 영상 데이터 또는 카메라 영상 데이터(CI)를 제1 영상 데이터(IS1)로서 선택할 수 있다. 여기서, AVM 영상 데이터는 사용자가 건설 장비의 전방, 후방, 및 양측방 등에 대한 주변 상황을 용이하게 파악할 수 있도록 적어도 하나 이상의 카메라 영상 데이터(CI)를 합성 또는 가공한 영상을 나타낸다. AVM 제어부(200)는 AVM 제어부(200)의 장애 여부를 나타내는 제1 장애 플래그에 따라 AVM 영상 데이터 또는 카메라 영상 데이터(CI)를 출력할 수 있다. 일 실시예에서, AVM 제어부(200)는 제1 장애 플래그가 정상 상태에 상응하는 경우 제1 영상 데이터(IS1)로서 AVM 영상 데이터를 선택하고, 제1 장애 플래그가 장애 상태에 상응하는 경우, 카메라 영상 데이터(CI)들 중 적어도 하나를 제1 영상 데이터(IS1)로서 선택할 수 있다.
또한, AVM 제어부(200)는 추가 정보 합성부(300)가 정상적으로 동작하는 경우, 추가 정보 합성부(300)에 제1 영상 데이터(IS1)를 제공할 수 있다. 반면에, AVM 제어부(200)는 추가 정보 합성부(300)에 장애가 발생한 경우, 주 표시부(400) 또는 보조 표시부(500)에 제1 영상 데이터(IS1)를 제공할 수 있다. AVM 제어부(200)의 구조 및 동작에 대해서는 도 2, 도 10 및 도 12를 참조하여 자세히 설명하기로 한다.
추가 정보 합성부(300)는 제1 영상 데이터(IS1)에 기초하여 생성된 제2 영상 데이터(IS2)를 출력할 수 있다. 일 실시예에서, 추가 정보 합성부(300)는 제1 영상 데이터(IS1)에 기초하여 제2 영상 데이터(IS2)를 생성하여 출력할 수 있다. 추가 정보 합성부(300)는 제1 영상 데이터(IS1)에 부가 정보를 포함하는 사용자 인터페이스(user interface)가 추가되도록 제1 영상 데이터(IS1)를 가공함으로써 제2 영상 데이터(IS2)를 생성할 수 있다. 예를 들어, 추가 정보 합성부(300)는 제1 영상 데이터(IS1)에 엔터테인먼트 관련 정보, 사용자 단말기 정보, 등을 추가하여 제2 영상 데이터(IS2)를 생성할 수 있다. 추가 정보 합성부(300)는 제2 영상 데이터(IS2)의 생성뿐만 아니라 다른 기능도 함께 수행할 수 있다. 일 실시예에 있어서, 추가 정보 합성부(300)는 시리얼 버스(CAN)의 통신 제어 기능을 수행하는 게이트웨이를 포함할 수 있다. 게이트웨이 형태로 추가 정보 합성부(300)가 구성된 경우 통합 제어부(600)의 통신 부하를 줄이기 위한 통신 제어 역할도 수행할 수 있다. 또한, 추가 정보 합성부(300)는 AVM 제어부(200) 및 통합 제어부(600)와 일체로 형성될 수 있다. 즉, AVM 제어부(200) 또는 통합 제어부(600)가 자신의 고유 기능과 함께 제2 영상 데이터(IS2) 생성 기능을 수행할 수 있다.
주 표시부(400)는 추가 정보 합성부(300)의 장애 여부를 나타내는 제2 장애 플래그에 기초하여 제1 영상 데이터(IS1) 및 제2 영상 데이터(IS2) 중 하나를 수신하고, 이에 상응하는 영상을 표시할 수 있다. 여기서, 주 표시부(400)는 정상 모드에서 카메라로부터 촬영된 영상 또는 이를 가공한 영상을 표시하는 표시 장치를 나타낸다. 일 실시예에서, 주 표시부(400)는 제2 장애 플래그가 장애 상태에 상응하는 경우 제1 영상 데이터(IS1)에 상응하는 영상을 표시하고, 제2 장애 플래그가 정상 상태에 상응하는 경우 제2 영상 데이터(IS2)에 상응하는 영상을 표시할 수 있다. 즉, 추가 정보 합성부(300)에 장애가 발생하여 제2 영상 데이터(IS2)가 정상적으로 생성되지 않은 경우, 주 표시부(400)는 제1 영상 데이터(IS1)에 상응하는 영상을 표시할 수 있다. 반면에, 추가 정보 합성부(300)가 제2 영상 데이터(IS2)를 정상적으로 생성한 경우, 주 표시부(400)는 제2 영상 데이터(IS2)에 상응하는 영상을 표시할 수 있다.
보조 표시부(500)는 주 표시부(400)의 장애 여부를 나타내는 제3 장애 플래그가 장애 상태에 상응하는 경우, 제1 영상 데이터(IS1) 및 제2 영상 데이터(IS2) 중 하나에 상응하는 영상을 표시할 수 있다. 보조 표시부(500)는 정상 모드에서 카메라로부터 촬영된 영상 이외의 정보(예를 들어, 주행 정보, 경고 정보, 등에 대한 영상)를 표시할 수 있다. 일 실시예에서, 보조 표시부(500)는 제2 장애 플래그가 장애 상태에 상응하는 경우 제1 영상 데이터(IS1)에 상응하는 영상을 표시하고, 제2 장애 플래그가 정상 상태에 상응하는 경우 제2 영상 데이터(IS2)에 상응하는 영상을 표시할 수 있다.
통합 제어부(600)는 AVM 제어부(200), 추가 정보 합성부(300), 주 표시부(400), 및 보조 표시부(500)의 동작을 제어할 수 있다. 예를 들어, 통합 제어부(600)는 펌프 제어 장치(Electronic Power Optimizing System; EPOS), 엔진 제어장치(Engine Control Unit; ECU), 각종 센서, 및 설정 장치를 포함함으로써 건설 장비를 전반적으로 제어할 수 있다. 통합 제어부(600)는 AVM 제어부(200), 추가 정보 합성부(300), 주 표시부(400), 및 보조 표시부(500) 각각의 상태를 모니터링하고, 장애가 발생한 경우 장애 플래그를 설정하고 AVM 제어부(200) 및 추가 정보 합성부(300)의 동작을 제어할 수 있다. 일 실시예에서, 통합 제어부(600)는 시리얼 버스(CAN)를 통해 AVM 제어부(200), 추가 정보 합성부(300), 주 표시부(400), 및 보조 표시부(500)에 연결되고, 제어 정보를 전송할 수 있다. 예를 들어, 시리얼 버스(CAN)는 지능형 디바이스 네트워크 구축을 위한 높은 무결성을 갖는 CAN(Controller Area Network) 인터페이스일 수 있다.
일 실시예에서, 화면 표시 시스템(1000)의 AVM 제어부(200), 추가 정보 합성부(300), 주 표시부(400), 및 보조 표시부(500) 사이에서 제1 영상 데이터(IS1) 및/또는 제2 영상 데이터(IS2)는 LVDS(Low Voltage Differential Signals) 방식으로 전송될 수 있다. 이에 따라, 낮은 전압 동작으로 고속 통신이 가능하므로, 상대적으로 대용량을 갖는 영상 데이터(IS1, IS2)를 안정적으로 제공할 수 있다.
비록, 도 1에서는 제2 영상 데이터(IS2)가 추가 정보 합성부(300)에서 생성되는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 제2 영상 데이터(IS2)는 AVM 제어부(200), 외부 영상 처리 장치(미도시), 등 다양한 위치에서 생성될 수 있다.
도 2는 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 일 예를 나타내는 블록도이다. 도 3은 도 2의 카메라부에 포함된 카메라들이 건설 장비에 배치된 일 예를 나타내는 도면이다.
도 2 및 3를 참조하면, 카메라부(100)는 제1 내지 제4 카메라들(110, 120, 130, 140)을 포함할 수 있다. 카메라부(100)에 포함된 제1 내지 제4 카메라들(110, 120, 130, 140)은 건설 장비의 전방, 후방, 및 양측방을 촬영할 수 있다. 일 실시예에서, 도 3에 도시된 바와 같이, 제1 카메라(110)는 건설 장비의 전면 방향에 배치되고, 건설 장비의 전방을 촬영함으로써 제1 카메라 영상 데이터(CI1)를 생성할 수 있다. 제2 카메라(120)는 건설 장비의 우측 방향에 배치되고, 건설 장비의 우측 방향을 촬영함으로써 제2 카메라 영상 데이터(CI2)를 생성할 수 있다. 제3 카메라(130)는 건설 장비의 좌측 방향에 배치되고, 건설 장비의 좌측 방향을 촬영함으로써 제3 카메라 영상 데이터(CI3)를 생성할 수 있다. 제4 카메라(140)는 건설 장비의 후면 방향에 배치되고, 건설 장비의 후방을 촬영함으로써 제4 카메라 영상 데이터(CI4)를 생성할 수 있다.
AVM 제어부(200A)는 AVM 영상 생성부(210), 제1 영상 데이터 선택부(220), 및 스위칭 회로(230)를 포함할 수 있다.
AVM 영상 생성부(210)는 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4)에 기초하여 AVM 영상 데이터(AVM)를 생성할 수 있다. 일 실시예에서, AVM 영상 생성부(210)는 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4)을 합성하여 건설 장비 주위의 상황을 360도로 파악하기 위해 건설 장비의 위에서 내려다 보듯 표시하는 탑 뷰(top view) 영상에 상응하는 AVM 영상 데이터(AVM)를 생성할 수 있다. 다른 실시예에서, AVM 영상 생성부(210)는 건설 장비의 동작에 기초하여 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4)에 대한 확대 영상, 부분 영상, 합성 영상 등을 제공할 수 있다.
제1 영상 데이터 선택부(220)는 제1 장애 플래그에 기초하여 AVM 영상 데이터(AVM) 및 카메라 영상 데이터들(CI1 내지 CI4) 중 적어도 하나를 제1 영상 데이터(IS1)로서 선택할 수 있다. 여기서, 제1 장애 플래그는 화면 표시 시스템 내부에서 AVM 영상 생성부(210) 또는 카메라부(100)에 대한 장애 모니터링을 수행하여 설정되거나, 사용자에 의해 조작될 수 있는 물리적 스위치를 통해 결정될 수 있다. 일 실시예에서, 제1 영상 데이터 선택부(220)는 제1 장애 플래그가 정상 상태에 상응하는 경우 AVM 영상 데이터(AVM)를 제1 영상 데이터(IS1)로서 선택할 수 있다. 반면에, 제1 영상 데이터 선택부(220)는 제1 장애 플래그가 장애 상태에 상응하는 경우 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4) 중 적어도 하나를 제1 영상 데이터(IS1)로서 선택할 수 있다. 즉, 제1 영상 데이터 선택부(220)는 AVM 영상 생성부(210)에서 AVM 영상 데이터(AVM)가 정상적으로 생성된 경우 (즉, 정상 모드의 경우), 제1 영상 데이터(IS1)로서 AVM 영상 데이터(AVM)를 출력할 수 있다. 반면에, 제1 영상 데이터 선택부(220)는 AVM 영상 생성부(210)에 장애가 발생하여 AVM 영상 데이터(AVM)가 정상적으로 생성되지 않은 경우, 제1 영상 데이터(IS1)로서 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4) 중 하나를 출력할 수 있다. 일 예에서, 제1 영상 데이터 선택부(220)는 AVM 영상 데이터(AVM)가 정상적으로 생성되지 않은 경우 건설 장비의 후면 영상에 상응하는 제4 카메라 영상 데이터(CI4)를 제1 영상 데이터(IS1)로서 출력할 수 있다. 다른 예에서, 제1 영상 데이터 선택부(220)는 AVM 영상 데이터(AVM)가 정상적으로 생성되지 않은 경우 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4) 중 건설 장비의 작업 방향과 반대되는 방향을 촬영하는 카메라로부터 수신한 카메라 영상 데이터를 제1 영상 데이터(IS1)로서 출력할 수 있다.
스위칭 회로(230)는 추가 정보 합성부, 주 표시부, 및 보조 표시부 중 제1 영상 데이터(IS1)를 제공할 대상을 결정할 수 있다. 일 실시예에서, 스위칭 회로(230)는 제1 장애 플래그, 제2 장애 플래그, 및 제3 장애 플래그 중 적어도 하나에 기초하여 제1 영상 데이터(IS1)를 제공할 대상을 결정할 수 있다. 예를 들어, 스위칭 회로(230)는 AVM 영상 생성부(210)의 장애 여부를 나타내는 제1 장애 플래그, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그, 주 표시부의 장애 여부를 나타내는 제3 장애 플래그를 포함하는 제어 신호(SC)를 수신하고, 제1 장애 플래그, 제2 장애 플래그, 및 제3 장애 플래그의 상태에 따라 추가 정보 합성부, 주 표시부, 보조 표시부 각각에 대해 제1 영상 데이터(IS1)를 제공할 지 여부를 결정할 수 있다. 제1 내지 제3 장애 플래그의 상태에 따른 동작에 대해서는 도 8 및 도 9를 참조하여 자세히 설명하기로 한다.
도 4는 도 1의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다. 도 5는 도 4의 제1 영상 데이터에 기초하여 추가 정보 합성부에서 생성된 제2 영상 데이터의 일 예를 나타내는 도면이다.
도 4 및 도 5를 참조하면, AVM 제어부가 AVM 영상 데이터를 정상적으로 생성한 경우, 제1 영상 데이터(IS1-1)로서 AVM 영상 데이터를 출력할 수 있다.
도 4에 도시된 바와 같이, AVM 제어부가 AVM 영상 데이터를 정상적으로 생성한 경우(즉, 제1 장애 플래그가 정상 상태에 상응하는 경우), AVM 제어부는 건설 장비의 사방에서 촬영한 카메라 영상 데이터들을 합성하여 건설 장비의 탑 뷰 영상에 상응하는 AVM 영상 데이터를 제1 영상 데이터(IS1-1)로서 출력할 수 있다.
도 5에 도시된 바와 같이, 제2 장애 플래그가 정상 상태에 상응하는 경우, 추가 정보 합성부는 탑 뷰 영상에 상응하는 제1 영상 데이터(IS1-1)를 가공한 제2 영상 데이터(IS2-1)를 정상적으로 생성할 수 있다. 예를 들어, 제2 영상 데이터(IS2-1)의 영상은 카메라 영상 영역(CIR), 제1 정보 영역(IDR1), 및 제2 정보 영역(IDR2)를 포함할 수 있다. 카메라 영상 영역(CIR)은 AVM 제어부에서 생성된 제1 영상 데이터(IS1-1)에 상응하는 영상이 표시될 수 있다. 제1 정보 영역(IDR1)에는 네트워크 연결 정보, GPS 연결 정보, 블루투스 연결 정보, 시간 정보, 등과 같은 사용자 단말기(예를 들어, 사용자의 스마트폰)으로부터 수신한 연동 정보를 포함하는 영상이 표시될 수 있다. 제2 정보 데이터 영역(IDR2)에는 음향 크기, 음향 재생 정보, 등과 같은 엔터테인먼트 관련 정보를 포함하는 영상이 표시될 수 있다.
도 6은 도 1의 AVM 제어부에서 출력되는 제1 영상 데이터의 다른 예를 나타내는 도면이다. 도 7은 도 6의 제1 영상 데이터에 기초하여 추가 정보 합성부에서 생성된 제2 영상 데이터의 일 예를 나타내는 도면이다.
도 6 및 도 7을 참조하면, AVM 제어부가 AVM 영상 데이터를 정상적으로 생성할 수 없는 경우, 제1 영상 데이터로서 카메라 영상 데이터(CI)들 중 적어도 하나가 출력될 수 있다.
도 6에 도시된 바와 같이, AVM 제어부가 AVM 영상 데이터를 정상적으로 생성할 수 없는 경우(즉, 제1 장애 플래그가 장애 상태에 상응하는 경우), AVM 제어부는 건설 장비의 후방에서 촬영한 카메라 영상 데이터를 제1 영상 데이터(IS1-2)로서 출력할 수 있다.
도 7에 도시된 바와 같이, 제2 장애 플래그가 정상 상태에 상응하는 경우, 추가 정보 합성부는 건설 장비의 후방 영상에 상응하는 제1 영상 데이터(IS1-2)를 가공한 제2 영상 데이터(IS2-2)를 생성할 수 있다. 이 경우, 카메라 영상 영역(CIR)은 건설 장비의 후방에서 촬영한 카메라 영상 데이터로 설정된 제1 영상 데이터(IS1-2)에 상응하는 영상이 표시될 수 있다.
도 8 및 도 9는 도 1의 건설 장비의 화면 표시 시스템에 의해 수행되는 화면 표시 방법의 일 예를 나타내는 순서도들이다.
도 8 및 9를 참조하면, AVM 제어부, 추가 정보 합성부, 및 주 표시부 각각의 정상 동작 여부에 따라 카메라 영상 데이터를 처리하는 방식을 결정하고, 영상을 표시할 수 있다.
도 8에 도시된 바와 같이, 건설 장비의 화면 표시 방법은 AVM 제어부가 AVM 영상 데이터를 정상적으로 생성할 수 있는 경우, AVM 영상 데이터에 기초하여 영상을 출력할 수 있다.
구체적으로, AVM 제어부가 정상적으로 동작되는 상태가 감지(S110)될 수 있다. AVM 제어부는 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성(S115)하고, AVM 영상 데이터를 제1 영상 데이터로 선택(S120)할 수 있다. 예를 들어, AVM 제어부는 통합 제어부에 의해 제어되는 제1 장애 플래그가 정상 상태에 상응하는 경우, AVM 제어부가 AVM 영상 데이터를 정상적으로 생성할 수 있다고 판단할 수 있다. 따라서, AVM 제어부는 복수의 카메라들로부터 카메라 영상 데이터들을 수신하고, 탑 뷰 영상 등과 같은 AVM 영상 데이터를 생성하여 제1 영상 데이터로 출력할 수 있다.
추가 정보 합성부가 정상적으로 동작하는지 여부가 감지(S130)될 수 있다. 예를 들어, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그에 기초하여 추가 정보 합성부가 정상적으로 동작하는지 여부가 감지되고, 출력 영상 데이터가 제1 영상 데이터 및 제2 영상 데이터 중 하나로 결정될 수 있다.
추가 정보 합성부가 정상적으로 동작하는 경우, 추가 정보 합성부는 제1 영상 데이터에 기초하여 제2 영상 데이터를 생성(S140)할 수 있다. 예를 들어, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 정상 상태에 상응하는 경우, AVM 제어부의 스위칭 회로는 추가 정보 합성부가 제2 영상 데이터를 정상적으로 생성할 수 있다고 판단하여 출력 영상 데이터를 제2 영상 데이터로 결정하고, 제2 영상 데이터를 생성하기 위해 추가 정보 합성부에 제1 영상 데이터를 제공할 수 있다.
주 표시부가 정상적으로 동작하는지 여부가 감지(S150)될 수 있다. 예를 들어, 주 표시부의 장애 여부를 나타내는 제3 장애 플래그에 기초하여 주 표시부가 정상적으로 동작하는지 여부가 감지될 수 있다. 주 표시부가 정상적으로 동작하는 경우, 추가 정보 합성부는 제2 영상 데이터를 주 표시부에 제공하고, 주 표시부는 제2 영상 데이터에 상응하는 영상을 표시 (즉, 제1 모드로 동작) (S161)할 수 있다. 제1 모드에서, AVM 제어부, 추가 정보 합성부, 및 주 표시부가 모두 정상적으로 동작하므로, AVM 제어부는 카메라들에서 촬영된 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하고, AVM 영상 데이터를 제1 영상 데이터로서 추가 정보 합성부에 제공하며, 추가 정보 합성부는 AVM 영상 데이터에 기초하여 제2 영상 데이터를 생성하여 주 표시부에 제공하고, 주 표시부는 제2 영상 데이터를 표시할 수 있다.
반면에, 주 표시부가 정상적으로 동작하지 않는 경우, 추가 정보 합성부는 제2 영상 데이터를 보조 표시부에 제공하고, 보조 표시부는 제2 영상 데이터에 상응하는 영상을 표시 (즉, 제2 모드로 동작) (S162)할 수 있다. 제2 모드에서, AVM 제어부 및 추가 정보 합성부는 정상적으로 동작하지만 주 표시부는 정상적으로 동작하지 않으므로, AVM 제어부는 카메라들에서 촬영된 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하고, AVM 영상 데이터를 제1 영상 데이터로서 추가 정보 합성부에 제공하며, 추가 정보 합성부는 AVM 영상 데이터에 기초하여 제2 영상 데이터를 생성하여 보조 표시부에 제공하고, 보조 표시부는 제2 영상 데이터를 표시할 수 있다.
한편, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 장애 상태에 상응하는 경우, AVM 제어부의 스위칭 회로는 추가 정보 합성부가 제2 영상 데이터를 정상적으로 생성할 수 없다고 판단하여 출력 영상 데이터를 제1 영상 데이터로 결정할 수 있다.
주 표시부가 정상적으로 동작하는지 여부가 감지(S170)될 수 있다. 주 표시부가 정상적으로 동작하는 경우, AVM 제어부는 주 표시부에 제1 영상 데이터를 직접 제공하고, 주 표시부는 제1 영상 데이터에 상응하는 영상을 표시 (즉, 제3 모드로 동작) (S181)할 수 있다. 제3 모드에서, AVM 제어부 및 주 표시부는 정상적으로 동작하지만 추가 정보 합성부는 정상적으로 동작하지 않으므로, AVM 제어부는 카메라들에서 촬영된 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하고, AVM 영상 데이터를 제1 영상 데이터로서 주 표시부에 직접 제공하며, 주 표시부는 제1 영상 데이터를 표시할 수 있다.
반면에, 주 표시부가 정상적으로 동작하지 않는 경우, AVM 제어부는 보조 표시부에 제1 영상 데이터를 직접 제공하고, 보조 표시부는 제1 영상 데이터에 상응하는 영상을 표시 (즉, 제4 모드로 동작) (S182)할 수 있다. 제4 모드에서, AVM 제어부는 정상적으로 동작하지만 추가 정보 합성부 및 주 표시부는 정상적으로 동작하지 않으므로, AVM 제어부는 카메라들에서 촬영된 카메라 영상 데이터에 기초하여 AVM 영상 데이터를 생성하고, AVM 영상 데이터를 제1 영상 데이터로서 보조 표시부에 직접 제공하며, 보조 표시부는 제1 영상 데이터를 표시할 수 있다.
도 9에 도시된 바와 같이, 건설 장비의 화면 표시 방법은 AVM 제어부(즉, AVM 영상 생성부)가 AVM 영상 데이터를 정상적으로 생성할 수 없는 경우, 카메라 영상 데이터들 중 하나로 결정된 제1 영상 데이터에 기초하여 영상을 출력할 수 있다.
구체적으로, AVM 제어부가 정상적으로 동작되지 않는 상태가 감지(S210)될 수 있다. 카메라 영상 데이터들 중 하나가 제1 영상 데이터로 선택(S220)될 수 있다. 예를 들어, AVM 제어부는 통합 제어부에 의해 제어되는 제1 장애 플래그가 장애 상태에 상응하는 경우, AVM 제어부의 AVM 영상 생성부에서 AVM 영상 데이터를 정상적으로 생성할 수 없다고 판단할 수 있다. 따라서, AVM 제어부의 스위칭 회로는 복수의 카메라들로부터 카메라 영상 데이터들을 수신하고, 카메라 영상 데이터들 중 하나를 제1 영상 데이터로 출력할 수 있다.
추가 정보 합성부가 정상적으로 동작하는지 여부가 감지(S230)되고, 추가 정보 합성부가 정상적으로 동작하는 경우, 추가 정보 합성부는 제1 영상 데이터에 기초하여 제2 영상 데이터를 생성(S240)할 수 있다. 예를 들어, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 정상 상태에 상응하는 경우, AVM 제어부의 스위칭 회로는 추가 정보 합성부가 제2 영상 데이터를 정상적으로 생성할 수 있다고 판단하여 출력 영상 데이터를 제2 영상 데이터로 결정하고, 제2 영상 데이터를 생성하기 위해 추가 정보 합성부에 제1 영상 데이터를 제공할 수 있다.
주 표시부가 정상적으로 동작하는지 여부가 감지(S250)될 수 있다. 주 표시부가 정상적으로 동작하는 경우, 추가 정보 합성부는 제2 영상 데이터를 주 표시부에 제공하고, 주 표시부는 제2 영상 데이터에 상응하는 영상을 표시 (즉, 제5 모드로 동작) (S261)할 수 있다. 제5 모드에서, 추가 정보 합성부 및 주 표시부는 정상적으로 동작하지만 AVM 영상 생성부는 정상적으로 동작하지 않으므로, 스위칭 회로는 카메라들에서 촬영된 카메라 영상 데이터들 중 하나를 제1 영상 데이터로서 추가 정보 합성부에 제공하며, 추가 정보 합성부는 촬영된 카메라 영상 데이터들 중 하나에 기초하여 제2 영상 데이터를 생성하여 주 표시부에 제공하고, 주 표시부는 제2 영상 데이터를 표시할 수 있다.
반면에, 주 표시부가 정상적으로 동작하지 않는 경우, 추가 정보 합성부는 제2 영상 데이터를 보조 표시부에 제공하고, 보조 표시부는 제2 영상 데이터에 상응하는 영상을 표시 (즉, 제6 모드로 동작) (S262)할 수 있다. 제6 모드에서, 추가 정보 합성부는 정상적으로 동작하지만 AVM 영상 생성부 및 주 표시부는 정상적으로 동작하지 않으므로, 스위칭 회로는 카메라들에서 촬영된 카메라 영상 데이터들 중 하나를 제1 영상 데이터로서 추가 정보 합성부에 제공하며, 추가 정보 합성부는 AVM 영상 데이터에 기초하여 제2 영상 데이터를 생성하여 보조 표시부에 제공하고, 보조 표시부는 제2 영상 데이터를 표시할 수 있다.
한편, 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 장애 상태에 상응하는 경우, AVM 제어부의 스위칭 회로는 추가 정보 합성부가 제2 영상 데이터를 정상적으로 생성할 수 없다고 판단하여 출력 영상 데이터를 제1 영상 데이터로 결정할 수 있다.
주 표시부가 정상적으로 동작하는지 여부가 감지(S270)될 수 있다. 주 표시부가 정상적으로 동작하는 경우, 스위칭 회로는 카메라 영상 데이터들 중 하나를 주 표시부에 제1 영상 데이터로서 직접 제공하고, 주 표시부는 제1 영상 데이터에 상응하는 영상을 표시 (즉, 제7 모드로 동작) (S281)할 수 있다. 제7 모드에서, 주 표시부는 정상적으로 동작하지만 AVM 영상 생성부 및 추가 정보 합성부는 정상적으로 동작하지 않으므로, 스위칭 회로는 카메라들에서 촬영된 카메라 영상 데이터들 중 하나를 제1 영상 데이터로서 주 표시부에 직접 제공하며, 주 표시부는 제1 영상 데이터를 표시할 수 있다.
반면에, 주 표시부가 정상적으로 동작하지 않는 경우, 스위칭 회로는 카메라 영상 데이터들 중 하나를 보조 표시부에 제1 영상 데이터로서 직접 제공하고, 보조 표시부는 제1 영상 데이터에 상응하는 영상을 표시 (즉, 제8 모드로 동작) (S282)할 수 있다. 제8 모드에서, AVM 영상 생성부, 추가 정보 합성부, 및 주 표시부는 정상적으로 동작하지 않으므로, 스위칭 회로는 카메라들에서 촬영된 카메라 영상 데이터들 중 하나를 제1 영상 데이터로서 보조 표시부에 직접 제공하며, 보조 표시부는 제1 영상 데이터를 표시할 수 있다.
도 10은 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 다른 예를 나타내는 블록도이다. 도 11은 도 10의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다.
도 10 및 도 11를 참조하면, 카메라부(100)는 제1 내지 제4 카메라들(110, 120, 130, 140)을 포함하고, AVM 제어부(200B)는 AVM 영상 생성부(210), 제1 영상 데이터 생성부(221), 및 스위칭 회로(230)를 포함할 수 있다. 다만, 본 실시예에 따른 AVM 제어부(200B)는 제1 영상 데이터 선택부(220) 대신 제1 영상 데이터 생성부(221)가 추가된 것을 제외하면, 도 2의 AVM 제어부(200A)와 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략하기로 한다.
AVM 영상 생성부(210)는 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4)에 기초하여 AVM 영상 데이터(AVM)를 생성할 수 있다.
제1 영상 데이터 생성부(221)는 AVM 영상 데이터(AVM) 또는 카메라 영상 데이터들(CI1 내지 CI4)에 기초하여 제1 영상 데이터(IS1)를 생성할 수 있다. 일 실시예에서, 제1 영상 데이터 생성부(221)는 제1 장애 플래그가 정상 상태에 상응하는 경우 AVM 영상 데이터(AVM)를 제1 영상 데이터(IS1)로 설정할 수 있다. 제1 영상 데이터 생성부(221)는 제1 장애 플래그가 장애 상태에 상응하는 경우 카메라 영상 데이터들(CI1 내지 CI4) 중 적어도 두 개를 병합함으로써 제1 영상 데이터(IS1)를 생성할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 제1 영상 데이터 생성부(221)는 좌측 영상, 우측 영상, 및 후방 영상에 상응하는 제2 내지 제4 카메라 영상 데이터들(CI 내지 CI4)를 하나로 단순 병합한 제1 영상 데이터(IS1-3)를 생성할 수 있다.
스위칭 회로(230)는 추가 정보 합성부, 주 표시부, 및 보조 표시부 중 제1 영상 데이터를 제공할 대상을 결정할 수 있다.
도 12는 도 1의 건설 장비의 화면 표시 시스템에 포함된 카메라부 및 AVM 제어부의 또 다른 예를 나타내는 블록도이다. 도 13은 도 12의 AVM 제어부에서 출력되는 제1 영상 데이터의 일 예를 나타내는 도면이다.
도 12 및 도 13를 참조하면, 카메라부(100)는 제1 내지 제4 카메라들(110, 120, 130, 140)을 포함하고, AVM 제어부(200C)는 AVM 영상 생성부(210), 제1 영상 데이터 선택부(222), 및 스위칭 회로(230)를 포함할 수 있다. 다만, 본 실시예에 따른 AVM 제어부(200C)는 AVM 영상 생성부(210)의 장애 시 제1 영상 데이터 선택부(222)에서 주 카메라 영상 데이터(CI_P) 및 보조 카메라 영상 데이터(CI_S)을 포함하는 제1 영상 데이터를 선택하는 것을 제외하면, 도 2의 AVM 제어부(200A)와 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략하기로 한다.
AVM 영상 생성부(210)는 제1 내지 제4 카메라 영상 데이터들(CI1 내지 CI4)에 기초하여 AVM 영상 데이터(AVM)를 생성할 수 있다.
제1 영상 데이터 선택부(222)는 제1 장애 플래그에 기초하여 AVM 영상 데이터(AVM) 및 카메라 영상 데이터들(C1 내지 C4) 중 적어도 하나를 제1 영상 데이터(IS1)로서 선택할 수 있다. 제1 영상 데이터 선택부(222)는 제1 장애 플래그가 정상 상태에 상응하는 경우 AVM 영상 데이터(AVM)를 제1 영상 데이터(IS1)로서 선택할 수 있다. 반면에, 제1 영상 데이터 선택부(222)는 제1 장애 플래그가 장애 상태에 상응하는 경우, 카메라 영상 데이터들(CI1 내지 CCI4) 중 주 카메라 영상 데이터(CI_P) 및 보조 카메라 영상 데이터(CI_S)를 제1 영상 데이터(IS1)로서 선택할 수 있다. 일 실시예에서, 제1 영상 데이터 선택부(222)는 건설 장비의 동작 상태에 따라 주 카메라 영상 데이터(CI_P) 및 보조 카메라 영상 데이터(CI_S)를 결정할 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 건설 장비의 우측에 대한 작업을 수행하는 경우, 제1 영상 데이터 선택부(222)는 후방 영상에 상응하는 제4 카메라 영상 데이터(CI4)를 주 카메라 영상 데이터(CI_P)로 선택하고, 좌측 영상에 상응하는 제3 카메라 영상 데이터(CI3)를 보조 카메라 영상 데이터(CI_S)로 선택할 수 있다.
스위칭 회로(230)는 추가 정보 합성부, 주 표시부, 및 보조 표시부 중 제1 영상 데이터(IS1)를 제공할 대상을 결정할 수 있다. 일 실시예에서, 스위칭 회로(230)는 제1 장애 플래그가 장애 상태에 상응하고, 제3 장애 플래그가 정상 상태인 경우, 주 표시부에 주 카메라 영상 데이터(CI_P)를 제1 영상 데이터로서 제공하고, 보조 표시부에 보조 카메라 영상 데이터(CI_S)를 제1 영상 데이터로서 제공할 수 있다.
따라서, AVM 제어부(200C)는 AVM 영상 생성부(210)에 장애가 발생한 경우에도, 사용자가 후방 및 측방 상황 등에 대한 상황을 파악할 수 있도록 주 표시부 및 보조 표시부에 2방향에 대한 영상 데이터를 제공함으로써 건설 장비의 안전성을 높일 수 있다.
비록, 도 2, 도 10, 및 도 12에서는 스위칭 회로가 AVM 제어부 내부에 위치하는 것으로 설명하였으나, 스위칭 회로는 AVM 제어부 외부에 위치할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
<부호의 설명>
100: 카메라부 200: AVM 제어부
210: AVM 영상 생성부 220: 제1 영상 데이터 선택부
230: 스위칭 회로 300: 추가 정보 합성부
400: 주 표시부 500: 보조 표시부
600: 통합 제어부
1000: 건설 장비의 화면 표시 시스템

Claims (15)

  1. 복수의 카메라 영상 데이터들을 생성하는 복수의 카메라들;
    상기 카메라 영상 데이터들에 기초하여 AVM(Around View Monitor) 영상 데이터를 생성하고, 제1 장애 플래그(flag)에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로서 선택하는 AVM 제어부; 및
    상기 제1 영상 데이터에 상응하는 영상을 표시하는 주 표시부를 포함하고,
    상기 AVM 제어부는 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 제1 영상 데이터로서 상기 AVM 영상 데이터를 선택하고, 상기 제1 장애 플래그가 장애 상태에 상응하는 경우, 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택하는 건설 장비의 화면 표시 시스템.
  2. 제1 항에 있어서,
    상기 제1 영상 데이터에 기초하여 제2 영상 데이터를 출력하는 추가 정보 합성부를 더 포함하고,
    상기 주 표시부는 상기 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그가 장애 상태에 상응하는 경우 상기 제1 영상 데이터에 상응하는 영상을 표시하고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터에 상응하는 영상을 표시하는 건설 장비의 화면 표시 시스템.
  3. 제2 항에 있어서, 상기 추가 정보 합성부는, 상기 AVM 제어부, 상기 추가 정보 합성부 및 상기 주 표시부가 연결된 네트워크인 시리얼 버스(CAN)의 통신 제어를 위한 게이트웨이인 건설 장비의 화면 표시 시스템.
  4. 제1 항에 있어서,
    상기 주 표시부의 장애 여부를 나타내는 제3 장애 플래그가 장애 상태에 상응하는 경우, 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 하나에 상응하는 영상을 표시하는 보조 표시부를 더 포함하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  5. 제4 항에 있어서, 상기 보조 표시부는 상기 제2 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 제1 영상 데이터에 상응하는 영상을 표시하고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터에 상응하는 영상을 표시하는 건설 장비의 화면 표시 시스템.
  6. 제4 항에 있어서, 상기 AVM 제어부는,
    상기 카메라 영상 데이터들에 기초하여 상기 AVM 영상 데이터를 생성하는 AVM 영상 생성부;
    상기 제1 장애 플래그에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택하는 제1 영상 데이터 선택부; 및
    상기 추가 정보 합성부, 상기 주 표시부, 및 상기 보조 표시부 중 상기 제1 영상 데이터를 제공할 대상을 결정하는 스위칭 회로를 포함하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  7. 제6 항에 있어서, 상기 스위칭 회로는 상기 제1 장애 플래그, 상기 제2 장애 플래그, 및 상기 제3 장애 플래그 중 적어도 하나에 기초하여 상기 제1 영상 데이터를 제공할 상기 대상을 결정하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  8. 제6 항에 있어서, 상기 제1 영상 데이터 선택부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로서 선택하고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터를 상기 제1 영상 데이터로서 선택하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  9. 제8 항에 있어서, 상기 제1 영상 데이터 선택부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 주 카메라 영상 데이터 및 보조 카메라 영상 데이터를 상기 제1 영상 데이터로서 선택하고,
    상기 스위칭 회로는 상기 주 표시부에 상기 주 카메라 영상 데이터를 상기 제1 영상 데이터로서 제공하고, 상기 보조 표시부에 상기 보조 카메라 영상 데이터를 상기 제1 영상 데이터로서 제공하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  10. 제4 항에 있어서, 상기 AVM 제어부는,
    상기 카메라 영상 데이터들에 기초하여 상기 AVM 영상 데이터를 생성하는 AVM 영상 생성부;
    상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나에 기초하여 제1 영상 데이터를 생성하는 제1 영상 데이터 생성부; 및
    상기 추가 정보 합성부, 상기 주 표시부, 및 상기 보조 표시부 중 상기 제1 영상 데이터를 제공할 대상을 결정하는 스위칭 회로를 포함하고,
    상기 제1 영상 데이터 생성부는 상기 제1 장애 플래그가 상기 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 적어도 두 개를 병합함으로써 상기 제1 영상 데이터를 생성하고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터를 상기 제1 영상 데이터로 설정하는 것을 특징으로 하는 건설 장비의 화면 표시 시스템.
  11. 복수의 카메라 영상 데이터들을 수신하는 단계;
    AVM 제어부가 상기 카메라 영상 데이터들에 기초하여 AVM 영상 데이터를 생성하는 단계;
    상기 AVM 제어부의 장애 여부를 나타내는 제1 장애 플래그(flag)에 기초하여 상기 AVM 영상 데이터 및 상기 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로서 선택하여 출력하는 단계; 및
    상기 출력된 영상 데이터에 상응하는 영상을 표시하는 단계를 포함하고,
    상기 제1 영상 데이터는 상기 제1 장애 플래그가 장애 상태에 상응하는 경우 상기 카메라 영상 데이터들 중 하나로 선택되고, 상기 제1 장애 플래그가 정상 상태에 상응하는 경우 상기 AVM 영상 데이터로 선택되는 것을 특징으로 하는 건설 장비의 화면 표시 방법.
  12. 제11 항에 있어서,
    추가 정보 합성부가 상기 제1 영상 데이터에 기초하여 생성된 제2 영상 데이터를 출력하는 단계; 및
    상기 추가 정보 합성부의 장애 여부를 나타내는 제2 장애 플래그에 기초하여, 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 하나를 출력 영상 데이터로서 선택하여 출력하는 단계를 더 포함하고,
    상기 출력 영상 데이터는 상기 제2 장애 플래그가 장애 상태에 상응하는 경우 상기 제1 영상 데이터로 선택되고, 상기 제2 장애 플래그가 정상 상태에 상응하는 경우 상기 제2 영상 데이터로 선택되는 것을 특징으로 하는 건설 장비의 화면 표시 방법.
  13. 제11 항에 있어서, 상기 출력 영상 데이터에 상응하는 상기 영상은 주 표시부의 장애 여부를 나타내는 제3 장애 플래그가 장애 상태에 상응하는 경우 보조 표시부에 표시되고, 상기 제3 장애 플래그가 정상 상태에 상응하는 경우 상기 주 표시부에 표시되는 것을 특징으로 하는 건설 장비의 화면 표시 방법.
  14. 제11 항에 있어서,
    상기 AVM 제어부는 상기 제1 장애 플래그가 장애 상태에 상응하는 경우, 상기 복수의 카메라 영상 데이터들 중 적어도 하나를 상기 제1 영상 데이터로 생성하여 출력하는 것을 특징으로 하는 건설 장비의 화면 표시 방법.
  15. 제14 항에 있어서,
    상기 AVM 제어부는 상기 복수의 카메라 영상 데이터들 중 적어도 하나를 제1 영상 데이터로 생성하여 상기 주 표시부에서 표시되도록 하고, 상기 복수의 카메라 영상 데이터들 중 상기 제1 영상 데이터에 포함되지 않은 나머지 영상 데이터등 중 적어도 하나를 보조 표시부에 표시되도록 하는 것을 특징으로 하는 건설 장비의 화면 표시 방법.
PCT/KR2018/002077 2017-02-20 2018-02-20 건설 장비의 화면 표시 시스템 및 화면 표시 방법 Ceased WO2018151579A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880012138.XA CN110300828B (zh) 2017-02-20 2018-02-20 工程设备的画面显示系统及画面显示方法
EP18754425.9A EP3572591B1 (en) 2017-02-20 2018-02-20 Screen display system and screen display method of construction equipment
US16/486,948 US10844579B2 (en) 2017-02-20 2018-02-20 Screen display system and screen display method of construction equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170022026A KR102669902B1 (ko) 2017-02-20 2017-02-20 건설 장비의 화면 표시 시스템 및 화면 표시 방법
KR10-2017-0022026 2017-02-20

Publications (1)

Publication Number Publication Date
WO2018151579A1 true WO2018151579A1 (ko) 2018-08-23

Family

ID=63169587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002077 Ceased WO2018151579A1 (ko) 2017-02-20 2018-02-20 건설 장비의 화면 표시 시스템 및 화면 표시 방법

Country Status (5)

Country Link
US (1) US10844579B2 (ko)
EP (1) EP3572591B1 (ko)
KR (1) KR102669902B1 (ko)
CN (1) CN110300828B (ko)
WO (1) WO2018151579A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7458850B2 (ja) * 2020-03-26 2024-04-01 住友重機械建機クレーン株式会社 作業機械の周囲表示装置
JP7518664B2 (ja) * 2020-05-27 2024-07-18 株式会社アイチコーポレーション 作業車
JP7657176B2 (ja) * 2022-03-30 2025-04-04 住友重機械工業株式会社 表示装置及び表示プログラム
US12180686B2 (en) * 2022-04-21 2024-12-31 Deere & Company Work vehicle having enhanced visibility throughout implement movement
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130077917A (ko) * 2011-12-28 2013-07-09 두산인프라코어 주식회사 건설기계의 화면표시방법
KR20130088051A (ko) * 2012-01-30 2013-08-07 두산인프라코어 주식회사 건설기계의 화면표시장치
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
US20170030054A1 (en) * 2015-07-31 2017-02-02 Komatsu Ltd. Working machine display system, working machine display device, and working machine display method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150058B2 (ja) * 1999-03-17 2008-09-17 株式会社小松製作所 建設機械の通信装置
JP4310632B2 (ja) * 2003-11-07 2009-08-12 日立建機株式会社 建設機械の表示装置
JP4540694B2 (ja) * 2007-08-07 2010-09-08 株式会社小松製作所 建設機械の情報管理装置
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
JP6577034B2 (ja) * 2015-07-31 2019-09-18 株式会社小松製作所 作業機械の表示システム、および作業機械の表示方法
JP2017030688A (ja) * 2015-08-06 2017-02-09 日立建機株式会社 作業機械の周囲監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130077917A (ko) * 2011-12-28 2013-07-09 두산인프라코어 주식회사 건설기계의 화면표시방법
KR20130088051A (ko) * 2012-01-30 2013-08-07 두산인프라코어 주식회사 건설기계의 화면표시장치
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
US20170030054A1 (en) * 2015-07-31 2017-02-02 Komatsu Ltd. Working machine display system, working machine display device, and working machine display method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3572591A4 *

Also Published As

Publication number Publication date
EP3572591A1 (en) 2019-11-27
US10844579B2 (en) 2020-11-24
US20200011032A1 (en) 2020-01-09
CN110300828A (zh) 2019-10-01
CN110300828B (zh) 2021-07-20
KR102669902B1 (ko) 2024-05-28
EP3572591B1 (en) 2022-04-20
KR20180095986A (ko) 2018-08-29
EP3572591A4 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
WO2018151579A1 (ko) 건설 장비의 화면 표시 시스템 및 화면 표시 방법
WO2016027930A1 (en) Portable device and method for controlling the same
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
WO2013051786A1 (en) Apparatus and method for measuring road flatness
WO2012046899A1 (ko) 영상 감시 장치 및 그 이벤트 감지 방법
JPH11225128A (ja) 同期通信網における端局、現用／予備切替機能のミスマッチ検出装置、及びその方法
CN1047900C (zh) 视听系统
WO2014030864A1 (en) Electronic device and content sharing method
WO2018062599A1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
WO2014084594A1 (ko) 신호 위반 감시를 위한 장치 및 방법
JPH02109198A (ja) 多点監視装置
KR102136889B1 (ko) 카메라에서의 출력영상을 스위칭하는 영상 스위칭 장치, 방법 및 이를 포함하는 광전송 시스템
US11856341B2 (en) Signal processing device and signal processing method
WO2022102858A1 (ko) 방송 통합 모니터링 시스템 및 그 방법
CN219204583U (zh) 一种图像采集装置及电子设备
WO2019235681A1 (ko) 헬스 모니터링 장치 및 이를 포함하는 대화면 시현기
JP2011182332A (ja) 監視カメラシステム
EP2737691A1 (en) Multi-image processing apparatus
JP3760395B2 (ja) 複数の機器により構成される車載用情報システムおよびその構成機器
JP3661427B2 (ja) 信号切換装置
JP2606119B2 (ja) 監視カメラ制御装置
KR101611858B1 (ko) 궤도차량 시스템 모니터링 장치
CN223093822U (zh) 一种多路高清摄像头监控系统电路
WO2021033854A1 (ko) Avm 화면 및 차량주행정보를 제공하는 디지털 클러스터 및 디지털 클러스터의 통합주행정보 디스플레이 방법
JP4725033B2 (ja) 監視カメラシステム、カメラ及び監視カメラ制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018754425

Country of ref document: EP

Effective date: 20190820