[go: up one dir, main page]

WO2021107165A1 - 다중 센서를 복합적으로 활용하는 휴대용 ai 계측기 - Google Patents

다중 센서를 복합적으로 활용하는 휴대용 ai 계측기 Download PDF

Info

Publication number
WO2021107165A1
WO2021107165A1 PCT/KR2019/016294 KR2019016294W WO2021107165A1 WO 2021107165 A1 WO2021107165 A1 WO 2021107165A1 KR 2019016294 W KR2019016294 W KR 2019016294W WO 2021107165 A1 WO2021107165 A1 WO 2021107165A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
data
environmental
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/016294
Other languages
English (en)
French (fr)
Inventor
박성순
신해선
김경훈
안혁종
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gluesys Co ltd
Original Assignee
Gluesys Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gluesys Co ltd filed Critical Gluesys Co ltd
Publication of WO2021107165A1 publication Critical patent/WO2021107165A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways

Definitions

  • the present invention relates to a portable AI instrument utilizing multiple sensors and a signal processing method of an AI portable instrument utilizing multiple sensors.
  • measuring instruments suitable for the needs of these industrial sites increase in physical size according to the size of analysis data or the number of sensors used, and require a lot of computing power according to the complexity of analysis. Therefore, in many cases, sensor networks are implemented in a fixed type rather than a portable type.
  • the present invention is an invention devised based on the above-mentioned problems, and an object of the present invention is to provide a portable AI measuring instrument capable of effectively processing various data collected through multiple sensors.
  • An object of the present invention is to provide a portable AI measuring instrument that increases analysis efficiency by combining and storing data collected from various environmental sensors with image signals used in industrial fields in various forms.
  • the AI portable instrument utilizing multiple sensors according to the present invention is
  • a data collection coupling unit composed of a logic operation element
  • a main control unit a data analysis unit 203 and an AI model management unit implemented with an arithmetic operation element;
  • the plurality of sensor modules include an environmental sensor module and an image sensor module,
  • Each of the plurality of sensor modules includes a sensor and a sensor controller. It is configured by attaching and detaching the sensor to the sensor control unit,
  • Each sensor control unit is equipped with a separate program to communicate with the data collection coupling unit.
  • the portable AI measuring instrument using multiple sensors according to the present invention can be flexibly applied to industrial sites because a combination of various sensors is possible by configuring the sensor in a form that can be replaced as needed.
  • the portable AI measuring device that uses multiple sensors in a complex manner according to the present invention can secure the correlation of all sensor collected data and can analyze the correlation of data coming from multiple sensors, thereby enabling a three-dimensional analysis of the field situation.
  • the portable AI instrument that uses multiple sensors according to the present invention makes it easy to manage data and analyze associations, and allows the collected data to be viewed immediately with a video player, making it convenient to use without separate complex analysis equipment, Accurate analysis is possible even in the AI analysis engine by combining it with the current image analysis AI technology.
  • FIG. 1 is a block diagram schematically showing the configuration of a portable AI measuring instrument for multi-sensor utilization according to the present invention.
  • FIG. 2 is a block diagram showing the configuration of a data collection coupling unit implemented as an FPGA of a portable AI instrument according to the present invention.
  • FIG. 3A is a block diagram showing the configuration of a detachable sensor module of a portable AI measuring instrument according to the present invention
  • FIG. 3B is a diagram showing the signal input/output contents of the detachable sensor module and data contents during multiple connection.
  • FIG. 4A is a time flow diagram of asynchronous data collected by a conventional multi-sensor instrument
  • FIG. 4B is a time flow diagram of synchronized data collected by a portable AI instrument according to the present invention.
  • FIG. 5 is a conceptual diagram of a combination of the measuring instrument and edge analysis equipment of the present invention for each business site, and an overall model combining each edge analysis equipment as a cloud.
  • the AI portable instrument that utilizes multiple sensors includes a data collection coupling unit composed of a logic operation element; a main control unit, a data analysis unit 203 and an AI model management unit implemented with an arithmetic operation element; and a plurality of sensor modules, wherein the plurality of sensor modules include an environmental sensor module and an image sensor module, and each of the plurality of sensor modules includes a sensor and a sensor controller.
  • the sensor is configured to be detachably coupled to the sensor control unit, and a separate program is installed in each sensor control unit to communicate with the data collection coupling unit.
  • the data collection combining unit combines the synchronized environmental signals received from the environmental sensor module and the image sensor module into one, and puts it in a reserved area of the compressed image signal to constitute one data.
  • a signal processing method of an AI portable instrument using multiple sensors includes the steps of converting and collecting environmental signals received through a plurality of environmental sensor modules into I2C data form; converting and collecting an image signal received through an image sensor module into an I2C data format; combining a plurality of environmental signals collected by converting them into an I2C data format; compressing the collected image signal by converting it into an I2C data format; and inserting a plurality of combined environment signals into a reserved area of the compressed video signal to form one data, wherein the environment signal and the video signal are synchronized signals.
  • the signal processing method of the AI portable instrument using multiple sensors is displayed in the subtitle area based on the MPEG-4 standard image.
  • Video signals are highly required in measuring instruments in terms of their utilization, and they can most visually represent the surrounding environment at the time of measurement, and are indispensable data for analysis through artificial intelligence. However, since the video signal itself has a large capacity, it is currently used only in special cases in measuring instruments.
  • the environmental data can be combined and stored as one data while the image data is used as a basis in the environmental data collection.
  • the size of the device is reduced Combination of reduction techniques is applied.
  • AI Artificial Intelligence
  • Deep Learning technology that enables interworking with edge analysis equipment in a cloud environment, it creates different AI models for each industrial site and utilizes them in each instrument, making it more diverse and effective Make analysis possible in the field.
  • FIG. 1 is a block diagram schematically showing the configuration of a portable AI instrument for multi-sensor utilization according to the present invention
  • FIG. 2 is implemented as an FPGA of a portable AI instrument 200 that uses multiple sensors in combination according to the present invention.
  • It is an internal block diagram of the data collection coupling unit 100
  • FIG. 3a is a block diagram showing the configuration of a detachable sensor module of a portable AI measuring instrument according to the present invention
  • FIG. 3b is a signal input/output content of the detachable sensor module
  • It is a diagram showing data contents in case of multiple access.
  • the portable AI measuring instrument 200 for multi-sensor utilization is largely implemented with a plurality of sensor modules 300, a logic operation element (FPGA) and an arithmetic operation element.
  • FPGA logic operation element
  • the portable AI measuring instrument 200 includes a data collection combining unit 100 implemented as a logic operation element, a main control unit 206 implemented as an arithmetic operation element, and a data analysis unit 203 . ) and an AI model management unit 204 , a user input unit and a user output unit for a user interface, and a plurality of sensor modules 300 .
  • the plurality of sensor modules 300 are divided into a plurality of environmental sensor modules and image sensor modules, and the sensor module 300 includes a sensor 310 and a sensor controller 320 as shown in FIG. 3A , and a sensor controller ( It is configured by detachably coupling the sensor 310 to the 320 .
  • a separate program is installed in the sensor control unit 320 of each of the environmental sensor module and the image sensor module 300 to communicate with the data collection coupling unit 100 .
  • the protocol used is an I2C (Inter Integrated Circuit) method, and as an interface, an RS-485 interface is used for the environmental sensor, and a USB 3.0 interface is used for the image sensor to secure bandwidth. do.
  • the sensor controller 320 collects different sensor signals, changes them into the same signal form (I2C data), and transmits them to the main controller 206 .
  • the signal transmitted from the sensor control unit 320 to the main control unit 206 includes information data of the sensor itself (that is, the type of sensor, detection range, whether it is installed, etc.) and data detected by the sensor (measurement of temperature, humidity, vibration, etc.) value), and the signal transmitted from the main control unit 206 to the sensor control unit 206 includes sensor control signals (sensor operation start signal, synchronization signal, end signal, etc.). Through this, any type of data from any sensor can be converted and transmitted to the main controller 206 as shown in FIG. 3B.
  • the efficiency of analysis is increased by synchronizing data obtained from multiple connected sensor modules 300 . That is, in the present invention, data collection of each sensor 310 of all sensor modules 300 connected to the portable AI measuring instrument is performed at the same time. To this end, as shown in FIG. 4B , a synchronization signal is transmitted from the main control unit 206 to the sensor control unit of the sensor module to synchronize data detected by each sensor.
  • the synchronization signal is a signal used to synchronize data by sending the same signal to all sensor modules.
  • the synchronization and collected data is configured as one data to obtain the convenience of management and analysis. That is, in the present invention, management and analysis are facilitated by bundling the synchronized and collected data. For this purpose, based on the data of the image sensor module, a method of tying the data of the remaining environmental sensor modules was used. At this time, the data of the environmental sensor module is a synchronized signal collected by the above-described data synchronization method, is converted into streaming text according to the synchronization, and puts it in the reserved area of the image data to make one data .
  • sensor data is put in the subtitle area in the MPEG-4 standard video, and by doing so, the above-mentioned data management and correlation analysis are easy, and even the collected data can be viewed as data directly combined with a video player. so that it can be used conveniently.
  • the data collection coupling unit 100 is implemented by a logic operation element (Field Programmable Gate Array, FPGA), and is implemented using the Verilog language as software.
  • FPGA Field Programmable Gate Array
  • Each of the modules of the data collection coupling unit 100 of FIG. 2 is implemented in Verilog language and is actually hardware-configured inside the FPGA, and is implemented to be organically interlocked with each other in the data collection coupling upper structure.
  • the function and stability of the hardware were tested by uploading it directly to the FPGA hardware.
  • the data collection coupling unit 100 may be implemented by utilizing Altera's Arria10 FPGA, but is not limited thereto.
  • the data combined in the environmental data combining module 104 is an arithmetic operation unit, the main control unit 206 and the data analysis unit 203 . It is implemented to be combined and managed in In an embodiment of the present invention, the arithmetic operation unit is implemented based on the Linux OS in Raspberry Pi hardware, and each part is implemented by configuring one software function. As the implemented function, a user-friendly GUI environment is built and an AI analysis engine for data analysis is installed.
  • MPEG4 Motion Picture Experts Group 4
  • a wired / wireless network interface is used to combine the portable AI instrument 200, the edge analysis equipment 401, and the AI Cloud analysis data center 500.
  • the edge analysis equipment 401 is operated to update the AI model 205 required for firmware update and intelligent data analysis of AI instruments, and is equipped with a wireless access point (AP) for interworking with the instruments.
  • AP wireless access point
  • the AI model 205 used to analyze data is an inference model generated in advance to suit the characteristics of each unit business site through an AI engine (deep learning engine, etc.) in the edge analysis equipment 401.
  • these models are downloaded from the edge analysis equipment 401 in advance, stored in the AI model management unit 204, and used for comparison and analysis with sensor data collected during measurement.
  • the edge linker 201 wireless module is also used.
  • Multiple sensors are connected to the data collection combining unit 100 so as to organically combine the environmental data and image data collected from the sensor in the environmental data combining module 104 and analyze it. It is transmitted to the data analysis unit 203 of the portable AI instrument 200 through the environment data transmission module 105 .
  • the conventional data collection device only collects data and does not combine multiple data like the data collection combiner 100 of the present invention. However, when simply collecting data as in the conventional data collection device, the sensor data is simply collected.
  • the device configuration is simple because it is collected and stored, but it is difficult to find the linkage of each analyzed individual data in the final data analysis.
  • the data collection combining unit 100 of the present invention combines the collected environmental data and image data data by utilizing a programmable logic element (FPGA, Field Programmable Gate Array), and in this way, the simultaneity of data is secured, and the data An organic analysis was made possible.
  • FPGA Field Programmable Gate Array
  • the edge system interworking module 106 of the data collection coupling unit 100 is a module for updating the firmware of the data collection coupling unit 100 composed of a semiconductor chip.
  • the edge system interworking module 106 receives and stores new firmware input by the need for firmware update from the edge analysis equipment through the edge interlocking unit 201 of FIG. , or immediately) to update the firmware.
  • the edge interworking unit 201 of FIG. 1 used at this time is implemented as a wireless Ethernet (1 Gbps) transmission/reception module, but is not limited thereto.
  • the portable AI instrument of the present invention simultaneously measures multiple environmental variables in a complex manner. It can be measured, and the measured data can be easily analyzed, and concurrency can be secured.
  • the portable AI instrument according to the present invention does not require temporal synchronization and data analysis and analysis result comparison part than the analysis of conventional uncombined data when analyzing data through AI modeling, so that the measured data is more It enables easy analysis, reduces the data capacity, reduces the space required for data storage, and reduces the network bandwidth required for data transmission to have a system structure suitable for the cloud environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

본 발명에 따르는 다중 센서를 활용하는 휴대용 AI 계측기는 논리 연산 소자로 구성되는 데이터 수집 결합부; 산술 연산 소자로 구현되는 메인 제어부, 데이터 분석부(203) 및 AI 모델 관리부; 및 복수의 센서 모듈을 포함하고, 상기 복수의 센서 모듈은 환경 센서 모듈 및 영상 센서 모듈을 포함하고, 복수의 센서 모듈은 각각 센서 및 센서 제어부를 포함하여. 센서 제어부에 센서를 탈부착가능하도록 결합하여 구성되고, 각각의 센서 제어부에는 별도의 프로그램이 장착되어 데이터 수집 결합부와 통신하는 것을 특징으로 한다.

Description

다중 센서를 복합적으로 활용하는 휴대용 AI 계측기
본 발명은 다중 센서를 활용하는 휴대용 AI 계측기 및 다중 센서를 활용하는 AI 휴대용 계측기의 신호 처리 방법에 관한 것이다.
많은 산업 현장에서 기기의 제어를 위한 데이터를 수집하고, 현장의 환경을 분석해서 우수한 환경을 유지 또는 변경하고, 기타 여러 가지 분석을 위한 데이터를 획득하기 위해 다양한 종류의 계측기들이 사용되고 있다.
그런데, 4차 산업혁명시대에 접어 들면서 산업 현장 환경이 빠르게 변화하고 있고, 산업현장에서 필요로 하는 측정 데이터의 종류도 많아지고 다양화되며, 복합적으로 되고 있는 추세이다.
이에 따라 하나의 산업현장에서 복합적인 환경 계측을 위하여 필요로 하는 계측기의 종류가 많아지지만, 물리적인 이유로 이러한 수요를 충족시키기에는 부족하며, 특히 복합적인 데이터를 유기적으로 분석하는 능력면에서는 계측기가 한계를 가지게 되었다.
또 이러한 산업현장의 요구에 적합한 계측기들은 분석 데이터의 크기나 사용 센서의 개수 등에 따라 물리적인 크기가 커지고, 분석의 복잡성에 따라 많은 연산 능력을 필요로 한다. 따라서 휴대형보다는 고정형으로 센서 네트워크를 구현하는 경우가 많다.
하지만 이런 경우에는, 산업 현장에서 가깝고 실제 데이터를 요구하는 장소 가 아니라, 계측기를 사용할 수 있는 환경을 구비한 장소를 산업 현장과 별도로 구성해야 한다(대한민국특허출원 제10-2004-0098186호(2004.11.26), 대한민국특허출원 제10-2007-0034805호(2007.04.09) 참조).
본 발명은 전술한 문제점에 기반하여 안출된 발명으로, 다중 센서를 통해 수집된 다양한 데이터들을 효과적으로 처리할 수 있는 휴대용 AI 계측기를 제공하는 것을 목적으로 한다.
본 발명에서는 다양한 형태로 산업현장에서 사용되고 있는 영상 신호에 각종 환경 센서에서 수집되는 데이터를 결합하여 저장함으로써 분석 효율성이 증가하는 휴대용 AI 계측기를 제공하는 것을 목적으로 한다.
본 발명에 따르는 다중 센서를 활용하는 AI 휴대용 계측기는
논리 연산 소자로 구성되는 데이터 수집 결합부;
산술 연산 소자로 구현되는 메인 제어부, 데이터 분석부(203) 및 AI 모델 관리부; 및
복수의 센서 모듈을 포함하고,
상기 복수의 센서 모듈은 환경 센서 모듈 및 영상 센서 모듈을 포함하고,
복수의 센서 모듈은 각각 센서 및 센서 제어부를 포함하여. 센서 제어부에 센서를 탈부착가능하도록 결합하여 구성되고,
각각의 센서 제어부에는 별도의 프로그램이 장착되어 데이터 수집 결합부와 통신하는 것을 특징으로 한다.
본 발명에 따르는 다중 센서를 복합적으로 활용하는 휴대용 AI 계측기는 필요에 따라 센서를 교체할 수 있는 형태로 구성하여 다양한 센서의 조합이 가능하므로 산업현장에 유연하게 적용할 수 있다.
본 발명에 따르는 다중 센서를 복합적으로 활용하는 휴대용 AI 계측기는 모든 센서 수집 데이터의 연관성을 확보할 수 있고, 다중 센서에서 들어오는 데이터들의 상관 관계 분석이 가능하여, 현장 상황의 입체적인 분석을 가능하게 한다.
본 발명에 따르는 다중 센서를 복합적으로 활용하는 휴대용 AI 계측기는 데이터 관리 및 연관성 분석이 용이하고, 수집된 데이터를 동영상 플레이어로 즉시 볼 수 있도록 하여 별도의 복잡한 분석 장비 없이도 사용이 편리하게 하였으며, 또한, AI 분석 엔진에서도 현재의 영상분석 AI 기술과의 접목을 통해 정확한 분석이 가능하다.
도 1은 본 발명에 따르는 다중센서 활용을 위한 휴대용 AI 계측기의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명에 따르는 휴대용 AI 계측기의 FPGA로 구현된 데이터 수집 결합부의 구성을 나타내는 블록도이다.
도 3a는 본 발명에 따르는 휴대용 AI 계측기의 탈부착 가능한 센서 모듈의 구성을 나타내는 블록도이고, 도3b는 탈부착 가능한 센서 모듈의 신호 입출력 내용과, 다중 접속 시 데이터 내용을 나타내는 도면이다.
도4a는 종래의 다중 센서 계측기에서 수집되는 비동기 데이터의 시간 흐름도이고, 도4b는 본 발명 따르는 휴대용 AI 계측기에서 수집되는 동기화된 데이터의 시간 흐름도이다.
도 5는 사업장별 본 발명의 계측기 및 Edge 분석장비의 결합과, 각 Edge 분석장비들을 Cloud로 결합한 전체 모델에 대한 개념도이다.
다중 센서를 활용하는 AI 휴대용 계측기는 논리 연산 소자로 구성되는 데이터 수집 결합부; 산술 연산 소자로 구현되는 메인 제어부, 데이터 분석부(203) 및 AI 모델 관리부; 및 복수의 센서 모듈을 포함하고, 상기 복수의 센서 모듈은 환경 센서 모듈 및 영상 센서 모듈을 포함하고, 복수의 센서 모듈은 각각 센서 및 센서 제어부를 포함하여. 센서 제어부에 센서를 탈부착가능하도록 결합하여 구성되고, 각각의 센서 제어부에는 별도의 프로그램이 장착되어 데이터 수집 결합부와 통신한다.
바람직하게는, 데이터 수집 결합부는 환경 센서 모듈 및 영상 센서 모듈로부터 각각 수신한 동기화된 환경 신호를 하나로 결합하여, 압축된 영상 신호의 예약(reserved) 영역에 넣어 하나의 데이터로 구성한다.
다중 센서를 활용하는 AI 휴대용 계측기의 신호 처리 방법은 복수의 환경 센서 모듈을 통해 각각 수신한 환경 신호를 I2C 데이터 형태로 변환하여 수집하는 단계; 영상 센서 모듈을 통해 수신한 영상 신호를 I2C 데이터 형태로 변환하여 수집하는 단계; I2C 데이터 형태로 변환하여 수집된 복수의 환경 신호를 하나로 결합하는 단계; I2C 데이터 형태로 변환하여 수집된 영상 신호를 압축하는 단계; 압축된 영상 신호의 예약(reserved) 영역에 하나로 결합된 복수의 환경 신호를 넣어서 하나의 데이터로 구성하는 단계를 포함하고, 상기 환경 신호 및 영상 신호는 동기화된 신호이다.
바람직하게는, 다중 센서를 활용하는 AI 휴대용 계측기의 신호 처리 방법은 MPEG-4 규격의 영상을 기반으로 자막 영역에 디스플레이한다.
영상 신호는 그 활용도 면에서 계측기에서 많이 요구되는 것으로, 계측시의 주변 환경을 가장 시각적으로 나타내 줄 수 있고, 인공지능을 통한 분석에서도 필수 불가결한 데이터이다. 하지만, 영상 신호는 그 자체적으로 용량이 커서 현재 계측기에서는 특별한 경우에만 사용되고 있다.
이에 본 발명에서는 환경 데이터 수집에 있어서 영상 데이터를 기본으로 하면서 환경데이터를 결합하여 하나의 데이터로 저장할 수 있도록 한다.
본 발명에서는 종래의 계측기에서 사용된 기술 이외에 복합센서를 제어 관리하는 기술, 복합센서에서 수집된 데이터를 영상 데이터에 결합하는 기술, 그리고 이러한 기술들을 하나의 물리적 반도체 소자에서 구현하여, 장치의 크기를 줄이는 기술을 복합적으로 적용한다.
또한, Cloud 환경에서 Edge 분석장비와 연동할 수 있게 하는 기술과 AI(Artificial Intelligence) Deep Learning 기술을 결합하여, 산업 현장별로 서로 다른 AI 모델을 생성하고 이를 각각의 계측기에서 활용하도록 하여 보다 다양하고 효과적인 분석을 현장에서 가능하도록 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따르는 다중센서 활용을 위한 휴대용 AI 계측기의 구성을 개략적으로 나타내는 블록도이고, 도 2는 본 발명에 따르는, 다중 센서를 복합적으로 활용하는 휴대용 AI 계측기(200)의 FPGA로 구현된 데이터 수집 결합부(100)의 내부 블록도이고, 도 3a는 본 발명에 따르는 휴대용 AI 계측기의 탈부착 가능한 센서 모듈의 구성을 나타내는 블록도이고, 도3b는 탈부착 가능한 센서 모듈의 신호 입출력 내용과, 다중 접속 시 데이터 내용을 나타내는 도면이다.
본 발명에 따르는 다중센서 활용을 위한 휴대용 AI 계측기(200)는 크게 복수의 센서 모듈(300), 논리연산소자(FPGA)와 산술연산소자로 구현한다.
도1에 도시된 바와 같이, 본 발명에 따르는 휴대용 AI 계측기(200)는 논리 연산 소자로 구현되는 데이터 수집 결합부(100), 산술 연산 소자로 구현되는 메인 제어부(206), 데이터 분석부(203) 및 AI 모델 관리부(204), 사용자 인터페이스를 위한 사용자 입력부 및 사용자 출력부, 복수의 센서 모듈(300)을 포함한다.
종래의 센서들은 고정형으로 장비에 붙어있는 형태였는데, 이는 센서로부터 출력되는 신호가 종류에 따라 달라서 동일한 하드웨어로는 데이터를 수집할 수 없기 때문이었다. 따라서 종래의 계측기는 센서를 교환할 수 없는 형태가 대부분이다.
복수의 센서 모듈(300)은 복수의 환경 센서 모듈 및 영상 센서 모듈로 나뉘며, 센서 모듈(300)은 도3a에 도시된 바와 같이 센서(310) 및 센서 제어부(320)로 구성되며, 센서 제어부(320)에 센서(310)를 탈부착가능하도록 결합하여 구성된다.
이를 위하여 각각의 환경 센서 모듈 및 영상 센서 모듈(300)의 센서 제어부(320)에 별도의 프로그램을 장착하여 데이터 수집 결합부(100)와 통신할 수 있도록 한다. 이때 사용하는 프로토콜은 도3b에 도시된 바와 같이, I2C(Inter Integrated Circuit) 방식을 사용하였으며, 인터페이스로는 환경 센서에는 RS-485 인터페이스를 사용하고, 영상 센서에는 USB 3.0 인터페이스를 사용하여 대역폭을 확보한다.
그 중, 센서 제어부(320)는 서로 다른 센서 신호를 수집하여 동일한 신호 형태(I2C 데이터)로 변경하고 이를 메인 제어부(206)에 전송하는 역할을 한다. 센서 제어부(320)에서 메인 제어부(206)로 전송하는 신호에는 센서 자체의 정보 데이터(즉, 센서의 종류, 감지 범위, 장착 여부 등) 및 센서가 감지한 데이터(온도, 습도, 진동 등의 측정값)가 포함되고, 메인 제어부(206)로부터 센서 제어부(206)으로 전송되는 신호에는 센서 제어 신호(센서 작동 시작 신호, 동기 신호, 종료 신호 등)가 포함된다. 이를 통하여 도 3b와 같이 어떠한 센서에서 나오는 어떠한 유형의 데이터도 변환하여 메인 제어부(206)에 전송할 수 있도록 하였다.
다수의 센서가 연결되어 있는 종래의 계측기는 각각의 센서로부터 수신한 데이터를 독립적으로 수집하여 별도로 저장하기 때문에, 각각의 센서로부터 수신한 데이터를 관리하기 어렵고, 데이터간의 연관성이 없다. 도 4a는 이러한 종래의 계측기에서의 데이터 흐름도를 나타낸다.
본 발명에서는 다중으로 연결된 센서 모듈(300)로부터 얻어진 데이터를 동기화하여 분석의 효율성을 높인다. 즉, 본 발명에서는 휴대용 AI 계측기에 연결된 모든 센서 모듈(300)의 각각의 센서(310)의 데이터 수집을 동일한 시간에 이뤄지도록 한다. 이를 위해, 도4b에 도시된 바와 같이, 메인 제어부(206)로부터 센서 모듈의 센서 제어부에 동기화 신호를 보내서 각각의 센서가 감지하는 데이터를 동기화한다. 동기화 신호는 모든 센서 모듈에 동일한 신호를 보내서 데이터들을 동기화하는데 사용되는 신호이다. 이를 통하여 모든 센서에 의해 수집된 데이터의 연관성을 확보할 수 있고, 다중 센서 모듈의 센서(310)로부터 데이터 분석부(203)로 들어오는 데이터들의 상관 관계 분석이 가능하다. 도4b에 도시된 바와 같이, 각각의 센서의 첫번째 데이터는 모두 동일한 시간에 수집된다.
또한, 본 발명에서는 동기화되어 수집된 데이터를 하나의 데이터로 구성하여 관리 및 분석의 편리성을 얻는다. 즉, 본 발명에서는 동기화되어 수집된 데이터들을 하나로 묶음으로써 관리 및 분석이 쉽게 한다. 이를 위하여, 영상센서 모듈의 데이터를 기본으로 해서 나머지 환경 센서 모듈들의 데이터들을 묶는 방법을 사용하였다. 이때 환경 센서 모듈의 데이터는 전술된 데이터 동기화 방법에 의해 수집된 동기화된 신호이며, 동기에 맞추어 스트리밍 텍스트(streaming text)로 변환하고, 이를 영상 데이터의 예약(Reserved) 영역에 넣어서 하나의 데이터로 만든다.
바람직하게는 본 발명에서는, MPEG-4 규격의 영상에서 자막 영역에 센서 데이터를 넣었으며, 이렇게 함으로써 전술된 데이터 관리 및 연관성 분석이 용이하며, 심지어 수집된 데이터를 동영상 플레이어로 바로 결합된 데이터로 볼 수 있도록 하여 사용이 편리하게 할 수 있다.
데이터 수집 결합부(100)는 논리연산소자(Field Programmable Gate Array, FPGA)에 의해 구현되며, 소프트웨어로는 Verilog 언어를 사용하여 구현된다. 도 2의 데이터 수집 결합부(100)의 각각의 모듈들은 Verilog 언어로 구현하여 FPGA 내부에 실제로 하드웨어적으로 구성되는 것으로, 데이터 수집 결합 상위 구조 내부에서 상호 유기적으로 연동되도록 구현된다. 실제 구현은 각 모듈별로 설계 후 시뮬레이션을 통하여 기능을 검증한 후, FPGA 하드웨어에 직접 올려서 하드웨어적인 기능 및 안정성을 테스트하였고, 이렇게 검증된 모듈들을 상위 레벨에서 하나로 엮어서 구현하는 방식을 사용한다.
바람직하게는, 데이터 수집 결합부(100)는 Altera 사의 Arria10 FPGA를 활용하여 구현할 수 있으나, 이에 국한되는 것은 아니다.
예를 들어, 영상 압축 모듈(103)인 MPEG4(Motion Picture Experts Group 4)에서 압축된 후 환경 데이터 결합 모듈(104)에서 결합된 데이터는 산술 연산부인 메인 제어부(206) 및 데이터 분석부(203)에서 결합되고 관리되도록 구현된다. 본 발명의 실시 예에서 산술 연산부는 라즈베리파이 하드웨어에 리눅스 OS를 바탕으로 구현되며, 각 부분들은 하나의 소프트웨어 함수로 구성하여 구현된다. 구현된 함수로는 사용자가 사용하는데 편리한 GUI 환경이 구축되고, 데이터 분석을 위한 AI 분석 엔진이 탑재된다.
그리고 도5에 도시된 바와 같이, 휴대형 AI 계측기(200)와 Edge 분석장비(401), AI Cloud 분석 데이터 센터(500)를 결합하기 위해 유/무선 네트워크 인터페이스가 사용된다. Edge 분석장비(401)는 AI 계측기들의 펌웨어 업데이트 및 지능형 데이터 분석에 필요한 AI 모델(205) 업데이트를 위해 운영되며, 계측기들과의 연동을 위해 무선 AP(Access Point)를 탑재하고 있다.
본 발명에 따라, 데이터를 분석하는데 사용되는 AI 모델(205)은 Edge 분석장비(401)에서 AI 엔진(딥러닝 엔진 등)을 통하여 각 단위 사업장의 특성에 맞도록 미리 생성된 추론 모델이다. 본 발명에 따르는 AI 계측기에서는 이러한 모델들을 사전에 미리 엣지 분석장비(401)에서 다운로드 받아서 AI 모델 관리부(204)에 저장하고, 계측시에 수집되는 센서의 데이터와 비교 분석하는 용도로 활용한다. AI 모델(205)을 다운로드 할 때에도 엣지 연동부(201) 무선 모듈을 활용한다.
데이터 수집 결합부(100)에는 다중 센서들(환경 센서, 영상 센서)이 연결되어, 센서로부터 수집된 환경 데이터 및 영상 데이터들을 환경 데이터 결합 모듈(104)에서 유기적으로 결합하고, 이를 분석할 수 있도록 환경 데이터 전송 모듈(105)을 통해 휴대용 AI 계측기(200)의 데이터 분석부(203)로 전송한다.
종래의 데이터 수집 장치에서는 데이터를 수집만 할 뿐, 본 발명의 데이터 수집 결합부(100)처럼 여러 데이터들을 결합하지는 않는데, 종래의 데이터 수집 장치에서처럼 단순히 데이터를 수집만 할 경우 단순하게 센서의 데이터를 수집 저장하므로 장치 구성은 간단하지만 최종적으로 데이터를 분석하는데 있어서 각각 분석된 개별 데이터의 연계성을 찾는것은 어려운 일이다.
본 발명의 데이터 수집 결합부(100)는 프로그램 가능한 논리 소자(FPGA, Field Programmable Gate Array)를 활용하여, 수집된 환경 데이터 및 영상 데이터데이터를 결합하였으며, 이렇게 하여 데이터의 동시성을 확보하였으며, 데이터의 유기적인 분석이 가능하도록 하였다.
데이터 수집 결합부(100)의 Edge 시스템 연동 모듈(106)은 반도체 칩으로 구성된 데이터 수집 결합부(100)의 펌웨어를 업데이트 하는 모듈이다. 엣지시스템 연동 모듈(106)에서는 엣지 분석장비로부터 펌웨어 업데이트 필요에 의해 입력되는 새로운 펌웨어를 도1의 엣지 연동부(201)을 통하여 수신하여 저장하고, 사용자에게 이를 알리며, 미리 정해진 규칙(지정시간에, 또는 즉시)에 의해 펌웨어를 업데이트 하는 역할을 한다. 이때 사용되는 도1의 엣지 연동부(201)는 무선 Ethernet(1Gbps) 송수신 모듈로 구현하나, 이에 국한되는 것은 아니다.
이상과 설명한 바와 같이, 종래의 휴대용 계측기가 하나의 환경 변수(예를 들어, 온도, 습도, 진동, 소음 중 하나)만을 측정하는데 반하여, 본 발명의 휴대용 AI 계측기는 동시에 다수의 환경 변수를 복합적으로 측정할 수 있고, 측정된 데이터를 용이하게 분석하며, 동시성을 확보할 수 있도록 한다.
또한, 본 발명에 따르는 휴대용 AI 계측기는, AI 모델링을 통한 데이터 분석시 기존의 결합되지 않은 데이터의 분석보다 시간적 동기화 및 데이터 분석 및 분석결과 비교 부분을 필요로 하지 않기 때문에, 측정된 데이터를 좀 더 용이하게 분석할 수 있고, 데이터 용량을 줄여서 데이터 저장에 필요한 공간을 줄여주며, 데이터 전송에 필요한 네트워크 대역폭을 감소시켜 Cloud 환경에 적합한 시스템 구조를 가질 수 있게 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (4)

  1. 논리 연산 소자로 구성되는 데이터 수집 결합부;
    산술 연산 소자로 구현되는 메인 제어부, 데이터 분석부(203) 및 AI 모델 관리부; 및
    복수의 센서 모듈을 포함하고,
    상기 복수의 센서 모듈은 환경 센서 모듈 및 영상 센서 모듈을 포함하고,
    복수의 센서 모듈은 각각 센서 및 센서 제어부를 포함하여. 센서 제어부에 센서를 탈부착가능하도록 결합하여 구성되고,
    각각의 센서 제어부에는 별도의 프로그램이 장착되어 데이터 수집 결합부와 통신하는 것을 특징으로 하는
    다중 센서를 활용하는 AI 휴대용 계측기.
  2. 제1항에 있어서,
    상기 데이터 수집 결합부는
    환경 센서 모듈 및 영상 센서 모듈로부터 각각 수신한 동기화된 환경 신호를 하나로 결합하여, 압축된 영상 신호의 예약(reserved) 영역에 넣어 하나의 데이터로 구성하는 것을 특징으로 하는
    다중 센서를 활용하는 AI 휴대용 계측기.
  3. 복수의 환경 센서 모듈을 통해 각각 수신한 환경 신호를 I2C 데이터 형태로 변환하여 수집하는 단계;
    영상 센서 모듈을 통해 수신한 영상 신호를 I2C 데이터 형태로 변환하여 수집하는 단계;
    I2C 데이터 형태로 변환하여 수집된 복수의 환경 신호를 하나로 결합하는 단계;
    I2C 데이터 형태로 변환하여 수집된 영상 신호를 압축하는 단계;
    압축된 영상 신호의 예약(reserved) 영역에 하나로 결합된 복수의 환경 신호를 넣어서 하나의 데이터로 구성하는 단계를 포함하고,
    상기 환경 신호 및 영상 신호는 동기화된 신호인 것을 특징으로 하는
    다중 센서를 활용하는 AI 휴대용 계측기의 신호 처리 방법.
  4. 제3항에 있어서,
    MPEG-4 규격의 영상을 기반으로 자막 영역에 디스플레이하는 것을 특징으로 하는
    다중 센서를 활용하는 AI 휴대용 계측기의 신호 처리 방법.
PCT/KR2019/016294 2019-11-25 2019-11-25 다중 센서를 복합적으로 활용하는 휴대용 ai 계측기 Ceased WO2021107165A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190151873A KR20210063578A (ko) 2019-11-25 2019-11-25 다중 센서를 복합적으로 활용하는 휴대용 ai 계측기
KR10-2019-0151873 2019-11-25

Publications (1)

Publication Number Publication Date
WO2021107165A1 true WO2021107165A1 (ko) 2021-06-03

Family

ID=76130606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016294 Ceased WO2021107165A1 (ko) 2019-11-25 2019-11-25 다중 센서를 복합적으로 활용하는 휴대용 ai 계측기

Country Status (2)

Country Link
KR (1) KR20210063578A (ko)
WO (1) WO2021107165A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100797602B1 (ko) * 2007-06-25 2008-01-23 주식회사 씨노텍 멀티미디어 원격감시 제어시스템
KR20090067544A (ko) * 2007-12-21 2009-06-25 주식회사 디지탈하우스 무선네트워크를 이용한 영상환경관리네트워크시스템
KR101856742B1 (ko) * 2017-08-01 2018-05-11 주식회사 프라비스시스템즈 영상 정보와 센서 데이터를 통합 관리하는 보안 시스템 및 그 방법
KR20190033892A (ko) * 2017-09-22 2019-04-01 국립생태원 야생동물 모니터링 시스템 및 그 방법
US20190346339A1 (en) * 2017-02-06 2019-11-14 Poongsan Fns Co., Ltd. System for precision measurement of structure and method therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100492386B1 (ko) 2003-05-14 2005-05-31 이계승 평판형 형광램프
KR20070034805A (ko) 2005-09-26 2007-03-29 삼성전자주식회사 액정 표시 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100797602B1 (ko) * 2007-06-25 2008-01-23 주식회사 씨노텍 멀티미디어 원격감시 제어시스템
KR20090067544A (ko) * 2007-12-21 2009-06-25 주식회사 디지탈하우스 무선네트워크를 이용한 영상환경관리네트워크시스템
US20190346339A1 (en) * 2017-02-06 2019-11-14 Poongsan Fns Co., Ltd. System for precision measurement of structure and method therefor
KR101856742B1 (ko) * 2017-08-01 2018-05-11 주식회사 프라비스시스템즈 영상 정보와 센서 데이터를 통합 관리하는 보안 시스템 및 그 방법
KR20190033892A (ko) * 2017-09-22 2019-04-01 국립생태원 야생동물 모니터링 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20210063578A (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
WO2013032062A1 (ko) 태양광 모듈 모니터링 시스템
CN105204395A (zh) 一种机房巡检机器人数据采集处理系统、方法及芯片
KR20130044828A (ko) 이기종 장비 통합관리 방법 및 시스템
WO2015126029A1 (ko) 전력 인입점 에너지 계측 장치 및 이를 통한 에너지 계측 정보 레이블링 시스템
CN107633720A (zh) 一种用于电子电路实验教学的云端智能平台
WO2016010230A1 (ko) Iec61850와 opc ua 간의 상호 호환 방법 및 그 기록 매체
CN103226346A (zh) 一种可配置的多路模拟和数字信号采集系统
CN106028079A (zh) 一种基于物联网的教育云视频数据显示处理系统及方法
WO2020171307A1 (ko) 링 네트워크를 이용한 배전반 관리 시스템
WO2022114612A1 (ko) 이종 통신 프로토콜 데이터 통신을 위한 게이트웨이 장치 및 이의 설정방법
WO2021107165A1 (ko) 다중 센서를 복합적으로 활용하는 휴대용 ai 계측기
CN201733322U (zh) 一种无线传感器网络测试设备
WO2024167113A1 (ko) 금속체 표면파 통신을 이용한 진동 모니터링 시스템 및 방법
CN202582591U (zh) 大气数据系统自动检测设备
CN108319248A (zh) 一种基于LabView及无人机的变电站环境监控系统
WO2012043916A1 (ko) 스마트 배전시스템과 ami 시스템을 연계하기 위한 게이트웨이 및 이를 이용한 시스템 연계방법
WO2020130169A1 (ko) 이종 품질 데이터의 효율적 관리를 위한 opc ua 기반의 플랫폼 구성 방법
CN116208727B (zh) 基于多用户模块化的视频矩阵切换器及其控制方法
WO2015190732A1 (ko) 디지털변전소의 지능형 시스템 운영을 위한 에이전트 시스템 및 이의 동작 방법
CN105511342A (zh) 一种机场机坪设备生产状态感知数据集中器
WO2018199386A1 (ko) 전력설비 데이터 품질 정보 생성 장치 및 방법
WO2023068729A1 (ko) 드론을 활용한 3차원 공간 전파 지도 생성 시스템 및 방법
CN111405588B (zh) 一种高速无线测试网络系统架构
WO2023085546A1 (ko) 분산 ai 서비스 간 연계 분석을 통한 스마트 팜 서비스 관리 방법 및 스마트 팜 서비스를 제공하는 전자장치
CN107333035A (zh) 低功耗、小尺寸、可扩展的可见光红外双目测温摄像头

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953866

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19953866

Country of ref document: EP

Kind code of ref document: A1