KR20180089132A - Method of providing contents using modular system for deep learning - Google Patents
Method of providing contents using modular system for deep learning Download PDFInfo
- Publication number
- KR20180089132A KR20180089132A KR1020170013832A KR20170013832A KR20180089132A KR 20180089132 A KR20180089132 A KR 20180089132A KR 1020170013832 A KR1020170013832 A KR 1020170013832A KR 20170013832 A KR20170013832 A KR 20170013832A KR 20180089132 A KR20180089132 A KR 20180089132A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- character
- raw data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Library & Information Science (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법에 대한 것으로, 딥러닝 분석 기법을 활용하여, 입력된 영상 및 비영상 자료의 분석을 통하여 컨텐츠를 제공하는 방법에 대한 것이다.
이를 위해, 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법은 표준 API인터페이스부(11), 이미지 객체DB(12), 딥러닝 알고리즘 모듈(13), 훈련 데이터셋 저장소(14) 및 응용 서비스DB(15)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용하여, 원시데이터 입력 단계(S10), 원시데이터 판독 단계(S20), 판독된 데이터에 따른 처리 모듈 판단 단계(S30), 처리 모듈 적용 단계(S40), 데이터 처리단계(S50) 및 컨텐츠 생성 단계(S60)로 구성된다.The present invention relates to a method for providing content using a modular system for deep run analysis, and a method for providing content through analysis of input image and non-image data using a deep run analysis technique.
To this end, a content providing method using a modular system for deep learning analysis includes a standard API interface unit 11, an image object DB 12, a deep learning algorithm module 13, a training data set storage 14, (Step S10), a raw data reading step (S20), a process module determination step (S30) according to the read data, and a process module application step (step S30) using a modular system for deep run analysis (S40), a data processing step (S50), and a content generation step (S60).
Description
본 발명은 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법에 대한 것으로, 딥러닝 분석 기법을 활용하여, 입력된 영상 및 비영상 자료의 분석을 통하여 컨텐츠를 제공하는 방법에 대한 것이다.The present invention relates to a method for providing content using a modular system for deep run analysis, and a method for providing content through analysis of input image and non-image data using a deep run analysis technique.
일반적으로 딥러닝(Deep learning) 기술은 여러 비선형 변환기법의 조합을 통해 대상물인 영상 또는 비영상을 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 알려져 있으며, 이와 같은 딥러닝 기법을 이용하여 영상 또는 비영상의 데이터를 분석하여 이에 대한 통계 자료 등을 제공하는 기술을 말하는 것으로 다양한 분야에서 활용되고 있다.Deep learning is generally known as a set of machine learning algorithms that try to achieve high level of abstraction of objects or non-images through a combination of various nonlinear transformation techniques. Using such a deep learning technique, Or non-image data, and provides statistical data on the data, which is utilized in various fields.
그 중 대표적인 것으로, 문헌 및 인쇄물 등에 대한 인식과 함께 인식된 자료의 보정을 통하여 원본에 가까운 자료를 복원하는 기술에 많이 적용되게 된다.Typically, it is applied to a technique of restoring data close to the original through correction of the recognized data together with the recognition of documents and printed materials.
또는 영상자료의 분석을 통하여, 영상 자료에 포함되는 특정 대상물의 인식과 관련된 기술에도 적용되고 있다.Or by analyzing image data, it is also applied to techniques related to recognition of specific objects included in image data.
그러나, 이러한 딥러닝 기술의 경우 그 구현을 위해 많은 시행착오 및 반복작업을 통한 학습이 수반되기 때문에 대용량의 데이터가 발생되거나 비숙련자인 일반인의 경우에 접근이 어려운 문제가 있었다.However, in the case of such a deep learning technique, there is a problem in that a large amount of data is generated because it is accompanied by learning through trial and error and repetitive work for the implementation, and it is difficult for a general person who is not skilled to access.
이에 따라, 본 출원인은 대한민국 등록특허 제10-1657495호(딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법, 이하 '선행기술'이라 함)을 제안하였으며, 이와 같은 선행기술을 통하여 보다 수준높은 영상 인식 방법을 제공하게 되었다.Accordingly, the present applicant has proposed Korean Patent No. 10-1657495 (modularization system for deep run analysis and image recognition method using it, hereinafter referred to as "prior art"), and through this prior art, Image recognition method.
그러나, 사회가 발전하고 수요자의 다양한 요구에 따라, 영상 뿐만 아니라 비영상의 대상객체에 대한 인식방법 및 이와 같은 자료를 활용하여 다양한 컨텐츠를 제공하고자 하는 요구가 많아지고 있는 실정이다.However, there is a growing demand for providing a variety of contents by utilizing the recognition method of the non-image target object as well as the image according to the various demands of the consumer as the society develops.
상기와 같은 사회적인 요구에 따라 딥러닝 분석을 위한 모듈화 시스템을 이용하여, 영상 및 비영상에 대한 대상객체에 대한 인식 방법 및 이를 활용하여 수요자의 요구에 따른 다양한 컨텐츠를 제공하고자 하는 것을 본 발명의 목적으로 한다.It is an object of the present invention to provide a method for recognizing a target object for a video and a non-video using a modular system for deep learning analysis according to the above-mentioned social demand, and to provide various contents according to a demand of a consumer by utilizing the method. .
본 발명의 또다른 목적은 수요자의 요구에 따라 다양한 형태의 컨텐츠를 용이하게 제작할 수 있도록 하는 모듈화 시스템을 이용한 컨텐츠 제공방법을 제공하는 것이다.It is still another object of the present invention to provide a method of providing contents using a modular system that allows various types of contents to be easily produced according to a demand of a consumer.
본 발명의 목적을 달성하기 위해 표준 API인터페이스부(11), 이미지 객체DB(12), 딥러닝 알고리즘 모듈(13), 훈련 데이터셋 저장소(14) 및 응용 서비스DB(15)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법은 처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 원시데이터 입력 단계(S10); 앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 원시데이터 판독 단계(S20); 상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 판독된 데이터에 따른 처리 모듈 판단 단계(S30); 앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하는 처리 모듈 적용 단계(S40); 앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터의 특징을 데이터로 생성하는 데이터 처리단계(S50); 및 상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여 컨텐츠를 생성하는 컨텐츠 생성 단계(S60)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법을 제공하게 된다.In order to accomplish the object of the present invention, a deep learning system which comprises a standard
또한, 상기 원시데이터 입력 단계(S10)는 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 되는 것으로, 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 되고, 상기 원시데이터 판독 단계(S20)는 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하되, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)를 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 된다.The raw data input step S10 is a step of storing the raw data in the image object module state through the
또한, 상기아 같은 원시데이터가 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하게 되며, 상기 처리 모듈 적용 단계(S40)에서 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하게 된다.If the raw data such as the above is not a non-image, the image is firstly recognized as an image. Then, the image characteristic of the raw data recognized as a primary image is recognized through deep running, and then a secondary reading In order to construct a module for the deep learning algorithm, the processing module for applying the deep learning method in the application step S40 of the processing module may be a deep neural network, one or more deep learning algorithms such as a convolutional neural network, a recurrent neural network, and the like.
또한, 상기 데이터 처리단계(S50)는 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화 하는 데이터베이스화(S540)로 구성되고, 상기 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되며, 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 된다.In the data processing step S50, character recognition (S510) as a specific object included in the video and non-video for each data (S510), character designation (S520) for assigning ID as a recognition mark for each character to distinguish the identified character, (S530) for creating character-specific data such as position and time on the frame of the designated character, movement trajectory and the like as data, and a database (S540) for converting the generated character-specific data into a database, , The character IDs, the position on the frame, the time, and the locus of movement are formed into a database for each character, and the generated database for each character is additionally stored in the
또한, 상기 컨텐츠 생성 단계(S60)는 S50단계에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상을 추출하여 제공할 수 있도록 하며, 상기 컨텐츠 생성 단계(S80)는 사용자에게 디스플레이 모듈을 더 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 한다.In step S60, the content generation step S60 generates characterization data for character or frame based on data processed for each image object, which is raw data, through characterization of each character in step S50. The content generation step S80 can extract and provide images that are included in the synapse game, the story telling, and the design or continuous operation included in the image or non-image of each character based on the character-by-character data, So that the contents can be easily generated.
또한, 상기 디스플레이 모듈은 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법을 제공함으로써 본 발명의 목적을 보다 잘 달성할 수 있도록 한다.In addition, the display module can drag and apply a function required by a user to a display window by applying a drag-and-drop method, thereby providing a content providing method using a modularization system for deep run analysis. Make it easier to achieve the goal.
본 발명을 제공함으로써, 영상 및 비영상의 다양한 객체를 보다 용이하게 인식할 수 있도록 하며, 이에 따른 결과물을 활용하여 수요자에게 다양한 컨텐츠를 제공하는 효과가 있다.By providing the present invention, various objects of video and non-video can be recognized more easily, and various contents are provided to a consumer by utilizing the resultant result.
도 1은 본 발명에 적용되는 시스템의 구성도이다.
도 2는 본 발명의 순서도이다.
도 3은 본 발명에 따른 데이타 처리단계(S50)의 세부구성도이다.
도 4는 본 발명에 따른 실시예를 도시한 예시도이다.1 is a configuration diagram of a system applied to the present invention.
2 is a flow chart of the present invention.
3 is a detailed configuration diagram of the data processing step S50 according to the present invention.
4 is an exemplary view showing an embodiment according to the present invention.
이하에서 본 발명의 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법을 당업자가 용이하게 실시할 수 있도록 도면을 참조하여 상세하게 설명하도록 한다.Hereinafter, a method of providing contents using a modular system for deep run analysis according to the present invention will be described in detail with reference to the drawings so that those skilled in the art can easily carry out the present invention.
도 1은 도 1은 본 발명에 적용되는 시스템의 구성도이고, 도 2는 본 발명의 순서도이며, 도 3은 본 발명에 따른 데이타 처리단계(S50)의 세부구성도이다.FIG. 1 is a configuration diagram of a system applied to the present invention, FIG. 2 is a flowchart of the present invention, and FIG. 3 is a detailed configuration diagram of a data processing step (S50) according to the present invention.
도 1 내지 도 3을 참조하여 상세하게 설명하면, 본 발명의 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법은 모듈간의 연결을 위한 표준 논리 회로와 입출력 채널을 포함하는 표준 API 인터페이스(11)와 상기 표준 API 인터페이스(11)를 통해 이미지 객체 모듈을 송신 및 수신하고 각 카테고리별로 이미지 객체 데이터를 모듈상태로 저장하는 이미지 객체 데이터베이스(12)와 상기 이미지 객체 데이터베이스(12)에 저장된 이미지 객체를 반복작업을 통해 이미지 객체 인식 응용서비스를 구현하기 위한 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)와 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 출력된 결과값을 통계하여 훈련데이터를 저장하는 훈련된 데이터셋 저장소(14) 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍 된 응용서비스를 저장하는 응용서비스 데이터베이스(15)를 포함하여 구성되는 대한민국 등록특허 제10-1657495호의 딥러닝 분석을 위한 모듈화시스템(10)을 이용하여, 원시데이터 입력 단계(S10), 원시데이터 판독 단계(S20), 판독된 데이터에 따른 처리 모듈 판단 단계(S30), 처리 모듈 적용 단계(S40), 데이터 처리단계(S50) 및 컨텐츠 생성 단계(S60)로 구성된다.1 to 3, a content providing method using a modular system for deep run analysis according to the present invention includes a standard logic interface for connection between modules, a
상기 원시데이터 입력 단계(S10)는 처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 것이다.The raw data input step (S10) is a process of receiving data for processing, and receives raw data of video and non-video.
이때, 상기 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 된다.At this time, raw data is stored as an image object module state through the
여기서 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 된다.Here, the image object data stored in the
상기 단계(S10) 후 원시데이터 판독 단계(S20)는 앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 것으로 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하게 된다.The step S20 of reading the raw data after the step S10 is a step of reading the type of the raw data inputted in the preceding step S10 so that the image object, which is the raw data stored in the
이때, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13) 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 된다.In this case, the deep learning algorithm module is modularized to read the image object, which is the raw image data, through the deep learning
여기서 판독을 위한 프레임이 비영상일 경우 프레임이 연속되지 않기 때문에 원시데이터가 비영상임을 인식하게 되고, 원시데이터가 상기와 같은 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하게 된다.If the frame for reading is a non-image, since the frames are not continuous, it is recognized that the raw data is non-image. If the raw data is not the non-image as described above, the image is first recognized as an image, The image characteristic of the raw data recognized as the primary image is grasped and the reliability of the data is ensured through the secondary reading of the continuous frame recognition.
여기서 화상 특징은 캐릭터 및 프레임상의 색상 및 음영 등을 말하는 것이다.Here, the image characteristic refers to color and shade on the character and the frame.
이는 비영상인 사진 등의 원시데이터를 연속으로 배치한 경우 이를 영상으로 오인할 수 있는 문제점을 극복하기 위한 것이다.This is to overcome the problem of misinterpretation of raw data such as non-video photographs in a continuous manner.
보다 상세하게 설명하면, 원시데이터 중 1차적으로 영상으로 인식된 데이터 중 1개의 프레임에 포함되어 있는 캐릭터 및 프레임상의 색상 및 음영 등을 파악한 후 연속되는 프레임에서의 캐릭터 및 프레임상의 색상 및 음영 등의 연속성을 파악하여 영상 여부에 대한 2차 판독이 가능한 것이다.More specifically, the color and shadow on the character and the frame included in one frame among the data recognized as the primary image among the raw data are grasped, and the color and shadow on the character and the frame on the subsequent frame The continuity can be grasped and secondary readings can be made on the presence or absence of the image.
이와 같은 방법에 의해 영상과 비영상의 판독이 가능한 것이며, 영상에 대한 신뢰성을 확보하기 위해 2번의 판독과정을 거치게 되는 것이다.By this method, it is possible to read the image and non-image, and in order to ensure the reliability of the image, it is subjected to two reading processes.
이때, 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복작업을 통해 결과값을 출력하여 상기 이미지 객체 데이터인 원시데이터의 종류를 판독하게 되는 것이다.At this time, the result value is outputted through the iterative operation of inputting the image object data to the deep learning algorithm, and the type of the raw data which is the image object data is read.
또한, 이러한 결과값을 통계하여 훈련데이터를 저장하는 훈련데이터셋 저장소(14)에 그 결과값에 대한 통계값 즉 훈련데이터를 획득함으로써, 또다른 원시데이터인 이미지 객체 데이터의 입력시 훈련데이터와의 비교를 통하여 그 신뢰성을 향상시키게 되는 것이다.In addition, by obtaining the statistical value of the result value, that is, the training data, in the training data set
판독된 데이터에 따른 처리 모듈 판단 단계(S30)는 상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 것으로, 보다 상세하게 설명하면, 판독된 원시데이터가 영상 또는 비영상의 종류에 따라 적용될 처리 모듈의 종류를 판단하는 것이다.The process module determination step S30 according to the read data determines the process module according to the type of the image object data that is the raw data read in step S20. More specifically, Or the type of the processing module to be applied according to the type of the non-image.
영상의 경우 프레임의 연속성으로 인하여 많은 양의 데이터를 처리해야 하기 때문에, 이에 따라 빅데이터를 처리할 수 있는 모듈을 적용해야 하고, 비영상의 경우 영상에 대한 왜곡에 대한 보정 또는 손실된 정보에 대한 복원 등의 방법을 적용할 수 있는 모듈을 적용하게 되는 것이다.In the case of video, a large amount of data must be processed due to the continuity of the frame. Therefore, a module capable of processing big data must be applied. In the case of non-video, And a restoration method can be applied.
이때, 상기 훈련데이터셋 저장소(14) 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍된 응용서비스를 저장하는 응용서비스 데이터베이스(15)에 저장된 처리 모듈을 이용하여 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 적용하는 처리 모듈 적용 단계(S40)를 거치게 된다.At this time, data of the training data set
여기서, 처리 모듈 적용 단계(S40)는 앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하게 된다.Here, in the processing module application step S40, when the processing module according to the raw data is judged and selected in the preceding step S30, the selected processing module is applied.
이때, 상기 처리 모듈은 원시데이터인 이미지 객체 데이터에 따라 선택된 모듈을 적용하게 되는 것으로, 오픈소스를 이용한 모듈을 적용하게 된다.At this time, the processing module applies the selected module according to the image object data, which is the raw data, and applies the module using the open source.
보다 상세하게 설명하면, 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하게 된다.More specifically, the processing module for applying the deep learning technique may be a deep neural network, a convolutional neural network, a recurrent neural network, ) And the like are modularized and applied.
이는 원시데이터의 특성에 따라 상기와 같은 딥러닝 알고리즘 중 최적화된 알고리즘을 적용하기 위한 것이다.This is for applying the optimized algorithm among the deep learning algorithms according to the characteristics of the raw data.
여기서, 상기와 같은 알고리즘 모듈의 경우, 사용자가 영상 및 비영상에 따른 최적화 모듈에 대하여, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 중 단독 또는 복합적으로 적용되도록 입력한 기준을 따라 적용하게 되는 것이다.Herein, in the case of the above-described algorithm module, a user selects one of a deep neural network, a convolutional neural network, a recurrent neural network, It is applied according to the inputted criteria so as to be applied in combination.
예를 들어, 원시데이터가 비영상인 것으로 판단되고, 비영상에 포함된 사물이 주요 대상일 경우 앞선 알고리즘 중 단독으로 적용하게 되는 것이고, 만약 사물과 색상 및 음영 등의 부가적인 정보까지 처리할 경우 알고리즘을 복합적으로 적용하게 되는 것이다.For example, if the source data is determined to be non-image and the object included in the non-image is the main object, the algorithm will be applied alone. If additional information such as object, color, and shade is processed Algorithm is applied in a complex way.
데이터 처리단계(S50)는 앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터인 이미지 객체 데이터를 처리하는 것으로 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화 하는 데이터베이스화(S540)로 구성된다.In the data processing step S50, the deep learning algorithm is applied in the preceding step S40, and then the image object data, which is raw data, is processed according to the algorithm. The character recognition S510, which is a specific object included in the image and non- (S530) for generating character-specific data such as the position and time on the frame of the designated character, the movement trajectory, and the like as data; And a database (S540) for converting the generated character-specific data into a database.
상기와 같은 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되는 것이다.In the data for each character as described above, the ID of the character, the position on the frame, the time, and the movement trajectory are formed into one object and the database is formed for each character.
이와 같이 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 된다.The generated character database is additionally stored in the
상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상 등을 추출하여 제공할 수 있도록 하는 컨텐츠 생성 단계(S60)을 거치게 된다.In step S50, based on data processed for each image object, which is raw data, character-by-character database and character-by-character mapping, character-by- A content generation step S60 of extracting and providing a screening, a storytelling, and an image, which is included in a character-by-character image or a non-image, and which is a design or a continuous operation, is provided.
이때, 상기 컨텐츠 생성 단계(S80) 사용자에게 디스플레이 모듈(미도시)을 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 하는데, 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 한다.At this time, in the content generation step S80, a display module (not shown) is provided to the user to facilitate content creation. The user can drag and apply a necessary function to the display window by applying a drag- .
예를 들어, 캐릭터별 시눕시스를 작성할 경우 디스플레이창에 캐릭터 중 이야기의 중심이 되는 캐릭터를 가운데 배치하고, 상기 중심이 되는 캐릭터와 주변 캐릭터간의 알고리즘 형태의 관계도를 설정하여 이야기의 흐름을 선택할 수 있도록 하는 것이다.(도 4 참조)For example, in case of creating a character-by-character Neuropsys, a character that is the center of a character among the characters is arranged in the center of the display window, and the relationship of the algorithm type between the center character and the surrounding character is set, (See FIG. 4).
이와 같이 중심이 되는 캐릭터와 주변 캐릭터간의 관계가 설정되면, 영상 또는 비영상의 흐름에 따라 캐릭터의 이동궤적, 형태적인 특성 등에 따라 문자화하여 시눕시스에 부가적으로 표현되기도 하는 것이다.If the relationship between the central character and the surrounding character is set as described above, the character may be additionally expressed in the diachronic system according to the movement trajectory and morphological characteristics of the character according to the flow of the image or non-image.
이는 컨텐츠 생성 단계(S60)에서 제공될 수 있는 맵핑, 스토리텔링과 같이 캐릭터별 연관 관계가 성립되는 경우에 적용될 수 있으며, 이와 같은 컨텐츠에 한정하는 것은 아니며, 다양한 유사 형태의 컨텐츠에 적용될 수 있음을 밝혀 둔다.This can be applied to a case in which a character-by-character association relationship such as mapping and storytelling that can be provided in the content generation step S60 is established. The present invention is not limited to such content and can be applied to various similar types of contents I will reveal.
이와 같은 일련의 방법을 통하여 맵핑, 시눕시스, 스토리 텔링 및 캐릭터별 디자인 또는 연속 동장인 영상과 같은 컨텐츠를 제공하게 되는 것이며, 이외의 다양한 컨텐츠를 제공할 수 있는 것이다.Through such a series of methods, it is possible to provide contents such as mapping, synapse sleep, story telling, character-by-character design, or continuous motion picture, and other various contents can be provided.
10 : 모듈화 시스템
11 : 표준 API 인터페이스
12 : 이미지 객체 DB
13 : 딥러닝 알고리즘 모듈 DB
14 : 훈련된 데이터셋 저장소
15 : 응용서비스 DB
S10 : 원시데이터 입력 단계
S20 : 원시데이터 판독 단계
S30 : 판독된 데이터에 따른 처리 모듈 판단 단계
S40 : 처리 모듈 적용 단계
S50 : 데이터 처리 단계
S60 : 컨텐츠 생성 단계10: Modularization system 11: Standard API interface
12: Image object DB 13: Deep learning algorithm module DB
14: Trained data set storage 15: Application service DB
S10: Raw data input step
S20: Raw data read step
S30: Process module determination step according to the read data
S40: Step of applying processing module
S50: Data processing step
S60: Content creation step
Claims (10)
처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 원시데이터 입력 단계(S10);
앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 원시데이터 판독 단계(S20);
상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 판독된 데이터에 따른 처리 모듈 판단 단계(S30);
앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하는 처리 모듈 적용 단계(S40);
앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터의 특징을 데이터로 생성하는 데이터 처리단계(S50); 및
상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여 컨텐츠를 생성하는 컨텐츠 생성 단계(S60)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법.
The content using the modularization system for deep learning analysis, which is composed of the standard API interface unit 11, the image object DB 12, the deep learning algorithm module 13, the training data set storage 14 and the application service DB 15 How to provide
A raw data input step (S10) of receiving raw data of a video and a non-video;
A raw data reading step (S20) of reading the type of the raw data inputted in the preceding step (S10);
A processing module determination step (S30) according to the read data for determining a processing module according to the kind of image object data which is the raw data read in the step (S20);
A processing module application step (S40) for applying the selected processing module to the processing module according to the raw data in the preceding step (S30);
A data processing step (S50) of applying a deep learning algorithm in a preceding step (S40) and generating characteristics of a character, which is a specific object included in an image and a non-image, for each raw data according to an algorithm; And
And a content generation step (S60) of generating content based on data processed for each image object, which is raw data, through characterization-based database formation in the step S50, a content providing method using a modularization system for deep learning analysis .
원시데이터 입력 단계(S10)는 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 되는 것으로, 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법.
The method according to claim 1,
In the primitive data input step S10, primitive data is stored in the state of the image object module through the standard API interface 11 to generate the image object database 12. The image object database 12 stores the image object The data is recognized as an image object of raw image data and non-image data, and the data is modularized and stored for each category, and the content providing method using the modularization system for deep run analysis.
상기 원시데이터 판독 단계(S20)는 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하되, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)를 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
3. The method of claim 2,
The raw data reading step S20 includes a deep learning algorithm module database 13 which recognizes an image object through repetitive operation of the image object stored in the image object database 12 and modifies the deep learning algorithm, And the type of the raw data is divided into the image or non-image through the determination of the continuity of the raw data by the frame, for reading the type of the image or the non-image through the image object which is the raw data. A method for providing contents using a modular system.
원시데이터가 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
The method of claim 3,
If the raw data is not a non-image, it is recognized as an image first, then the image characteristics of the raw data recognized as a primary image are recognized through a deep run, and then the reliability of the data Wherein the step of analyzing the content of the content is performed by using a modularization system for deep run analysis.
상기 처리 모듈 적용 단계(S40)에서 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
The method according to claim 1,
The processing module for applying the deep learning method in the applying step S40 of the processing module may be a deep neural network, a convolutional neural network, a circular neural network recurrent neural network), and applies the same to the module. The method for providing contents using the modularization system for deep run analysis.
상기 데이터 처리단계(S50)는 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화하는 데이터베이스화(S540)로 구성되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
The method according to claim 1,
In the data processing step S50, character recognition (S510) as a specific object included in the image and non-image for each data (S510), character designation (S520) for assigning ID as recognition recognition to each character to distinguish the identified character, (S530) for creating character-specific data such as position and time on the character's frame, movement trajectory and the like as data, and a database (S540) for converting the generated character-specific data into a database. A method for providing content using a modular system for.
상기 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되며, 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
The method according to claim 6,
The data for each character is converted into a database for each character by using the ID of the character, the position on the frame, the time, and the locus of movement as one object. The generated database for each character is further stored in the image object database 12, And further includes character-by-character data included in the image object for each category.
상기 컨텐츠 생성 단계(S60)는 S50단계에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상을 추출하여 제공할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
8. The method of claim 7,
In step S60, the content generation step S60 generates characterization data for each character and frame based on data processed for each image object, which is raw data, A modularization system for deep run analysis is provided, which is capable of extracting and presenting images, which are contained in and represented in a neural network, storytelling, and character-by-character or non-image based on data, A method of providing contents using.
상기 컨텐츠 생성 단계(S80)는 사용자에게 디스플레이 모듈을 더 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
9. The method of claim 8,
The content generation step S80 may further provide a display module to a user to facilitate content creation.
상기 디스플레이 모듈은 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.10. The method of claim 9,
Wherein the display module is capable of dragging and applying a function required by a user to a display window by using a drag and drop method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170013832A KR101930400B1 (en) | 2017-01-31 | 2017-01-31 | Method of providing contents using modular system for deep learning |
| PCT/KR2017/001030 WO2018143486A1 (en) | 2017-01-31 | 2017-01-31 | Method for providing content using modularizing system for deep learning analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170013832A KR101930400B1 (en) | 2017-01-31 | 2017-01-31 | Method of providing contents using modular system for deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180089132A true KR20180089132A (en) | 2018-08-08 |
| KR101930400B1 KR101930400B1 (en) | 2018-12-18 |
Family
ID=63040238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170013832A Active KR101930400B1 (en) | 2017-01-31 | 2017-01-31 | Method of providing contents using modular system for deep learning |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101930400B1 (en) |
| WO (1) | WO2018143486A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934106A (en) * | 2019-01-30 | 2019-06-25 | 长视科技股份有限公司 | A kind of user behavior analysis method based on video image deep learning |
| CN110418210A (en) * | 2019-07-12 | 2019-11-05 | 东南大学 | A Video Caption Generation Method Based on Bidirectional Recurrent Neural Network and Depth Output |
| WO2020069039A1 (en) * | 2018-09-27 | 2020-04-02 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
| KR20200068553A (en) * | 2018-12-05 | 2020-06-15 | 서울대학교산학협력단 | Method and apparatus for generating story from plurality of images by using deep learning network |
| US11106942B2 (en) | 2019-10-08 | 2021-08-31 | Electronics And Telecommunications Research Institute | Method and apparatus for generating learning data required to learn animation characters based on deep learning |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114429569B (en) * | 2020-10-14 | 2025-08-19 | 台达电子工业股份有限公司 | Automatic generation system and method for training images |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9633042B2 (en) | 2014-02-28 | 2017-04-25 | Nant Holdings Ip, Llc | Object recognition trait analysis systems and methods |
| JP6532190B2 (en) | 2014-03-26 | 2019-06-19 | キヤノン株式会社 | Image search apparatus, image search method |
| KR101650924B1 (en) * | 2014-07-01 | 2016-08-24 | 주식회사 아이티엑스엠투엠 | System for intelligently analyzing video data and method thereof |
| KR101719278B1 (en) * | 2015-04-14 | 2017-04-04 | (주)한국플랫폼서비스기술 | Deep learnig framework and image recognition method for content-based visual image recognition |
| KR101657495B1 (en) * | 2015-09-04 | 2016-09-30 | (주)한국플랫폼서비스기술 | Image recognition method using deep learning analysis modular systems |
-
2017
- 2017-01-31 KR KR1020170013832A patent/KR101930400B1/en active Active
- 2017-01-31 WO PCT/KR2017/001030 patent/WO2018143486A1/en not_active Ceased
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020069039A1 (en) * | 2018-09-27 | 2020-04-02 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
| US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
| KR20200068553A (en) * | 2018-12-05 | 2020-06-15 | 서울대학교산학협력단 | Method and apparatus for generating story from plurality of images by using deep learning network |
| CN109934106A (en) * | 2019-01-30 | 2019-06-25 | 长视科技股份有限公司 | A kind of user behavior analysis method based on video image deep learning |
| CN110418210A (en) * | 2019-07-12 | 2019-11-05 | 东南大学 | A Video Caption Generation Method Based on Bidirectional Recurrent Neural Network and Depth Output |
| CN110418210B (en) * | 2019-07-12 | 2021-09-10 | 东南大学 | Video description generation method based on bidirectional cyclic neural network and depth output |
| US11106942B2 (en) | 2019-10-08 | 2021-08-31 | Electronics And Telecommunications Research Institute | Method and apparatus for generating learning data required to learn animation characters based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101930400B1 (en) | 2018-12-18 |
| WO2018143486A1 (en) | 2018-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101930400B1 (en) | Method of providing contents using modular system for deep learning | |
| EP3886037B1 (en) | Image processing apparatus and method for style transformation | |
| US12277688B2 (en) | Multi-task text inpainting of digital images | |
| CN106447625A (en) | Facial image series-based attribute identification method and device | |
| KR20200052438A (en) | Deep learning-based webtoons auto-painting programs and applications | |
| US20190286931A1 (en) | Method and system for automatic image caption generation | |
| US20230025450A1 (en) | Information processing apparatus and information processing method | |
| US20200005086A1 (en) | Deep learning-based automatic gesture recognition method and system | |
| CN113705559A (en) | Character recognition method and device based on artificial intelligence and electronic equipment | |
| US11455179B1 (en) | Processing system and processing method for performing emphasis process on button object of user interface | |
| CN115115868A (en) | Triple-modal collaborative scene recognition method based on triples | |
| Yan et al. | Personalized Learning Pathway Generation for Online Education Through Image Recognition. | |
| US11954901B2 (en) | Training data generation apparatus | |
| KR102582431B1 (en) | Vehicle identification learning data generation method and vehicle identification learning data generation system using the same | |
| US20240153295A1 (en) | Methods and Systems for Testing an Optical Character Recognition Model | |
| US20240371061A1 (en) | System and methods for machine-assisted map editing tools | |
| Yu et al. | Comparing attribute classifiers for interactive language grounding | |
| KR102648674B1 (en) | Apparatus and method for deep learning based image segmentation | |
| US11900659B2 (en) | Training data generation apparatus | |
| KR102591489B1 (en) | Synthetic data generation system and method using virtual environment | |
| US20250391146A1 (en) | System and method for detecting potential elements of interest present in digital user interfaces | |
| KR20250158962A (en) | Apparatus and method for generating document images used in machine-learning of text detection and recognition | |
| Miyamoto et al. | A Method for Generating Person Images with Controllable Face Orientation from Hand-Drawn Stick Figure Images | |
| KR20250017629A (en) | Text image translation system and method using GAN | |
| Ammirato | Recognizing Fine-Grained Object Instances for Robotics Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| P14-X000 | Amendment of ip right document requested |
St.27 status event code: A-5-5-P10-P14-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| S20-X000 | Security interest recorded |
St.27 status event code: A-4-4-S10-S20-lic-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| K11 | Ip right revival requested |
Free format text: ST27 STATUS EVENT CODE: A-6-4-K10-K11-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| K11-X000 | Ip right revival requested |
St.27 status event code: A-6-4-K10-K11-oth-X000 |
|
| K12 | Request for ip right revival rejected |
Free format text: ST27 STATUS EVENT CODE: A-6-4-K10-K12-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| K12-X000 | Request for ip right revival rejected |
St.27 status event code: A-6-4-K10-K12-oth-X000 |