[go: up one dir, main page]

WO2023282371A1 - 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법 - Google Patents

인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법 Download PDF

Info

Publication number
WO2023282371A1
WO2023282371A1 PCT/KR2021/008757 KR2021008757W WO2023282371A1 WO 2023282371 A1 WO2023282371 A1 WO 2023282371A1 KR 2021008757 W KR2021008757 W KR 2021008757W WO 2023282371 A1 WO2023282371 A1 WO 2023282371A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
worker
content
terminal device
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/008757
Other languages
English (en)
French (fr)
Inventor
이국경
김호균
김봉완
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glocalize Inc
Original Assignee
Glocalize Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glocalize Inc filed Critical Glocalize Inc
Priority to US17/430,056 priority Critical patent/US11966712B2/en
Publication of WO2023282371A1 publication Critical patent/WO2023282371A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation

Definitions

  • the present invention relates to a server and method for providing a multilingual subtitle service using an artificial intelligence learning model, and to a control method of the server, and more particularly, to a subtitle content job request and job execution for various content images in an integrated manner.
  • a service system capable of providing a multilingual subtitle service by including a dedicated multilingual subtitle content creation tool for available online content images and a method of controlling the server.
  • the present invention has been devised in response to the above-described needs, and an object of the present invention is to provide a caption service capable of integrally requesting and performing caption content operations for content video.
  • a server providing a caption service includes a first user terminal device of a client requesting translation of content video and a second user of a worker performing the translation work.
  • a communication unit for performing data communication with at least one of the terminal devices, a storage unit for storing a search list for a worker based on the learned worker information and an artificial intelligence learning model for evaluating the worker's task ability, and according to the client's worker recommendation command ,
  • a controller for controlling the communication unit to input image information about the content video into the artificial intelligence learning model, obtain a worker list for a translator capable of translation, and transmit the obtained worker list to the first user terminal device.
  • the worker information includes at least one of profile information for each worker, completed subtitle content for each worker, and evaluated task grade information for each worker.
  • the artificial intelligence learning model learns worker information stored in the storage unit, and based on the learned worker information, a data learning unit classifying translatable categories for each field by operator, and the image information and the data learning unit. It may include a data acquisition unit that obtains a list of operators capable of translating the content image based on the learned operator information.
  • the control unit inputs the image information to the artificial intelligence learning model, and the operator list obtained through the data acquisition unit. is transmitted to the first user terminal device, and when a selection command for at least one worker included in the worker list is received from the first user terminal device, a task is sent to the second user terminal device of the worker corresponding to the selection command.
  • the communication unit may be controlled to transmit an allocation message, and the image information may include at least one of address information, title information, and description information of the content image.
  • the control unit may, when receiving translation request information including at least one of an automatic translation command, working condition information, and image information from the first user terminal device, based on address information included in the image information, the content image Acquiring and extracting audio data from an image frame for the input content video, inputting the audio data to the artificial intelligence learning model, and the artificial intelligence learning model includes a language recognition unit recognizing a first language related to the extracted audio data.
  • the data acquisition unit may obtain a second language requested by the client from the first language recognized through the language recognition unit.
  • the artificial intelligence learning model converts a second language acquired through the data acquisition unit or a language corresponding to the subtitle contents updated in the storage unit into a language suitable for the context based on previously learned subtitle contents.
  • a translation check unit may be further included.
  • the data acquisition unit uses at least one of a verification result corrected by the translation verification unit in relation to the updated subtitle contents, working period information for the subtitle contents, and evaluation information of a user using the subtitle contents.
  • a task level value of a worker who worked on subtitle content may be obtained.
  • the control unit determines validity of the content image based on the image information, and then determines the validity of the content image based on the image information.
  • a task generator for generating and storing task information related to the verified translation request information, and a subtitle content creation tool for translating content images related to at least one piece of translation request information stored in the storage unit, the second user terminal device and a task execution unit for storing the caption contents in the storage unit when the caption contents for which the translation work has been completed are received from the second user terminal device, wherein the image information includes address information for the content video; It may include at least one of title information and description information about the content video.
  • the storage unit includes a temporary storage unit for storing subtitle contents for which the translation work has been completed and a final storage unit for storing subtitle contents for which translation verification has been completed among the subtitle contents stored in the temporary storage unit.
  • An inspection tool for verifying the translation of the language included in at least one subtitle content stored in the temporary storage unit is provided to the third user terminal device of the inspector, and when an inspection completion message is received from the third user terminal device, the inspection process is performed. Completed subtitle content may be stored in the final storage unit.
  • control unit evaluates the test capability of the unregistered worker to generate task grade information of the unregistered worker, and obtains information from the unregistered worker.
  • the method may further include a member management unit generating profile information including at least one of provided personal information, history information, cost information, and evaluation information and the task grade information, and storing the generated profile information in the storage unit.
  • a method for providing a caption service by using an artificial intelligence learning model in a server is a client's first user terminal device requesting translation of a content video and a worker performing the translation task.
  • performing data communication with at least one of the second user terminal devices inputting image information about the content image into an artificial intelligence learning model according to the client's operator recommendation command, and using the artificial intelligence learning model Acquiring a worker list for workers capable of translating the content video and transmitting the obtained worker list to the first user terminal device, wherein the worker information includes profile information for each worker, the worker It includes at least one of completed subtitle content for each job and task grade information evaluated for each worker.
  • the acquiring step may include learning operator information stored in the storage unit through a data learning unit of the artificial intelligence learning model, classifying translatable categories for each operator and field based on the learned operator information, and learning the operator information.
  • a list of operators capable of translating the content image may be obtained by inputting information and image information to the data acquisition unit of the artificial intelligence learning model.
  • the inputting may include inputting the image information to the artificial intelligence learning model when translation request information including at least one of worker request information, working condition information, and image information is received, and the first user terminal device When a selection command for at least one worker included in the worker list is received from the operator, transmitting a task assignment message to a second user terminal device of a worker corresponding to the selection command, wherein the image information comprises: It may include at least one of address information about the content video, title information, and description information about the content video.
  • the inputting may include, when translation request information including at least one of an automatic translation command, working condition information, and image information is received from the first user terminal device, based on address information included in the image information, A content image is obtained and input to the language recognition unit of the artificial intelligence learning model.
  • the first language is input to the data acquisition unit
  • the method may further include acquiring a second language requested by the client from the first language.
  • converting the second language or the language corresponding to the subtitle contents updated in the storage unit into a language suitable for the context can include more.
  • the data acquisition unit uses at least one of a verification result corrected by the translation verification unit in relation to the updated subtitle contents, working period information for the subtitle contents, and user evaluation information using the subtitle contents to obtain the subtitle contents.
  • the method may further include obtaining a task level value of a worker who worked on subtitle content.
  • a control method of a server providing a caption service includes receiving translation request information including at least one of working condition information and image information from a first user terminal device of a client; After determining the validity of the content image based on the image information, storing the translation request information for which the validity has been verified. In response to a request from an operator, the content image related to at least one translation request information stored in the storage unit is stored. Transmitting a caption content creation tool for a translation job to a second user terminal device of the operator, and storing the caption content when the caption content for which the translation job is completed is received from the second user terminal device,
  • the video information includes at least one of address information, title information, and description information about the content video.
  • the storing may include storing the subtitle contents for which the translation work has been completed in a temporary storage unit and checking translation for a language included in at least one subtitle content stored in the temporary storage unit according to a work request of an inspector.
  • the method may include transmitting an inspection work tool for inspection to a third user terminal device of an inspector, and storing subtitle content that has been inspected in the final storage unit when an inspection completion message is received from the third user terminal device. .
  • the method further includes registering worker information including profile information and task grade information of an unregistered worker and updating the registered worker information, wherein the registering comprises: personal information of the unregistered worker; Generating the profile information including at least one of history information, cost information, and evaluation information, and evaluating test capability of the unregistered worker when a registration request command is received from the second user terminal device of the unregistered worker.
  • the step of generating task grade information of the non-registered worker, wherein the step of updating includes work period information on subtitle contents completed by the registered worker, error correction information, and user evaluation using the subtitle contents.
  • Task grade information of the registered worker may be updated using at least one of the pieces of information.
  • a server providing a caption service may provide a caption service capable of integrally requesting and executing caption content operations for content images through an artificial intelligence learning model.
  • the present invention provides a requester who requests subtitle content work including source language and translation target language work for video content distributed online in the form of various resources, a worker who performs source language and translation target language work, and generated subtitles.
  • the present invention provides a new revenue model for workers and inspectors by providing a subtitle service that mediates a subtitle content operator, a subtitle content client, and a subtitle content inspector in a server, and reduces the cost required for subtitle content generation for the client. It works.
  • FIG. 1 is an exemplary view of a caption service system according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a server providing a caption service according to an embodiment of the present invention
  • FIG. 3 is a detailed block diagram of a storage unit according to an embodiment of the present invention.
  • FIG. 4 is a detailed block diagram of an artificial intelligence learning model according to an embodiment of the present invention.
  • FIG. 5 is a detailed block diagram of a data learning unit and a data acquisition unit according to an embodiment of the present invention.
  • FIG. 6 is a detailed block diagram of a control unit according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of a user terminal device according to an embodiment of the present invention.
  • FIGS. 8 and 9 are exemplary views of displaying a caption service window for a client in a user terminal device according to an embodiment of the present invention.
  • 10 to 12 are examples of displaying a caption service window for an operator in a user terminal device according to an embodiment of the present invention.
  • FIG. 13 is a flowchart of a method for providing a caption service using an artificial intelligence learning model in a server according to an embodiment of the present invention
  • FIG. 14 is a flowchart of a control method of a server providing a caption service according to the present invention.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • an element e.g, a first element
  • another element e.g., a second element
  • the element and the above It may be understood that other components (eg, a third component) do not exist between the other components.
  • the expression “configured to” means “suitable for,” “having the capacity to,” depending on the circumstances. ,” “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware.
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C” may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • Electronic devices include, for example, a smart phone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, and a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device.
  • a wearable device may be in the form of an accessory (e.g. watch, ring, bracelet, anklet, necklace, eyeglasses, contact lens, or head-mounted-device (HMD)), integrated into textiles or clothing (e.g.
  • the electronic device may include, for example, a television, a digital video disk (DVD) player, Audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave, washing machine, air purifier, set top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSyncTM, Apple TVTM, or Google TVTM), game console (eg, XboxTM, PlayStationTM), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include various types of medical devices (e.g., various portable medical measuring devices (such as blood glucose meter, heart rate monitor, blood pressure monitor, or body temperature monitor), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), CT (computed tomography), imager, or ultrasonicator, etc.), navigation device, global navigation satellite system (GNSS), EDR (event data recorder), FDR (flight data recorder), automobile infotainment device, marine electronic equipment (e.g.
  • various portable medical measuring devices such as blood glucose meter, heart rate monitor, blood pressure monitor, or body temperature monitor
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT computed tomography
  • imager or ultrasonicator, etc.
  • navigation device e.g., global navigation satellite system (GNSS), EDR (event data recorder), FDR (flight data recorder), automobile infotainment device, marine electronic equipment (e.g.
  • navigation devices for ships, gyrocompasses, etc. avionics, security devices, head units for vehicles, industrial or home robots, drones, ATMs in financial institutions, point of sale (POS) in stores of sales), or IoT devices (eg, light bulbs, various sensors, sprinkler devices, fire alarms, thermostats, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.).
  • IoT devices eg, light bulbs, various sensors, sprinkler devices, fire alarms, thermostats, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.
  • the term user may refer to a person using an electronic device or a device using an electronic device (eg, an artificial intelligence electronic device).
  • FIG. 1 is an exemplary diagram of a caption service system according to an embodiment of the present invention.
  • the caption service system 1000 includes a server 100 providing caption services and first and second user terminal devices 200 - 1 and 200 - 2 .
  • the server 100 is a server that provides various services for a project requested by a client.
  • the project generates subtitle content for the original language (hereinafter referred to as the source language) (transcription) of the content video requested by the client, or translates the source language of the content video into the language requested by the client. It can be something to create.
  • the first user terminal device 200-1 is a terminal device of a client requesting a translation work for a content image
  • the second user terminal device 200-2 is a worker performing translation work for a content image requested by a client.
  • the first and second user terminal devices 200-1 and 200-2 may be electronic devices such as desktops, laptops, tablet PCs, and smart phones capable of accessing the Internet.
  • the server 100 providing the caption service converts image information about the content image requested by the client to an artificial intelligence learning model. to obtain a worker list for workers capable of translation, and transmit the obtained worker list to the first user terminal device 200-1 of the client.
  • the client may select a worker for the content image from the worker list displayed through the first user terminal device 200-1.
  • the server 100 When the server 100 receives a selection command for a worker selected by the client from the first user terminal device 200-1, the server 100 translates the content image requested by the client to the second user terminal device 200-2 of the corresponding worker. Sends a task assignment message for a job.
  • the operator can access the server 100 through the second user terminal device 200-2 and perform a translation job for the content image requested by the client.
  • the server 100 when the server 100 receives an automatic translation command for the content image requested by the client from the client's first user terminal device 200-1, the server 100 inputs the corresponding content image to the artificial intelligence learning model.
  • a first language related to the audio data may be recognized from the audio content included in the content image, and the recognized first language may be automatically translated into a second language requested by the client.
  • the server 100 determines whether the content image requested by the client is valid, and then determines the validity of the content image requested by the client. Creates and stores task information related to
  • the operator can check the task information stored in the server 100 through the second user terminal device 200-2 and perform a translation job for the content image requested by the client.
  • FIG. 2 is a block diagram of a server providing a caption service according to an embodiment of the present invention.
  • a server 100 providing a caption service includes a communication unit 110 , a storage unit 120 and a control unit 130 .
  • the communication unit 110 performs data communication with at least one of the client's first user terminal device 200-1 requesting translation of the content video and the worker's second user terminal device 200-2 performing the translation work. do.
  • the communication unit 110 is connected to an external network according to a wireless communication protocol such as IEEE to perform data communication with the first and second user terminal devices 200-1 and 200-2, or a relay device (not shown). ), it is possible to perform data communication with the first and second user terminal devices 200-1 and 200-2.
  • a wireless communication protocol such as IEEE to perform data communication with the first and second user terminal devices 200-1 and 200-2, or a relay device (not shown).
  • the storage unit 120 stores a worker search list based on the learned worker information and an artificial intelligence learning model that evaluates the worker's task ability.
  • the worker information may include at least one of completed subtitle content for each worker and evaluated task grade information for each worker.
  • the control unit 130 controls the overall operation of each component constituting the server 100 .
  • the control unit 130 obtains a worker list for workers capable of translation by inputting image information about content images into an artificial intelligence learning model according to the client's worker recommendation command, and sends the obtained worker list to the first user terminal. Controls the communication unit 110 to transmit to the device 200-1.
  • the content video is a video file format such as MP4, AVI, and MOV.
  • the artificial intelligence learning model learns worker information stored in the storage unit 120, classifies translatable categories for each worker and field based on the learned worker information, and provides content images requested by the client within the classified categories. It can be an AI model that provides a list of translatable workers for
  • the artificial intelligence learning model learns the information stored in the storage unit 120 through FIGS. 3 and 4 and outputs a result based on the learned information and the input information will be described in detail.
  • FIG. 3 is a detailed block diagram of a storage unit according to an embodiment of the present invention
  • FIG. 4 is a detailed block diagram of an artificial intelligence learning model according to an embodiment of the present invention.
  • the storage unit 120 includes a member information storage unit 310, a task information storage unit 320, an artificial intelligence learning model 330, a temporary storage unit 340, and a final storage unit 350. ).
  • the member information storage unit 310 may store profile information about all pre-registered members.
  • the pre-registered members may include a client who has requested translation work for the content video, a worker who performs the translation work requested by the client, and an inspector who performs verification (inspection) of the subtitle contents completed by the worker. .
  • Profile information of such members may include at least one of ID information, contact information, e-mail information, payment information, gender, and age information of pre-registered members. Meanwhile, when the member is a worker or inspector, the member information storage unit 310 may further store worker information including at least one of task grade information and history information in addition to profile information of the worker or inspector.
  • the task information storage unit 320 stores task information generated in relation to translation request information for a content image requested by a pre-registered client.
  • the translation request information may include at least one of operator request information, working condition information, and image information
  • the image information may include at least one of address information, title information, and description information about the content image requested by the client.
  • the description information may be detailed information about the content video
  • the subtitle condition information may include at least one of a language to be translated, a request date for completion of the translation work, a translation work cost, a worker level, and translation work difficulty information.
  • the translation request information may include a content video file.
  • the task information storage unit 320 may separately store task information not assigned to a worker, task information assigned to a worker, and task information completed by a worker.
  • the artificial intelligence learning model 330 learns profile information of members stored in the member information storage unit 310 and task information stored in the task information storage unit 320, and provides various services related to translation work based on the learned information.
  • the temporary storage unit 340 temporarily stores subtitle contents for which translation work has been completed by a worker or subtitle contents automatically translated through the artificial intelligence learning model 330, and the final storage unit 124 stores the subtitle contents in the temporary storage unit 123.
  • subtitle contents verified by an inspector or the artificial intelligence learning model 330 are stored.
  • the aforementioned artificial intelligence learning model 330 includes a data learning unit 331, a data acquisition unit 332, a language recognition unit 333, and a task evaluation unit 334, as shown in FIG. .
  • the data learning unit 331 learns worker profile information and worker information stored in the member information storage unit 121 of the storage unit 120, and classifies translatable categories for each worker and each field based on the learned worker information.
  • the data learning unit 331 may classify the main translation field as the medical field based on the profile information and worker information of the first worker.
  • the data acquisition unit 332 acquires a list of operators that can be translated for the content image requested by the client based on the image information and the operator information learned through the data learning unit 331 .
  • control unit 130 inputs the image information to the artificial intelligence learning model 330 when translation request information including at least one of worker request information, work condition information, and image information is received.
  • the image information may include at least one of address information for a content image, title information, and description information for the corresponding content image.
  • the data acquisition unit 332 provides information about the content image requested by the client based on the image information input to the artificial intelligence learning model 330 and the operator information learned through the data learning unit 331.
  • a category may be classified, and a worker list for workers corresponding to the classified category may be acquired.
  • control unit 130 transmits the operator list acquired through the data acquisition unit 332 to the client's first user terminal device 200-1, and from the first user terminal device 200-1 to the operator list.
  • a task assignment message is transmitted to the second user terminal device 200 - 2 of the worker corresponding to the selection command through the communication unit 110 .
  • the worker accesses the server 100 through the second user terminal device 200-2 and performs a translation job from the content image requested by the client.
  • the language recognition unit 333 recognizes a first language related to audio data extracted from an image frame of an input content image.
  • the control unit 130 sends address information included in the image information. Based on the content image is acquired, audio data is extracted from the image data for the acquired content image, and the extracted audio data is input to the artificial intelligence learning model. Accordingly, the language recognition unit 333 may recognize the first language from input data. The first language recognized through the language recognition unit 333 is input to the data acquisition unit 332, and the data acquisition unit 332 receives the input first language and language information pre-learned through the data learning unit 331. Obtain a second language converted from the first language based on.
  • the translation verification unit 334 converts the second language acquired through the data acquisition unit 332 or the language corresponding to the subtitle contents updated in the storage unit 120 into a language suitable for the context based on the pre-learned subtitle contents. process the conversion.
  • the data acquisition unit 332 includes the error-corrected verification result from the translation verification unit 334 in relation to the subtitle contents updated in the storage unit 120, the work period information on the subtitle contents, and the user's evaluation using the subtitle contents. If at least one of the pieces of information is input, a task level value of a worker who worked on subtitle content may be obtained using the input information.
  • the components constituting the aforementioned artificial intelligence learning model 330 may be implemented as a software module or manufactured in the form of at least one hardware chip and installed in the server 100.
  • the data learning unit 331 and the data acquisition unit 332 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU). Alternatively, it may be manufactured as a part of an application processor) or a graphics-only processor (eg GPU) and mounted on the server 100.
  • the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probability calculation, and can quickly process calculation tasks in the field of artificial intelligence such as machine learning with higher parallel processing performance than conventional general-purpose processors.
  • the software modules are computer-readable non-temporary readable records. It can be stored in a medium (non-transitory computer readable media).
  • the software module may be provided by an Operating System (OS) or a predetermined application.
  • OS Operating System
  • OS Operating System
  • OS Operating System
  • the other part may be provided by a predetermined application.
  • FIG. 5 is a detailed block diagram of a data learning unit and a data acquisition unit according to an embodiment of the present invention.
  • the data learning unit 331 may include a training data acquisition unit 331-1 and a model learning unit 331-4.
  • the data learning unit 331 may selectively further include at least one of a training data pre-processing unit 331-2, a training data selection unit 331-3, and a model evaluation unit 331-5.
  • the training data acquisition unit 331-1 may acquire training data necessary for the first model and the second model.
  • the learning data acquisition unit 311 includes profile information of members including clients, workers, and inspectors registered in the server 100, worker information, subtitle content for which translation work has been completed by the worker, and language information for each country. etc. can be acquired as learning data.
  • the model learning unit 331-4 uses the training data to determine how to classify categories for the translatable field for each worker, how to convert a first language into a second language, and how to evaluate each worker's task ability. standards can be taught. For example, the model learning unit 331 - 4 may train an artificial intelligence learning model through supervised learning using at least a part of the learning data as a criterion. Alternatively, the model learning unit 331-4, for example, learns by itself using learning data without any guidance, and through unsupervised learning to discover the criteria for determining the situation, artificial intelligence model can be trained.
  • model learning unit 331 - 4 may train the artificial intelligence learning model through reinforcement learning using, for example, feedback on whether a result of situational judgment according to learning is correct.
  • model learning unit 331-4 may train an artificial intelligence learning model using, for example, a learning algorithm including error back-propagation or gradient descent.
  • the model learning unit 331 - 4 may determine an AI learning model having a high correlation between input training data and basic training data as an AI learning model to be learned.
  • the basic learning data may be pre-classified for each type of data
  • the artificial intelligence model may be pre-built for each type of data.
  • the basic training data is classified according to various criteria such as the region where the training data was created, the time the training data was created, the size of the training data, the genre of the training data, the creator of the training data, and the type of object in the training data. may have been
  • the model learning unit 331-4 may store the learned artificial intelligence learning model.
  • the model learning unit 331 - 4 may store the learned artificial intelligence learning model in the storage unit 120 .
  • the model learning unit 331 - 4 may store the learned artificial intelligence learning model in a memory of an artificial intelligence server (not shown) connected to the server 100 through a wired or wireless network.
  • the data learning unit 331 includes a learning data pre-processing unit 331-2 and a learning data selection unit ( 331-3) may be further included.
  • the learning data pre-processing unit 331-2 may pre-process the acquired data so that the acquired data can be used for learning for worker recommendation, automatic translation, and task ability evaluation of the worker.
  • the learning data pre-processing unit 331-2 may process the corresponding data into a preset format so that the model learning unit 331-4 can use the acquired data.
  • the learning data selector 331-3 may select data necessary for learning from data acquired by the learning data acquisition unit 331-1 or data preprocessed by the learning data preprocessor 331-2.
  • the selected learning data may be provided to the model learning unit 331-4.
  • the learning data selection unit 331-3 may select learning data necessary for learning from among acquired or pre-processed data according to a predetermined selection criterion. Also, the learning data selection unit 1313 may select learning data according to a selection criterion preset by learning by the model learning unit 1314 .
  • the learning unit 331 may further include a model evaluation unit 331-5 to improve the recognition result of the artificial intelligence learning model.
  • the model evaluation unit 331-5 inputs evaluation data to the artificial intelligence learning model, and if the recognition result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 331-4 will learn again.
  • the evaluation data may be predefined data for evaluating the artificial intelligence model.
  • the model evaluation unit 331-5 may perform a predetermined criterion when the number or ratio of evaluation data for which the recognition result is not accurate among the recognition results of the AI learning model trained on the evaluation data exceeds a preset threshold. can be evaluated as unsatisfactory.
  • the model evaluation unit 331-5 evaluates whether each learned artificial intelligence learning model satisfies a predetermined criterion, and selects a model that satisfies the predetermined criterion as a final model. It can be determined as an artificial intelligence learning model.
  • the model evaluation unit 331-5 may determine one or a predetermined number of learning models preset in order of high evaluation scores as the final artificial intelligence learning model. .
  • the data acquisition unit 332 may include an input data acquisition unit 332-1 and a provision unit 332-4, as shown in (b) of FIG.
  • the data acquisition unit 332 may selectively further include at least one of an input data pre-processing unit 332-2, an input data selection unit 332-3, and a model updating unit 332-5.
  • the input data acquisition unit 332-1 may obtain data necessary for obtaining information on worker recommendation, automatic translation, and task ability evaluation of the worker.
  • the provision unit 332-4 applies the input data obtained from the input data acquisition unit 332-1 to the artificial intelligence learning model learned as an input value to provide various information such as worker recommendation, automatic translation, and evaluation of the worker's task ability. can be obtained.
  • the providing unit 332-4 applies the data selected by the input data pre-processing unit 332-2 or the input data selection unit 332-3 to an artificial intelligence learning model as an input value to obtain a recognition result. can do.
  • Recognition results may be determined by an artificial intelligence learning model.
  • the provision unit 332-4 applies the worker profile information and worker information obtained from the input data acquisition unit 332-1 to the learned first model to provide a category for a field that can be translated by the corresponding worker. can be obtained (or estimated).
  • the data acquisition unit 332 includes an input data pre-processing unit 332-2 and an input data selection unit 332-2 in order to improve the recognition results of the artificial intelligence learning model or to save resources or time for providing recognition results. 3) may be further included.
  • the input data pre-processing unit 332-2 may pre-process the acquired data so that the acquired data can be used to be input to the first and second models.
  • the input data pre-processing unit 332-2 converts the acquired data into a predefined format so that the providing unit 332-4 can acquire information about worker recommendation, automatic translation, and evaluation of the worker's task ability, and use the acquired data. can be processed into
  • the input data selection unit 332-3 may select data necessary for situation determination from among data acquired by the input data acquisition unit 332-1 or data preprocessed by the input data pre-processing unit 332-2. The selected data may be provided to the provider 332-4. The input data selector 332-3 may select some or all of the obtained or preprocessed data according to a predetermined selection criterion for determining the situation. In addition, the input data selection unit 332-3 may select data according to a selection criterion set by learning by the model learning unit 332-4.
  • the model updating unit 332-5 may control the artificial intelligence learning model to be updated based on the evaluation of the recognition result provided by the providing unit 332-4.
  • the model updating unit 332-5 provides the recognition result provided by the providing unit 332-4 to the model learning unit 332-4 so that the model learning unit 332-4 can achieve artificial intelligence. You can request additional training or renewal of the learning model.
  • control unit 130 may include a configuration as shown in FIG. 6 .
  • FIG. 6 is a detailed block diagram of a control unit according to an embodiment of the present invention.
  • control unit 130 includes a task creation unit 131 , a task execution unit 132 and a member management unit 133 .
  • the task generator 131 determines whether the content image is valid based on the image information. Then, task information related to the translation request information whose validity has been verified is created and stored in the storage unit 120 .
  • the image information may include at least one of address information, title information, and description information about the content image.
  • the task generating unit 131 when the translation request information for the content image requested by the client is received from the first user terminal device 200-1, the task generating unit 131 generates the corresponding content image based on the address information included in the translation request information. determine validity. As a result of the determination, if the validity of the content image is verified, the task generating unit 131 generates task information for the received translation request information and stores it in the storage unit 120, and if the validity of the corresponding content image is not verified, the communication unit An operation disable message is transmitted to the first user terminal device 200-1 through 110.
  • the task generating unit 131 does not determine whether the received translation request information is valid, and performs a task for the corresponding translation request information.
  • Information may be generated and stored in the storage unit 120 .
  • the task execution unit 132 provides a caption content creation tool for a translation job of a content image related to at least one piece of translation request information stored in the storage unit 120 to the translator's second user terminal device 200-2, When caption content for which translation work has been completed is received from the second user terminal device 200 - 2 , the received caption content is stored in the storage unit 120 .
  • the storage unit 120 stores the subtitle contents for which translation work has been completed in the temporary storage unit 121, and among the subtitle contents stored in the temporary storage unit 121, the subtitle contents for which translation verification has been completed are finally stored. It can be stored in unit 122. Therefore, the task execution unit 132 provides a third user terminal device (not shown) of the inspector with a verification work tool for verifying the translation of the language included in the at least one subtitle content stored in the temporary storage unit 121 and , When a verification completion message is received from the third user terminal device (not shown), the verified subtitle content may be stored in the final storage unit 122 .
  • the member management unit 133 When a registration request command is received from the second user terminal device 200 - 2 of an unregistered worker, the member management unit 133 evaluates the test capability of the unregistered worker and generates task grade information of the unregistered worker. Thereafter, the member management unit 133 generates profile information including at least one of personal information, history information, cost information, and evaluation information provided by unregistered workers and task grade information, and the member information storage unit of the storage unit 120 ( 121) to save.
  • the member management unit 134 uses at least one of work period information, error correction information, and evaluation information of a user using subtitle content for subtitle content that has been completed by a pre-registered worker. Task grade information of previously registered workers can be updated.
  • the member management unit 133 refers to the translation request information of the client who requested the corresponding subtitle content, and the request date of the client's translation work completion request and the operator for the subtitle content It is possible to perform task performance evaluation for the corresponding worker with reference to the task duration of the task, and update task grade information of the corresponding worker based on the performed task performance evaluation information.
  • the member management unit 134 may update task grade information of a corresponding operator based on the above-described task performance evaluation information and inspection evaluation information of an inspector who verifies the subtitle content completed by the operator.
  • the member management unit 134 provides task grade information of a worker who performed a task on subtitle content based on the above-described task performance evaluation information, review evaluation information, and user use evaluation information using the corresponding subtitle content. can be updated
  • the user terminal device 200 may be the client's first user terminal device 200 - 1 or the worker's second user terminal device 200 - 2 .
  • FIG. 7 is a block diagram of a user terminal device according to an embodiment of the present invention.
  • the user terminal device 200 may be an electronic device such as a desktop, laptop, smart phone, or tablet. As shown in FIG. 7 , such a user terminal device 200 may include a communication unit 210, an input unit 220, a display unit 230, and a control unit 240.
  • the communication unit 210 performs data communication with the server 100 providing the caption service, such as project information on the content image requested by the client, caption content completed by the operator, information on the caption content reviewed by the inspector, etc. can send and receive.
  • the caption service such as project information on the content image requested by the client, caption content completed by the operator, information on the caption content reviewed by the inspector, etc. can send and receive.
  • the communication unit 210 includes a wireless communication module such as a short-distance communication module and a wireless LAN module, a high-definition multimedia interface (HDMI), a universal serial bus (USB), and an Institute of Electrical and Electronic Engineers (IEEE) 1394 It may include a connector including at least one of wired communication modules such as the.
  • a wireless communication module such as a short-distance communication module and a wireless LAN module
  • HDMI high-definition multimedia interface
  • USB universal serial bus
  • IEEE 1394 Institute of Electrical and Electronic Engineers 1394
  • It may include a connector including at least one of wired communication modules such as the.
  • the input unit 220 is an input means for receiving various user commands and transmitting them to the control unit 240 to be described later.
  • the input unit 220 includes a user command for accessing the server 100 providing a subtitle service, a translation request command for requesting a translation work for a client's content video, a worker's task assignment command for the requested translation work, and the like. can be input.
  • Such an input unit 220 includes a microphone (not shown) for receiving user voice commands, a control unit (not shown) implemented as a keypad equipped with various function keys, numeric keys, special keys, text keys, etc.
  • a touch input unit (not shown) that receives a user's touch command through the display unit 230 to be displayed may be included.
  • the display unit 230 displays various content images, an execution icon corresponding to each registered application, and an execution screen of an application corresponding to the selected icon.
  • the display unit 130 displays a caption service window provided by the server 100 when the user terminal device 200 accesses the server 100 providing the caption service.
  • the display unit 230 may be implemented with a liquid crystal display (LCD), an organic light emitting display (OLED), or the like.
  • the display unit 230 may be implemented in the form of a touch screen forming a mutually layered structure together with a touch input unit (not shown) that receives a user's touch command.
  • the control unit 240 controls the overall operation of each component constituting the user terminal device 200 .
  • the controller 240 controls the display unit 230 to display a caption service window according to a user command input through the input unit 220 .
  • the display unit 230 may display the closed caption service window provided in the server 100 according to the control command of the controller 240 .
  • the user may request a translation job for the content video or perform a translation job for the requested content video through the caption service window displayed on the user terminal device 200 .
  • the user may perform an inspection work on translated caption content through a caption service window displayed on the user terminal device 200 or perform a capability evaluation test of an unregistered operator.
  • FIG 8 and 9 are exemplary views of displaying a caption service window for a requester in a user terminal device according to an embodiment of the present invention.
  • the client's first user terminal device 200-1 accessing the server 100 providing the caption service may display a caption service window 800 provided by the server 100.
  • a project creation UI (Project Center) 810 for a client may be displayed on one area of the caption service window 800 .
  • the first user terminal device 200-1 requests translation of the content image to be requested by the client.
  • a first client window 820 for inputting information is displayed.
  • the first client window 820 includes a first UI 821 for setting at least one of a language work for a source language included in a content image and a translation work for translation into a language requested by the client, and content At least one of the second UIs 822 for inputting address information of an image may be included. Accordingly, the client may set the type of subtitle to be inserted into the content image through the first UI 821 and input address information about the content image through the second UI 822 .
  • the first client window 820 may further include a third UI 823 for setting categories (movie subtitles, games, documents, etc.) for content images requested by the client. Accordingly, the client may set a category for a content image to be requested through the third UI 823 of the first client window 820 .
  • the first user terminal device 200-1 transmits the translation request information set by the client to the server 100, and the server 100 transmits the translation request information set by the client to the server 100. It is possible to generate task information for the translation request information received from ) and store it in the task information storage unit 320 of the storage unit 120 .
  • the first user terminal device 200-1 displays the second client window 830 for searching the client's project.
  • the second client window 830 includes a first UI 831 for setting the progress status of a project requested by the client for translation, a second UI 832 for searching for a project execution period, and a source language of content video. It may include at least one of a third UI 833 for selection, a fourth UI 834 for translation language selection, and a fifth UI 835 for searching for a specific project.
  • the second client window 830 may further include a sixth UI 836 that displays a search result corresponding to the client's user command for at least one of the first to fifth UIs 831 to 835. there is.
  • a client may request a search for a project for which translation work for subtitle content has been completed among projects requested by the client.
  • the first user terminal device 200-1 may receive a search result list for a project for which translation work has been completed from the server 100 and display the list on the sixth UI 836. .
  • the first user terminal device 200-1 displays a search result list for project A based on information received from the server 100 through a sixth UI 836. can be displayed on
  • the client may request a search for a project in which a task for caption content is in progress among projects requested by the client through the first UI 531 .
  • the first user terminal device 200-1 sends a search result list to project B based on information received from the server 100 through a sixth UI 836. ) can be displayed on
  • 10 to 12 are exemplary views of displaying a caption service window for a worker in a user terminal device according to an embodiment of the present invention.
  • the second user terminal device 200 - 2 of the worker may display a caption service window 800 provided from the server 100 .
  • a project task UI (Career Center) 840 for a worker may be displayed on one area of the subtitle service window 800, and a task to be worked is searched among icons included in the project task UI 840.
  • the second user terminal device 200-2 displays the first worker window 850 for searching for tasks in which translation work is possible.
  • the first worker window 850 includes a first UI 851 for selecting a source language included in a content image, a second UI 852 for selecting a language requested by a client for translation, and a selection of a work period. It may include at least one of a third UI 853, a fourth UI 854 for selecting a category for a content image, and a fifth UI 855 for setting a difficulty level of a task.
  • the first worker window 850 may further include a sixth UI 856 for displaying a search result corresponding to a user command of the worker for at least one of the first to fifth UIs 851 to 855.
  • the operator selects the source language of the content video as the first language (Korean) through the first UI 851 and selects the language requested for translation as the second language (English) through the second UI 852. And, through the third UI 853, the work period can be selected as 1 month.
  • the second user terminal device 200-2 receives a search result list for at least one task information corresponding to the operator's user command from the server 100, and the sixth UI ( 856).
  • the second user terminal device 200-2 receives a second worker window for searching for a project assigned to the worker when a selection command for the project search icon 842 is input from the worker ( 860) can be displayed.
  • the second worker window 860 includes a first UI 861 for selecting a task type, a second UI 862 for searching a task progress state, and a third UI 863 for selecting a remaining task period. ), a fourth UI 864 for selecting a source language included in the content video, and a fifth UI 865 for selecting a language to be translated.
  • the second worker window 860 may further include a sixth UI 866 that displays a search result corresponding to a user command of an operator for at least one of the first to fifth UIs 861 to 865. there is.
  • a worker selects a task type related to translation through a first UI 861, selects a work state in which a task is being performed through a second UI 862, and selects a translation language through a fifth UI 862. It can be selected as a second language (English).
  • the second user terminal device 200-2 receives a search result list for a project for which a translation related task is being performed in the second language from the server 100, and the sixth UI 866 ) can be displayed.
  • the second user terminal device 200-2 is shown in FIG. 12.
  • a subtitle content creation tool window 870 for performing a task for a selected project may be displayed.
  • the second user terminal device 200-2 displays the first area 871 of the subtitle content creation tool window 870 when an operator's selection command for the first project among the projects included in the search result list is input.
  • Displays a content video related to the selected first project on the second area 872 displays a subtitle content creation tool UI for generating subtitle content for each section of the corresponding content video on the second area 872, and displays the subtitle content on the third area 873.
  • a caption content editing tool UI for editing the playback period of the caption content for each section generated through the work tool UI may be displayed.
  • the operator may translate the source language of the content video displayed on the first area 871 for each section through the second area 872 into a language requested by the client.
  • the source language may be included in the first section (00:00:00 to 00:00:03) of the content video.
  • the operator can translate the source language of the first section into the language requested by the client through the second area 872.
  • the second area 872 is related to the content video.
  • the first to third subtitle contents 01 to 03 for each section translated by the operator may be displayed.
  • the second user terminal device 200-2 provides time information corresponding to each of the first to third caption contents. Based on this, the reproduction period of the first to third caption contents 01 to 03 for each reproduction time of the corresponding content video may be displayed in a bar form through the third area 873 . Therefore, the operator can edit the playback period for each of the first to third caption contents by adjusting the length of the bar corresponding to each of the first to third caption contents displayed in the third area 873 .
  • the client's first user terminal device (200-1) registers project information on the content image requested by the client in the server 100 through the subtitle service window, and registers the second user terminal of the worker.
  • An operation of performing a translation work for a project previously registered in the server 100 through the subtitle service window in the device 200-2 has been described in detail.
  • a method of providing a caption service using an artificial intelligence learning model in the server 100 according to the present invention and a method of controlling the server 100 providing the caption service will be described in detail.
  • FIG. 13 is a flowchart of a method for providing a caption service using an artificial intelligence learning model in a server according to an embodiment of the present invention.
  • the initial server 100 establishes data communication with at least one of a first user terminal device 200-1 of a client requesting translation of a content image and a second user terminal device 200-2 of a worker performing translation work. It is performed (S1310).
  • the server 100 inputs image information about the content image requested by the client to the artificial intelligence learning model (S1320 and S1330).
  • the server 100 when the server 100 receives translation request information including at least one of worker request information, working condition information, and image information from the first user terminal device 200-1, the image information included in the translation request information into the artificial intelligence learning model.
  • the image information may include at least one of address information about the content image, title information, and description information about the content image.
  • the server 100 obtains a worker list for workers capable of translating the corresponding content image through an artificial intelligence learning model, and transmits the obtained worker list to the first user terminal device 200-1 (S1340). .
  • the aforementioned artificial intelligence learning model learns worker information stored in the storage unit through the data learning unit, and classifies translatable categories for each worker and each field based on the learned worker information. Therefore, the artificial intelligence learning model inputs the worker information and the input image information learned through the data learning unit to the data acquisition unit of the artificial intelligence learning model when image information about the content image requested by the client to be translated is input. A list of operators capable of translating content images may be acquired.
  • the worker information may include at least one of profile information for each worker, subtitle content that has been completed for each worker, and evaluated task grade information for each worker.
  • the server 100 transmits the obtained worker list to the first user terminal device 200-1. Accordingly, the client may select a worker to request a translation job through the worker list displayed on the first user terminal device 200-1.
  • the first user terminal device 200 - 1 transmits the input selection command to the server 100 .
  • the server 100 When a selection command for at least one worker included in the worker list is received from the first user terminal device 200-1, the server 100 sends the second user terminal device 200-2 of the worker corresponding to the selection command. A task assignment message is transmitted (1350). Accordingly, the operator may access the server 100 through the second user terminal device 200-2 and perform a translation job for the content image requested by the client.
  • step S1320 when the server 100 receives translation request information including at least one of an automatic translation command, working condition information, and image information from the first user terminal device 200-1, the server 100 includes it in the image information.
  • a content image is obtained based on the obtained address information, and image data of the obtained content image is input to the language recognition unit of the artificial intelligence learning model (S1360 and S1370).
  • the server 100 inputs the recognized first language to the data acquisition unit to acquire the second language requested by the client from the first language. (S1380).
  • the server 100 inputs the second language to the translation verification unit of the artificial intelligence learning model.
  • the translation check unit may generate subtitle content for the content video requested by the client by analyzing the input second language and converting the language suitable for the context.
  • the translation check may convert the language corresponding to the updated caption content into a language suitable for the context when the caption content is updated in the storage unit.
  • the server 100 provides error-corrected inspection results through the translation inspection unit in relation to the updated subtitle content, and work period information for the corresponding subtitle content.
  • At least one of user evaluation information using the caption content may be input to the data acquisition unit, and a task level value of a worker who worked on the caption content may be obtained based on the input information.
  • FIG. 14 is a flowchart of a control method of a server providing a caption service according to the present invention.
  • the server 100 providing a caption service receives translation request information including at least one of working condition information and image information from the client's first user terminal device 200-1 ( 1410).
  • the server 100 determines whether the content video requested by the client is valid based on the image information included in the received translation request information, and then generates task information for the translation request information whose validity has been verified. and save (S1420).
  • the image information may include at least one of address information about the content image, title information, and description information about the content image.
  • the server 100 transmits a subtitle content creation tool for a translation job of a content image related to at least one translation request information stored in the storage unit to the operator's second user terminal device 200-2 according to the operator's request.
  • the operator may perform a translation job for the content image requested by the client by using the caption content generating tool displayed on the second user terminal device 200-2.
  • the second user terminal device 200 - 2 transmits the subtitle content for which the translation work has been completed to the server 100 .
  • the present invention is not limited thereto, and subtitle contents translated by a worker may be stored in the server 100 in real time, and when the translation work is completed, the second user terminal device 200-2 performs the translation work.
  • a completion message for may be transmitted to the server 100.
  • the server 100 When the server 100 receives the caption content for which the translation work has been completed or the translation work completion message is received from the second user terminal device 200-2, the server 100 stores the caption content translated by the operator (S1440).
  • the server 100 may store subtitle content for which translation work has been completed in a temporary storage unit, and may store subtitle content that has been inspected by an inspector among subtitle contents stored in the temporary storage unit in a final storage unit.
  • the server 100 when an inspection work command is received from the inspector's user terminal device 200, the server 100 provides a list of subtitle contents stored in the temporary storage to the inspector's user terminal device 200. Accordingly, the user terminal device 200 of the inspector may display the list received from the server 100 .
  • the server 100 when the server 100 receives a selection command for the first caption content among the caption contents included in the list from the user terminal device 200 of the inspector, the server 100 transmits the web information of the inspection work tool for the first caption content to the inspector. It is transmitted to the user terminal device 200. Accordingly, the inspector inspects the first subtitle content through the inspector's user terminal device 200, and the inspector's user terminal device 200 uses the subtitle service server 100 to inspect the first subtitles completed by the inspector. Sends a message about completion of review for content.
  • the caption service server 100 deletes the first caption content stored in the temporary storage unit, and the first caption content reviewed by the reviewer is completed.
  • the subtitle content is stored in the final storage unit.
  • the server 100 may register profile information and worker information of unregistered workers. Specifically, when a registration request command is received from the second user terminal device 200 - 2 of an unregistered worker, the server 100 evaluates the test capability of the unregistered worker and generates task grade information of the unregistered worker. Thereafter, the server 100 may generate and register profile information including at least one of personal information, history information, cost information, and evaluation information provided by an unregistered worker and worker information including task grade information.
  • the server 100 may update worker information of registered workers. Specifically, the server 100 obtains task grade information of a pre-registered operator using at least one of work period information, error correction information, and evaluation information of a user using subtitle content for subtitle content that has been completed by a registered operator. can be updated
  • control method of the server 100 may be coded in software and stored in a non-transitory readable medium.
  • Such non-transitory readable media may be loaded and used in various devices.
  • a non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device. Specifically, it may be a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법이 개시된다. 본 발명에 따른 자막 서비스를 제공하는 서버는 컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치 및 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치 중 적어도 하나와 데이터 통신을 수행하는 통신부, 학습된 작업자 정보에 기초하여 작업자 검색 리스트 및 작업자의 테스크 능력 평가를 수행하는 인공지능 학습모델을 저장하는 저장부 및 의뢰인의 작업자 추천 명령에 따라, 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력하여 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 획득된 작업자 리스트를 제1 사용자 단말 장치로 전송하도록 통신부를 제어하는 제어부를 포함하며, 작업자 정보는, 작업자별 프로파일 정보, 작업자별 작업 완료된 자막 컨텐츠 및 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함한다.

Description

인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법
본 발명은 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법에 관한 것으로써, 보다 상세하게는, 다양한 컨텐츠 영상에 대한 자막 컨텐츠 작업 요청 및 작업 수행이 통합적으로 가능한 온라인 컨텐츠 영상에 대한 전용 다국어 자막 컨텐츠 생성 툴을 구비하여 다국어 자막 서비스를 제공할 수 있는 서비스 시스템 및 그 서버의 제어 방법에 관한 것이다.
인터넷의 발달로 다양한 컨텐츠 영상에 대한 제작 및 재생이 가능해 졌으며, 다양한 나라의 사용자들이 쉽고 빠르게 시청할 수 있게 되었다. 따라서, 컨텐츠 영상을 제작한 제작자는 각 나라의 사용자들이 보다 편하게 시청할 수 있도록 해당 컨텐츠 영상에 포함된 소스 언어를 다양한 언어로 번역하고 있다.
그러나, 제작자 스스로 다양한 언어로 번역하는데에 한계가 있으며, 번역을 번역가에게 의뢰할 경우, 해당 번역가에 대한 정보가 부족하여 컨텐츠 영상과 상이한 의미로 해석될 수 있는 언어로 번역되거나, 의뢰인이 요청한 언어의 번역이 가능한 번역가를 찾는데 많은 시간을 소비할 수 있는 문제가 있다.
따라서, 컨텐츠 영상에 대한 보다 쉽고 빠른 번역 작업이 진행될 수 있는 다양한 방안이 모색되어야 한다.
발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 컨텐츠 영상에 대한 자막 컨텐츠 작업 요청 및 작업 수행이 통합적으로 가능한 자막 서비스를 제공하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 자막 서비스를 제공하는 서버는, 컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치 및 상기 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치 중 적어도 하나와 데이터 통신을 수행하는 통신부, 학습된 작업자 정보에 기초하여 작업자 검색 리스트 및 작업자의 테스크 능력 평가를 수행하는 인공지능 학습모델을 저장하는 저장부 및 상기 의뢰인의 작업자 추천 명령에 따라, 상기 컨텐츠 영상에 대한 영상 정보를 상기 인공지능 학습모델에 입력하여 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 상기 획득된 상기 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하도록 상기 통신부를 제어하는 제어부를 포함하며, 상기 작업자 정보는, 작업자별 프로파일 정보, 상기 작업자별 작업 완료된 자막 컨텐츠 및 상기 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함한다.
그리고, 상기 인공지능 학습모델은, 상기 저장부에 저장된 작업자 정보를 학습하고, 상기 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류하는 데이터 학습부 및 상기 영상 정보 및 상기 데이터 학습부를 통해 학습된 작업자 정보에 기초하여 상기 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득하는 데이터 획득부를 포함할 수 있다.
또한, 상기 제어부는 작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보를 상기 인공지능 학습모델에 입력하며, 상기 데이터 획득부를 통해 획득한 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하고, 상기 제1 사용자 단말 장치로부터 상기 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 상기 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치로 테스크 할당 메시지를 전송하도록 상기 통신부를 제어하며, 상기 영상 정보는, 상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어부는, 상기 제1 사용자 단말 장치로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 포함된 어드레스 정보에 기초하여 상기 컨텐츠 영상을 획득하여 상기 입력된 컨텐츠 영상에 대한 영상 프레임으로부터 오디오 데이터를 추출하고, 상기 인공지능 학습모델에 입력하며, 인공지능 학습모델은, 상기 추출된 오디오 데이터와 관련된 제1 언어를 인식하는 언어 인식부를 더 포함하며, 상기 데이터 획득부는, 상기 언어 인식부를 통해 인식된 제1 언어로부터 상기 의뢰인이 요청한 제2 언어를 획득할 수 있다.
또한, 상기 인공지능 학습모델은, 기학습된 자막 컨텐츠에 기초하여 상기 데이터 획득부를 통해 획득된 제2 언어 또는 상기 저장부에 업데트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리하는 번역 검수부를 더 포함할 수 있다.
그리고, 상기 데이터 획득부는, 상기 업데이트된 자막 컨텐츠와 관련하여 상기 번역 검수부로부터 오류 수정된 검수 결과, 자막 컨텐츠에 대한 작업 기간 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득할 수 있다.
또한, 상기 제어부는, 상기 제1 사용자 단말 장치로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 기초하여 상기 컨텐츠 영상의 유효성 여부를 판단한 후, 상기 유효성이 검증된 번역 요청 정보와 관련된 테스크 정보를 생성하여 저장하는 테스크 생성부, 상기 저장부에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 상기 제2 사용자 단말 장치로 제공하며, 상기 제2 사용자 단말 장치로부터 번역 작업이 완료된 자막 컨텐츠가 수신되면, 상기 자막 컨텐츠를 상기 저장부에 저장하는 테스크 실행부를 포함하며, 상기 영상 정보는, 상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 저장부는, 상기 번역 작업이 완료된 자막 컨텐츠를 저장하는 임시 저장부 및 상기 임시 저장부에 저장된 자막 컨텐츠 중 번역 검수가 완료된 자막 컨텐츠를 저장하는 파이널 저장부를 포함하며, 상기 테스크 실행부는, 상기 임시 저장부에 저장된 적어도 하나의 자막 컨텐츠에 포함된 언어에 대한 번역 검수를 위한 검수 작업 툴을 검수자의 제3 사용자 단말 장치로 제공하며, 상기 제3 사용자 단말 장치로부터 검수 완료 메시지가 수신되면, 검수 완료된 자막 컨텐츠를 상기 파이널 저장부에 저장할 수 있다.
또한, 상기 제어부는, 미등록된 작업자의 제2 사용자 단말 장치로부터 등록 요청 명령이 수신되면, 상기 미등록된 작업자의 테스트 능력을 평가하여 상기 미등록된 작업자의 테스크 등급 정보를 생성하고, 상기 미등록된 작업자로부터 제공된 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나와 상기 테스크 등급 정보를 포함하는 프로파일 정보를 생성하여 상기 저장부에 저장하는 회원 관리부를 더 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 서버에서 인공지능 학습모델을 이용하여 자막 서비스를 제공하는 방법은 컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치 및 상기 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치 중 적어도 하나와 데이터 통신을 수행하는 단계, 상기 의뢰인의 작업자 추천 명령에 따라, 상기 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력하는 단계, 상기 인공지능 학습모델을 통해 상기 컨텐츠 영상에 대한 번역 가능한 작업자에 대한 작업자 리스트를 획득하는 단계 및 상기 획득된 상기 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하는 단계를 포함하며, 상기 작업자 정보는, 작업자별 프로파일 정보, 상기 작업자별 작업 완료된 자막 컨텐츠 및 상기 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함한다.
그리고, 상기 획득하는 단계는, 상기 인공지능 학습모델의 데이터 학습부를 통해 상기 저장부에 저장된 작업자 정보를 학습하고, 상기 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류하며, 학습된 작업자 정보 및 영상 정보를 상기 인공지능 학습모델의 데이터 획득부에 입력하여 상기 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득할 수 있다.
또한, 상기 입력하는 단계는, 작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보를 상기 인공지능 학습모델에 입력하며, 상기 제1 사용자 단말 장치로부터 상기 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 상기 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치로 테스크 할당 메시지를 전송하는 단계를 더 포함하며, 상기 영상 정보는, 상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 입력하는 단계는, 상기 제1 사용자 단말 장치로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 포함된 어드레스 정보에 기초하여 상기 컨텐츠 영상을 획득하여 상기 인공지능 학습모델의 언어 인식부에 입력하며, 상기 언어 인식부를 통해 상기 컨텐츠 영상의 오디오 데이터와 관련된 제1 언어가 인식되면, 상기 제1 언어를 상기 데이터 획득부에 입력하여 상기 제1 언어로부터 상기 의뢰인이 요청한 제2 언어를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 인공지능 학습모델의 번역 검수부에서, 기학습된 자막 컨텐츠에 기초하여 상기 제2 언어 또는 상기 저장부에 업데트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리하는 단계를 더 포함할 수 있다.
그리고, 상기 데이터 획득부에서, 업데이트된 자막 컨텐츠와 관련하여 상기 번역 검수부를 통해 오류 수정된 검수 결과, 자막 컨텐츠에 대한 작업 기간 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득하는 단계를 더 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 자막 서비스를 제공하는 서버의 제어 방법은 의뢰인의 제1 사용자 단말 장치로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보를 수신하는 단계, 상기 영상 정보에 기초하여 상기 컨텐츠 영상의 유효성 여부를 판단한 후, 상기 유효성이 검증된 번역 요청 정보를 저장하는 단계, 작업자 요청에 따라, 상기 저장부에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 상기 작업자의 제2 사용자 단말 장치로 전송하는 단계 및 상기 제2 사용자 단말 장치로부터 번역 작업이 완료된 자막 컨텐츠가 수신되면, 상기 자막 컨텐츠를 저장하는 단계를 포함하며, 상기 영상 정보는, 상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함한다.
그리고, 상기 저장하는 단계는, 상기 번역 작업이 완료된 자막 컨텐츠를 임시 저장부에 저장하는 단계 및 검수자의 작업 요청에 따라, 상기 임시 저장부에 저장된 적어도 하나의 자막 컨텐츠에 포함된 언어에 대한 번역 검수를 위한 검수 작업 툴을 검수자의 제3 사용자 단말 장치로 전송하는 단계 및 상기 제3 사용자 단말 장치로부터 검수 완료 메시지가 수신되면, 검수 완료된 자막 컨텐츠를 상기 파이널 저장부에 저장하는 단계를 포함할 수 있다.
또한, 미등록된 작업자의 프로파일 정보 및 테스크 등급 정보를 포함하는 작업자 정보를 등록하는 단계 및 상기 등록된 작업자 정보를 업데이트하는 단계를 더 포함하며, 상기 등록하는 단계는, 상기 미등록된 작업자의 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나를 포함하는 상기 프로파일 정보를 생성하는 단계 및 상기 미등록된 작업자의 제2 사용자 단말 장치로부터 등록 요청 명령이 수신되면, 상기 미등록된 작업자의 테스트 능력을 평가하여 상기 미등록된 작업자의 테스크 등급 정보를 생성하는 단계를 포함하며, 상기 업데이트하는 단계는, 상기 등록된 작업자에 의해 작업 완료된 자막 컨텐츠에 대한 작업 기간 정보, 오류 수정 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 등록된 작업자의 테스크 등급 정보를 업데이트할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 자막 서비스를 제공하는 서버는 인공지능 학습모델을 통해 컨텐츠 영상에 대한 자막 컨텐츠 작업 요청 및 작업 수행이 통합적으로 가능한 자막 서비스를 제공할 수 있다.
또한, 본 발명은 온라인상에서 다양한 리소스 형태로 배포되는 동영상 컨텐츠에 대해 소스언어 및 번역타겟언어 작업을 포함하는 자막 컨텐츠 작업을 의뢰하는 의뢰자, 소스언어 및 번역타겟언어 작업을 수행하는 작업자, 생성된 자막컨텐츠에 대한 품질을 검수하는 검수자가 효과적으로 사용할 수 있는 자막서비스 전용 툴을 제공함으로써 자막 컨텐츠의 생산성을 높이는 효과가 있다.
또한, 본 발명은, 서버에서 자막 컨텐츠 작업자, 자막 컨텐츠 의뢰인, 및 자막 컨텐츠 검수자를 중개하는 자막 서비스를 제공함으로써 작업자와 검수자에게는 새로운 수익모델을 제공하고 의뢰인에게는 자막 컨텐츠 생성에 소요되는 비용을 절감하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 자막 서비스 시스템의 예시도,
도 2는 본 발명의 일 실시예에 따른 자막 서비스를 제공하는 서버의 블록도,
도 3은 본 발명의 일 실시예에 따른 저장부의 상세 블록도,
도 4는 본 발명의 일 실시예에 따른 인공지능 학습모델에 대한 상세 블록도,
도 5는 본 발명의 일 실시예에 따른 데이터 학습부 및 데이터 획득부의 세부 블록도,
도 6은 본 발명의 일 실시예에 따른 제어부의 세부 블록도,
도 7은 본 발명의 일 실시예에 따른 사용자 단말 장치의 블록도,
도 8 및 도 9는 본 발명의 일 실시예에 따른 사용자 단말 장치에서 의뢰인을 위한 자막 서비스 윈도우를 디스플레이하는 예시도,
도 10 내지 도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치에서 작업자를 위한 자막 서비스 윈도우를 디스플레이하는 예시도,
도 13은 본 발명의 일 실시예에 따른 서버에서 인공지능 학습모델을 이용하여 자막 서비스를 제공하는 방법의 흐름도,
도 14는 본 발명에 따른 자막 서비스를 제공하는 서버의 제어 방법에 대한 흐름도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자막 서비스 시스템의 예시도이다.
도 1에 도시된 바와 같이, 자막 서비스 시스템(1000)은 자막 서비스를 제공하는 서버(100)과, 제1 및 제2 사용자 단말 장치(200-1,200-2)를 포함한다.
서버(100)는 의뢰인이 요청한 프로젝트에 대한 다양한 서비스를 제공하는 서버이다.
여기서, 프로젝트는 의뢰인이 요청한 컨텐츠 영상의 오리지널 언어(이하 소스 언어라 함)(transcription)에 대한 자막 컨텐츠를 생성하거나 또는 해당 컨텐츠 영상의 소스 언어를 의뢰인이 요청한 언어로 번역(translation)된 자막 컨텐츠를 생성하기 위한 것이 될 수 있다.
제1 사용자 단말 장치(200-1)는 컨텐츠 영상에 대한 번역 작업을 요청하는 의뢰인의 단말 장치이며, 제2 사용자 단말 장치(200-2)는 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 수행하는 작업자의 단말 장치가 될 수 있다.
이 같은 제1 및 제2 사용자 단말 장치(200-1,200-2)는 데스크 탑, 랩탑, 태블릿 PC, 스마트 폰과 같은 인터넷이 가능한 전자 장치가 될 수 있다.
일 실시예에 따라, 자막 서비스를 제공하는 서버(100)는 의뢰인의 제1 사용자 단말 장치(200-1)로부터 작업자 추천 명령이 수신되면, 의뢰인이 요청한 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력하여 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 획득된 작업자 리스트를 의뢰인의 제1 사용자 단말 장치(200-1)로 전송할 수 있다.
이에 따라, 의뢰인은 제1 사용자 단말 장치(200-1)를 통해 디스플레이된 작업자 리스트로부터 컨텐츠 영상에 대한 작업자를 선택할 수 있다.
서버(100)는 제1 사용자 단말 장치(200-1)로부터 의뢰인이 선택한 작업자에 대한 선택 명령이 수신되면, 해당 작업자의 제2 사용자 단말 장치(200-2)로 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 위한 테스크 할당 메시지를 전송한다.
이에 따라, 작업자는 제2 사용자 단말 장치(200-2)를 통해 서버(100)에 접속하여 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 수행할 수 있다.
또다른 실시예에 따라, 서버(100)는 의뢰인의 제1 사용자 단말 장치(200-1)로부터 의뢰인이 요청한 컨텐츠 영상에 대한 자동 번역 명령이 수신되면, 해당 컨텐츠 영상을 인공지능 학습모델에 입력하여, 컨텐츠 영상에 포함된 오디오 컨텐츠로부터 오디오 데이터와 관련된 제1 언어를 인식하고, 인식된 제1 언어를 의뢰인이 요청한 제2 언어로 자동 번역할 수 있다.
또다른 실시예에 따라, 서버(100)는 의뢰인의 제1 사용자 단말 장치(200-1)로부터 번역 요청 관련 사용자 명령이 수신되면, 의뢰인이 요청한 컨텐츠 영상에 대한 유효성 여부를 판단한 후, 해당 컨텐츠 영상과 관련된 테스크 정보를 생성하여 저장한다.
이에 따라, 작업자는 제2 사용자 단말 장치(200-2)를 통해 서버(100)에 저장된 테스크 정보를 확인하고, 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 수행할 수 있다.
지금까지, 본 발명에 따른 자막 서비스 시스템(1000)에 대한 동작에 대해서 개략적으로 설명하였다. 이하에서는, 본 발명에 따른 자막 서비스 시스템(1000)을 구성하는 서버(100)와, 제1 및 제2 사용자 단말 장치(200-1,200-2)에 대한 수행 동작에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 자막 서비스를 제공하는 서버의 블록도이다.
도 2에 도시된 바와 같이, 자막 서비스를 제공하는 서버(100)는 통신부(110), 저장부(120) 및 제어부(130)를 포함한다.
통신부(110)는 컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치(200-1) 및 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치(200-2) 중 적어도 하나와 데이터 통신을 수행한다.
실시예에 따라, 통신부(110)는 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 제1 및 제2 사용자 단말 장치(200-1,200-2)와 데이터 통신을 수행하거나, 중계 장치(미도시)를 통해 제1 및 제2 사용자 단말 장치(200-1,200-2)와 데이터 통신을 수행할 수 있다.
저장부(120)는 학습된 작업자 정보에 기초하여 작업자 검색 리스트 및 작업자의 테스크 능력 평가를 수행하는 인공지능 학습모델을 저장한다.
여기서, 작업자 정보는 작업자별 작업 완료된 자막 컨텐츠 및 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함할 수 있다.
제어부(130)는 서버(100)를 구성하는 각 구성에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 의뢰인의 작업자 추천 명령에 따라, 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력하여 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 획득된 상기 작업자 리스트를 제1 사용자 단말 장치(200-1)로 전송하도록 통신부(110)를 제어한다.
여기서, 컨텐츠 영상은 MP4, AVI, MOV와 같은 동영상 파일의 포맷이 될 수 있으며, 인공지능 학습모델은 저장부(120)에 저장된 작업자 정보를 학습하고, 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류하며, 분류된 카테고리 내에서 의뢰인이 요청한 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 제공하는 인공지능 모델이 될 수 있다.
이하에서는, 도 3 및 도 4를 통해 인공지능 학습모델이 저장부(120)에 저장된 정보를 학습하고, 학습된 정보와 입력된 정보에 기초하여 결과를 출력하는 동작에 대해서 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 저장부의 상세 블록도이며, 도 4는 본 발명의 일 실시예에 따른 인공지능 학습모델에 대한 상세 블록도이다.
도 3에 도시된 바와 같이, 저장부(120)는 회원 정보 저장부(310), 테스크 정보 저장부(320), 인공지능 학습모델(330), 임시 저장부(340) 및 파이널 저장부(350)를 포함한다.
회원 정보 저장부(310)는 기등록된 모든 회원들에 대한 프로파일 정보를 저장할 수 있다. 여기서, 기등록된 회원은 컨텐츠 영상에 대한 번역 작업을 의뢰한 의뢰인, 의뢰인이 요청한 번역 작업을 수행하는 작업자, 작업자에 의해 작업 완료된 자막 컨텐츠에 대한 검증(검수)를 수행하는 검수자를 포함할 수 있다.
이 같은 회원들의 프로파일 정보는 기등록된 회원의 ID 정보, 연락처, 이메일 정보, 결제 정보, 성별, 나이 정보 중 적어도 하나를 포함할 수 있다. 한편, 회원이 작업자 혹은 검수자인 경우, 회원 정보 저장부(310)는 작업자 혹은 검수자의 프로파일 정보 외에 테스크 등급 정보, 이력 정보 중 적어도 하나를 포함하는 작업자 정보를 더 저장할 수 있다.
테스크 정보 저장부(320)는 기등록된 의뢰인이 요청한 컨텐츠 영상에 대한 번역 요청 정보와 관련하여 생성된 테스크 정보를 저장한다.
여기서, 번역 요청 정보는 작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함할 수 있으며, 영상 정보는 의뢰인이 요청한 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 해당 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다. 그리고, 디스크립션 정보는 컨텐츠 영상에 대한 상세 정보가 될 수 있으며, 자막 조건 정보는 번역할 언어, 번역 작업 완료 요청일, 번역 작업 비용, 작업자 등급, 번역 작업 난이도 정보 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 번역 요청 정보는 컨텐츠 영상 파일을 포함할 수 있다.
한편, 테스크 정보 저장부(320)는 작업자에 미할당된 테스크 정보, 작업자에 할당된 테스크 정보 및 작업자에 의해 작업 완료된 테스크 정보를 구분해서 저장할 수 있다.
인공지능 학습모델(330)은 회원 정보 저장부(310)에 저장된 회원들의 프로파일 정보 및 테스크 정보 저장부(320)에 저장된 테스크 정보를 학습하고, 학습된 정보에 기초하여 번역 작업과 관련하여 다양한 서비스를 제공한다.
임시 저장부(340)는 작업자에 의해 번역 작업이 완료된 자막 컨텐츠 혹은 인공지능 학습모델(330)를 통해 자동 번역된 자막 컨텐츠를 임시 저장하고, 파이널 저장부(124)는 임시 저장부(123)에 저장된 자막 컨텐츠 중 검수자 혹은 인공지능 학습모델(330)를 통해 검증이 완료된 자막 컨텐츠를 저장한다.
한편, 전술한 인공지능 학습모델(330)은 도 4에 도시된 바와 같이, 데이터 학습부(331), 데이터 획득부(332), 언어 인식부(333) 및 테스크 평가부(334)를 포함한다.
데이터 학습부(331)는 저장부(120)의 회원 정보 저장부(121) 저장된 작업자의 프로파일 정보 및 작업자 정보를 학습하고, 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류한다.
예를 들어, 제1 작업자가 의료 관련 영어 번역을 주로 한 경우, 데이터 학습부(331)는 제1 작업자의 프로파일 정보 및 작업자 정보에 기초하여 주 번역 분야를 의료 분야로 카테고리를 분류할 수 있다.
데이터 획득부(332)는 영상 정보 및 데이터 학습부(331)를 통해 학습된 작업자 정보에 기초하여 의뢰인이 요청한 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득한다.
구체적으로, 제어부(130)는 작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 영상 정보를 인공지능 학습모델(330)에 입력한다. 전술한 바와 같이, 영상 정보는 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 해당 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
이 같은 영상 정보가 입력되면, 데이터 획득부(332)는 인공지능 학습모델(330)에 입력된 영상 정보 및 데이터 학습부(331)를 통해 학습된 작업자 정보에 기초하여 의뢰인이 요청한 컨텐츠 영상에 대한 카테고리를 분류하고, 분류된 카테고리에 대응하는 작업자에 대한 작업자 리스트를 획득할 수 있다.
이후, 제어부(130)는 데이터 획득부(332)를 통해 획득한 작업자 리스트를 의뢰인의 제1 사용자 단말 장치(200-1)로 전송하고, 제1 사용자 단말 장치(200-1)로부터 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 통신부(110)를 통해 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치(200-2)로 테스크 할당 메시지를 전송한다.
제2 사용자 단말 장치(200-2)에 테스크 할당 메시지가 수신되면, 작업자는 제2 사용자 단말 장치(200-2)를 통해 서버(100)에 접속하여 의뢰인이 요청한 컨텐츠 영상으로부터 번역 작업을 수행할 수 있다.
언어 인식부(333)는 입력된 컨텐츠 영상에 대한 영상 프레임으로부터 추출된 오디오 데이터와 관련된 제1 언어를 인식한다.
구체적으로, 제어부(130)는 제1 사용자 단말 장치(200-1)로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 영상 정보에 포함된 어드레스 정보에 기초하여 컨텐츠 영상을 획득하고,획득된 컨텐츠 영상에 대한 영상 데이터로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 인공지능 학습모델에 입력한다. 이에 따라, 언어 인식부(333)는 입력된 데이터로부터 제1 언어를 인식할 수 있다. 언어 인식부(333)를 통해 인식된 제1 언어는 데이터 획득부(332)로 입력되며, 데이터 획득부(332)는 입력된 제1 언어와 데이터 학습부(331)를 통해 기학습된 언어 정보에 기초하여 제1 언어로부터 변환된 제2 언어를 획득한다.
번역 검수부(334)는 기학습된 자막 컨텐츠에 기초하여 데이터 획득부(332)를 통해 획득된 제2 언어 또는 저장부(120)에 업데트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리한다.
한편, 데이터 획득부(332)는 저장부(120)에 업데이트된 자막 컨텐츠와 관련하여 번역 검수부(334)로부터 오류 수정된 검수 결과, 자막 컨텐츠에 대한 작업 기간 정보, 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나가 입력되면, 입력된 정보를 이용하여 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득할 수 있다.
한편, 전술한 인공지능 학습모델(330)을 구성하는 각 구성 중 적어도 일부는 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 서버(100)에 탑재될 수 있다. 예를 들어, 데이터 학습부(331) 및 데이터 획득부(332) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 서버(100)에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
인공지능 학습모델(330)을 구성하는 각 구성 중 일부 구성이 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 데이터 학습부 및 데이터 획득부의 세부 블록도이다.
도 5의 (a)에 도시된 바와 같이, 데이터 학습부(331)는 학습 데이터 획득부(331-1) 및 모델 학습부(331-4)를 포함할 수 있다. 또한, 데이터 학습부(331)는 학습 데이터 전처리부(331-2), 학습 데이터 선택부(331-3) 및 모델 평가부(331-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(331-1)는 제1 모델 및 제2 모델에 필요한 학습 데이터를 획득할 수 있다. 실시예에 따라, 학습 데이터 획득부(311)는 서버(100)에 등록된 의뢰인, 작업자 및 검수자를 포함하는 회원의 프로파일 정보, 작업자 정보, 작업자에 의해 번역 작업이 완료된 자막 컨텐츠, 국가별 언어 정보 등을 학습 데이터로서 획득할 수 있다.
모델 학습부(331-4)는 학습 데이터를 이용하여, 작업자별로 번역 가능한 분야에 대한 카테고리를 어떻게 분류할지, 제1 언어를 제2 언어로 어떻게 변환할지, 작업자별 테스크 능력을 어떻게 평가할지 등에 관한 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(331-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 인공지능 학습 모델을 학습시킬 수 있다. 또는, 모델 학습부(331-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다.
또한, 모델 학습부(331-4)는 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인공지능 학습 모델을 학습시킬 수 있다. 또한, 모델 학습부(331-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 인공지능 학습 모델을 학습시킬 수 있다
모델 학습부(331-4)는 미리 구축된 인공지능 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 인공지능 학습 모델을 학습할 인공지능 학습 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입별로 기 분류되어 있을 수 있으며, 인공지능 모델은 데이터의 타입별로 미리 구축되어 있을 수 있다.
예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기분류되어 있을 수 있다.
인공지능 학습 모델이 학습되면, 모델 학습부(331-4)는 학습된 인공지능 학습 모델을 저장할 수 있다. 이 경우, 모델 학습부(331-4)는 학습된 인공지능 학습모델을 저장부(120)에 저장할 수 있다. 또는, 모델 학습부(331-4)는 학습된 인공지능 학습모델을 서버(100)와 유선 또는 무선 네트워크로 연결되는 인공지능 서버(미도시)의 메모리에 저장할 수도 있다.
데이터 학습부(331)는 인공지능 학습모델의 인식 결과를 향상시키거나, 인공지능 학습 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(331-2) 및 학습 데이터 선택부(331-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(331-2)는 작업자 추천, 자동 번역, 작업자의 테스크 능력 평가 등을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(331-2)는 모델 학습부(331-4)가 획득된 데이터를 이용할 수 있도록, 해당 데이터를 기설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(331-3)는 학습 데이터 획득부(331-1)에서 획득된 데이터 또는 학습 데이터 전처리부(331-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(331-4)에 제공될 수 있다.
학습 데이터 선택부(331-3)는 기설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1313)는 모델 학습부(1314)에 의한 학습에 의해 기설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
한편, 학습부(331)는 인공지능 학습 모델의 인식 결과를 향상시키기 위하여, 모델 평가부(331-5)를 더 포함할 수도 있다. 모델 평가부(331-5)는 인공지능 학습모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(331-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인공지능 모델을 평가하기 위한 기정의된 데이터일 수 있다.
예를 들어, 모델 평가부(331-5)는 평가 데이터에 대한 학습된 인공지능 학습 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 한편, 학습된 인공지능 학습모델이 복수 개가 존재하는 경우, 모델 평가부(331-5)는 각각의 학습된 인공지능 학습 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 인공지능 학습 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 학습 모델이 복수 개인 경우, 모델 평가부(331-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 학습 모델을 최종 인공지능 학습 모델로서 결정할 수 있다.
한편, 데이터 획득부(332)는 도 5의 (b)에 도시된 바와 같이, 입력 데이터 획득부(332-1) 및 제공부(332-4)를 포함할 수 있다. 또한, 데이터 획득부(332)는 입력 데이터 전처리부(332-2), 입력 데이터 선택부(332-3) 및 모델 갱신부(332-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
입력 데이터 획득부(332-1)는 작업자 추천, 자동 번역, 작업자의 테스크 능력 평가 등에 대한 정보를 획득하기 위해 필요한 데이터를 획득할 수 있다.
제공부(332-4)는 입력 데이터 획득부(332-1)에서 획득된 입력 데이터를 입력 값으로 학습된 인공지능 학습모델에 적용하여 작업자 추천, 자동 번역, 작업자의 테스크 능력 평가 등에 대한 다양한 정보를 획득할 수 있다.
이 같은 제공부(332-4)는 후술할 입력 데이터 전처리부(332-2) 또는 입력 데이터 선택부(332-3)에 의해 선택된 데이터를 입력 값으로 인공지능 학습모델에 적용하여 인식 결과를 획득할 수 있다. 인식 결과는 인공지능 학습모델에 의해 결정될 수 있다.
일 실시예로, 제공부(332-4)는 입력 데이터 획득부(332-1)에서 획득한 작업자의 프로파일 정보 및 작업자 정보를 학습된 제1 모델에 적용하여 해당 작업자의 번역 가능한 분야에 대한 카테고리를 획득(또는, 추정)할 수 있다.
데이터 획득부(332)는 인공지능 학습모델의 인식 결과를 향상시키거나, 인식 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 입력 데이터 전처리부(332-2) 및 입력 데이터 선택부(332-3)를 더 포함할 수도 있다.
입력 데이터 전처리부(332-2)는 제1 및 제2 모델에 입력되기 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 입력 데이터 전처리부(332-2)는 제공부(332-4)가 작업자 추천, 자동 번역, 작업자의 테스크 능력 평가 등에 대한 정보 획득 및 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기정의된 포맷으로 가공할 수 있다.
입력 데이터 선택부(332-3)는 입력 데이터 획득부(332-1)에서 획득된 데이터 또는 입력 데이터 전처리부(332-2)에서 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 제공부(332-4)에게 제공될 수 있다. 입력 데이터 선택부(332-3)는 상황 판단을 위한 기설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 입력 데이터 선택부(332-3)는 모델 학습부(332-4)에 의한 학습에 의해 기설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(332-5)는 제공부(332-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 인공지능 학습모델이 갱신되도록 제어할 수 있다.
예를 들어, 모델 갱신부(332-5)는 제공부(332-4)에 의해 제공되는 인식 결과를 모델 학습부(332-4)에게 제공함으로써, 모델 학습부(332-4)가 인공지능 학습모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
한편, 전술한 제어부(130)는 도 6과 같은 구성을 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제어부의 세부 블록도이다.
도 6에 도시된 바와 같이, 제어부(130)는 테스크 생성부(131), 테스크 실행부(132) 및 회원 관리부(133)를 포함한다.
테스크 생성부(131)는 제1 사용자 단말 장치(200-1)로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 영상 정보에 기초하여 상기 컨텐츠 영상의 유효성 여부를 판단한 후, 유효성이 검증된 번역 요청 정보와 관련된 테스크 정보를 생성하여 저장부(120)에 저장한다. 전술한 바와 같이, 영상 정보는 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
구체적으로, 테스크 생성부(131)는 제1 사용자 단말 장치(200-1)로부터 의뢰인이 요청한 컨텐츠 영상에 대한 번역 요청 정보가 수신되면, 번역 요청 정보에 포함된 어드레스 정보에 기초하여 해당 컨텐츠 영상의 유효성 여부를 판단한다. 판단 결과, 컨텐츠 영상의 유효성이 검증되면, 테스크 생성부(131)는 수신된 번역 요청 정보에 대한 테스크 정보를 생성하여 저장부(120)에 저장하고, 해당 컨텐츠 영상의 유효성이 검증되지 않으면, 통신부(110)를 통해 제1 사용자 단말 장치(200-1)로 작업 불가 메시지를 전송한다.
한편, 테스크 생성부(131)는 수신된 번역 요청 정보에 의뢰인이 요청한 컨텐츠 영상에 대한 동영상 파일이 포함되어 있으면, 수신된 번역 요청 정보에 대한 유효성 여부를 판단하지 않고, 해당 번역 요청 정보에 대한 테스크 정보를 생성하여 저장부(120)에 저장할 수 있다.
테스크 실행부(132)는 저장부(120)에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 번역자의 제2 사용자 단말 장치(200-2)로 제공하며, 제2 사용자 단말 장치(200-2)로부터 번역 작업이 완료된 자막 컨텐츠가 수신되면, 수신된 자막 컨텐츠를 저장부(120)에 저장한다.
도 3에서 설명한 바와 같이, 저장부(120)는 번역 작업이 완료된 자막 컨텐츠를 임시 저장부(121)에 저장하며, 임시 저장부(121)에 저장된 자막 컨텐츠 중 번역 검수가 완료된 자막 컨텐츠를 파이널 저장부(122)에 저장할 수 있다. 따라서, 테스크 실행부(132)는 임시 저장부(121)에 저장된 적어도 하나의 자막 컨텐츠에 포함된 언어에 대한 번역 검수를 위한 검수 작업 툴을 검수자의 제3 사용자 단말 장치(미도시)로 제공하며, 제3 사용자 단말 장치(미도시)로부터 검수 완료 메시지가 수신되면, 검수 완료된 자막 컨텐츠를 파이널 저장부(122)에 저장할 수 있다.
회원 관리부(133)는 미등록된 작업자의 제2 사용자 단말 장치(200-2)로부터 등록 요청 명령이 수신되면, 미등록된 작업자의 테스트 능력을 평가하여 미등록된 작업자의 테스크 등급 정보를 생성한다. 이후, 회원 관리부(133)는 미등록된 작업자로부터 제공된 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나와 테스크 등급 정보를 포함하는 프로파일 정보를 생성하여 저장부(120)의 회원 정보 저장부(121)에 저장한다.
본 발명의 추가적인 양상에 따르면, 한편, 회원 관리부(134)는 기등록된 작업자에 의해 작업 완료된 자막 컨텐츠에 대한 작업 기간 정보, 오류 수정 정보, 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 기등록된 작업자의 테스크 등급 정보를 업데이트할 수 있다.
예를 들어, 회원 관리부(133)는 의뢰인이 요청한 컨텐츠 영상에 대한 자막 컨텐츠에 대한 작업이 완료되면, 해당 자막 컨텐츠을 요청한 의뢰인의 번역 요청 정보를 참조하여 의뢰인의 번역 작업 완료 요청일과 자막 컨텐츠에 대한 작업자의 테스크 소요 기간을 참조하여 해당 작업자에 대한 테스크 수행 평가를 수행하고, 수행된 테스크 수행 평가 정보에 기초하여 해당 작업자의 테스크 등급 정보를 업데이트할 수 있다.
또다른 예를 들어, 회원 관리부(134)는 전술한 테스크 수행 평가 정보와, 작업자에 의해 작업 완료된 자막 컨텐츠를 검증한 검수자의 검수 평가 정보에 기초하여 해당 작업자의 테스크 등급 정보를 업데이트할 수 있다.
또다른 예를 들어, 회원 관리부(134)는 전술한 테스크 수행 평가 정보, 검수 평가 정보 및 해당 자막 컨텐츠를 이용한 사용자의 이용 평가 정보에 기초하여 자막 컨텐츠에 대한 테스크를 수행한 작업자의 테스크 등급 정보를 업데이트할 수 있다.
지금까지, 본 발명에 따른 자막 서비스를 제공하는 서버(100)에 대한 구성 및 각 구성에 대한 동작에 대해서 상세히 설명하였다. 이하에서는 본 발명에 따른 사용자 단말 장치(200)에 대해서 상세히 설명하도록 한다. 여기서, 사용자 단말 장치(200)는 의뢰인의 제1 사용자 단말 장치(200-1)이거나 작업자의 제2 사용자 단말 장치(200-2)가 될 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말 장치의 블록도이다.
사용자 단말 장치(200)는 데스크 탑, 랩 탑, 스마트폰, 테블릿과 같은 전자 장치가 될 수 있다. 이 같은 사용자 단말 장치(200)는 도 7에 도시된 바와 같이, 통신부(210), 입력부(220), 디스플레이부(230) 및 제어부(240)를 포함할 수 있다.
통신부(210)는 자막 서비스를 제공하는 서버(100)와 데이터 통신을 수행하여, 의뢰인이 요청한 컨텐츠 영상에 대한 프로젝트 정보, 작업자에 의해 작업 완료된 자막 컨텐츠, 검수자에 의해 검수 완료된 자막 컨텐츠에 대한 정보 등을 송수신할 수 있다.
실시예에 따라, 통신부(210)는 근거리 통신 모듈, 무선 랜 모듈 등의 무선 통신 모듈과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터를 포함할 수 있다.
입력부(220)는 다양한 사용자 명령을 입력받아 후술할 제어부(240)로 전달하기 위한 입력 수단이다. 특히, 입력부(220)는 자막 서비스를 제공하는 서버(100)의 접속을 위한 사용자 명령, 의뢰인의 컨텐츠 영상에 대한 번역 작업 의뢰를 위한번역 요청 명령, 의뢰된 번역 작업에 대한 작업자의 테스크 할당 명령 등을 입력받을 수 있다. 이 같은 입력부(220)는 사용자 음성 명령을 입력받는 마이크(미도시), 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현된 조작부(미도시), 후술할 디스플레이부(230)를 통해 사용자의 터치 명령을 입력받는 터치 입력부(미도시) 등을 포함할 수 있다.
디스플레이부(230)는 다양한 컨텐츠 영상, 기등록된 어플리케이션 각각에 대응하는 실행 아이콘, 선택된 아이콘에 대응하는 어플리케이션의 실행 화면 등을 디스플레이한다. 특히, 디스플레이부(130)는 사용자 단말 장치(200)가 자막 서비스를 제공하는 서버(100)에 접속할 경우, 서버(100)에서 제공된 자막 서비스 윈도우를 디스플레이한다.
이 같은 디스플레이부(230)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 등으로 구현될 수 있다. 특히, 디스플레이부(230)는 전술한 바와 같이 사용자의 터치 명령을 입력받는 터치 입력부(미도시)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
제어부(240)는 사용자 단말 장치(200)를 구성하는 각 구성에 대한 동작을 전반적으로 제어한다. 특히, 제어부(240)는 입력부(220)를 통해 입력된 사용자 명령에 따라 자막 서비스 윈도우를 디스플레이하도록 디스플레이부(230)를 제어한다. 따라서, 디스플레이부(230)는 제어부(240)의 제어 명령에 따라, 서버(100)에 제공된 자막 서비스 윈도우를 디스플레이할 수 있다.
따라서, 사용자는 사용자 단말 장치(200)에 디스플레이된 자막 서비스 윈도우를 통해 컨텐츠 영상에 대한 번역 작업을 의뢰하거나 의뢰된 컨텐츠 영상에 대한 번역 작업을 수행할 수 있다. 또한, 사용자는 사용자 단말 장치(200)에 디스플레이된 자막 서비스 윈도우를 통해 번역이 완료된 자막 컨텐츠에 대한 검수 작업을 수행하거나, 미등록된 작업자의 능력 평가 테스트를 수행할 수 있다.
이하에서는, 전술한 사용자 단말 장치(100)에서 자막 서비스 윈도우를 디스플레이하는 동작에 대해서 보다 상세히 설명하도록 한다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 사용자 단말 장치에서 의뢰인을 위한 자막 서비스 윈도우를 디스플레이하는 예시도이다.
도 5에 도시된 바와 같이, 자막 서비스를 제공하는 서버(100)에 접속한 의뢰인의 제1 사용자 단말 장치(200-1)는 서버(100)에서 제공하는 자막 서비스 윈도우(800)를 디스플레이할 수 있다. 자막 서비스 윈도우(800)의 일 영역에는 의뢰인을 위한 프로젝트 생성 UI(Project Center)(810)가 디스플레이될 수 있다. 프로젝트 생성 UI(810)에 포함된 아이콘들 중 프로젝트 생성 아이콘(Creat Project)(511)에 대한 선택 명령이 입력되면, 제1 사용자 단말 장치(200-1)는 의뢰인이 요청할 컨텐츠 영상에 대한 번역 요청 정보 입력을 위한 제1 의뢰인 윈도우(820)를 디스플레이한다. 전술한 바와 같이, 제1 의뢰인 윈도우(820)는 컨텐츠 영상에 포함된 소스 언어에 대한 언어 작업 및 의뢰인이 요청한 언어로 번역하기 위한 번역 작업 중 적어도 하나를 설정하기 위한 제1 UI(821), 컨텐츠 영상의 어드레스 정보를 입력하기 위한 제2 UI(822) 중 적어도 하나를 포함할 수 있다. 따라서, 의뢰인은 제1 UI(821)를 통해 컨텐츠 영상에 삽입될 자막의 타입을 설정할 수 있으며, 제2 UI(822)를 통해 컨텐츠 영상에 대한 어드레스 정보를 입력할 수 있다.
한편, 제1 의뢰인 윈도우(820)는 의뢰인이 요청한 컨텐츠 영상에 대한 카테고리 설정(영화 자막, 게임, 문서 등)을 위한 제3 UI(823)를 더 포함할 수 있다. 따라서, 의뢰인은 제1 의뢰인 윈도우(820)의 제3 UI(823)를 통해 의뢰를 요청할 컨텐츠 영상에 대한 카테고리를 설정할 수 있다.
이 같은 의뢰인의 설정이 완료되면, 제1 사용자 단말 장치(200-1)는 의뢰인이 설정한 번역 요청 정보를 서버(100)로 전송하고, 서버(100)는 제1 사용자 단말 장치(200-1)로부터 수신된 번역 요청 정보에 대한 테스크 정보를 생성하여 저장부(120)의 테스크 정보 저장부(320)에 저장할 수 있다.
한편, 도 9에 도시된 바와 같이, 프로젝트 생성 UI(810)에 포함된 아이콘들 중 마이 프로젝트 아이콘(My Project)(812)에 대한 선택 명령이 입력되면, 제1 사용자 단말 장치(200-1)는 의뢰인의 프로젝트 검색을 위한 제2 의뢰인 윈도우(830)를 디스플레이한다. 도시된 바와 같이, 제2 의뢰인 윈도우(830)는 의뢰인이 번역 요청한 프로젝트의 진행 상태 설정을 위한 제1 UI(831), 프로젝트 테스크 수행 기간 검색을 위한 제2 UI(832), 컨텐츠 영상의 소스 언어 선택을 위한 제3 UI(833), 번역 언어 선택을 위한 제4 UI(834), 특정 프로젝트 검색을 위한 제5 UI(835) 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 제2 의뢰인 윈도우(830)는 제1 내지 제5 UI(831~835) 중 적어도 하나에 대한 의뢰인의 사용자 명령에 대응하는 검색 결과를 디스플레이하는 제6 UI(836)를 더 포함할 수 있다.
예를 들어, 의뢰인이 제1 UI(531)를 통해 자신이 요청한 프로젝트 중 자막 컨텐츠에 대한 번역 작업이 완료된 프로젝트에 대한 검색을 요청할 수 있다. 이 같은 의뢰인의 사용자 명령이 입력되면, 제1 사용자 단말 장치(200-1)는 서버(100)로부터 번역 작업이 완료된 프로젝트에 대한 검색 결과 리스트를 수신하여 제6 UI(836)에 디스플레이할 수 있다.
도시된 바와 같이, A 프로젝트에 대한 번역 작업이 완료된 경우, 제1 사용자 단말 장치(200-1)는 서버(100)로부터 수신된 정보에 기초하여 A 프로젝트에 검색 결과 리스트를 제6 UI(836) 상에 디스플레이할 수 있다.
한편, 의뢰인이 제1 UI(531)를 통해 자신이 요청한 프로젝트 중 자막 컨텐츠에 대한 테스크 수행이 진행 중인 프로젝트에 대한 검색을 요청할 수 있다. 도시된 바와 같이, B 프로젝트에 대한 번역 작업이 진행 중인 경우, 제1 사용자 단말 장치(200-1)는 서버(100)로부터 수신된 정보에 기초하여 B 프로젝트에 검색 결과 리스트를 제6 UI(836) 상에 디스플레이할 수 있다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치에서 작업자를 위한 자막 서비스 윈도우를 디스플레이하는 예시도이다.
도 10에 도시된 바와 같이, 작업자의 제2 사용자 단말 장치(200-2)는 서버(100)에서 제공된 자막 서비스 윈도우(800)를 디스플레이할 수 있다. 도시된 바와 같이, 자막 서비스 윈도우(800)의 일 영역에는 작업자를 위한 프로젝트 작업 UI(Career Center)(840)가 디스플레이될 수 있으며, 프로젝트 작업 UI(840)에 포함된 아이콘들 중 작업할 테스크 검색을 위한 프로젝트 검색 아이콘(Taskboard)(841)에 대한 선택 명령이 입력되면, 제2 사용자 단말 장치(200-2)는 번역 작업이 가능한 테스크 검색을 위한 제1 작업자 윈도우(850)를 디스플레이한다. 도시된 바와 같이, 제1 작업자 윈도우(850)는 컨텐츠 영상에 포함된 소스 언어 선택을 위한 제1 UI(851), 의뢰인이 번역 요청한 언어 선택을 위한 제2 UI(852), 작업 기간 선택을 위한 제3 UI(853), 컨텐츠 영상에 대한 카테고리 선택을 위한 제4 UI(854) 및 테스크 난이도 설정을 위한 제5 UI(855) 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 제1 작업자 윈도우(850)는 제1 내지 제5 UI(851~855) 중 적어도 하나에 대한 작업자의 사용자 명령에 대응하는 검색 결과를 디스플레이하기 위한 제6 UI(856)를 더 포함할 수 있다.
예를 들어, 작업자는 제1 UI(851)를 통해 컨텐츠 영상의 소스 언어를 제1 언어(한국어)로 선택하고, 제2 UI(852)를 통해 번역 요청한 언어를 제2 언어(영어)로 선택하며, 제3 UI(853)를 통해 작업 기간 선택은 1 개월로 선택할 수 있다. 이 같은 작업자의 사용자 명령이 입력되면, 제2 사용자 단말 장치(200-2)는 서버(100)로부터 작업자의 사용자 명령에 대응하는 적어도 하나의 테스크 정보에 대한 검색 결과 리스트를 수신하여 제6 UI(856)에 디스플레이할 수 있다.
한편, 제2 사용자 단말 장치(200-2)는 도 11에 도시된 바와 같이, 작업자로부터 프로젝트 검색 아이콘(842)에 대한 선택 명령이 입력되면, 작업자에 할당된 프로젝트 검색을 위한 제2 작업자 윈도우(860)를 디스플레이할 수 있다.
전술한 바와 같이, 제2 작업자 윈도우(860)는 테스크 타입 선택을 위한 제1 UI(861), 테스크 진행 상태를 검색하기 위한 제2 UI(862), 테스크 잔여 기간 선택을 위한 제3 UI(863), 컨텐츠 영상에 포함된 소스 언어 선택을 위한 제4 UI(864) 및 번역할 언어를 선택하기 위한 제5 UI(865) 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 제2 작업자 윈도우(860)는 제1 내지 제5 UI(861~865) 중 적어도 하나에 대한 작업자의 사용자 명령에 대응하는 검색 결과를 디스플레이하는 제6 UI(866)를 더 포함할 수 있다.
예를 들어, 작업자는 제1 UI(861)을 통해 번역 관련 테스크 타입을 선택하고, 제2 UI(862)를 통해 테스크 수행 중인 작업 상태를 선택하며, 제5 UI(862)를 통해 번역 언어를 제2 언어(영어)로 선택할 수 있다. 이 같은 작업자의 사용자 명령이 입력되면, 제2 사용자 단말 장치(200-2)는 서버(100)로부터 제2 언어로 번역 관련 테스크를 수행 중인 프로젝트에 대한 검색 결과 리스트를 수신하여 제6 UI(866)에 디스플레이할 수 있다. 이 같은 작업자의 요청에 대응하는 검색 결과 리스트가 제6 UI(866)에 디스플레이된 상태에서 검색 결과 리스트에 포함된 프로젝트 중 하나가 선택되면, 제2 사용자 단말 장치(200-2)는 도 12에 도시된 바와 같이, 선택된 프로젝트에 대한 테스크 수행을 위한 자막 컨텐츠 생성 툴 윈도우(870)를 디스플레이할 수 있다.
구체적으로, 제2 사용자 단말 장치(200-2)는 검색 결과 리스트에 포함된 프로젝트 중 제1 프로젝트에 대한 작업자의 선택 명령이 입력되면, 자막 컨텐츠 생성 툴 윈도우(870)의 제1 영역(871)에 선택된 제1 프로젝트와 관련된 컨텐츠 영상을 디스플레이고, 제2 영역(872)에 해당 컨텐츠 영상의 구간별 자막 컨텐츠를 생성하기 위한 자막 컨텐츠 생성 툴 UI를 디스플레이하며, 제3 영역(873)에 자막 컨텐츠 작업 툴 UI를 통해 생성된 구간별 자막 컨텐츠의 재생 기간을 편집하기 위한 자막 컨텐츠 편집 툴 UI를 디스플레이할 수 있다.
따라서, 작업자는 제2 영역(872)을 통해 구간별 제1 영역(871)에 디스플레이되는 컨텐츠 영상의 소스 언어를 의뢰인이 요청한 언어도 번역 작업을 수행할 수 있다.
예를 들어, 컨텐츠 영상의 제1 구간(00:00:00 ~ 00:00:03)에 소스 언어가 포함될 수 있다. 이 경우, 작업자는 제2 영역(872)을 통해 제1 구간의 소스 언어를 의뢰인이 요청한 언어로 번역 작업을 수행할 수 있다, 이 같은 예를 통해 제2 영역(872)에는 컨텐츠 영상과 관련하여 작업자에 의해 번역 작업된 구간별 제1 내지 제3 자막 컨텐츠(01~03)가 디스플레이될 수 있다.
한편, 제2 사용자 단말 장치(200-2)는 해당 컨텐츠 영상과 관련하여 구간별 제1 내지 제3 자막 컨텐츠(01~03)가 생성되면, 제1 내지 제3 자막 컨텐츠 각각에 대응하는 시간 정보에 기초하여 제3 영역(873)을 통해 해당 컨텐츠 영상의 재생 시간 별 제1 내지 제3 자막 컨텐츠(01~03)의 재생 기간을 바(bar) 형태로 표시할 수 있다. 따라서, 작업자는 제3 영역(873)에 표시된 제1 내지 제3 자막 컨텐츠 각각에 대응하는 바의 길이를 조절하여 제1 내지 제3 자막 컨텐츠 각각에 대한 재생 기간을 편집할 수 있다.
지금까지, 본 발명에 따른 의뢰인의 제1 사용자 단말 장치에서(200-1)에서 자막 서비스 윈도우를 통해 의뢰인이 요청한 컨텐츠 영상에 대한 프로젝트 정보를 서버(100)에 등록하고, 작업자의 제2 사용자 단말 장치(200-2)에서 자막 서비스 윈도우를 통해 서버(100)에 기등록된 프로젝트에 대한 번역 작업을 수행하는 동작에 대해서 상세히 설명하였다. 이하에서는 본 발명에 따른 서버(100)에서 인공지능 학습모델을 이용하여 자막 서비스를 제공하는 방법 및 자막 서비스를 제공하는 서버(100)의 제어 방법에 대해서 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 서버에서 인공지능 학습모델을 이용하여 자막 서비스를 제공하는 방법의 흐름도이다.
최초 서버(100)는 컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치(200-1) 및 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치(200-2) 중 적어도 하나와 데이터 통신을 수행한다(S1310).
제1 사용자 단말 장치(200-1)로부터 의뢰인의 작업자 추천 명령이 수신되면, 서버(100)는 의뢰인이 요청한 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력한다(S1320,S1330).
구체적으로, 서버(100)는 제1 사용자 단말 장치(200-1)로부터 작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 번역 요청 정보에 포함된 영상 정보를 인공지능 학습모델에 입력한다. 여기서, 영상 정보는 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
이후, 서버(100)는 인공지능 학습모델을 통해 해당 컨텐츠 영상에 대한 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 획득한 작업자 리스트를 제1 사용자 단말 장치(200-1)로 전송한다(S1340).
전술한 인공지능 학습모델은 데이터 학습부를 통해 저장부에 저장된 작업자 정보를 학습하고, 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류한다. 따라서, 인공지능 학습모델은 의뢰인이 번역을 요청한 컨텐츠 영상에 대한 영상 정보가 입력되면, 데이터 학습부를 통해 학습된 작업자 정보 및 입력된 영상 정보를 인공지능 학습모델의 데이터 획득부에 입력하여 의뢰인이 요청한 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득할 수 있다. 여기서, 작업자 정보는 작업자별 프로파일 정보, 작업자별 작업 완료된 자막 컨텐츠 및 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함할 수 있다.
이 같은 작업자 리스트가 획득되면, 서버(100)는 획득된 작업자 리스트를 제1 사용자 단말 장치(200-1)로 전송한다. 이에 따라, 의뢰인은 제1 사용자 단말 장치(200-1)에 디스플레이된 작업자 리스트를 통해 번역 작업을 의뢰할 작업자를 선택할 수 있다. 작업자에 대한 선택 명령이 입력되면, 제1 사용자 단말 장치(200-1)는 입력된 선택 명령을 서버(100)로 전송한다.
서버(100)는 제1 사용자 단말 장치(200-1)로부터 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치(200-2)로 테스크 할당 메시지를 전송한다(1350). 따라서, 작업자는 제2 사용자 단말 장치(200-2)를 통해 서버(100)에 접속하여 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 수행할 수 있다.
한편, 전술한 단계 S1320에서 서버(100)는 제1 사용자 단말 장치(200-1)로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 영상 정보에 포함된 어드레스 정보에 기초하여 컨텐츠 영상을 획득하고, 획득된 컨텐츠 영상의 영상 데이터를 인공지능 학습모델의 언어 인식부에 입력한다(S1360,S1370).
이후, 서버(100)는 언어 인식부를 통해 컨텐츠 영상의 오디오 데이터와 관련된 제1 언어가 인식되면, 인식된 제1 언어를 데이터 획득부에 입력하여 제1 언어로부터 의뢰인이 요청한 제2 언어를 획득한다(S1380). 제2 언어가 획득되면, 서버(100)는 인공지능 학습모델의 번역 검수부로 제2 언어를 입력한다. 이에 따라, 번역 검수부는 입력된 제2 언어를 분석하여 문맥에 적합한 언어도 변환하여 의뢰인이 요청한 컨텐츠 영상에 대한 자막 컨텐츠를 생성할 수 있다. 뿐만 아니라, 번역 검수는 저장부에 자막 컨텐츠가 업데이트되면, 업데이트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리할 수 있다.
한편, 서버(100)는 의뢰인이 선택한 작업자로부터 번역 작업이 완료된 자막 컨텐츠가 저장부에 업데이트되면, 업데이트된 자막 컨텐츠와 관련하여 번역 검수부를 통해 오류 수정된 검수 결과, 해당 자막 컨텐츠에 대한 작업 기간 정보, 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 데이터 획득부에 입력하고, 입력된 정보에 기초하여 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득할 수 있다.
도 14는 본 발명에 따른 자막 서비스를 제공하는 서버의 제어 방법에 대한 흐름도이다.
도 14에 도시된 바와 같이, 자막 서비스를 제공하는 서버(100)는 의뢰인의 제1 사용자 단말 장치(200-1)로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보를 수신한다(1410). 번역 요청 정보가 수신되면, 서버(100)는 수신된 번역 요청 정보에 포함된 영상 정보에 기초하여 의뢰인이 요청한 컨텐츠 영상의 유효성 여부를 판단한 후, 유효성이 검증된 번역 요청 정보에 대한 테스크 정보를 생성하여 저장한다(S1420).
여기서, 영상 정보는 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함할 수 있다.
이후, 서버(100)는 작업자 요청에 따라, 저장부에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 작업자의 제2 사용자 단말 장치(200-2)로 전송한다(S4030). 이에 따라, 작업자는 제2 사용자 단말 장치(200-2)에 디스플레이된 자막 컨텐츠 생성 툴을 이용하여 의뢰인이 요청한 컨텐츠 영상에 대한 번역 작업을 수행할 수 있다. 한편, 제2 사용자 단말 장치(200-2)는 번역 작업이 완료된 자막 컨텐츠를 서버(100)로 전송한다. 그러나, 본 발명은 이에 한정되지 않으며, 작업자에 의해 번역 작업된 자막 컨텐츠는 실시간으로 서버(100)에 저장될 수 있으며, 번역 작업이 완료된 경우, 제2 사용자 단말 장치(200-2)는 번역 작업에 대한 완료 메시지를 서버(100)로 전송할 수 있다.
서버(100)는 제2 사용자 단말 장치(200-2)로부터 번역 작업이 완료된 자막 컨텐츠 혹은 번역 작업에 대한 완료 메시지가 수신되면, 작업자가 번역 작업한 자막 컨텐츠를 저장한다(S1440),
실시예에 따라, 서버(100)는 번역 작업이 완료된 자막 컨텐츠를 임시 저장부에 저장하고, 임시 저장부에 저장된 자막 컨텐츠 중 검수자에 의해 검수 완료된 자막 컨텐츠를 파이널 저장부에 저장할 수 있다.
구체적으로, 서버(100)는 검수자의 사용자 단말 장치(200)로부터 검수 작업 명령이 수신되면, 검수자의 사용자 단말 장치(200)로 임시 저장부에 저장된 자막 컨텐츠에 대한 리스트를 제공한다. 이에 따라, 검수자의 사용자 단말 장치(200)는서버(100)로부터 수신된 리스트를 디스플레이할 수 있다.
한편, 서버(100)는 검수자의 사용자 단말 장치(200)로부터 리스트에 포함된 자막 컨텐츠 중 제1 자막 컨텐츠에 대한 선택 명령이 수신되면, 제1 자막 컨텐츠에 대한 검수 작업 툴의 웹 정보를 검수자의 사용자 단말 장치(200)로 전송한다. 이에 따라, 검수자는 검수자의 사용자 단말 장치(200)를 통해 제1 자막 컨텐츠에 대한 검수를 수행하고, 검수자의 사용자 단말 장치(200)는 자막 서비스 서버(100)로 검수자에 의해 검수 완료된 제1 자막 컨텐츠에 대한 검수 완료 메시지를 전송한다.
검수자의 사용자 단말 장치(200)로부터 제1 자막 컨텐츠에 대한 검수 완료 메시지가 수신되면, 자막 서비스 서버(100)는 임시 저장부에 저장된 제1 자막 컨텐츠를 삭제하고, 검수자에 의해 검수 완료된 상기 제1 자막 컨텐츠를 파이널 저장부에 저장한다.
한편, 서버(100)는 미등록된 작업자의 프로파일 정보 및 작업자 정보를 등록할 수 있다. 구체적으로, 서버(100)는 미등록된 작업자의 제2 사용자 단말 장치(200-2)로부터 등록 요청 명령이 수신되면, 미등록된 작업자의 테스트 능력을 평가하여 미등록된 작업자의 테스크 등급 정보를 생성한다. 이후, 서버(100)는 미등록된 작업자로부터 제공된 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나를 포함하는 프로파일 정보와 테스크 등급 정보를 포함하는 작업자 정보를 생성하여 등록할 수 있다.
한편, 서버(100)는 등록된 작업자의 작업자 정보를 업데이트할 수 있다. 구체적으로, 서버(100)는 등록된 작업자에 의해 작업 완료된 자막 컨텐츠에 대한 작업 기간 정보, 오류 수정 정보, 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 기등록된 작업자의 테스크 등급 정보를 업데이트할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 서버(100)의 제어 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (18)

  1. 자막 서비스를 제공하는 서버에 있어서,
    컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치 및 상기 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치 중 적어도 하나와 데이터 통신을 수행하는 통신부;
    학습된 작업자 정보에 기초하여 작업자 검색 리스트 및 작업자의 테스크 능력 평가를 수행하는 인공지능 학습모델을 저장하는 저장부; 및
    상기 의뢰인의 작업자 추천 명령에 따라, 상기 컨텐츠 영상에 대한 영상 정보를 상기 인공지능 학습모델에 입력하여 번역 가능한 작업자에 대한 작업자 리스트를 획득하고, 상기 획득된 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하며,
    상기 작업자 정보는,
    작업자별 프로파일 정보, 상기 작업자별 작업 완료된 자막 컨텐츠 및 상기 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함하는 서버.
  2. 제 1 항에 있어서,
    상기 인공지능 학습모델은,
    상기 저장부에 저장된 작업자 정보를 학습하고, 상기 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류하는 데이터 학습부; 및
    상기 영상 정보 및 상기 데이터 학습부를 통해 학습된 작업자 정보에 기초하여 상기 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득하는 데이터 획득부;
    를 포함하는 것을 특징으로 하는 서버.
  3. 제 2 항에 있어서,
    상기 제어부는,
    작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보를 상기 인공지능 학습모델에 입력하며, 상기 데이터 획득부를 통해 획득한 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하고,
    상기 제1 사용자 단말 장치로부터 상기 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 상기 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치로 테스크 할당 메시지를 전송하도록 상기 통신부를 제어하며,
    상기 영상 정보는,
    상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버.
  4. 제 2 항에 있어서,
    상기 제어부는,
    상기 제1 사용자 단말 장치로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 포함된 어드레스 정보에 기초하여 상기 컨텐츠 영상을 획득하여 상기 영상 프레임으로부터 오디오 데이터를 추출하고, 상기 추출된 오디오 데이터를 인공지능 학습모델에 입력하며,
    인공지능 학습모델은,
    상기 입력된 컨텐츠 데이터와 관련된 제1 언어를 인식하는 언어 인식부;를 더 포함하며,
    상기 데이터 획득부는,
    상기 언어 인식부를 통해 인식된 제1 언어로부터 상기 의뢰인이 요청한 제2 언어를 획득하는 것을 특징으로 하는 서버.
  5. 제 4 항에 있어서,
    상기 인공지능 학습모델은,
    기학습된 자막 컨텐츠에 기초하여 상기 데이터 획득부를 통해 획득된 제2 언어 또는 상기 저장부에 업데트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리하는 번역 검수부;
    를 더 포함하는 것을 특징으로 하는 서버.
  6. 제 5 항에 있어서,
    상기 데이터 획득부는,
    상기 업데이트된 자막 컨텐츠와 관련하여 상기 번역 검수부로부터 오류 수정된 검수 결과, 자막 컨텐츠에 대한 작업 기간 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득하는 것을 특징으로 하는 서버.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 사용자 단말 장치로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 기초하여 상기 컨텐츠 영상의 유효성 여부를 판단한 후, 상기 유효성이 검증된 번역 요청 정보와 관련된 테스크 정보를 생성하여 저장하는 테스크 생성부;
    상기 저장부에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 상기 제2 사용자 단말 장치로 제공하며, 상기 제2 사용자 단말 장치로부터 번역 작업이 완료된 자막 컨텐츠가 수신되면, 상기 자막 컨텐츠를 상기 저장부에 저장하는 테스크 실행부;를 포함하며,
    상기 영상 정보는,
    상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버.
  8. 제 7 항에 있어서,
    상기 저장부는,
    상기 번역 작업이 완료된 자막 컨텐츠를 저장하는 임시 저장부; 및
    상기 임시 저장부에 저장된 자막 컨텐츠 중 번역 검수가 완료된 자막 컨텐츠를 저장하는 파이널 저장부;를 포함하며,
    상기 테스크 실행부는,
    상기 임시 저장부에 저장된 적어도 하나의 자막 컨텐츠에 포함된 언어에 대한 번역 검수를 위한 검수 작업 툴을 검수자의 제3 사용자 단말 장치로 제공하며, 상기 제3 사용자 단말 장치로부터 검수 완료 메시지가 수신되면, 검수 완료된 자막 컨텐츠를 상기 파이널 저장부에 저장하는 것을 특징으로 하는 서버.
  9. 제 7 항에 있어서,
    상기 제어부는,
    미등록된 작업자의 제2 사용자 단말 장치로부터 등록 요청 명령이 수신되면, 상기 미등록된 작업자의 테스트 능력을 평가하여 상기 미등록된 작업자의 테스크 등급 정보를 생성하고, 상기 미등록된 작업자로부터 제공된 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나와 상기 테스크 등급 정보를 포함하는 프로파일 정보를 생성하여 상기 저장부에 저장하는 회원 관리부;
    를 더 포함하는 것을 특징으로 서버.
  10. 서버에서 인공지능 학습모델을 이용하여 자막 서비스를 제공하는 방법에 있어서,
    컨텐츠 영상의 번역을 요청하는 의뢰인의 제1 사용자 단말 장치 및 상기 번역 작업을 수행하는 작업자의 제2 사용자 단말 장치 중 적어도 하나와 데이터 통신을 수행하는 단계;
    상기 의뢰인의 작업자 추천 명령에 따라, 상기 컨텐츠 영상에 대한 영상 정보를 인공지능 학습모델에 입력하는 단계;
    상기 인공지능 학습모델을 통해 상기 컨텐츠 영상에 대한 번역 가능한 작업자에 대한 작업자 리스트를 획득하는 단계; 및
    상기 획득된 작업자 리스트를 상기 제1 사용자 단말 장치로 전송하는 단계;를 포함하며,
    상기 작업자 정보는,
    작업자별 프로파일 정보, 상기 작업자별 작업 완료된 자막 컨텐츠 및 상기 작업자별 평가된 테스크 등급 정보 중 적어도 하나를 포함하는 자막 서비스 제공 방법.
  11. 제 10 항에 있어서,
    상기 획득하는 단계는,
    상기 인공지능 학습모델의 데이터 학습부를 통해 상기 저장부에 저장된 작업자 정보를 학습하고, 상기 학습된 작업자 정보에 기초하여 작업자별 분야별 번역 가능한 카테고리를 분류하며, 학습된 작업자 정보 및 영상 정보를 상기 인공지능 학습모델의 데이터 획득부에 입력하여 상기 컨텐츠 영상에 대한 번역 가능한 작업자 리스트를 획득하는 것을 특징으로 하는 자막 서비스 제공 방법.
  12. 제 11 항에 있어서,
    상기 입력하는 단계는,
    작업자 요청 정보, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보를 상기 인공지능 학습모델에 입력하며,
    상기 제1 사용자 단말 장치로부터 상기 작업자 리스트에 포함된 적어도 하나의 작업자 대한 선택 명령이 수신되면, 상기 선택 명령에 대응하는 작업자의 제2 사용자 단말 장치로 테스크 할당 메시지를 전송하는 단계;를 더 포함하며,
    상기 영상 정보는,
    상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 자막 서비스 제공 방법.
  13. 제 11 항에 있어서,
    상기 입력하는 단계는,
    상기 제1 사용자 단말 장치로부터 자동 번역 명령, 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보가 수신되면, 상기 영상 정보에 포함된 어드레스 정보에 기초하여 상기 컨텐츠 영상을 획득하여 상기 인공지능 학습모델의 언어 인식부에 입력하며,
    상기 언어 인식부를 통해 상기 컨텐츠 영상의 오디오 데이터와 관련된 제1 언어가 인식되면, 상기 제1 언어를 상기 데이터 획득부에 입력하여 상기 제1 언어로부터 상기 의뢰인이 요청한 제2 언어를 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 자막 서비스 제공 방법.
  14. 제 13 항에 있어서,
    상기 인공지능 학습모델의 번역 검수부에서, 기학습된 자막 컨텐츠에 기초하여 상기 제2 언어 또는 상기 저장부에 업데트된 자막 컨텐츠에 대응하는 언어를 문맥에 적합한 언어로 변환 처리하는 단계;
    를 더 포함하는 것을 특징으로 하는 자막 서비스 제공 방법.
  15. 제 14 항에 있어서,
    상기 데이터 획득부에서, 업데이트된 자막 컨텐츠와 관련하여 상기 번역 검수부를 통해 오류 수정된 검수 결과, 자막 컨텐츠에 대한 작업 기간 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 자막 컨텐츠를 작업한 작업자의 테스크 레벨값을 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 자막 서비스 제공 방법.
  16. 자막 서비스를 제공하는 서버의 제어 방법에 있어서,
    의뢰인의 제1 사용자 단말 장치로부터 작업 조건 정보 및 영상 정보 중 적어도 하나를 포함하는 번역 요청 정보를 수신하는 단계;
    상기 영상 정보에 기초하여 상기 컨텐츠 영상의 유효성 여부를 판단한 후, 상기 유효성이 검증된 번역 요청 정보를 저장하는 단계;
    작업자 요청에 따라, 상기 저장부에 저장된 적어도 하나의 번역 요청 정보와 관련된 컨텐츠 영상의 번역 작업을 위한 자막 컨텐츠 생성 툴을 상기 작업자의 제2 사용자 단말 장치로 전송하는 단계; 및
    상기 제2 사용자 단말 장치로부터 번역 작업이 완료된 자막 컨텐츠가 수신되면, 상기 자막 컨텐츠를 저장하는 단계;를 포함하며,
    상기 영상 정보는,
    상기 컨텐츠 영상에 대한 어드레스 정보, 타이틀 정보 및 상기 컨텐츠 영상에 대한 디스크립션 정보 중 적어도 하나를 포함하는 제어 방법.
  17. 제 16 항에 있어서,
    상기 저장하는 단계는,
    상기 번역 작업이 완료된 자막 컨텐츠를 임시 저장부에 저장하는 단계; 및
    검수자의 작업 요청에 따라, 상기 임시 저장부에 저장된 적어도 하나의 자막 컨텐츠에 포함된 언어에 대한 번역 검수를 위한 검수 작업 툴을 검수자의 제3 사용자 단말 장치로 전송하는 단계; 및
    상기 제3 사용자 단말 장치로부터 검수 완료 메시지가 수신되면, 검수 완료된 자막 컨텐츠를 상기 파이널 저장부에 저장하는 단계;
    를 포함하는 것을 특징으로 하는 제어 방법.
  18. 제 16 항에 있어서,
    미등록된 작업자의 프로파일 정보 및 테스크 등급 정보를 포함하는 작업자 정보를 등록하는 단계; 및
    상기 등록된 작업자 정보를 업데이트하는 단계;를 더 포함하며,
    상기 등록하는 단계는,
    상기 미등록된 작업자의 개인 정보, 이력 정보, 비용 정보, 평가 정보 중 적어도 하나를 포함하는 상기 프로파일 정보를 생성하는 단계; 및
    상기 미등록된 작업자의 제2 사용자 단말 장치로부터 등록 요청 명령이 수신되면, 상기 미등록된 작업자의 테스트 능력을 평가하여 상기 미등록된 작업자의 테스크 등급 정보를 생성하는 단계;를 포함하며,
    상기 업데이트하는 단계는,
    상기 등록된 작업자에 의해 작업 완료된 자막 컨텐츠에 대한 작업 기간 정보, 오류 수정 정보, 상기 자막 컨텐츠를 이용한 사용자의 평가 정보 중 적어도 하나를 이용하여 상기 등록된 작업자의 테스크 등급 정보를 업데이트하는 것을 특징으로 하는 제어 방법.
PCT/KR2021/008757 2021-07-04 2021-07-08 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법 Ceased WO2023282371A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/430,056 US11966712B2 (en) 2021-07-04 2021-07-08 Server and method for providing multilingual subtitle service using artificial intelligence learning model, and method for controlling server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0087498 2021-07-04
KR1020210087498A KR102431383B1 (ko) 2021-07-04 2021-07-04 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법

Publications (1)

Publication Number Publication Date
WO2023282371A1 true WO2023282371A1 (ko) 2023-01-12

Family

ID=82846877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008757 Ceased WO2023282371A1 (ko) 2021-07-04 2021-07-08 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법

Country Status (3)

Country Link
US (1) US11966712B2 (ko)
KR (1) KR102431383B1 (ko)
WO (1) WO2023282371A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12141353B1 (en) 2023-07-07 2024-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for displaying dynamic closed-captioning content
KR102726106B1 (ko) * 2024-02-13 2024-11-05 주식회사 유엑스플러스코퍼레이션 번역 자막 제공 장치 및 이를 이용한 번역 자막 제공 방법
KR102800075B1 (ko) 2024-11-27 2025-04-29 (주)페르소나에이아이 힌디어, 영어 및 한국어가 포함된 다국어 ai doc 시스템의 구축 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101802674B1 (ko) * 2016-11-24 2017-11-28 유남민 번역 관리 시스템
KR20190141331A (ko) * 2018-06-14 2019-12-24 이동준 동영상 자막 번역 서비스를 제공하는 시스템 및 방법
KR20200142282A (ko) * 2019-06-12 2020-12-22 삼성전자주식회사 컨텐츠 번역 서비스를 제공하는 전자 장치 및 그 제어 방법
KR102244448B1 (ko) * 2020-10-05 2021-04-27 주식회사 플리토 전문 번역 서비스 플랫폼을 제공하기 위한 방법
KR102258000B1 (ko) * 2020-10-05 2021-05-31 주식회사 플리토 복수의 사용자 단말들과의 연계를 통해 이미지 번역 서비스를 제공하기 위한 방법 및 서버

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118643B (zh) * 2009-12-30 2015-05-27 新奥特（北京）视频技术有限公司 一种网络字幕播放系统及其播放方法
US9026446B2 (en) * 2011-06-10 2015-05-05 Morgan Fiumi System for generating captions for live video broadcasts
US10909329B2 (en) * 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US11113599B2 (en) * 2017-06-22 2021-09-07 Adobe Inc. Image captioning utilizing semantic text modeling and adversarial learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101802674B1 (ko) * 2016-11-24 2017-11-28 유남민 번역 관리 시스템
KR20190141331A (ko) * 2018-06-14 2019-12-24 이동준 동영상 자막 번역 서비스를 제공하는 시스템 및 방법
KR20200142282A (ko) * 2019-06-12 2020-12-22 삼성전자주식회사 컨텐츠 번역 서비스를 제공하는 전자 장치 및 그 제어 방법
KR102244448B1 (ko) * 2020-10-05 2021-04-27 주식회사 플리토 전문 번역 서비스 플랫폼을 제공하기 위한 방법
KR102258000B1 (ko) * 2020-10-05 2021-05-31 주식회사 플리토 복수의 사용자 단말들과의 연계를 통해 이미지 번역 서비스를 제공하기 위한 방법 및 서버

Also Published As

Publication number Publication date
US11966712B2 (en) 2024-04-23
US20240005105A1 (en) 2024-01-04
KR102431383B1 (ko) 2022-08-10

Similar Documents

Publication Publication Date Title
WO2020262958A1 (en) Electronic apparatus and control method thereof
WO2019203488A1 (en) Electronic device and method for controlling the electronic device thereof
WO2020017898A1 (en) Electronic apparatus and control method thereof
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2015167160A1 (en) Command displaying method and command displaying device
WO2023282371A1 (ko) 인공지능 학습모델을 이용하여 다국어 자막 서비스를 제공하는 서버 및 방법과, 서버의 제어 방법
WO2014107006A1 (en) Display apparatus and control method thereof
WO2019027259A1 (en) APPARATUS AND METHOD FOR PROVIDING SUMMARY INFORMATION USING ARTIFICIAL INTELLIGENCE MODEL
WO2019177344A1 (en) Electronic apparatus and controlling method thereof
WO2016093552A2 (en) Terminal device and data processing method thereof
WO2019083275A1 (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
EP3635605A1 (en) Electronic device and method for controlling the electronic device
EP3602334A1 (en) Apparatus and method for providing summarized information using an artificial intelligence model
WO2016126007A1 (en) Method and device for searching for image
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2020040517A1 (en) Electronic apparatus and control method thereof
WO2019235793A1 (en) Electronic device and method for providing information related to image to application through input unit
EP3230902A2 (en) Terminal device and data processing method thereof
WO2023132657A1 (ko) 상품 트렌드 예측 서비스 제공 장치, 방법 및 프로그램
WO2016190652A1 (en) Electronic device, information providing system and information providing method thereof
WO2020190103A1 (en) Method and system for providing personalized multimodal objects in real time
WO2025005499A1 (ko) 인공지능 기반 폴리 사운드 제공 장치 및 방법
WO2019107674A1 (en) Computing apparatus and information input method of the computing apparatus
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2022145946A1 (ko) 학습 영상 및 예문의 인공지능 추천기반 언어학습 시스템 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17430056

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21949411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21949411

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.06.2024)

122 Ep: pct application non-entry in european phase

Ref document number: 21949411

Country of ref document: EP

Kind code of ref document: A1