[go: up one dir, main page]

WO2023033538A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2023033538A1
WO2023033538A1 PCT/KR2022/013026 KR2022013026W WO2023033538A1 WO 2023033538 A1 WO2023033538 A1 WO 2023033538A1 KR 2022013026 W KR2022013026 W KR 2022013026W WO 2023033538 A1 WO2023033538 A1 WO 2023033538A1
Authority
WO
WIPO (PCT)
Prior art keywords
graphs
augmented
individual
graph
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/013026
Other languages
English (en)
French (fr)
Inventor
오은규
김태훈
김민수
지윤후
키알리아수실
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220045188A external-priority patent/KR20230032843A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22865040.4A priority Critical patent/EP4362477A4/en
Priority to CN202280049821.7A priority patent/CN117678227A/zh
Publication of WO2023033538A1 publication Critical patent/WO2023033538A1/ko
Priority to US18/201,405 priority patent/US20230297832A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies

Definitions

  • the present disclosure relates to an electronic device and a method for controlling the electronic device, and more particularly, to an electronic device capable of providing information on recommended content using a neural network model and a method for controlling the electronic device.
  • the present disclosure is to overcome the limitations of the prior art as described above, and an object of the present disclosure is to learn a neural network model based on effectively augmenting an individual graph representing a user's access history to content, and accordingly It is an object of the present invention to provide an electronic device capable of predicting recommended content that meets a user's intention and a method for controlling the electronic device.
  • an electronic device obtains a memory for storing a neural network model and a plurality of individual graphs representing a user's access history for a plurality of contents for each of a plurality of sessions, ,
  • An integrated graph in which the plurality of individual graphs are integrated is generated based on the connection relationship of the nodes included in the plurality of individual graphs and the number of repetitions of the connection of the nodes, and based on the integrated graph, the plurality of individual graphs and a processor for acquiring a plurality of augmented graphs by augmenting each of the augmented graphs and learning the neural network model for providing recommended content based on the plurality of augmented graphs.
  • the processor may obtain at least one augmented graph among the plurality of augmented graphs by adding at least one node included in the integrated graph to a plurality of nodes included in each of the plurality of individual graphs.
  • the processor obtains at least one augmented graph among the plurality of augmented graphs by changing at least one node among a plurality of nodes included in each of the plurality of individual graphs to at least one node included in the integrated graph. can do.
  • the processor may train the neural network model based on contrastive loss for the plurality of augmented graphs.
  • the neural network model includes an encoder that obtains vectors corresponding to the plurality of individual graphs and vectors corresponding to the plurality of augmented graphs, a prediction module that obtains recommended content information corresponding to each of the plurality of individual graphs, and the and an augmentation module that acquires the plurality of augmented graphs by augmenting each of a plurality of individual graphs, and a contrast loss acquisition module that obtains the contrast loss for the plurality of augmented graphs.
  • the encoder maps augmented graphs corresponding to the same individual graph among the plurality of augmented graphs to vectors having a short distance in a vector space, and maps the augmented graphs corresponding to the same individual graph among the plurality of augmented graphs to different individual graphs. It can be learned to map corresponding augmented graphs to vectors of long distances in the vector space.
  • a vector space for defining vectors corresponding to the plurality of augmented graphs may be different from a vector space for defining the contrast loss for the plurality of augmented graphs.
  • the augmentation module acquires three or more augmented graphs for each of the plurality of individual graphs by augmenting each of the plurality of individual graphs in three or more different methods, and the contrast loss corresponds to the three or more augmented graphs. It can include two or more positive pairs defined based on vectors.
  • a method for controlling an electronic device using a neural network model for providing recommended content based on a user's access history to content is provided for a user of a plurality of content.
  • Generating an integrated graph acquiring a plurality of augmented graphs by augmenting each of the plurality of individual graphs based on the integrated graph, and using the neural network model for providing recommended content based on the plurality of augmented graphs. It includes a learning step.
  • the obtaining of the plurality of augmented graphs may include adding at least one node included in the integrated graph to a plurality of nodes included in each of the plurality of individual graphs, so as to obtain at least one augmented graph among the plurality of augmented graphs. It may include the step of obtaining.
  • the acquiring of the plurality of augmented graphs may include changing at least one node among a plurality of nodes included in each of the plurality of individual graphs to at least one node included in the integrated graph, so that among the plurality of augmented graphs It may include obtaining at least one augmented graph.
  • the neural network model may be trained based on a contrast loss for the plurality of augmented graphs.
  • the neural network model includes an encoder that obtains vectors corresponding to the plurality of individual graphs and vectors corresponding to the plurality of augmented graphs, a prediction module that obtains recommended content information corresponding to each of the plurality of individual graphs, and the and an augmentation module that acquires the plurality of augmented graphs by augmenting each of a plurality of individual graphs, and a contrast loss acquisition module that obtains the contrast loss for the plurality of augmented graphs.
  • the encoder maps augmented graphs corresponding to the same individual graph among the plurality of augmented graphs to vectors having a short distance in a vector space, and maps the augmented graphs corresponding to the same individual graph among the plurality of augmented graphs to different individual graphs. It can be learned to map corresponding augmented graphs to vectors of long distances in the vector space.
  • a vector space for defining vectors corresponding to the plurality of augmented graphs may be different from a vector space for defining the contrast loss for the plurality of augmented graphs.
  • the augmentation module acquires three or more augmented graphs for each of the plurality of individual graphs by augmenting each of the plurality of individual graphs in three or more different methods, and the contrast loss corresponds to the three or more augmented graphs. It can include two or more positive pairs defined based on vectors.
  • a non-transitory computer-readable recording medium including a program for executing a control method of an electronic device, based on a user's access history to content
  • the control method of the electronic device using a neural network model for providing recommended content includes obtaining a plurality of individual graphs representing a user's access history to a plurality of contents for each of a plurality of sessions, and a node included in the plurality of individual graphs.
  • FIG. 1 is a flowchart briefly illustrating the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a diagram showing a plurality of modules included in a neural network model according to the present disclosure and input/output data for each of the plurality of modules;
  • FIG. 3 is a diagram for explaining in detail an augmentation process of individual graphs according to various embodiments of the present disclosure
  • FIG. 4 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure in detail
  • FIG. 5 is a diagram showing information on a user's access history in detail according to an embodiment of the present disclosure
  • FIG. 6 is a diagram showing an example of a user interface for providing information on recommended content based on a user's access history
  • FIG. 7 is a diagram showing information on a user's access history in detail according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram showing an example of a user interface for providing information on recommended content based on a user's access history
  • FIG. 9 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • 1 is a flowchart briefly illustrating the configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • 2 is a diagram showing a plurality of modules included in the neural network model according to the present disclosure and input/output data for each of the plurality of modules.
  • the 'electronic device 100' refers to a device capable of providing recommended content based on a user's access history to content.
  • the electronic device 100 may provide recommended content using the learned neural network model.
  • the electronic device 100 may be a server providing content, but the type of the electronic device 100 according to the present disclosure is not limited to a specific type.
  • the 'neural network model' refers to an artificial intelligence model trained to acquire information about recommended content based on information about a user's access history to content.
  • the type of neural network model according to the present disclosure for convenience of explanation, a case in which the neural network model includes a graph neural network (GNN) will be described below.
  • GNN graph neural network
  • a 'graph neural network' refers to a neural network trained to output output data corresponding thereto when a graph is input as input data. That is, a graph neural network refers to a neural network that can be directly applied to a graph.
  • a 'graph' is a data structure that includes nodes (or points) and lines (or edges) connecting the nodes.
  • the graph may include data corresponding to each node included in the graph and data corresponding to a line representing a connection relationship between nodes.
  • Inputting a graph to the neural network model may be used in the same sense as inputting data corresponding to each node included in the graph and data corresponding to a line representing a connection between nodes to the neural network model.
  • 'nodes' included in the graph represent each of contents accessed by a user
  • a 'line' connecting the nodes means a sequential connection relationship between contents accessed by a user. For example, if a user sequentially watches movie A, movie B, and movie C in a particular session, the graph includes three nodes corresponding to movie A, movie B, and movie C, and also has three nodes corresponding to movie A. A line connecting the node and the node corresponding to movie B and a line connecting the node corresponding to movie B and the node corresponding to movie C may be included.
  • the term 'user's access history to content' is used as a generic term for information indicating that a user has accessed in the past or present with respect to various contents provided through the electronic device 100 .
  • the user's access history to the content is the content playback history if the content is video content or audio content, the loading history of the web page if the content is a web page showing product information, or the user's input for a specific product. history may be included.
  • a user's 'access' to content is used as a generic term for an event indicating that the user of the electronic device 100 has interacted with content provided through the electronic device 100 .
  • the user's access may not only be performed in an active manner, such as when a specific content is provided to the user according to a user input for selecting a specific content from among a plurality of contents, but also may be performed in the form of notification or advertisement to the user. It may also be performed in a passive manner, as in the case of providing
  • a user's access to content may be distinguished according to a plurality of sessions.
  • a 'session' may mean a time interval during which a series of interactions between the electronic device 100 and the user lasted.
  • 'sustained' may mean that when interactions between the electronic device 100 and the user continuously occur, a blank period between the continuously occurring interactions is equal to or less than a preset threshold time. That is, a plurality of sessions may be distinguished according to whether or not the interaction between the electronic device 100 and the user continues, which will be described in more detail below.
  • the plurality of sessions may be distinguished based on the time at which the user accesses the content or the application through which the user accesses the content. Specifically, when a threshold time elapses after the user accesses the content, the access before the threshold time elapses and the access after the threshold time elapses may be included in different sessions. Also, the access performed through the first application and the access performed through the second application may be included in different sessions. In addition, a criterion for distinguishing a plurality of sessions may be set in various ways.
  • an electronic device 100 may include a memory 110 and a processor 120 .
  • the neural network model according to the present disclosure includes a plurality of components such as an encoder, a prediction module, an augmentation module, and a contrast loss acquisition module. modules may be included.
  • At least one instruction related to the electronic device 100 may be stored in the memory 110 .
  • an operating system (O/S) for driving the electronic device 100 may be stored in the memory 110 .
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 110 according to various embodiments of the present disclosure.
  • the memory 110 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
  • Various software modules for operating the electronic device 100 may be stored in the memory 110 according to various embodiments of the present disclosure, and the processor 120 executes various software modules stored in the memory 110 to execute the electronic device.
  • the operation of (100) can be controlled. That is, the memory 110 is accessed by the processor 120, and data can be read/written/modified/deleted/updated by the processor 120.
  • the term memory 110 refers to the memory 110, a ROM (not shown) in the processor 120, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (for example, , micro SD card, memory stick).
  • the memory 110 includes data on a neural network model, information on layers constituting a plurality of modules, information on weights and parameters constituting each layer, and Input/output data for each of a plurality of modules may be stored.
  • the memory 110 may store information about a user's access history to content, individual graphs, integrated graphs, augmented graphs, information about recommended content, and the like.
  • various information required within the scope of achieving the object of the present disclosure may be stored in the memory 110, and the information stored in the memory 110 may be updated as received from an external device or input by a user. .
  • the processor 120 controls overall operations of the electronic device 100 . Specifically, the processor 120 is connected to the configuration of the electronic device 100 including the memory 110, and by executing at least one instruction stored in the memory 110 as described above, the electronic device 100 You have full control over the action.
  • Processor 120 may be implemented in a variety of ways.
  • the processor 120 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), a digital signal processor processor, DSP) may be implemented as at least one.
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor processor
  • the term processor 120 may be used to include a central processing unit (CPU), a graphic processing unit (GPU), and a main processing unit (MPU).
  • CPU central processing unit
  • GPU graphic processing unit
  • MPU main processing unit
  • the processor 120 may load data for a plurality of modules stored in the memory 110 and implement various embodiments according to the present disclosure through the plurality of modules. That is, the plurality of modules may be implemented as software modules, but at least some of the plurality of modules may be implemented as hardware modules included in the processor 120 .
  • the processor 120 may provide recommended content corresponding to the user's access history by using a neural network model. Specifically, the processor 120 may provide recommended content corresponding to the user's access history by using an encoder and a prediction module included in the neural network model.
  • the encoder may obtain vectors corresponding to individual graphs, and in particular, the encoder may include a graph neural network.
  • an 'individual graph' refers to a graph that individually represents a user's access history for a plurality of contents for each session, and is distinguished from an integrated graph and an augmented graph as will be described later.
  • an individual graph is the contents (A, B, C, D, and F) accessed by the user in the first session (F ⁇ A ⁇ C ⁇ D ⁇ B) of the user's access history. ), sequential connection relationships between the contents (connections in the order of F, A, C, D, and B), and information on the number of connections between the contents (once each).
  • the encoder may output a vector corresponding to the input individual graph.
  • the vector is a digitized feature of the entire input graph, and may be referred to as a representation or feature representation. Accordingly, in FIG. 2, the vector output through the encoder is indicated by the symbol r. Meanwhile, the encoder may obtain a vector corresponding to an augmented graph as well as an individual graph, which will be described later.
  • the prediction module may obtain recommended content information corresponding to individual graphs. Specifically, when a vector corresponding to an individual graph is input, the prediction module may output recommended content information corresponding to the input vector.
  • the recommended content information refers to information for recommending content that is highly likely to be accessed by a user after content included in an individual graph input to an encoder.
  • Recommended content information may be output in the form of a vector as shown in FIG. 2, and the dimension of the vector output through the prediction module may be different from the dimension of the vector output through the encoder.
  • a vector output through the prediction module may be referred to as a term such as a target item. In FIG. 2, the vector output through the prediction module is indicated by the symbol t.
  • the processor 120 compares the obtained recommended content information with label information to obtain a main loss, and based on the main loss, a supervised learning method is performed.
  • a neural network model can be trained.
  • label information to be compared with recommended content information is indicated by the symbol V.
  • the processor 120 may train the neural network model in a direction in which the main loss decreases by performing a back propagation process based on the obtained main loss. That is, when the neural network model is trained based on the main loss, the prediction module is trained to obtain recommended content information capable of reducing the main loss, and the encoder is trained to obtain a vector capable of reducing the main loss.
  • 'Main loss' is distinguished from contrastive loss as described later, and may be obtained by calculating a cosine similarity between recommended content information obtained through a prediction module and pre-stored label information.
  • various similarity calculation techniques distance calculation techniques
  • Euclidean distance or Manhattan distance can be used, of course.
  • the processor 120 may not only learn a neural network model based on the main loss obtained by comparing recommended content information with label information, but also obtain an augmented graph by augmenting an individual graph, and augment the augmented graph.
  • a neural network model can be trained using a graph.
  • the processor 120 may obtain a plurality of individual graphs representing a user's access history for a plurality of contents for each of a plurality of sessions. Specifically, the processor 120 may collect information about a user's access history to a plurality of contents for a predetermined period of time. In addition, the processor 120 may classify the user's access history for each of a plurality of sessions, and obtain a plurality of individual graphs representing the user's access history for each session.
  • the processor 120 may generate an integrated graph in which the plurality of individual graphs are integrated based on the connection relationship and the number of connections of nodes included in the plurality of individual graphs.
  • An 'integrated graph' refers to a graph that integrally represents a user's access history to a plurality of contents.
  • the processor 120 generates an integrated graph including nodes corresponding to contents accessed by users during a plurality of sessions, lines representing connection relationships between the nodes, and information on the number of times the nodes are connected. can do.
  • the integrated graph is the contents accessed by the user in a plurality of sessions included in the user's access history (A, B, C, D, E, and F), and sequential connections between the contents. It may include information about relationships and the number of connections between contents. For example, in the integrated graph of FIG. 2, A ⁇ C indicates that the user accessed content A and then content C, and the number 2 assigned to A ⁇ C indicates that the user accessed content A and then accessed content A in the entire session. Indicates that the number of accesses to content C is twice.
  • the processor 120 may obtain a plurality of augmented graphs by augmenting each of a plurality of individual graphs based on the integrated graph. Specifically, the processor 120 may acquire a plurality of augmented graphs through an augmentation module, that is, an augmentation module refers to a module capable of obtaining a plurality of augmented graphs by augmenting each of a plurality of individual graphs.
  • 'Augmentation' refers to a technology that increases the amount of data by applying various algorithms to a small amount of data.
  • the augmentation technology can be used to solve the problem that the performance of the neural network model may deteriorate or the problem of underfitting or overfitting may occur when the amount of training data is insufficient in learning the neural network model. .
  • An augmented graph according to the present disclosure is a graph generated based on a plurality of individual graphs, and at least one of nodes included in the graph, a connection relationship between nodes, and the number of connections may be different from the plurality of individual graphs.
  • the neural network model acquires a vector that better represents the characteristics of the input graph and predicts recommended content that meets the user's intention. In this case, the augmented graph is acquired. After the description of the process, it will be described in more detail.
  • the processor 120 may obtain at least one augmented graph from among the plurality of augmented graphs by adding at least one node included in the integrated graph to a plurality of nodes included in each of the plurality of individual graphs. there is. This may be briefly referred to as an 'injection' technique.
  • the node added to the individual graph may be determined based on the connection relationship and the number of connections of nodes connected to the integrated graph. For example, based on the fact that the connection relationship F ⁇ A exists in the integrated graph, the augmentation module sets the individual graph corresponding to the session A ⁇ C ⁇ D in FIG. 2 to the connection relationship F ⁇ A ⁇ C ⁇ D.
  • An augmented graph can be obtained by changing to a graph having
  • the processor 120 augments at least one of a plurality of augmented graphs by changing at least one node among a plurality of nodes included in each of a plurality of individual graphs to at least one node included in an integrated graph. graph can be obtained. This can be briefly referred to as the 'change' technique.
  • nodes that are changed in the individual graph may be determined based on the connection relationship and the number of connections of nodes connected to the integrated graph. For example, based on the fact that the number of connections for the connection relationship C ⁇ D in the integrated graph is two times, the augmentation module creates an individual graph corresponding to the session B ⁇ C ⁇ E in FIG. It is possible to obtain an augmented graph by changing the connection relationship called into a graph.
  • the processor 120 selects only some nodes among a plurality of nodes included in each of a plurality of individual graphs, excludes some nodes, or rearranges the order of some nodes.
  • An augmented graph can be obtained.
  • the processor 120 may train a neural network model based on the plurality of augmented graphs. Specifically, the processor 120 may acquire a contrast loss through a contrast loss acquisition module, and train a neural network model according to a contrastive learning method based on the obtained contrast loss, that is, obtain a contrast loss.
  • the module refers to a module capable of acquiring contrast loss for a plurality of augmented graphs.
  • 'Contrastive learning' is a type of self-supervised learning method. After obtaining augmented data by applying different augmentation techniques to data, the distance between feature representations of positive pairs among the data is close. It refers to a method of learning a neural network model so that the feature representation of a negative pair among the data becomes farther away. Also, 'contrast loss' may be defined as a set of positive and negative pairs representing the relationship between augmented data. The specific meaning of the positive pair and the negative pair will be described later.
  • the processor 120 may obtain vectors (ie, representations) corresponding to each of the plurality of augmented graphs by inputting the plurality of augmented graphs to an encoder.
  • r a1 , r a2 , and r a3 are vectors corresponding to augmented data obtained by the first augmentation method, augmented data obtained by the second augmentation method, and augmented data obtained by the third augmentation method, respectively. Indicates the vector corresponding to .
  • the processor 120 configures the contrast loss by inputting the vectors corresponding to each of the plurality of augmented graphs to the contrast loss acquisition module and projecting them into a vector space of another dimension.
  • vector can be obtained. That is, a vector space for defining vectors corresponding to a plurality of augmented graphs may be different from a vector space for defining a contrast loss for a plurality of augmented graphs.
  • a vector space for defining contrast loss for a plurality of augmented graphs and a vector space corresponding to an output of a prediction module may be different from each other. That is, according to the present disclosure, separate learning having independence in relation to learning based on the output of the prediction module after mapping the vector output through the encoder onto a vector space that is different from the vector space corresponding to the output of the prediction module. By performing, the encoder can be learned more effectively. The learning process based on contrast loss will be described in more detail below.
  • a contrast loss representing a relationship to a plurality of augmented graphs can be obtained accordingly.
  • z 1 , z 2 , z 3 and z 4 represent the first to fourth sessions included in the user's access history, respectively, and the superscripts a 1 , a 2 and a 3 denote the first augmentation method, respectively;
  • the second enhancement method and the third enhancement method are shown. That is, in the example of FIG. 2, z 1 a1 corresponds to the augmented graph obtained by applying the first augmentation method to the individual graph corresponding to the first session, and z 1 a2 applies the second augmentation method to the individual graph corresponding to the first session. It corresponds to the augmented graph obtained by
  • the table of FIG. 2 shows a relationship between a plurality of augmented graphs obtained by augmenting a plurality of individual graphs corresponding to the user's access history of FIG. 2 in three ways.
  • the relationship between the plurality of augmented graphs is a relationship indicating that they are augmented graphs corresponding to the same individual graph among the plurality of augmented graphs (hereinafter referred to as a positive pair) and an augmented graph corresponding to different individual graphs among the plurality of augmented graphs. It may include a relationship indicating that it is a pair (hereinafter referred to as a negative pair).
  • p represents a positive pair and a blank represents a negative pair.
  • a relationship between z 1 a1 , z 1 a2 , and z 1 a3 is a positive pair
  • a relationship between z 1 a1 , z 2 a1 , z 3 a1 , and z 4 a1 is a negative pair.
  • augmented graphs corresponding to the same individual graph (ie, the same session) among a plurality of augmented graphs are set as a positive pair, and different individual graphs (ie, different sessions) among the plurality of augmented graphs are set as positive pairs. ) can be obtained as a negative pair of augmented graphs corresponding to the contrast loss.
  • the augmentation module may obtain three or more augmented graphs for each of a plurality of individual graphs by augmenting each of a plurality of individual graphs in three or more different methods.
  • contrast loss may include two or more positive pairs defined based on vectors corresponding to three or more augmented graphs.
  • the neural network model maps augmented graphs (i.e., positive pairs) corresponding to the same individual graph among a plurality of augmented graphs to vectors having a short distance on the vector space, and maps different individual graphs among the plurality of augmented graphs. It can be learned to map augmented graphs (ie, negative pairs) corresponding to the graph to vectors of long distances on the vector space.
  • the neural network model maps z 1 a1 to a vector having a close distance to z 1 a2 and z 1 a3 in a positive pair relationship, and z 2 a1 , z 3 a1 and z 3 a1 in a negative pair relationship. It can be learned to map to a vector that is far from z 4 a1 .
  • the process of learning the neural network model based on the recommended content information and the process of learning the neural network model based on the contrast loss may be performed simultaneously or at different times.
  • the processor 120 may perform a process of learning a neural network model based on contrast loss and then a process of learning a neural network model based on recommended content information.
  • the electronic device 100 can augment an individual graph representing a user's access history to content and effectively learn a neural network model based on the output of the augmented graph.
  • the electronic device 100 may acquire a plurality of augmented graphs by using three or more various augmentation methods for individual graphs, and learn an encoder based on a contrast loss including two or more positive pairs. Accordingly, the encoder can obtain a vector that better represents the characteristics of the input graph. In addition, even when an individual graph corresponding to a new session is input to the neural network model during the inference process of the neural network model, it is possible to predict recommended content that meets the user's intention.
  • the electronic device 100 may use information about the entire session included in the integrated graph instead of using only information of each session in the process of augmenting an individual graph. Accordingly, in the process of augmenting data It is possible to overcome the problem that only the information inside the session is transferred or part of the information is lost.
  • FIG. 3 is a diagram for explaining in detail an augmentation process of individual graphs according to various embodiments of the present disclosure.
  • the processor 120 generates an integrated graph in which a plurality of individual graphs are integrated based on the connection relationship and the number of connections of nodes included in the plurality of individual graphs, and each of the plurality of individual graphs is based on the integrated graph.
  • a plurality of augmented graphs can be obtained.
  • augmenting a plurality of individual graphs based on the integrated graph means obtaining the augmented graph by reflecting information on connection relationships and connection counts of nodes included in the integrated graph to individual graphs.
  • FIG. 3 shows exemplary individual graphs and examples of various augmented graphs obtained by applying various augmentation methods to the individual graphs.
  • content accessed by a user in a corresponding session is sequentially shown instead of showing specific forms of individual graphs and augmented graphs.
  • the 'selection' in Figure 3 is to select the augmented graph by selecting nodes A, C, and D, which are successive parts of individual graphs (F ⁇ A ⁇ C ⁇ D ⁇ B), and the lines between nodes A, C, and D. indicates that it can be obtained.
  • 'Exclusion' in FIG. 3 indicates that an augmented graph can be obtained by excluding node C of an individual graph (F ⁇ A ⁇ C ⁇ D ⁇ B) and connecting a line between node A and node D.
  • 'reorder' in FIG. 3 indicates that an augmented graph can be obtained by reversing the order of nodes A and C of individual graphs (F ⁇ A ⁇ C ⁇ D ⁇ B).
  • the 'injection' in Figure 3 indicates that an augmented graph can be obtained by adding a new node C to an individual graph (F ⁇ A ⁇ C ⁇ D ⁇ B) and connecting a line between node B and the new node C.
  • indicate 'Change' in FIG. 3 indicates that an augmented graph can be obtained by changing node B of an individual graph (F ⁇ A ⁇ C ⁇ D ⁇ B) to a new node E.
  • nodes added to individual graphs may be determined based on the connection relationship and the number of connections of nodes connected to the integrated graph. For example, in the example of FIG. 3, if the previously obtained integrated graph is the integrated graph of FIG. 2, a new node C added in an augmented graph different from the injection method is connected to node C twice after node B of the integrated graph. It can be determined based on the fact that
  • the connection relationship is not limited to a direct connection relationship. That is, in the example of FIG. 3, when the previously obtained integrated graph is the integrated graph of FIG. 2, a new node E added in an augmented graph different from the transition method is connected to node E as well as node D after node C of the integrated graph. It can be determined based on the fact that
  • an individual graph can be augmented using only information in the individual graph, but it is difficult to obtain various augmented graphs because only information in the individual graph is considered. There is a limitation that it is difficult, and there may also be a problem that the information of the individual graph is lost during augmentation.
  • an individual graph can be augmented using information included in an integrated graph in which information on a plurality of sessions is integrated as well as the corresponding individual graph, thus obtaining more types of augmented graphs. You can do it. And, as a result, by converting sequential data according to a plurality of sessions into a graph, it is possible to overcome the limitation that information transmission of nodes can occur only inside the session, and in particular, when the length of the session is small, various variations of the augmented graph ( variation) can be overcome.
  • the processor 120 may obtain an augmented graph using the method of injecting and replacing as well as the method of selecting, excluding, and changing the order as described above.
  • the processor 120 may randomly generate an augmented graph using the augmentation method as described above through the augmentation module, and at this time, the ratio of nodes that are changed in an individual graph according to the augmentation may be preset. there is.
  • the augmentation module may be trained to obtain an augmented graph capable of reducing the contrast loss.
  • the processor 120 can obtain an augmented graph having a distinct difference from an existing individual graph in a learning process while well preserving the characteristics of the individual graph through the augmentation module.
  • the augmentation module may obtain three or more augmented graphs for each of the plurality of individual graphs by augmenting each of the plurality of individual graphs in three or more different methods, and thus, the contrast loss is increased by three or more enhancements.
  • Two or more positive pairs defined based on vectors corresponding to the graph may be included, and as a result, more effective augmentation of individual graphs is possible.
  • FIG. 4 is a block diagram showing the configuration of an electronic device 100 according to an embodiment of the present disclosure in detail.
  • the electronic device 100 includes not only a memory 110 and a processor 120, but also a communication unit 130, an input interface 140, and an output interface 150. ) may further include.
  • FIGS. 1 and 4 are merely examples, and various components other than those shown in FIGS. 1 and 4 may be included in the electronic device 100 , of course.
  • the communication unit 130 includes a circuit and can communicate with an external device. Specifically, the processor 120 may receive various data or information from an external device connected through the communication unit 130 and may transmit various data or information to the external device.
  • the communication unit 130 may include at least one of a WiFi module, a Bluetooth module, a wireless communication module, an NFC module, and a UWB module (Ultra Wide Band).
  • each of the WiFi module and the Bluetooth module may perform communication using a WiFi method or a Bluetooth method.
  • various connection information such as an SSID is first transmitted and received, and various information can be transmitted and received after communication is connected using this.
  • the wireless communication module may perform communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and 5th Generation (5G).
  • the NFC module may perform communication using a Near Field Communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 ⁇ 960 MHz, and 2.45 GHz.
  • NFC Near Field Communication
  • the UWB module can accurately measure Time of Arrival (ToA), which is the time at which a pulse arrives at a target, and Ange of Arrival (AoA), which is the angle of arrival of a pulse in a transmitting device, through communication between UWB antennas. It is possible to recognize precise distance and location within the error range of several tens of cm.
  • ToA Time of Arrival
  • AoA Ange of Arrival
  • the processor 120 may receive information about content and information about a neural network model according to the present disclosure from an external device through the communication unit 130 .
  • the processor 120 may control the communication unit 130 to transmit information on the user's access history to the external server, and through the communication unit 130 Information on recommended content may be received.
  • the processor 120 may receive a user input for receiving information on the user's access history and recommended content information from the user terminal through the communication unit 130 .
  • various information and data can be transmitted and received through the communication unit 130 in relation to external devices, external servers, and user terminals.
  • the input interface 140 includes a circuit, and the processor 120 may receive a user command for controlling the operation of the electronic device 100 through the input interface 140 .
  • the input interface 140 may include components such as a microphone, a camera (not shown), and a remote control signal receiver (not shown).
  • the input interface 140 may be implemented as a touch screen included in a display.
  • the microphone may receive a voice signal and convert the received voice signal into an electrical signal.
  • the processor 120 may receive a user input corresponding to a user's access through the input interface 140, and receive a user input for receiving recommended content information.
  • the processor 120 receives a user input, such as a user input for viewing content or a user input for loading a web page, through the input interface 140, and accesses the user based on the received user input.
  • Information about history can be obtained.
  • the output interface 150 includes a circuit, and the processor 120 may output various functions that the electronic device 100 can perform through the output interface 150 . Also, the output interface 150 may include at least one of a display, a speaker, and an indicator.
  • the display may output image data under the control of the processor 120 .
  • the display may output an image pre-stored in the memory 110 under the control of the processor 120 .
  • the display according to an embodiment of the present disclosure may display a user interface stored in the memory 110 .
  • the display may be implemented with a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, and the display may also be implemented with a flexible display, a transparent display, or the like, depending on circumstances.
  • the display according to the present disclosure is not limited to a specific type.
  • the speaker may output audio data under the control of the processor 120, and the indicator may be turned on under the control of the processor 120.
  • the processor 120 may provide information on content and recommended content through the output interface 150 .
  • the processor 120 may control the display to display content, and may also control the display to display information about recommended content while the content is displayed on the display.
  • the processor 120 may display a user interface and receive a user input for receiving information on recommended content through the user interface.
  • FIG. 5 is a diagram illustrating information on a user's access history in detail according to an embodiment of the present disclosure
  • FIG. 6 illustrates an example of a user interface for providing information on recommended content based on the user's access history. it is a drawing
  • the neural network model is a neural network model for acquiring information on recommended content based on a user's access history to video content.
  • the information on the user's access history may include various pieces of information indicating that the user has accessed in the past or present with respect to various contents provided through the electronic device 100 .
  • information about a user's access history may include information 510 for identifying the user.
  • the information 510 for identifying a user may include information capable of identifying a user who accessed a plurality of contents in a specific session.
  • the information 510 for identifying the user may include profile information about the user of the electronic device 100 or a user terminal connected to the electronic device 100 or login information about an application/website. .
  • Information about the user's access history may include context information related to the user's access.
  • the context information related to the user's access includes information 520 about the region where the user accessed the content, information 530 about the device the user used to access the content 530, and information about the time the user accessed the content. information 540.
  • Information on the user's access history may include information 550 on content according to the user's access.
  • the information 550 on content according to user access may include information capable of identifying content sequentially accessed by the user.
  • an area 560 below the information 550 on content according to user access indicates that information on recommended content may be provided based on information on the user's access history.
  • the processor 120 includes information 510 for identifying the user, information 520 on the region where the user accessed the content, information 530 on the device the user used to access the content, and information 530 on the user's access to the content. Based on the information 540 for one time and the information 550 for contents according to the user's access, the session according to the user's access can be classified, and the nodes of the individual graph corresponding to each divided session and the corresponding node It is possible to create individual graphs corresponding to each session by determining data corresponding to each session. That is, data corresponding to nodes of individual graphs may include not only information 550 on content according to user access, but also context information related to user access.
  • the processor 120 may obtain information on recommended content corresponding to the individual graph using a neural network model learned according to the present disclosure and provide the information to the user. Also, information on recommended content may be provided through a user interface as shown in FIG. 6 .
  • the processor 120 may control the display to display the first user interface 610 for receiving a user input.
  • the first user interface 610 may include a UI item corresponding to a channel number as well as a UI item (“content recommendation” in FIG. 6 ) for receiving information on recommended content.
  • the processor 120 displays a second user interface 620 including information on recommended content. You can control the display to show.
  • information on recommended content may include thumbnail images of a plurality of recommended content.
  • the processor 120 may control the display to display the selected one of the plurality of recommended contents.
  • FIGS. 5 and 6 an example of a user interface for providing information on a user's access history and information on recommended content according to an embodiment of the present disclosure has been described with reference to FIGS. 5 and 6, an example as described above. It goes without saying that these are merely examples, and various other embodiments can be applied to the present disclosure. Another embodiment will be described with reference to FIGS. 7 and 8 .
  • FIG. 7 is a diagram illustrating information on a user's access history in detail according to an embodiment of the present disclosure
  • FIG. 8 illustrates an example of a user interface for providing information on recommended content based on the user's access history. it is a drawing
  • the neural network model is a neural network model for obtaining information on a product that is recommended content based on a user's access history to a web page representing product information
  • FIG. 7 a case in which products are shoes 710 , 720 , and 730 is illustrated as a premise.
  • information on the user's access history includes information indicating that the user watched information on a specific product (View in FIG. 7), information indicating that the user added a specific product to the shopping cart (view in FIG. AddToCart), information indicating that the user has concluded a transaction for a specific product (Transaction in FIG. 7), and information indicating the time the user accessed the specific product (t 1 to t 7 in FIG. 7 ).
  • the processor 120 includes information indicating that the user has viewed information on a specific product, information indicating that the user has added a specific product to the shopping cart, information indicating that the user has purchased a specific product, and information indicating that the user has accessed the specific product.
  • Sessions according to user access can be classified based on information indicating time, and individual graphs corresponding to each session are created by determining nodes of individual graphs corresponding to each divided session and data corresponding to those nodes. can do.
  • the processor 120 determines the blank interval between the time when the user made a transaction for a specific product (t 5 ) and the time the user watched information on the specific product thereafter (t 6 ) is a preset threshold. If the time is exceeded, access due to the user making a transaction for a specific product and access due to the user viewing information on the specific product thereafter may be divided into different sessions.
  • the processor 120 selects a specific product rather than information indicating that the user has viewed information on a specific product.
  • a higher weight may be assigned to information indicating that the user has added a specific product to the shopping cart, and a higher weight may be assigned to information indicating that the user has purchased a specific product rather than information indicating that the user has added a specific product to the shopping cart.
  • the data corresponding to the nodes of the individual graph may include not only information indicating that the user has accessed a specific product, but also information about the user's access to the specific product.
  • the processor 120 may obtain information on recommended content corresponding to the individual graph using a neural network model learned according to the present disclosure and provide the information to the user. Further, information on recommended content may be provided through a user interface as shown in FIG. 8 .
  • the user interface may include recommended content information including an image of a product, a description of the product, and a price of the product, which are content recommended to the user.
  • FIG. 9 is a flowchart illustrating a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • the processor of the electronic device 100 may obtain a plurality of individual graphs representing a user's access history for a plurality of contents for each of a plurality of sessions (S910). Specifically, the electronic device 100 may collect information about a user's access history to a plurality of contents for a predetermined period of time. In addition, the electronic device 100 may classify the user's access history for each of a plurality of sessions, and obtain a plurality of individual graphs representing the user's access history for each session.
  • the electronic device 100 may generate an integrated graph in which the plurality of individual graphs are integrated based on the connection relationship and the number of connections of nodes included in the plurality of individual graphs (S920).
  • the electronic device 100 may acquire a plurality of augmented graphs by augmenting each of a plurality of individual graphs based on the integrated graph (S930).
  • the electronic device 100 may train a neural network model based on the plurality of augmented graphs. Specifically, the electronic device 100 may acquire contrast loss corresponding to a plurality of augmented graphs, and train a neural network model according to a contrastive learning method based on the obtained contrast loss (S940).
  • control method of the electronic device 100 may be implemented as a program and provided to the electronic device 100 .
  • a program including a control method of the electronic device 100 may be stored and provided in a non-transitory computer readable medium.
  • the control method of the electronic device 100 records a user's access history for a plurality of contents in a plurality of sessions.
  • the method may include acquiring a plurality of augmented graphs by augmenting each graph, and training a neural network model based on the plurality of augmented graphs.
  • control method of the electronic device 100 and the computer readable recording medium including the program for executing the control method of the electronic device 100 have been briefly described, but this is only for omitting redundant description, and Various embodiments of the device 100 can also be applied to a computer readable recording medium including a control method of the electronic device 100 and a program executing the control method of the electronic device 100 .
  • functions related to the neural network model as described above may be performed through a memory and a processor.
  • a processor may consist of one or a plurality of processors. At this time, one or a plurality of processors are CPUs, general-purpose processors such as APs, GPUs. It may be a graphics-only processor, such as a VPU, or an artificial intelligence-only processor, such as an NPU.
  • One or more processors control the input data to be processed according to predefined operating rules or artificial intelligence models stored in the non-volatile memory and the volatile memory.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being created through learning means that a predefined operation rule or an artificial intelligence model having desired characteristics is created by applying a learning algorithm to a plurality of learning data.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each layer has a plurality of weight values, and the layer operation is performed through the operation result of the previous layer and the plurality of weight values.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and GAN. (Generative Adversarial Networks) and deep Q-networks (Deep Q-Networks), and the neural network in the present disclosure is not limited to the above-described examples except for the cases specified.
  • a learning algorithm is a method of training a predetermined target device (eg, a robot) using a plurality of learning data so that the predetermined target device can make a decision or make a prediction by itself.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified Except for, it is not limited to the above example.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or between two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a computer program product eg, a downloadable app
  • a device-readable storage medium such as a manufacturer's server, an application store's server, or a relay server's memory. It can be temporarily stored or created temporarily.
  • Each of the components may be composed of a single object or a plurality of entities, and some of the sub-components described above are omitted. or other sub-elements may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration.
  • operations performed by modules, programs, or other components may be executed sequentially, in parallel, repetitively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added.
  • unit or “module” used in the present disclosure includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits, for example.
  • a “unit” or “module” may be an integrated component or a minimum unit or part thereof that performs one or more functions.
  • the module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including commands stored in a storage medium readable by a machine (eg, a computer).
  • the device calls the stored commands from the storage medium.
  • a device capable of operating according to the called command it may include an electronic device (eg, the electronic device 100) according to the disclosed embodiments.
  • the processor may directly or use other elements under the control of the processor to perform a function corresponding to the command.
  • An instruction may include code generated or executed by a compiler or interpreter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 특히, 본 개시에 따른 전자 장치는 신경망 모델을 저장하는 메모리 및 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하고, 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 노드들의 연결이 반복 되는 횟수에 기초하여 복수의 개별 그래프가 통합된 통합 그래프를 생성하며, 통합 그래프에 기초하여 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하고, 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 신경망 모델을 학습시키는 프로세서를 포함한다.

Description

전자 장치 및 전자 장치의 제어 방법
본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 신경망 모델을 이용하여 추천 컨텐츠에 대한 정보를 제공할 수 있는 전자 장치 및 전자 장치의 제어 방법에 관한 것이다.
근래에는 신경망 모델(neural network model)에 관련된 기술의 발전이 가속화되고 있으며, 특히 그래프 신경망(graph neural network, GNN) 모델을 이용하여 사용자에게 추천 컨텐츠에 대한 정보를 제공하기 위한 기술이 주목받고 있다.
그런데, 종래 기술에 따른 신경망 모델의 경우, 사용자의 컨텐츠에 대한 복잡한 순차적 상호 작용을 효과적으로 분석함으로써 사용자의 의사에 부합하는 추천 컨텐츠를 제공하기에는 성능에 한계가 있다고 지적되고 있다.
한편, 학습 데이터에 포함된 그래프를 증강하여 신경망 모델을 학습시킴으로써 신경망 모델의 성능을 향상시키기 위한 종래 기술이 존재하지만, 종래 기술에 따르면, 특정 세션 내의 정보만을 이용하여 그래프를 증강시키기 때문에 효과적인 증강 방법이 되지는 못한다는 한계가 지적되고 있다.
본 개시는 상술한 바와 같은 종래 기술의 한계를 극복하기 위한 것으로서, 본 개시의 목적은 컨텐츠에 대한 사용자의 액세스 이력을 나타내는 개별 그래프를 효과적으로 증강하는 것에 기초하여 신경망 모델을 학습시키고, 그에 따라 사용자의 의사에 부합하는 추천 컨텐츠를 예측할 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 신경망 모델을 저장하는 메모리 및 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하고, 상기 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 상기 노드들의 연결이 반복 되는 횟수에 기초하여 상기 복수의 개별 그래프가 통합된 통합 그래프를 생성하며, 상기 통합 그래프에 기초하여 상기 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하고, 상기 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 상기 신경망 모델을 학습시키는 프로세서를 포함한다.
여기서, 상기 프로세서는 상기 복수의 개별 그래프 각각에 포함된 복수의 노드에 상기 통합 그래프에 포함된 적어도 하나의 노드를 추가함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득할 수 있다.
한편, 상기 프로세서는 상기 복수의 개별 그래프 각각에 포함된 복수의 노드 중 적어도 하나의 노드를 상기 통합 그래프에 포함된 적어도 하나의 노드로 변경함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득할 수 있다.
한편, 상기 프로세서는 상기 복수의 증강 그래프에 대한 대조 손실(contrastive loss)에 기초하여 상기 신경망 모델을 학습시킬 수 있다.
한편, 상기 신경망 모델은 상기 복수의 개별 그래프에 대응되는 벡터들과 상기 복수의 증강 그래프에 대응되는 벡터들을 획득하는 인코더, 상기 복수의 개별 그래프 각각에 대응되는 추천 컨텐츠 정보를 획득하는 예측 모듈, 상기 복수의 개별 그래프 각각을 증강하여 상기 복수의 증강 그래프를 획득하는 증강 모듈 및 상기 복수의 증강 그래프에 대한 상기 대조 손실을 획득하는 대조 손실 획득 모듈을 포함할 수 있다.
여기서, 상기 학습이 진행됨에 따라, 상기 인코더는 상기 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들을 벡터 공간 상에서 가까운 거리의 벡터들로 매핑하고, 상기 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들을 상기 벡터 공간 상에서 먼 거리의 벡터들로 매핑하도록 학습될 수 있다.
한편, 상기 복수의 증강 그래프에 대응되는 벡터들을 정의하기 위한 벡터 공간과 상기 복수의 증강 그래프에 대한 상기 대조 손실을 정의하기 위한 벡터 공간은 서로 상이할 수 있다.
한편, 상기 증강 모듈은 상기 복수의 개별 그래프 각각을 서로 다른 세 가지 이상의 방법으로 증강하여 상기 복수의 개별 그래프 별로 세 개 이상의 증강 그래프를 획득하며, 상기 대조 손실은 상기 세 개 이상의 증강 그래프에 대응되는 벡터들에 기초하여 정의되는 두 개 이상의 positive pair를 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 컨텐츠에 대한 사용자의 액세스 이력에 기초하여 추천 컨텐츠를 제공하기 위한 신경망 모델을 이용하는 전자 장치의 제어 방법은 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하는 단계, 상기 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 상기 노드들의 연결이 반복되는 횟수에 기초하여 상기 복수의 개별 그래프가 통합된 통합 그래프를 생성하는 단계, 상기 통합 그래프에 기초하여 상기 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하는 단계 및 상기 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 상기 신경망 모델을 학습시키는 단계를 포함한다.
한편, 상기 복수의 증강 그래프를 획득하는 단계는 상기 복수의 개별 그래프 각각에 포함된 복수의 노드에 상기 통합 그래프에 포함된 적어도 하나의 노드를 추가함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 단계를 포함할 수 있다.
한편, 상기 복수의 증강 그래프를 획득하는 단계는 상기 복수의 개별 그래프 각각에 포함된 복수의 노드 중 적어도 하나의 노드를 상기 통합 그래프에 포함된 적어도 하나의 노드로 변경함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 단계를 포함할 수 있다.
한편, 상기 신경망 모델을 학습시키는 단계는 상기 복수의 증강 그래프에 대한 대조 손실(contrastive loss)에 기초하여 상기 신경망 모델을 학습시킬 수 있다.
한편, 상기 신경망 모델은 상기 복수의 개별 그래프에 대응되는 벡터들과 상기 복수의 증강 그래프에 대응되는 벡터들을 획득하는 인코더, 상기 복수의 개별 그래프 각각에 대응되는 추천 컨텐츠 정보를 획득하는 예측 모듈, 상기 복수의 개별 그래프 각각을 증강하여 상기 복수의 증강 그래프를 획득하는 증강 모듈 및 상기 복수의 증강 그래프에 대한 상기 대조 손실을 획득하는 대조 손실 획득 모듈을 포함할 수 있다.
여기서, 상기 학습이 진행됨에 따라, 상기 인코더는 상기 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들을 벡터 공간 상에서 가까운 거리의 벡터들로 매핑하고, 상기 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들을 상기 벡터 공간 상에서 먼 거리의 벡터들로 매핑하도록 학습될 수 있다.
한편, 상기 복수의 증강 그래프에 대응되는 벡터들을 정의하기 위한 벡터 공간과 상기 복수의 증강 그래프에 대한 상기 대조 손실을 정의하기 위한 벡터 공간은 서로 상이할 수 있다.
한편, 상기 증강 모듈은 상기 복수의 개별 그래프 각각을 서로 다른 세 가지 이상의 방법으로 증강하여 상기 복수의 개별 그래프 별로 세 개 이상의 증강 그래프를 획득하며, 상기 대조 손실은 상기 세 개 이상의 증강 그래프에 대응되는 벡터들에 기초하여 정의되는 두 개 이상의 positive pair를 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 컨텐츠에 대한 사용자의 액세스 이력에 기초하여 추천 컨텐츠를 제공하기 위한 신경망 모델을 이용하는 상기 전자 장치의 제어 방법은 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하는 단계, 상기 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 상기 노드들의 연결이 반복되는 횟수에 기초하여 상기 복수의 개별 그래프가 통합된 통합 그래프를 생성하는 단계, 상기 통합 그래프에 기초하여 상기 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하는 단계 및 상기 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 상기 신경망 모델을 학습시키는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 간략하게 나타내는 흐름도,
도 2는 본 개시에 따른 신경망 모델에 포함된 복수의 모듈과 복수의 모듈 각각에 대한 입출력 데이터를 나타내는 도면,
도 3은 본 개시의 다양한 실시 예에 따른 개별 그래프의 증강 과정을 상세하게 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 상세하게 나타내는 블록도,
도 5는 본 개시의 일 실시 예에 따른 사용자의 액세스 이력에 대한 정보를 상세하게 나타내는 도면,
도 6은 사용자의 액세스 이력에 기초하여 추천 컨텐츠에 대한 정보를 제공하기 위한 사용자 인터페이스의 예를 나타내는 도면,
도 7은 본 개시의 일 실시 예에 따른 사용자의 액세스 이력에 대한 정보를 상세하게 나타내는 도면,
도 8은 사용자의 액세스 이력에 기초하여 추천 컨텐츠에 대한 정보를 제공하기 위한 사용자 인터페이스의 예를 나타내는 도면, 그리고,
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 간략하게 나타내는 흐름도이다. 그리고, 도 2는 본 개시에 따른 신경망 모델에 포함된 복수의 모듈과 복수의 모듈 각각에 대한 입출력 데이터를 나타내는 도면이다.
이하에서는 먼저 본 개시의 설명에 이용되는 주요 용어들에 대해 설명한 후 도 1 및 도 2를 참조하여 본 개시의 다양한 실시 예에 대해 설명한다.
먼저, 본 개시에 따른 '전자 장치(100)'는 컨텐츠에 대한 사용자의 액세스 이력에 기초하여 추천 컨텐츠를 제공할 수 있는 장치를 말한다. 구체적으로, 전자 장치(100)는 학습된 신경망 모델을 이용하여 추천 컨텐츠를 제공할 수 있다. 예를 들어, 전자 장치(100)는 컨텐츠를 제공하는 서버일 수 있으며, 다만 본 개시에 따른 전자 장치(100)의 유형이 특정한 유형에 국한되는 것은 아니다.
'신경망 모델'은 컨텐츠에 대한 사용자의 액세스 이력에 대한 정보에 기초하여 추천 컨텐츠에 대한 정보를 획득하도록 학습된 인공 지능 모델을 말한다. 본 개시에 따른 신경망 모델의 유형에 특별한 제한이 있는 것은 아니지만, 이하에서는 설명의 편의를 위해 신경망 모델이 그래프 신경망(graph neural network, GNN)을 포함하는 모델인 경우를 전제로 설명한다.
'그래프 신경망'이란 입력 데이터로 그래프가 입력되면 그에 대응되는 출력 데이터를 출력하도록 학습된 신경망을 말한다. 즉, 그래프 신경망은 그래프에 직접 적용할 수 있는 신경망을 말한다.
'그래프'란 노드(또는 점)들과 그 노드들을 잇는 선(또는 에지)들을 포함하는 자료 구조를 말한다. 구체적으로, 그래프는 그래프에 포함된 각각의 노드들에 대응되는 데이터 및 노드들 간의 연결 관계를 나타내는 선에 대응되는 데이터를 포함할 수 있다. 신경망 모델에 그래프가 입력된다는 것은 그래프에 포함된 각각의 노드들에 대응되는 데이터 및 노드들 간의 연결 관계를 나타내는 선에 대응되는 데이터가 신경망 모델에 입력된다는 것과 같은 의미로 사용될 수 있다.
본 개시에 있어서 그래프에 포함된 '노드'들은 사용자가 액세스한 컨텐츠들 각각을 나타내며, 노드들을 잇는 '선'은 사용자가 액세스한 컨텐츠들 사이의 순차적인 연결 관계를 의미한다. 예를 들어, 사용자가 특정 세션에서 영화 A, 영화 B 및 영화 C를 순차적으로 시청한 경우, 그래프는 영화 A, 영화 B 및 영화 C에 대응되는 세 개의 노드를 포함하고, 또한 영화 A에 대응되는 노드와 영화 B에 대응되는 노드를 잇는 선과 영화 B에 대응되는 노드와 영화 C에 대응되는 노드를 잇는 선을 포함할 수 있다.
'컨텐츠에 대한 사용자의 액세스 이력'이란 용어는 전자 장치(100)를 통해 제공되는 다양한 컨텐츠에 대해 사용자가 과거 또는 현재에 액세스하였음을 나타내는 정보를 총칭하기 위한 용어로 사용된다. 예를 들어, 컨텐츠에 대한 사용자의 액세스 이력은, 컨텐츠가 영상 컨텐츠 또는 음성 컨텐츠인 경우 컨텐츠 재생 이력, 컨텐츠가 상품 정보를 나타내는 웹 페이지 인 경우 해당 웹 페이지의 로딩 이력 또는 특정 상품에 대한 사용자 입력의 이력 등을 포함할 수 있다.
컨텐츠에 대한 사용자의 '액세스'란 전자 장치(100)의 사용자가 전자 장치(100)를 통해 제공되는 컨텐츠와 상호 작용하였음을 나타내는 이벤트를 총칭하기 위한 용어로 사용된다. 구체적으로, 사용자의 액세스는 복수의 컨텐츠 중 특정 컨텐츠를 선택하는 사용자 입력에 따라 사용자에게 특정 컨텐츠가 제공되는 경우와 같이 능동적인 방식으로 수행될 수 있을 뿐만 아니라, 특정 컨텐츠가 사용자에게 알림 또는 광고 형태로 제공되는 경우와 같이 수동적인 방식으로 수행될 수도 있다.
한편, 컨텐츠에 대한 사용자의 액세스는 복수의 세션에 따라 구별될 수 있다. 여기서, '세션'은 전자 장치(100)와 사용자 사이에 일련의 상호 작용이 지속된 시간 구간을 의미할 수 있다. 그리고, '지속'된다는 것은 전자 장치(100)와 사용자 사이의 상호 작용들이 연속적으로 발생하는 경우 그 연속적으로 발생된 상호 작용들 사이의 공백 구간이 기 설정된 임계 시간 이하인 것을 의미할 수 있다. 즉, 전자 장치(100)와 사용자 사이의 상호 작용이 지속되었는지 여부에 따라 복수의 세션이 구별될 수 있는바, 이에 대해서는 이하에서 보다 구체적으로 설명한다.
복수의 세션은 컨텐츠에 대한 사용자의 액세스가 이루어진 시간 또는 컨텐츠에 대한 사용자의 액세스가 이루어진 어플리케이션에 기초하여 구별될 수 있다. 구체적으로, 컨텐츠에 대한 사용자의 액세스가 수행된 후 임계 시간이 경과되면, 임계 시간이 경과하기 전의 액세스와 임계 시간이 경과한 후의 액세스는 서로 다른 세션에 포함될 수 있다. 그리고, 제1 어플리케이션을 통해 수행된 액세스와 제2 어플리케이션을 통해 수행된 액세스는 서로 다른 세션에 포함될 수 있다. 그 밖에도, 복수의 세션을 구별하기 위한 기준은 다양하게 설정될 수 있다.
예를 들어, 전자 장치(100)와 사용자 사이의 연속적인 상호 작용으로 인한 사용자 입력, 사용자 입력에 따른 내부 프로세스, 그리고 사용자 입력에 대응되는 컨텐츠의 출력 사이의 공백 구간이 임계 시간을 초과하지 않는 경우라면, 전자 장치(100)와 사용자 사이의 상호 작용이 지속된 것이고 하나의 세션이 유지되고 있는 것이라고 할 수 있다. 한편, 컨텐츠를 제공하기 위한 어플리케이션이 전환되거나 컨텐츠를 제공하는 서버가 변경되는 경우와 같이 컨텐츠의 제공 주체 또는 제공 수단이 변경되는 경우라면 전자 장치(100)와 사용자 사이의 상호 작용이 지속되지 않은 것이고 어플리케이션의 전환 또는 서버의 변경 전후로 세션이 구분되는 것이라고 할 수 있다.
도 1에 도시된 바와 같이, 본 개시에 따른 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 그리고, 도 2에 도시된 바와 같이, 본 개시에 따른 신경망 모델은 인코더(encoder), 예측 모듈(prediction module), 증강 모듈(augmentation module) 및 대조 손실 획득 모듈(contrast loss acquisition module)과 같은 복수의 모듈을 포함할 수 있다.
메모리(110)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(operating system)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리(flash memory) 등과 같은 반도체 메모리나 하드디스크(hard disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
메모리(110)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(120)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리(110)라는 용어는 메모리(110), 프로세서(120) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(110)에는 신경망 모델에 대한 데이터, 구체적으로 복수의 모듈을 구성하는 레이어들에 대한 정보, 각 레이어들을 구성하는 가중치 및 파라미터에 대한 정보, 그리고 복수의 모듈 각각에 대한 입출력 데이터 등이 저장될 수 있다. 또한, 메모리(110)에는 컨텐츠에 대한 사용자의 액세스 이력에 대한 정보, 개별 그래프, 통합 그래프, 증강 그래프, 추천 컨텐츠에 대한 정보 등이 저장될 수 있다.
그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(120)는 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(120)는 주문형 집적 회로(application specific integrated circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware finite state machine, FSM), 디지털 신호 프로세서(digital signal processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(120)라는 용어는 CPU(central processing unit), GPU(graphic processing unit) 및 MPU(main processing unit)등을 포함하는 의미로 사용될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 메모리(110)에 저장된 복수의 모듈에 대한 데이터를 로딩하고, 복수의 모듈을 통해 본 개시에 따른 다양한 실시 예를 구현할 수 있다. 즉, 복수의 모듈은 소프트웨어 모듈로 구현될 수 있으며, 다만 복수의 모듈 중 적어도 일부는 프로세서(120)에 포함된 하드웨어 모듈로 구현될 수도 있다.
프로세서(120)는 신경망 모델을 이용하여 사용자의 액세스 이력에 대응되는 추천 컨텐츠를 제공할 수 있다. 구체적으로, 프로세서(120)는 신경망 모델에 포함된 인코더 및 예측 모듈을 이용하여 사용자의 액세스 이력에 대응되는 추천 컨텐츠를 제공할 수 있다.
인코더는 개별 그래프에 대응되는 벡터를 획득할 수 있으며, 특히 인코더는 그래프 신경망을 포함할 수 있다. 본 개시에 있어서, '개별 그래프'는 복수의 컨텐츠에 대한 사용자의 액세스 이력을 각 세션 별로 개별적으로 나타내는 그래프를 말하며, 후술하는 바와 같은 통합 그래프 및 증강 그래프와는 구별된다. 예를 들어, 도 2에 도시된 바와 같이, 개별 그래프는 사용자의 액세스 이력 중 첫번째 세션(F→A→C→D→B)에서 사용자가 액세스한 컨텐츠들(A, B, C, D 및 F), 그 컨텐츠들 사이의 순차적인 연결관계(F, A, C, D 및 B 순서의 연결), 그리고 컨텐츠들 사이의 연결 횟수(각각 1회)에 대한 정보를 포함할 수 있다.
구체적으로, 개별 그래프가 입력되면, 인코더는 입력된 개별 그래프에 대응되는 벡터를 출력할 수 있다. 여기서, 벡터는 입력된 그래프 전체의 특징을 수치화한 것으로서, representation 또는 feature representation 등과 같은 용어로 지칭될 수도 있다. 이에, 도 2에서는 인코더를 통해 출력되는 벡터를 r이라는 기호로 나타내었다. 한편, 인코더는 개별 그래프뿐만 아니라 증강 그래프에 대응되는 벡터를 획득할 수도 있는바, 이에 대해서는 후술한다.
예측 모듈은 개별 그래프에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 구체적으로, 개별 그래프에 대응되는 백터가 입력되면, 예측 모듈은 입력된 백터에 대응되는 추천 컨텐츠 정보를 출력할 수 있다. 추천 컨텐츠 정보는 인코더에 입력된 개별 그래프에 포함된 컨텐츠들 이후에 사용자가 액세스할 가능성이 높은 컨텐츠를 추천하기 위한 정보를 말한다. 추천 컨텐츠 정보는 도 2에 도시된 바와 같은 벡터의 형태로 출력될 수 있으며, 예측 모듈을 통해 출력되는 벡터의 차원은 인코더를 통해 출력되는 벡터의 차원과는 상이할 수 있다. 예측 모듈을 통해 출력되는 벡터는 target item과 같은 용어로 지칭될 수 있는바, 도 2에서는 예측 모듈을 통해 출력되는 벡터를 t라는 기호로 나타내었다.
예측 모듈을 통해 추천 컨텐츠 정보가 획득되면, 프로세서(120)는 획득된 추천 컨텐츠 정보를 레이블 정보와 비교하여 메인 손실(main loss)를 획득하고, 메인 손실에 기초하여 지도 학습(supervised learning) 방법으로 신경망 모델을 학습시킬 수 있다. 도 2에서는 추천 컨텐츠 정보와의 비교 대상이 되는 레이블 정보를 V라는 기호로 나타내었다.
구체적으로, 프로세서(120)는 획득된 메인 손실에 기초하여 역전파 과정(back propagation)을 수행함으로써 메인 손실이 감소하는 방향으로 신경망 모델을 학습시킬 수 있다. 즉, 메인 손실에 기초하여 신경망 모델이 학습되면, 예측 모듈은 메인 손실을 감소시킬 수 있는 추천 컨텐츠 정보를 획득하도록 학습되며, 인코더는 메인 손실을 감소시킬 수 있는 벡터를 획득하도록 학습될 수 있다.
'메인 손실'은 후술하는 바와 같은 대조 손실(contrastive loss)과 구별되며, 예측 모듈을 통해 획득된 추천 컨텐츠 정보와 기 저장된 레이블 정보 사이의 코사인 유사도(cosine similarity)를 산출함으로써 획득될 수 있다. 코사인 유사도 외에, 유클리드 거리(Euclidean distance) 또는 맨해튼 거리(Manhattan distance) 등과 같은 다양한 유사도 산출 기법(거리 산출 기법)이 이용될 수 있음은 물론이다.
프로세서(120)는 이상에서 상술한 바와 같이, 추천 컨텐츠 정보를 레이블 정보와 비교함으로써 획득된 메인 손실에 기초하여 신경망 모델을 학습시킬 수 있을 뿐만 아니라, 개별 그래프를 증강하여 증강 그래프를 획득하고, 증강 그래프를 이용하여 신경망 모델을 학습시킬 수 있다. 이하에서는 본 개시에 따른 증강 그래프의 획득 과정과 대조 손실에 기초한 신경망 모델의 학습 과정에 대해 설명한다.
일 실시 예에 있어서, 프로세서(120)는 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득할 수 있다. 구체적으로, 프로세서(120)는 소정의 기간 동안 복수의 컨텐츠에 사용자가 액세스한 이력에 대한 정보를 수집할 수 있다. 그리고, 프로세서(120)는 사용자의 액세스 이력을 복수의 세션 별로 구분하고, 각각의 세션 별 사용자의 액세스 이력을 나타내는 복수의 개별 그래프를 획득할 수 있다.
복수의 개별 그래프가 획득되면, 프로세서(120)는 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 연결 횟수에 기초하여 복수의 개별 그래프가 통합된 통합 그래프를 생성할 수 있다.
'통합 그래프'는 복수의 컨텐츠에 대한 사용자의 액세스 이력을 통합적으로 나타내는 그래프를 말한다. 구체적으로, 프로세서(120)는 복수의 세션 동안 사용자에 의해 액세스된 컨텐츠들에 대응되는 노드들, 그 노드들의 연결 관계를 나타내는 선들, 그리고 그 노드들의 연결 횟수에 대한 정보를 포함하는 통합 그래프를 생성할 수 있다.
도 2에 도시된 바와 같이, 통합 그래프는 사용자의 액세스 이력에 포함된 복수의 세션에서 사용자가 액세스한 컨텐츠들(A, B, C, D, E 및 F), 그 컨텐츠들 사이의 순차적인 연결관계, 그리고 컨텐츠들 사이의 연결 횟수에 대한 정보를 포함할 수 있다. 예를 들어, 도 2의 통합 그래프에서 A→C는 사용자가 컨텐츠 A에 액세스한 후 컨텐츠 C에 액세스하였음을 나타내며, A→C에 할당된 숫자 2는 전체 세션에서 사용자가 컨텐츠 A에 액세스한 후 컨텐츠 C에 액세스한 횟수가 두 번이라는 것을 나타낸다.
통합 그래프가 획득되면, 프로세서(120)는 통합 그래프에 기초하여 복수의 개별 그래프 각각을 증강(augmentation)함으로써, 복수의 증강 그래프를 획득할 수 있다. 구체적으로, 프로세서(120)는 증강 모듈을 통해 복수의 증강 그래프를 획득할 수 있는바, 즉, 증강 모듈은 복수의 개별 그래프 각각을 증강하여 복수의 증강 그래프를 획득할 수 있는 모듈을 말한다.
'증강'이란 적은 양의 데이터에 다양한 알고리즘을 적용하여 데이터의 양을 늘리는 기술을 말한다. 특히, 증강 기술은 신경망 모델의 학습에 있어 학습 데이터의 양이 부족한 경우 신경망 모델의 성능이 저하되거나 과소적합(underfitting) 또는 과적합(overfitting)의 문제가 발생할 수 있다는 점을 해소하기 위해 사용될 수 있다.
본 개시에 따른 증강 그래프는 복수의 개별 그래프에 기초하여 생성된 그래프로서, 그래프에 포함된 노드들, 노드들의 연결 관계 및 연결 횟수 중 적어도 하나가 복수의 개별 그래프와 상이할 수 있다. 후술하는 바와 같은 증강 그래프의 획득 과정이 수행되면, 신경망 모델은 입력된 그래프의 특징을 더욱 잘 나타내는 벡터를 획득하고 사용자의 의사에 부합하는 추천 컨텐츠를 예측할 수 있게 되는바, 이에 대해서는 증강 그래프의 획득 과정에 대한 설명 이후에 보다 구체적으로 설명한다.
일 실시 예에 있어서, 프로세서(120)는 복수의 개별 그래프 각각에 포함된 복수의 노드에 통합 그래프에 포함된 적어도 하나의 노드를 추가함으로써, 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득할 수 있다. 이를 간략하게 '주입(injection)' 기법이라 지칭할 수 있다.
여기서, 개별 그래프에 추가되는 노드는 통합 그래프에 연결된 노드들의 연결 관계 및 연결 횟수에 기초하여 결정될 수 있다. 예를 들어, 증강 모듈은 통합 그래프에서 F→A라는 연결 관계가 존재한다는 점에 기초하여, 도 2의 A→C→D 세션에 대응되는 개별 그래프를 F→A→C→D라는 연결 관계를 갖는 그래프로 변경함으로써 증강 그래프를 획득할 수 있다.
일 실시 예에 있어서, 프로세서(120)는 복수의 개별 그래프 각각에 포함된 복수의 노드 중 적어도 하나의 노드를 통합 그래프에 포함된 적어도 하나의 노드로 변경함으로써, 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득할 수 있다. 이를 간략하게 '바꿈(change)' 기법이라 지칭할 수 있다.
여기서, 개별 그래프에서 변경되는 노드는 통합 그래프에 연결된 노드들의 연결 관계 및 연결 횟수에 기초하여 결정될 수 있다. 예를 들어, 증강 모듈은 통합 그래프에서 C→D라는 연결 관계에 대한 연결 횟수가 2회라는 점에 기초하여, 도 2의 B→C→E라는 세션에 대응되는 개별 그래프를 B→C→D라는 연결 관계를 그래프로 변경함으로써 증강 그래프를 획득할 수 있다.
또한, 프로세서(120)는 복수의 개별 그래프 각각에 포함된 복수의 노드 중 일부 노드만을 선택하거나, 일부 노드를 제외하거나, 또는 일부 노드들의 순서를 재배치하는 것과 같은 다양한 증강 방법을 이용함으로써, 복수의 증강 그래프를 획득할 수 있다. 본 개시에 따른 다양한 증강 방법에 대해서는 도 3을 참조하여 보다 구체적으로 설명한다.
복수의 증강 그래프가 획득되면, 프로세서(120)는 복수의 증강 그래프에 기초하여 신경망 모델을 학습시킬 수 있다. 구체적으로, 프로세서(120)는 대조 손실 획득 모듈을 통해 대조 손실을 획득하고, 획득된 대조 손실에 기초하여 신경망 모델을 대조 학습(contrastive learning) 방법에 따라 학습시킬 수 있는바, 즉, 대조 손실 획득 모듈은 복수의 증강 그래프에 대한 대조 손실을 획득할 수 있는 모듈을 말한다.
'대조 학습'이란 자기주도 학습(self-supervised learning) 방법의 한 종류로서, 데이터들에 서로 다른 증강 기법들을 적용하여 증강 데이터를 획득한 후, 데이터들 중 positive pair의 feature representation 사이의 거리가 가까워 지고, 데이터들 중 negative pair의 feature representation은 거리가 멀어지도록 신경망 모델을 학습시키는 방법을 말한다. 그리고, '대조 손실'은 증강 데이터들 사이의 관계를 나타내는 positive pair와 negative pair의 집합으로 정의될 수 있다. positive pair 및 negative pair의 구체적인 의미에 대해서는 후술한다.
구체적으로, 증강 모듈을 통해 복수의 증강 그래프가 획득되면, 프로세서(120)는 복수의 증강 그래프를 인코더에 입력하여 복수의 증강 그래프 각각에 대응되는 벡터(즉, representation)을 획득할 수 있다. 도 2의 예시에서, ra1, ra2 및 ra3는 각각 첫번째 증강 방법으로 획득된 증강 데이터에 대응되는 벡터, 두번째 증강 방법으로 획득된 증강 데이터에 대응되는 벡터 및 세번째 증강 방법으로 획득된 증강 데이터에 대응되는 벡터를 나타낸다.
복수의 증강 그래프 각각에 대응되는 벡터가 획득되면, 프로세서(120)는 복수의 증강 그래프 각각에 대응되는 벡터를 대조 손실 획득 모듈에 입력하여 다른 차원의 벡터 공간으로 투영(projection)함으로써 대조 손실을 구성하는 벡터를 획득할 수 있다. 즉, 복수의 증강 그래프에 대응되는 벡터들을 정의하기 위한 벡터 공간과 복수의 증강 그래프에 대한 대조 손실을 정의하기 위한 벡터 공간은 서로 상이할 수 있다.
또한, 복수의 증강 그래프에 대한 대조 손실을 정의하기 위한 벡터 공간과 예측 모듈의 출력에 대응되는 벡터 공간은 서로 상이할 수 있다. 즉, 본 개시에 따르면, 인코더를 통해 출력되는 벡터를 예측 모듈의 출력에 대응되는 벡터 공간과 서로 상이한 벡터 공간 상에 매핑시킨 후 예측 모듈의 출력에 기초한 학습과의 관계에서 독립성을 가지는 별도의 학습을 수행함으로써 인코더를 보다 효과적으로 학습시킬 수 있게 된다. 대조 손실에 기초한 학습 과정에 대해서는 이하에서 보다 구체적으로 설명한다.
대조 손실 획득 모듈을 통해 대조 손실을 구성하는 벡터가 획득되면, 그에 따라 복수의 증강 그래프에 대한 관계를 나타내는 대조 손실이 획득될 수 있다. 도 2의 예시에서, z1, z2, z3 및 z4는 각각 사용자의 액세스 이력에 포함된 첫번째 세션부터 네번째 세션을 나타내며, 위 첨자 a1, a2 및 a3는 각각 첫번째 증강 방법, 두번째 증강 방법 및 세번째 증강 방법을 나타낸다. 즉, 도 2의 예시에서 z1 a1는 첫번째 세션에 대응되는 개별 그래프에 첫번째 증강 방법을 적용하여 획득된 증강 그래프에 대응되며, z1 a2는 첫번째 세션에 대응되는 개별 그래프에 두번째 증강 방법을 적용하여 획득된 증강 그래프에 대응된다.
도 2의 테이블은 도 2의 사용자의 액세스 이력에 대응되는 복수의 개별 그래프를 세 가지 방법으로 증강함으로써 획득된 복수의 증강 그래프 사이의 관계를 나타낸다. 여기서, 복수의 증강 그래프 사이의 관계는 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들임을 나타내는 관계(이하, positive pair라고 지칭함) 및 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들임을 나타내는 관계를 포함할 수 있다(이하, negative pair라고 지칭함).
구체적으로, 도 2의 테이블에서 p는 positive pair를 나타내고, 공란은 negative pair를 나타낸다. 예를 들어, z1 a1, z1 a2 및 z1 a3 사이의 관계는 positive pair이고 z1 a1, z2 a1, z3 a1 및 z4 a1 사이의 관계는 negative pair라고 할 수 있다.
다시 말해, 대조 손실 획득 모듈을 통해, 복수의 증강 그래프 중 동일한 개별 그래프(즉, 동일한 세션)에 대응되는 증강 그래프들을 positive pair로 하고, 복수의 증강 그래프 중 서로 다른 개별 그래프(즉, 서로 다른 세션)에 대응되는 증강 그래프들을 negative pair로 하는 대조 손실이 획득될 수 있다.
특히, 본 개시에 따른 증강 모듈은 도 2에 도시된 바와 같이, 복수의 개별 그래프 각각을 서로 다른 세 가지 이상의 방법으로 증강하여 복수의 개별 그래프 별로 세 개 이상의 증강 그래프를 획득할 수 있으며, 이에 따라, 대조 손실은 세 개 이상의 증강 그래프에 대응되는 벡터들에 기초하여 정의되는 두 개 이상의 positive pair를 포함할 수 있다.
대조 손실이 획득되면, 신경망 모델은 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들(즉, positive pair)을 벡터 공간 상에서 가까운 거리의 벡터들로 매핑하고, 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들(즉, negative pair)을 벡터 공간 상에서 먼 거리의 벡터들로 매핑하도록 학습될 수 있다. 도 2를 참조하여 예를 들면, 신경망 모델은 z1 a1를 positive pair 관계에 있는 z1 a2 및 z1 a3와 가까운 거리의 벡터로 매핑하고, negative pair 관계에 있는 z2 a1, z3 a1 및 z4 a1 등과는 먼 거리의 벡터로 매핑하도록 학습될 수 있다.
상술한 바와 같은 학습 과정이 수행된 후 실제 추천 컨텐츠 정보를 사용자에게 제공함에 있어서는, 증강 모듈 및 대조 손실 획득 모듈의 이용은 중지되고 인코더 및 예측 모듈을 통해 추천 컨텐츠 정보가 획득될 수 있다.
한편, 추천 컨텐츠 정보에 기초하여 신경망 모델을 학습시키는 과정과 대조 손실에 기초하여 신경망 모델을 학습시키는 과정은 동시에 수행될 수 있을 뿐만 아니라, 상이한 시간에 수행될 수도 있다. 예를 들어, 프로세서(120)는 대조 손실에 기초하여 신경망 모델을 학습시키는 과정을 수행한 후 추천 컨텐츠 정보에 기초하여 신경망 모델을 학습시키는 과정을 수행할 수도 있다.
이상에서 상술한 실시 예에 따르면, 전자 장치(100)는 컨텐츠에 대한 사용자의 액세스 이력을 나타내는 개별 그래프를 증강하고 증강 그래프에 대한 출력에 기초하여 신경망 모델을 효과적으로 학습시킬 수 있게 된다.
특히, 전자 장치(100)는 개별 그래프에 세 가지 이상의 다양한 증강 방법을 이용하여 복수의 증강 그래프를 획득하고, 두 쌍 이상의 positive pair를 포함하는 대조 손실에 기초하여 인코더를 학습시킬 수 있는바, 이에 따라 인코더는 입력된 그래프의 특징을 더욱 잘 나타내는 벡터를 획득할 수 있게 된다. 그리고, 이로써 신경망 모델의 추론 과정에서 새로운 세션에 대응되는 개별 그래프가 신경망 모델에 입력되는 경우에도 사용자의 의사에 부합하는 추천 컨텐츠를 예측할 수 있게 된다.
또한, 본 개시에 따른 전자 장치(100)는 개별 그래프를 증강시키는 과정에서 각 세션의 정보만을 이용하는 것이 아니라 통합 그래프에 포함된 전체 세션에 대한 정보를 이용할 수 있는바, 이에 따라 데이터의 증강 과정에서 세션 내부의 정보만이 전달되거나 정보의 일부가 손실되는 문제를 극복할 수 있게 된다.
도 3은 본 개시의 다양한 실시 예에 따른 개별 그래프의 증강 과정을 상세하게 설명하기 위한 도면이다.
전술한 바와 같이, 프로세서(120)는 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 연결 횟수에 기초하여 복수의 개별 그래프가 통합된 통합 그래프를 생성하고, 통합 그래프에 기초하여 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득할 수 있다. 여기서, 통합 그래프에 기초하여 복수의 개별 그래프를 증강한다는 것은 통합 그래프에 포함된 노드들의 연결 관계 및 연결 횟수에 대한 정보를 개별 그래프에 반영함으로써 증강 그래프를 획득한다는 것을 의미한다.
도 3은 예시적인 개별 그래프와 그 개별 그래프에 다양한 증강 방법을 적용함으로써 획득된 다양한 증강 그래프의 예시를 나타낸다. 도 3에서는 개별 그래프 및 증강 그래프의 구체적인 형태를 나타내는 것 대신 해당 세션에서 사용자에 의해 액세스된 컨텐츠를 순차적으로 나타내는 방식으로 간략하게 도시하였다.
도 3의 '선택(selection)'은 개별 그래프(F→A→C→D→B)의 연속된 일부분인 노드 A, C 및 D와 노드 A, C 및 D 사이의 선을 선택함으로써 증강 그래프를 획득할 수 있음을 나타낸다. 도 3의 '배제(exclusion)'는 개별 그래프(F→A→C→D→B)의 노드 C를 배제하고 노드 A와 노드 D 사이의 선을 연결함으로써 증강 그래프를 획득할 수 있음을 나타낸다. 그리고, 도 3의 '순서 바꿈(reorder)'은 개별 그래프(F→A→C→D→B)의 노드 A 및 C의 순서를 서로 바꿈으로써 증강 그래프를 획득할 수 있음을 나타낸다.
도 3의 '주입(injection)'은 개별 그래프(F→A→C→D→B)에 새로운 노드 C를 추가하고 노드 B와 새로운 노드 C 사이의 선을 연결함으로써 증강 그래프를 획득할 수 있음을 나타낸다. 도 3의 '바꿈(change)'은 개별 그래프(F→A→C→D→B)의 노드 B를 새로운 노드 E로 변경함으로써 증강 그래프를 획득할 수 있음을 나타낸다.
특히, 주입 및 바꿈의 방법에서 개별 그래프에 추가되는 노드는 통합 그래프에 연결된 노드들의 연결 관계 및 연결 횟수에 기초하여 결정될 수 있다. 예를 들어, 도 3의 예시에서 앞서 획득된 통합 그래프가 도 2의 통합 그래프인 경우, 주입 방법에 다른 증강 그래프에서 추가되는 새로운 노드 C는 통합 그래프의 노드 B 다음에 노드 C가 2회 연결되어 있다는 점에 기초하여 결정될 수 있다. 다만, 연결 관계가 직접적인 연결 관계에 국한되는 것은 아니다. 즉, 도 3의 예시에서 앞서 획득된 통합 그래프가 도 2의 통합 그래프인 경우, 바꿈 방법에 다른 증강 그래프에서 추가되는 새로운 노드 E는 통합 그래프의 노드 C 다음에 노드 D 뿐만 아니라 노드 E가 연결되어 있다는 점에 기초하여 결정될 수 있다.
상술한 바와 같은 선택, 배제 및 순서 바꿈의 방법에 따르면, 해당 개별 그래프 내의 정보만을 이용하여 개별 그래프를 증강할 수 있다는 장점은 있으나, 해당 개별 그래프 내의 정보만을 고려하기 때문에 다양한 증강 그래프를 획득하기는 어렵다는 한계가 있으며, 또한 증강 시 해당 개별 그래프의 정보가 손실되는 문제가 발생할 수도 있다.
반면, 주입 및 바꿈의 방법에 따르면, 해당 개별 그래프뿐만 아니라 복수의 세션에 대한 정보가 통합된 통합 그래프에 포함된 정보를 이용하여 개별 그래프를 증강시킬 수 있는바, 보다 다양한 종류의 증강 그래프를 획득할 수 있게 된다. 그리고 이에 따라, 복수의 세션에 따른 순차적인 데이터를 그래프로 변환함에 따라 노드의 정보 전달이 세션 내부에서만 일어날 수 있다는 한계를 극복할 수 있게 되며, 특히 세션의 길이가 작은 경우 증강 그래프의 다양한 변형(variation)을 획득할 수 없다는 한계를 극복할 수도 있다.
따라서, 본 개시에 따른 프로세서(120)는 상술한 바와 같은 선택, 배제 및 순서 바꿈의 방법뿐만 아니라, 주입 및 바꿈의 방법을 이용하여 증강 그래프를 획득할 수 있다. 구체적으로, 프로세서(120)는 증강 모듈을 통해 상술한 바와 같은 증강 방법을 이용하여 증강 그래프를 랜덤하게 생성할 수 있으며, 이 때 증강에 따라 개별 그래프에서 변경되는 노드의 비율 등은 기 설정될 수 있다. 랜덤하게 증강 그래프가 생성된 후 대조 손실에 기초하여 신경망 모델의 학습 과정이 수행되면, 증강 모듈은 대조 손실을 감소시킬 수 있는 증강 그래프를 획득하도록 학습될 수 있다. 그 결과, 프로세서(120)는 증강 모듈을 통해 개별 그래프의 특성을 잘 보존하면서도 학습 과정에서 기존의 개별 그래프와는 구별되는 차이점을 가지는 증강 그래프를 획득할 수 있게 된다.
한편, 본 개시에 따른 증강 모듈은 복수의 개별 그래프 각각을 서로 다른 세 가지 이상의 방법으로 증강하여 복수의 개별 그래프 별로 세 개 이상의 증강 그래프를 획득할 수 있으며, 이에 따라, 대조 손실은 세 개 이상의 증강 그래프에 대응되는 벡터들에 기초하여 정의되는 두 개 이상의 positive pair를 포함할 수 있는바, 그 결과 보다 효과적인 개별 그래프의 증강이 가능하게 된다.
이상에서 도 3을 참조하여 다섯 가지의 증강 방법을 예로 들어 설명하였으나, 이는 예시에 불과하며, 그 밖에도 다양한 증강 방법이 본 개시에 적용될 수 있음은 물론이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 상세하게 나타내는 블록도이다
도 4에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리(110) 및 프로세서(120)뿐만 아니러, 통신부(130), 입력 인터페이스(140) 및 출력 인터페이스(150)를 더 포함할 수 있다. 그러나, 도 1 및 도 4는 예시적인 것에 불과할 뿐, 도 1 및 도 4에 도시된 구성 외에 다양한 구성이 전자 장치(100)에 포함될 수 있음은 물론이다.
통신부(130)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(120)는 통신부(130)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신부(130)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, NFC 모듈 및 UWB 모듈(Ultra Wide Band) 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다. 또한, UWB 모듈은 UWB 안테나 간 통신을 통하여, 펄스가 목표물에 도달하는 시간인 ToA(Time of Arrival), 송신 장치에서의 펄스 도래각인 AoA(Ange of Arrival)을 정확히 측정할 수 있고, 이에 따라 실내에서 수십 cm 이내의 오차 범위에서 정밀한 거리 및 위치 인식이 가능하다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 통신부(130)를 통해 외부 장치로부터 본 개시에 따른 컨텐츠에 대한 정보, 신경망 모델에 대한 정보를 수신할 수 있다. 또한, 본 개시에 따른 신경망 모델이 외부 서버에 포함되는 경우, 프로세서(120)는 사용자의 액세스 이력에 대한 정보를 외부 서버로 전송하도록 통신부(130)를 제어할 수 있으며, 통신부(130)를 통해 추천 컨텐츠에 대한 정보를 수신할 수 있다. 그리고, 프로세서(120)는 통신부(130)를 통해 사용자 단말로부터 사용자의 액세스 이력에 대한 정보, 추천 컨텐츠 정보를 제공받기 위한 사용자 입력을 수신할 수 있다. 그 밖에도 다양한 정보 및 데이터가 통신부(130)를 통해 외부 장치, 외부 서버 및 사용자 단말과의 관계에서 송수신될 수 있음은 물론이다.
입력 인터페이스(140)는 회로를 포함하며, 프로세서(120)는 입력 인터페이스(140)를 통해 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 입력 인터페이스(140)는 마이크, 카메라(미도시), 및 리모컨 신호 수신부(미도시) 등과 같은 구성으로 이루어 질 수 있다. 그리고, 입력 인터페이스(140)는 터치 스크린으로서 디스플레이에 포함된 형태로 구현될 수도 있다. 특히, 마이크는 음성 신호를 수신하고, 수신된 음성 신호를 전기 신호로 변환할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 입력 인터페이스(140)를 통해 사용자의 액세스에 대응되는 사용자 입력을 수신할 수 있으며, 추천 컨텐츠 정보를 제공받기 위한 사용자 입력을 수신할 수도 있다. 예를 들어, 프로세서(120)는 입력 인터페이스(140)를 통해 컨텐츠의 시청을 위한 사용자 입력, 웹 페이지의 로딩을 위한 사용자 입력 등과 같은 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 사용자의 액세스 이력에 대한 정보를 획득할 수 있다.
출력 인터페이스(150)는 회로를 포함하며, 프로세서(120)는 출력 인터페이스(150)를 통해 전자 장치(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력 인터페이스(150)는 디스플레이, 스피커 및 인디케이터 중 적어도 하나를 포함할 수 있다.
디스플레이는 프로세서(120)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이는 프로세서(120)의 제어에 의하여 메모리(110)에 기 저장된 영상을 출력할 수 있다. 특히, 본 개시의 일 실시 예에 따른 디스플레이는 메모리(110)에 저장된 사용자 인터페이스(user interface)를 표시할 수도 있다. 디스플레이는 LCD(liquid crystal display panel), OLED(organic light emitting diodes) 등으로 구현될 수 있으며, 또한 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이가 특정한 종류에 한정되는 것은 아니다.
스피커는 프로세서(120)의 제어에 의하여 오디오 데이터를 출력할 수 있으며, 인디케이터는 프로세서(120)의 제어에 의하여 점등될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 출력 인터페이스(150)를 통해 컨텐츠 및 추천 컨텐츠에 대한 정보를 제공할 수 있다. 예를 들어, 프로세서(120)는 컨텐츠를 표시하도록 디스플레이를 제어할 수 있으며, 디스플레이 상에 컨텐츠가 표시되는 동안, 추천 컨텐츠에 대한 정보를 표시하도록 디스플레이를 제어할 수도 있다. 또한, 프로세서(120)는 사용자 인터페이스를 표시하고 사용자 인터페이스를 통해 추천 컨텐츠에 대한 정보를 제공받기 위한 사용자 입력을 수신할 수도 있다.
이하에서는 도 5 내지 도 8을 참조하여, 추천 컨텐츠에 대한 정보를 제공하는 것에 관련된 실시 예에 대해 설명한다.
도 5는 본 개시의 일 실시 예에 따른 사용자의 액세스 이력에 대한 정보를 상세하게 나타내는 도면이고, 도 6은 사용자의 액세스 이력에 기초하여 추천 컨텐츠에 대한 정보를 제공하기 위한 사용자 인터페이스의 예를 나타내는 도면이다.
도 5 및 도 6에 대한 설명에서는 신경망 모델이 사용자의 영상 컨텐츠에 대한 액세스 이력에 기초하여 추천 컨텐츠에 대한 정보를 획득하기 위한 신경망 모델인 경우를 예로 들어 설명한다.
구체적으로, 사용자의 액세스 이력에 대한 정보는 전자 장치(100)를 통해 제공되는 다양한 컨텐츠에 대해 사용자가 과거 또는 현재에 액세스하였음을 나타내는 다양한 정보를 포함할 수 있다.
도 5를 참조하면, 사용자의 액세스 이력에 대한 정보는 사용자를 식별하기 위한 정보(510)를 포함할 수 있다. 구체적으로, 사용자를 식별하기 위한 정보(510)는 특정 세션에서 복수의 컨텐츠에 액세스한 사용자가 누구인지를 식별할 수 있는 정보를 포함할 수 있다. 예를 들어, 사용자를 식별하기 위한 정보(510)는 전자 장치(100) 또는 전자 장치(100)와 연결된 사용자 단말의 사용자에 대한 프로필 정보 또는 어플리케이션/웹 사이트에 대한 로그인 정보 등을 포함할 수 있다.
사용자의 액세스 이력에 대한 정보는 사용자의 액세스에 관련된 컨텍스트(context) 정보를 포함할 수 있다. 구체적으로, 사용자의 액세스에 관련된 컨텍스트 정보는 사용자가 컨텐츠에 액세스한 지역에 대한 정보(520), 사용자가 컨텐츠에 대한 액세스에 이용한 디바이스에 대한 정보(530) 및 사용자가 컨텐츠에 액세스한 시간에 대한 정보(540)를 포함할 수 있다.
사용자의 액세스 이력에 대한 정보는 사용자의 액세스에 따른 컨텐츠에 대한 정보(550)를 포함할 수 있다. 구체적으로, 사용자의 액세스에 따른 컨텐츠에 대한 정보(550)는 사용자가 순차적으로 액세스한 컨텐츠가 무엇인지를 식별할 수 있는 정보를 포함할 수 있다. 한편, 도 5에서 사용자의 액세스에 따른 컨텐츠에 대한 정보(550) 하단의 영역(560)은 사용자의 액세스 이력에 대한 정보에 기초하여 추천 컨텐츠에 대한 정보가 제공될 수 있음을 나타낸 것이다.
프로세서(120)는 사용자를 식별하기 위한 정보(510), 사용자가 컨텐츠에 액세스한 지역에 대한 정보(520), 사용자가 컨텐츠에 대한 액세스에 이용한 디바이스에 대한 정보(530), 사용자가 컨텐츠에 액세스한 시간에 대한 정보(540) 및 사용자의 액세스에 따른 컨텐츠에 대한 정보(550)에 기초하여 사용자의 액세스에 따른 세션을 구분할 수 있으며, 구분된 각 세션에 대응되는 개별 그래프의 노드들과 그 노드들에 대응되는 데이터를 결정함으로써 각 세션에 대응되는 개별 그래프를 생성할 수 있다. 즉, 개별 그래프의 노드들에 대응되는 데이터는 사용자의 액세스에 따른 컨텐츠에 대한 정보(550)뿐만 아니라, 사용자의 액세스에 관련된 컨텍스트 정보를 포함할 수도 있다.
각 세션에 대응되는 개별 그래프가 생성되면, 프로세서(120)는 본 개시에 따라 학습된 신경망 모델을 이용하여 개별 그래프에 대응되는 추천 컨텐츠에 대한 정보를 획득하여 사용자에게 제공할 수 있다. 그리고 추천 컨텐츠에 대한 정보의 제공은 도 6에 도시된 바와 같은 사용자 인터페이스를 통해 이루어질 수 있다.
도 6을 참조하면, 전자 장치(100)의 디스플레이 상에 컨텐츠가 표시되는 동안, 프로세서(120)는 사용자 입력을 수신하기 위한 제1 사용자 인터페이스(610)를 표시하도록 디스플레이를 제어할 수 있다. 제1 사용자 인터페이스(610)는 채널 번호에 대응되는 UI 아이템뿐만 아니라 추천 컨텐츠에 대한 정보를 제공받기 위한 UI 아이템(도 6의 "컨텐츠 추천")을 포함할 수 있다.
제1 사용자 인터페이스(610)를 통해 추천 컨텐츠에 대한 정보를 제공받기 위한 UI 아이템을 선택하는 사용자 입력이 수신되면, 프로세서(120)는 추천 컨텐츠에 대한 정보를 포함하는 제2 사용자 인터페이스(620)를 표시하도록 디스플레이를 제어할 수 있다. 도 6에 도시된 바와 같이, 추천 컨텐츠에 대한 정보는 복수의 추천 컨텐츠에 대한 썸네일(thumbnail) 이미지를 포함할 수 있다.
제2 사용자 인터페이스(620)를 통해 복수의 추천 컨텐츠 중 하나의 컨텐츠를 선택하는 사용자 입력이 수신되면, 프로세서(120)는 복수의 추천 컨텐츠 중 선택된 하나의 컨텐츠를 표시하도록 디스플레이를 제어할 수 있다.
이상에서는 도 5 및 도 6을 참조하여 본 개시의 일 실시 예에 따른 사용자의 액세스 이력에 대한 정보와 추천 컨텐츠에 대한 정보를 제공하기 위한 사용자 인터페이스의 예시에 대해 설명하였는바, 상술한 바와 같은 예시들은 말 그대로 예시에 불과할 뿐, 그 밖에도 다양한 실시 예가 본 개시에 적용될 수 있음은 물론이다. 또 다른 실시 예에 대해서는 도 7 및 도 8을 참조하여 설명한다.
도 7은 본 개시의 일 실시 예에 따른 사용자의 액세스 이력에 대한 정보를 상세하게 나타내는 도면이고, 도 8은 사용자의 액세스 이력에 기초하여 추천 컨텐츠에 대한 정보를 제공하기 위한 사용자 인터페이스의 예를 나타내는 도면이다.
도 7 및 도 8에 대한 설명에서는 신경망 모델이 사용자의 상품 정보를 나타내는 웹 페이지에 대한 액세스 이력에 기초하여 추천 컨텐츠인 상품에 대한 정보를 획득하기 위한 신경망 모델인 경우를 예로 들어 설명한다. 도 7에서는 상품이 신발들(710, 720, 730)인 경우를 전제로 도시하였다.
도 7을 참조하면, 사용자의 액세스 이력에 대한 정보는 사용자가 특정 상품에 대한 정보를 시청하였음을 나타내는 정보(도 7의 View), 사용자가 특정 상품을 장바구니에 추가하였음을 나타내는 정보(도 7의 AddToCart), 사용자가 특정 상품에 대한 거래를 채결하였음을 나타내는 정보(도 7의 Transaction) 및 사용자가 특정 상품에 액세스한 시간을 나타내는 정보(도 7의 t1 내지 t7)를 포함할 수 있다.
프로세서(120)는 사용자가 특정 상품에 대한 정보를 시청하였음을 나타내는 정보, 사용자가 특정 상품을 장바구니에 추가하였음을 나타내는 정보, 사용자가 특정 상품을 구매하였음을 나타내는 정보 및 사용자가 특정 상품에 액세스한 시간을 나타내는 정보에 기초하여 사용자의 액세스에 따른 세션을 구분할 수 있으며, 구분된 각 세션에 대응되는 개별 그래프의 노드들과 그 노드들에 대응되는 데이터를 결정함으로써 각 세션에 대응되는 개별 그래프를 생성할 수 있다.
예를 들어, 프로세서(120)는 사용자가 특정 상품에 대한 거래를 채결한 시간(t5)과 그 후 사용자가 특정 상품에 대한 정보를 시청한 시간(t6) 사이의 공백 구간이 기 설정된 임계 시간을 초과하면, 사용자가 특정 상품에 대한 거래를 채결함에 따른 액세스와 그 후 사용자가 특정 상품에 대한 정보를 시청함에 따른 액세스를 서로 다른 세션으로 구분할 수 있다.
한편, 프로세서(120)는 구분된 각 세션에 대응되는 개별 그래프의 노드들과 그 노드들에 대응되는 데이터를 결정함에 있어서, 사용자가 특정 상품에 대한 정보를 시청하였음을 나타내는 정보보다 사용자가 특정 상품을 장바구니에 추가하였음을 나타내는 정보에 더 높은 가중치를 부여하고, 사용자가 특정 상품을 장바구니에 추가하였음을 나타내는 정보보다 사용자가 특정 상품을 구매하였음을 나타내는 정보에 더 높은 가중치를 부여할 수 있다. 즉, 개별 그래프의 노드들에 대응되는 데이터는 단순히 사용자가 특정 상품에 액세스하였다는 점을 나타내는 정보뿐만 아니라, 구체적으로 특정 상품에 대한 사용자의 액세스가 어떠한 동작인지에 대한 정보를 포함할 수도 있다.
한편, 각 세션에 대응되는 개별 그래프가 생성되면, 프로세서(120)는 본 개시에 따라 학습된 신경망 모델을 이용하여 개별 그래프에 대응되는 추천 컨텐츠에 대한 정보를 획득하여 사용자에게 제공할 수 있다. 그리고 추천 컨텐츠에 대한 정보의 제공은 도 8에 도시된 바와 같은 사용자 인터페이스를 통해 이루어질 수 있다. 구체적으로, 사용자 인터페이스는 도 8에 도시된 바와 같이, 사용자에게 추천 컨텐츠인 상품의 이미지, 상품에 대한 설명 및 상품에 대한 가격 등을 포함하는 추천 컨텐츠 정보를 포함할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다.
도 9를 참조하면, 전자 장치(100)는 프로세서는 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득할 수 있다(S910). 구체적으로, 전자 장치(100)는 소정의 기간 동안 복수의 컨텐츠에 사용자가 액세스한 이력에 대한 정보를 수집할 수 있다. 그리고, 전자 장치(100)는 사용자의 액세스 이력을 복수의 세션 별로 구분하고, 각각의 세션 별 사용자의 액세스 이력을 나타내는 복수의 개별 그래프를 획득할 수 있다.
복수의 개별 그래프가 획득되면, 전자 장치(100)는 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 연결 횟수에 기초하여 복수의 개별 그래프가 통합된 통합 그래프를 생성할 수 있다(S920).
통합 그래프가 획득되면, 전자 장치(100)는 통합 그래프에 기초하여 복수의 개별 그래프 각각을 증강(augmentation)함으로써, 복수의 증강 그래프를 획득할 수 있다(S930).
복수의 증강 그래프가 획득되면, 전자 장치(100)는 복수의 증강 그래프에 기초하여 신경망 모델을 학습시킬 수 있다. 구체적으로, 전자 장치(100)는 복수의 증강 그래프에 대응되는 대조 손실을 획득하고, 획득된 대조 손실에 기초하여 신경망 모델을 대조 학습(contrastive learning) 방법에 따라 학습시킬 수 있다(S940).
한편, 상술한 실시 예에 따른 전자 장치(100)의 제어 방법은 프로그램으로 구현되어 전자 장치(100)에 제공될 수 있다. 특히, 전자 장치(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
구체적으로, 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치(100)의 제어 방법은 복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하는 단계, 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 연결 횟수에 기초하여 복수의 개별 그래프가 통합된 통합 그래프를 생성하는 단계, 통합 그래프에 기초하여 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하는 단계 및 복수의 증강 그래프에 기초하여 신경망 모델을 학습시키는 단계를 포함할 수 있다.
이상에서 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자 장치(100)에 대한 다양한 실시 예는 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.
한편, 이상에서 상술한 바와 같은 신경망 모델에 관련된 기능은 메모리 및 프로세서를 통해 수행될 수 있다.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GPU. VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 비휘발성 메모리 및 휘발성 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    신경망 모델을 저장하는 메모리; 및
    복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하고,
    상기 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 상기 노드들의 연결이 반복 되는 횟수에 기초하여 상기 복수의 개별 그래프가 통합된 통합 그래프를 생성하며,
    상기 통합 그래프에 기초하여 상기 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하고,
    상기 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 상기 신경망 모델을 학습시키는 프로세서; 를 포함하는 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 복수의 개별 그래프 각각에 포함된 복수의 노드에 상기 통합 그래프에 포함된 적어도 하나의 노드를 추가함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 복수의 개별 그래프 각각에 포함된 복수의 노드 중 적어도 하나의 노드를 상기 통합 그래프에 포함된 적어도 하나의 노드로 변경함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 복수의 증강 그래프에 대한 대조 손실(contrastive loss)에 기초하여 상기 신경망 모델을 학습시키는 전자 장치.
  5. 제1 항에 있어서,
    상기 신경망 모델은,
    상기 복수의 개별 그래프에 대응되는 벡터들과 상기 복수의 증강 그래프에 대응되는 벡터들을 획득하는 인코더, 상기 복수의 개별 그래프 각각에 대응되는 추천 컨텐츠 정보를 획득하는 예측 모듈, 상기 복수의 개별 그래프 각각을 증강하여 상기 복수의 증강 그래프를 획득하는 증강 모듈 및 상기 복수의 증강 그래프에 대한 상기 대조 손실을 획득하는 대조 손실 획득 모듈을 포함하는 전자 장치.
  6. 제5 항에 있어서,
    상기 학습이 진행됨에 따라, 상기 인코더는 상기 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들을 벡터 공간 상에서 가까운 거리의 벡터들로 매핑하고, 상기 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들을 상기 벡터 공간 상에서 먼 거리의 벡터들로 매핑하도록 학습되는 전자 장치.
  7. 제5 항에 있어서,
    상기 복수의 증강 그래프에 대응되는 벡터들을 정의하기 위한 벡터 공간과 상기 복수의 증강 그래프에 대한 상기 대조 손실을 정의하기 위한 벡터 공간은 서로 상이한 전자 장치.
  8. 제1 항에 있어서,
    상기 증강 모듈은 상기 복수의 개별 그래프 각각을 서로 다른 세 가지 이상의 방법으로 증강하여 상기 복수의 개별 그래프 별로 세 개 이상의 증강 그래프를 획득하며,
    상기 대조 손실은 상기 세 개 이상의 증강 그래프에 대응되는 벡터들에 기초하여 정의되는 두 개 이상의 positive pair를 포함하는 전자 장치.
  9. 신경망 모델을 이용하는 전자 장치의 제어 방법에 있어서,
    복수의 컨텐츠에 대한 사용자의 액세스 이력을 복수의 세션 별로 나타내는 복수의 개별 그래프를 획득하는 단계;
    상기 복수의 개별 그래프에 포함된 노드들의 연결 관계 및 상기 노드들의 연결이 반복되는 횟수에 기초하여 상기 복수의 개별 그래프가 통합된 통합 그래프를 생성하는 단계;
    상기 통합 그래프에 기초하여 상기 복수의 개별 그래프 각각을 증강함으로써, 복수의 증강 그래프를 획득하는 단계; 및
    상기 복수의 증강 그래프에 기초하여 추천 컨텐츠를 제공하기 위한 상기 신경망 모델을 학습시키는 단계; 를 포함하는 전자 장치의 제어 방법.
  10. 제9 항에 있어서,
    상기 복수의 증강 그래프를 획득하는 단계는,
    상기 복수의 개별 그래프 각각에 포함된 복수의 노드에 상기 통합 그래프에 포함된 적어도 하나의 노드를 추가함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 단계; 를 포함하는 전자 장치의 제어 방법.
  11. 제9 항에 있어서,
    상기 복수의 증강 그래프를 획득하는 단계는,
    상기 복수의 개별 그래프 각각에 포함된 복수의 노드 중 적어도 하나의 노드를 상기 통합 그래프에 포함된 적어도 하나의 노드로 변경함으로써, 상기 복수의 증강 그래프 중 적어도 하나의 증강 그래프를 획득하는 단계; 를 포함하는 전자 장치의 제어 방법.
  12. 제9 항에 있어서,
    상기 신경망 모델을 학습시키는 단계는,
    상기 복수의 증강 그래프에 대한 대조 손실(contrastive loss)에 기초하여 상기 신경망 모델을 학습시키는 전자 장치의 제어 방법.
  13. 제9 항에 있어서,
    상기 신경망 모델은,
    상기 복수의 개별 그래프에 대응되는 벡터들과 상기 복수의 증강 그래프에 대응되는 벡터들을 획득하는 인코더, 상기 복수의 개별 그래프 각각에 대응되는 추천 컨텐츠 정보를 획득하는 예측 모듈, 상기 복수의 개별 그래프 각각을 증강하여 상기 복수의 증강 그래프를 획득하는 증강 모듈 및 상기 복수의 증강 그래프에 대한 상기 대조 손실을 획득하는 대조 손실 획득 모듈을 포함하는 전자 장치의 제어 방법.
  14. 제13 항에 있어서,
    상기 학습이 진행됨에 따라, 상기 인코더는 상기 복수의 증강 그래프 중 동일한 개별 그래프에 대응되는 증강 그래프들을 벡터 공간 상에서 가까운 거리의 벡터들로 매핑하고, 상기 복수의 증강 그래프 중 서로 다른 개별 그래프에 대응되는 증강 그래프들을 상기 벡터 공간 상에서 먼 거리의 벡터들로 매핑하도록 학습되는 전자 장치의 제어 방법.
  15. 제13 항에 있어서,
    상기 복수의 증강 그래프에 대응되는 벡터들을 정의하기 위한 벡터 공간과 상기 복수의 증강 그래프에 대한 상기 대조 손실을 정의하기 위한 벡터 공간은 서로 상이한 전자 장치의 제어 방법.
PCT/KR2022/013026 2021-08-31 2022-08-31 전자 장치 및 전자 장치의 제어 방법 Ceased WO2023033538A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22865040.4A EP4362477A4 (en) 2021-08-31 2022-08-31 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING ELECTRONIC DEVICE
CN202280049821.7A CN117678227A (zh) 2021-08-31 2022-08-31 电子装置和电子装置的控制方法
US18/201,405 US20230297832A1 (en) 2021-08-31 2023-05-24 Electronic device and controlling method of electronic device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210115908 2021-08-31
KR10-2021-0115908 2021-08-31
KR1020220045188A KR20230032843A (ko) 2021-08-31 2022-04-12 전자 장치 및 전자 장치의 제어 방법
KR10-2022-0045188 2022-04-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/201,405 Continuation US20230297832A1 (en) 2021-08-31 2023-05-24 Electronic device and controlling method of electronic device

Publications (1)

Publication Number Publication Date
WO2023033538A1 true WO2023033538A1 (ko) 2023-03-09

Family

ID=85411355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013026 Ceased WO2023033538A1 (ko) 2021-08-31 2022-08-31 전자 장치 및 전자 장치의 제어 방법

Country Status (3)

Country Link
US (1) US20230297832A1 (ko)
EP (1) EP4362477A4 (ko)
WO (1) WO2023033538A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117933304A (zh) * 2024-02-08 2024-04-26 哈尔滨工业大学 一种基于自监督的多视角会话推荐桥接模型

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12401853B2 (en) 2022-09-28 2025-08-26 Adeia Guides Inc. Methods and systems for modifying a media guidance application based on user data
US12425692B2 (en) * 2022-09-28 2025-09-23 Adeia Guides Inc. Methods and systems for modifying a media guidance application based on user data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040097A (ko) * 2018-10-08 2020-04-17 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20200042739A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 지식 그래프에 기초하여 콘텐트를 제공하는 시스템 및 방법
KR20210028554A (ko) * 2020-03-13 2021-03-12 (주)빅인사이트 사용자의 시계열적 행동 데이터를 이용하여 인공지능 모델을 학습시키는 방법 및 장치
KR20210028550A (ko) * 2020-01-07 2021-03-12 (주)빅인사이트 인공지능 학습 모델을 이용하여 사용자의 행동 데이터를 분석한 결과에 기초하여 사용자의 행동을 유도하는 방법 및 장치
US20210081717A1 (en) * 2018-05-18 2021-03-18 Benevolentai Technology Limited Graph neutral networks with attention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081717A1 (en) * 2018-05-18 2021-03-18 Benevolentai Technology Limited Graph neutral networks with attention
KR20200040097A (ko) * 2018-10-08 2020-04-17 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20200042739A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 지식 그래프에 기초하여 콘텐트를 제공하는 시스템 및 방법
KR20210028550A (ko) * 2020-01-07 2021-03-12 (주)빅인사이트 인공지능 학습 모델을 이용하여 사용자의 행동 데이터를 분석한 결과에 기초하여 사용자의 행동을 유도하는 방법 및 장치
KR20210028554A (ko) * 2020-03-13 2021-03-12 (주)빅인사이트 사용자의 시계열적 행동 데이터를 이용하여 인공지능 모델을 학습시키는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4362477A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117933304A (zh) * 2024-02-08 2024-04-26 哈尔滨工业大学 一种基于自监督的多视角会话推荐桥接模型

Also Published As

Publication number Publication date
EP4362477A4 (en) 2024-10-23
US20230297832A1 (en) 2023-09-21
EP4362477A1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
WO2023033538A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2016060480A1 (en) Electronic device and method for spoken interaction thereof
WO2021112631A1 (en) Device, method, and program for enhancing output content through iterative generation
EP3635605A1 (en) Electronic device and method for controlling the electronic device
EP3791328A1 (en) Electronic device for reconstructing an artificial intelligence model and a control method thereof
WO2018221824A1 (en) Video communication device and video communication method
EP3756145A1 (en) Electronic apparatus and control method thereof
WO2019245186A1 (ko) 전자 장치 및 그의 제어 방법
WO2020105979A1 (en) Image processing apparatus and control method thereof
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2020040517A1 (en) Electronic apparatus and control method thereof
WO2020060151A1 (en) System and method for providing voice assistant service
WO2022197089A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021040192A1 (ko) 인공지능 모델을 학습시키는 시스템 및 방법
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2019231068A1 (en) Electronic device and control method thereof
WO2020116993A1 (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
WO2021071249A1 (en) Electronic apparatus and control method thereof
WO2023085736A1 (ko) 전자 장치 및 전자 장치의 제어 방법
EP3738305A1 (en) Electronic device and control method thereof
WO2015122725A1 (en) Method and apparatus for creating communication group

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22865040

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280049821.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022865040

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022865040

Country of ref document: EP

Effective date: 20240124

NENP Non-entry into the national phase

Ref country code: DE