JP7106663B2 - 成長グラフ基盤のプレイリスト推薦方法およびシステム - Google Patents

Description

以下の説明は、プレイリストを推薦する技術に関する。

通信網を介して電子機器やコンピュータにコンテンツをダウンロードしたりリアルタイムでストリーミングすることでコンテンツを利用するユーザが増加するにつれ、コンテンツを効率よく普及し、ユーザの趣向に合ったコンテンツを推薦するサービスに対する要求が高まっている。

コンテンツを推薦する技術の一例として、韓国公開特許第１０－２０１３－０００８６９６号公報（公開日２０１３年１月２３日）には、他のユーザとの交流により、誰でも利用可能なコンテンツのプレイリストを生成することができる技術が開示されている。

新たな推薦方式である複数のノードを有するグラフ形態でプレイリストを提供することができる。

グラフ形態のプレイリストを提供することによってより多くの選択肢を提供し、より能動的かつ連鎖的な消費が可能となるようにサポートすることができる。

コンピュータシステムが実行するプレイリスト提供方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記プレイリスト提供方法は、前記少なくとも１つのプロセッサにより、音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成する段階、および前記少なくとも１つのプロセッサにより、前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦する段階を含む、プレイリスト提供方法を提供する。

前記プレイリスト提供方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、非一時的なコンピュータ読み取り可能な記録媒体を提供する。

コンピュータシステムによって実現されるプレイリスト提供システムであって、メモリ、および前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成するプレイリスト構成部、および前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦するプレイリスト提供部を含む、プレイリスト提供システムを提供する。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。 本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。 本発明の一実施形態における、プレイリストを構成する過程の例を示したフローチャートである。 本発明の一実施形態における、漸次的に成長するツリー形状のグラフによってプレイリストを推薦する過程を示した例示図である。 本発明の一実施形態における、漸次的に成長するツリー形状のグラフによってプレイリストを推薦する過程を示した例示図である。 本発明の一実施形態における、漸次的に成長するツリー形状のグラフによってプレイリストを推薦する過程を示した例示図である。 本発明の一実施形態における、漸次的に成長するツリー形状のグラフによってプレイリストを推薦する過程を示した例示図である。

＜発明の概要＞
コンピュータシステムが実行するプレイリスト提供方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記プレイリスト提供方法は、前記少なくとも１つのプロセッサにより、音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成する段階、および前記少なくとも１つのプロセッサにより、前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦する段階を含む、プレイリスト提供方法を提供する。

一側面によると、前記推薦する段階は、前記ツリーグラフから選択されたノードを基準に少なくとも１つ以上の深さを追加しながらノードを拡張する段階を含んでよい。

他の側面によると、前記推薦する段階は、前記ツリーグラフのルートノードに音楽コンテンツに対するユーザの選好度が反映された初期プレイリストを配置する段階を含んでよい。

また他の側面によると記推薦する段階は、前記ツリーグラフの各ノードに配置されたプレイリストが消費されることによって前記ツリーグラフのノードを漸次的に拡張し、他のプレイリストを追加で配置する段階をさらに含んでよい。

また他の側面によると、前記推薦する段階は、前記ツリーグラフ上において、ユーザが消費したプレイリストのノードを視覚化する段階を含んでよい。

また他の側面によると、前記推薦する段階は、前記ツリーグラフ上において、ユーザが消費したプレイリストのノードをマーキングおよび連結して前記ユーザのコンテンツ消費経路を視覚化する段階を含んでよい。

また他の側面によると、前記プレイリスト提供方法は、前記少なくとも１つのプロセッサにより、前記ツリーグラフによって提供されるプレイリストに対するユーザの消費履歴と関連するデータを管理する段階をさらに含んでよい。

また他の側面によると、前記構成する段階は、前記ユーザの消費履歴と関連するデータを利用して前記ユーザが選好する音源特徴を抽出する段階、および前記抽出された音源特徴に対応する曲によって個人化されたプレイリストを構成する段階を含んでよい。

また他の側面によると、前記個人化されたプレイリストを構成する段階は、前記ユーザが選好する音源の特徴を共通して持ちながら、プレイリスト間に一部の音源の特徴が互いに異なる複数の個人化されたプレイリストを構成する段階を含んでよい。

さらに他の側面によると、前記構成する段階は、前記音楽コンテンツそれぞれに対して前記音楽コンテンツの音源データをディープラーニング学習モデルに基づいて学習して固有の音源特徴を生成する段階、および前記音源特徴を利用して前記音楽コンテンツ間の類似度を算出し、前記音楽コンテンツ間の類似度に基づいて前記プレイリストを構成する段階を含んでよい。

前記プレイリスト提供方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、非一時的なコンピュータ読み取り可能な記録媒体を提供する。

コンピュータシステムによって実現されるプレイリスト提供システムであって、メモリ、および前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成するプレイリスト構成部、および前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦するプレイリスト提供部を含む、プレイリスト提供システムを提供する。

＜発明の詳細＞
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態は、プレイリストを推薦する技術に関し、より詳細には、プレイリストを複数のノードを有するグラフ形態で提供する技術に関する。

本明細書で具体的に開示される事項を含む実施形態は、複数のノードを有するグラフ形態でプレイリストを提供することができ、これによって効率性、多様性、娯楽要素、利便性、費用節減などの側面において相当な長所を達成することができる。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、音楽サービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区分される別の永続的記録装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器１１０にインストールされたアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１１０にさらに含まれるように実現されてよい。

以下では、複数のノードを有するグラフ形態でプレイリストを提供する方法およびシステムの具体的な実施形態について説明する。

本明細書において、プレイリストとは、推薦対象となる音楽コンテンツを意味するものであって、共通する特徴を持つ少なくとも１つの音楽コンテンツからなるトラック集などを意味してよい。

従来には独立的なプレイリストを単発性の推薦形態で提供していたため、その大部分が単発的な消費に留まっていた。本発明は、複数のノードを有するツリーグラフでプレイリストを推薦することにより、プレイリストに対するより多くの選択肢をユーザに提供することができ、より能動的かつ連鎖的な消費が可能となるようにサポートすることができる。

図３は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。

本実施形態に係るサーバ１５０は、クライアントである複数の電子機器１１０、１２０、１３０、１４０を対象に音楽サービスを提供するプラットフォームの役割を担う。サーバ１５０は、電子機器１１０、１２０、１３０、１４０上にインストールされたアプリケーションと連動して音楽サービスを提供してよい。

サーバ１５０のプロセッサ２２２は、図４に係るプレイリスト提供方法を実行するための構成要素として、図３に示すように、プレイリスト構成部３１０、プレイリスト提供部３２０、および消費履歴管理部３３０を含んでよい。実施形態によって、プロセッサ２２２の構成要素は、選択的にプロセッサ２２２に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２２の構成要素は、プロセッサ２２２の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図４のプレイリスト提供方法が含む段階４１０～４４０を実行するようにサーバ１５０を制御してよい。例えば、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる命令を実行するように実現されてよい。

ここで、プロセッサ２２２の構成要素は、サーバ１５０に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２２によって実行されるプロセッサ２２２の互いに異なる機能の表現であってよい。例えば、サーバ１５０がプレイリストを構成するように上述した命令にしたがってサーバ１５０を制御するプロセッサ２２２の機能的表現として、プレイリスト構成部３１０が利用されてよい。

段階４１０で、プロセッサ２２２は、サーバ１５０の制御と関連する命令がロードされたメモリ２２１から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階４２０～４４０をプロセッサ２２２が実行するように制御するための命令を含んでよい。

段階４２０で、プレイリスト構成部３１０は、音楽コンテンツ間の類似度に基づき、類似する音楽コンテンツからなる複数のプレイリストを構成してよい。本発明では、プレイリストを推薦する過程においてより多くの選択肢を提供するためにツリーグラフ形態のユーザインタフェースを利用し、ツリーグラフの各ノードとして推薦プレイリストを提供してよい。このとき、プレイリスト構成部３１０は、音楽コンテンツに対するユーザの消費履歴と関連するデータ（以下、「消費履歴データ」とする）に基づいてユーザに個人化されたプレイリストを構成してよい。プレイリスト構成部３１０は、ユーザの消費履歴データを利用してユーザが選好する音源特徴を抽出し、抽出された音源特徴に対応する曲で個人化されたプレイリストを構成してよい。このとき、音源特徴とは、メロディーはもちろん、アルバム、アーティスト、ジャンル、ビートなどのような音楽コンテンツの特徴を決定するパラメータを意味してよい。プレイリスト構成部３１０は、音楽コンテンツ間の類似度に基づき、ユーザが選好する音源特徴を持つ曲によって複数の個人化されたプレイリストを構成するようになるが、このとき、複数の個人化されたプレイリストは、ある程度の類似性を持つと同時に、適切な差別性を持ってもよい。言い換えれば、プレイリスト構成部３１０は、ユーザが選好する音源特徴を共通して持ちながら、プレイリスト間に一部の音源特徴が互いに異なる複数の個人化されたプレイリストを構成してよい。例えば、プレイリスト構成部３１０は、ユーザが選好するジャンルと同じジャンルの曲でプレイリストを生成するが、このとき、ビートがそれぞれ異なるプレイリストを生成してよい。

一例として、プレイリスト構成部３１０は、ディープラーニング基盤の学習モデルを利用してプレイリストを構成してよい。図５は、本発明の一実施形態における、プレイリストを構成する過程の一例を示したフローチャートである。

段階５０１で、プレイリスト構成部３１０は、音楽コンテンツそれぞれに対して音楽コンテンツの音源データの入力を受け、入力を受けた音源データを学習データ形態で処理してよい。このとき、音楽コンテンツとは、オーディオファイルフォーマットを有するすべてのデジタルデータを意味してよく、例えば、ＭＰ３（ＭＰＥＧ ＡｕｄｉｏＬａｙｅｒ－３）、ＷＡＶＥ（Ｗａｖｅｆｏｒｍ ＡｕｄｉｏＦｏｒｍａｔ）、ＦＬＡＣ（Ｆｒｅｅ Ｌｏｓｓｌｅｓｓ ＡｕｄｉｏＣｏｄｅｃ）などを含んでよい。また、プレイリスト構成部３１０は、音楽コンテンツと関連するテキスト情報の入力をともに受けてよいが、このとき、テキスト情報は、歌詞を含むか、あるいは歌手、ジャンル、曲名、アルバム名などのようなメタ情報、または音楽コンテンツの分類や検索などと関連して入力されたハッシュタグ、クエリなどの情報を含んでよい。続いて、プレイリスト構成部３１０は、前処理によって音源データを時間－周波数で表現してよい。例えば、プレイリスト構成部３１０は、音源データをメルスペクトログラム（Ｍｅｌ－ｓｐｅｃｔｒｏｇｒａｍ）やＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ）のような時間－周波数－サイズ形態のデータに変換してよい。また、プレイリスト構成部３１０は、音楽コンテンツに対してテキスト情報の入力をともに受けた場合、テキスト情報を前処理してよい。一例として、プレイリスト構成部３１０は、形態素分析器、索引語抽出器などのような言語前処理器を利用して入力されたテキスト情報から意味のないテキストをフィルタリングしてよい。言い換えれば、プレイリスト構成部３１０は、テキスト情報に含まれた助詞、助動詞などの不要な品詞の単語や、特殊記号（例えば、！、？、／など）などを取り除き、体言や語根に該当する単語を抽出してよい。

段階５０２で、プレイリスト構成部３１０は、音源データに対して前処理された学習データを学習モデルに基づいて学習して固有の特徴を生成した後、生成された固有の特徴をデータベース（図示せず）に記録してよい。プレイリスト構成部３１０は、ディープラーニングに基づいて音源データ自体の固有の音響特徴を生成してよい。一例として、プレイリスト構成部３１０は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の学習モデルを利用してよい。プレイリスト構成部３１０は、ＣＮＮ学習モデルを利用して音源データを多次元実数ベクトルで表現してよい。ＣＮＮ学習モデルは音源データ学習層を含んでよく、以下の過程１～３は、音源データ学習層で音源データに対応する実数ベクトルを生成する過程の例であってよい。

過程１で、音楽コンテンツの音源データ（一例として、ｍｐ３ファイル）は、前処理によってメルスペクトログラムやＭＦＣＣのような時間－周波数－サイズ形態のデータに変換されてよい。

過程２で、変換された音源データから１つ以上の短い時間区間（１～１０秒）の複数の周波数フレームがサンプリングされ、音源データの学習モデルに対する入力データとして使用されてよい。例えば、プレイリスト構成部３１０は、複数のフレームをサンプリングすることにより、音源データ学習層で音楽モデルのサンプルとして提示されるＣＮＮモデルの入力として活用してよい。これにより、音源データの学習のためのＣＮＮモデルは、サンプリングされたフレームの数と同じ数のチャンネルを有するモデルとなる。あるいは、生成されたフレームそれぞれを単一チャネルとして使用し、各フレームに対して固有のコンボリューション／プーリング過程を経た後、生成されたフレーム別の特徴ベクトルを接合して全結合層の入力としての使用も可能である。

過程３では、音源データ学習層が含む複数のコンボリューションおよびプーリング層を繰り返し構成することにより、音楽フレームから抽象化された特徴を生成してよい。コンボリューションでパッチのサイズは多様に構成されてよく、プーリングも、最大値を利用したプーリング技法、平均値を利用したプーリング技法、および前記２つのプーリング技法を接合したハイブリッドプーリング技法などの複数のプーリング技法のうちの少なくとも１つが使用されてよい。

複数のコンボリューションおよびプーリング層の上には音響特徴を生成するための全結合層があり、各層別の関数は、シグモイド（ｓｉｇｍｏｉｄ）関数、双曲線（Ｈｙｐｅｒｂｏｌｉｃ Ｔａｎｇｅｎｔ：ｔａｎｈ）関数、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数などのような多様な関数が使用されてよい。結局、音源データに対して１つの多次元実数ベクトルが生成されるようになる。例えば、与えられた最初の音源データｍ０は、音楽学習モデルの出力層でｘ０＝｛０．２、－０．１、０．３、・・・}の形態のように１つの多次元実数ベクトルで表現されてよい。

また、プレイリスト構成部３１０は、音楽コンテンツに対してテキスト情報の入力をともに受けた場合、テキスト情報も多次元実数ベクトルで表現してよい。一例として、プレイリスト構成部３１０は、テキスト情報に対する前処理によってフィルタリングされたテキストを、事前に学習された学習モデルを利用して言語ベクトルとして生成してよい。例えば、言語ベクトルは、数値型多次元ベクトル形態で表現されてよい。言語ベクトルの生成のために、単語出現頻度ヒストグラム、ＴＦ（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ）／ＩＤＦ（ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）、言語学習モデル（例えば、ｗｏｒｄ２ｖｅｃ、ｐｈｒａｓｅ２ｖｅｃ、ｄｏｃｕｍｅｎｔ２ｖｅｃなど）などが使用されてよい。例えば、「イ・スンファン ＧｏｏｄＤａｙ バラード １９９２」のような歌手／ジャンル／曲名／年度は、１つのｎ次元実数ベクトルｖ＝｛０．３、－１．２、１．２、・・・｝のように表現可能である。このとき、言語学習モデルのためのテキスト情報フィールド（歌手、ジャンル、曲名、年度など）の順序に固定されることはなく、目的に合うように変更可能である。

上述したプレイリスト構成部３１０は、音楽コンテンツ別に、音源データに対する特徴ベクトルとテキスト情報に対する言語ベクトルとをデータベースに記録および維持してよい。音源データに対する特徴ベクトルとテキスト情報に対する言語ベクトルは、それぞれ個別のデータベースで構築されてもよいし、あるいは１つのデータベースで構築されてもよい。このようなデータベースは、サーバ１５０に含まれる構成要素として実現されてもよいし、あるいはサーバ１５０と連動可能な個別のシステム上に構築された外部データベースとして存在することも可能である。

段階５０３で、プレイリスト構成部３１０は、音楽コンテンツそれぞれに対し、データベースに記録された音源データに対する固有の特徴を利用して音源間の類似度を算出してよく、音源間の類似度に基づいて音楽コンテンツに対するプレイリストを自動で構成してよい。一例として、プレイリスト構成部３１０は、音源データに対する特徴ベクトルを利用して音源間の類似度を算出してよく、他の例として、音源データに対する特徴ベクトルとともにテキスト情報に対する言語ベクトルを複合的に利用して音源間の類似度を算出してもよい。このとき、プレイリスト構成部３１０は、ユーザがここ最近に消費した曲またはユーザが現在消費中のプレイリストを構成している曲のうちの少なくとも１つをシード曲とし、シード曲と類似する曲とのチェーン形態によってプレイリストを無限に構成してよい。さらに、プレイリスト構成部３１０は、音楽コンテンツに対するユーザの消費履歴データに基づき、ユーザが選好する曲でプレイリストを構成してよい。

したがって、本発明は、音楽コンテンツの音源データとテキスト情報とを学習したモデルを利用した音楽コンテンツ間の類似性に基づき、類似する曲でプレイリストを自動構成することができる。

再び図４において、段階４３０で、プレイリスト提供部３２０は、段階４２０で構成されたプレイリストそれぞれをノードとするツリーグラフを提供することによってプレイリストを推薦してよい。プレイリスト提供部３２０は、深さとノードの数が事前に固定されたツリーグラフによってプレイリストを推薦してよく、他の例としては、ツリーグラフから選択されたプレイリストのノードを基準に少なくとも１つ以上の深さを追加してノードを漸次的に拡張しながらプレイリストを推薦してもよい。このとき、互いに連結されたノードのプレイリストは、相互間に類似性を持つと同時に、ある程度の差別性も持つ。例えば、プレイリスト提供部３２０は、ユーザが選好するジャンルと同じ曲のプレイリストを各ノードに配置するようになるが、このとき、各ノードのプレイリストは、ビートが互いに異なる曲で構成されてよい。

図６を参照すると、ツリーグラフ６００のルートノードとして初期プレイリストＳが配置されており、初期プレイリストＳは、ユーザ選好度が反映されたプレイリストであってよい。一例として、ルートノードのプレイリストＳは、ここ最近の一定時間内に累積されたユーザの消費履歴データから抽出された音源特徴、つまり、ユーザが選好する音源特徴に対応する曲で構成されてよい。

プレイリスト提供部３２０は、ルートノードから始まってツリーグラフ６００のノードを拡張していく形態でプレイリストを推薦してよい。図７を参照すると、プレイリスト構成部３１０は、ユーザがルートノードのプレイリストＳを消費している途中または消費を完了した時点に、ルートノードのプレイリストＳを基準に新たなプレイリストＩ～ＩＶを構成してよい。このとき、プレイリスト提供部３２０は、ユーザがルートノードのプレイリストＳの消費を完了してから一定の時間（例えば、１日）が経過すれば、ツリーグラフ６００のルートノードから子ノードを拡張し、拡張されたノードとして新たに構成されたプレイリストI～ＩＶを追加で配置してよい。

また、図８を参照すると、プレイリスト構成部３１０は、ユーザがツリーグラフ６００において、プレイリストI～IVのうちのいずれか１つのプレイリストを消費している途中または消費を完了した時点に新たなプレイリストV～XIを構成し、プレイリスト提供部３２０は、以前のプレイリストの消費を完了してから一定の時間（例えば、１日）が経過すれば、ツリーグラフ６００のノードを拡張し、拡張されたノードとして新たに構成されたプレイリストV～XIを追加で配置してよい。

例えば、図６～８を参照すると、初期プレイリストＳが消費された次の日にツリーグラフ６００のノードが拡張されて新たなプレイリストI～IＶが追加で配置されてよい。プレイリストI～IＶが追加で配置されたツリーグラフ６００においてプレイリストIIが消費されれば、その次の日にプレイリストIIのノードから新たなプレイリスト推薦のための子ノードが拡張され、プレイリストIIIが消費されれば、その次の日にプレイリストIIIのノードから新たなプレイリスト推薦のための子ノードが拡張されてよい。このように、プレイリストが消費される順にノードが拡張されることの他にも、プレイリストI～IＶのうちのいずれか１つのプレイリストが消費されれば、その次の日に該当のノードと同じ深さのノードのうちの隣接するノードから子ノードが拡張されてもよいし、同じ深さのすべてのノードから一括して子ノードが拡張されることも可能である。ツリーグラフ６００のノード拡張の規則や順序などは、いくらでも変更可能である。

したがって、漸次的に成長するツリー形状のグラフを利用してプレイリストを推薦することでより多くの選択肢を提供することができ、ツリーグラフの漸次的な成長によって娯楽要素を提供することができる。

互いに連結されたノードのプレイリストは、相互間に類似性を持つと同時にある程度の差別性も持っているが、１つの親ノードから派生した子ノード同士も、ある程度の類似性と差別性を持つ。

ユーザは、ツリーグラフ６００でノードを自由に移動しながら推薦プレイリストを消費するようになるが、このとき、プレイリスト提供部３２０は、ユーザが消費したプレイリストに対するヒストリーをツリーグラフ６００上で視覚化してよい。このとき、プレイリスト提供部３２０は、ツリーグラフ６００でユーザが消費したプレイリストのノードをマーキングおよび連結してコンテンツ消費経路を視覚化してよい。図９に示すように、プレイリスト提供部３２０は、ツリーグラフ６００上でユーザが消費したプレイリスト（例えば、Ｓ、ＩＩ、ＩＩＩ、ＶＩ、ＩＸ）のノードを、消費されていない他のノードと区分して表示してよい。

再び図４において、段階４４０で、消費履歴管理部３３０は、ツリーグラフで提供されるプレイリストに対するユーザの消費履歴と関連するデータを管理してよい。消費履歴管理部３３０は、音楽サービスを利用するユーザそれぞれの音楽再生ログを消費履歴データとして記録および管理してよい。消費履歴データは、ユーザが消費したプレイリストに関する情報を含むものであって、各プレイリストに対して該当のプレイリストの識別子（例えば、ＩＤなど）、該当のプレイリストが再生された回数、該当のプレイリストの総再生時間のうちどの程度が再生されたかを示す再生の割合、該当のプレイリストに対するユーザからのフィードバック（例えば、「いいね」のようなユーザ反応や「お気に入り」登録など）、該当のプレイリストの連続再生の可否、該当のプレイリストが消費された当時の時間とユーザ位置などが含まれてよい。このとき、位置は、位置情報収集に事前に同意したユーザの場合は、該当のユーザの電子機器１１０から自動で収集されてよい。また、消費履歴管理部３３０は、ユーザが消費したプレイリストに含まれる曲のメタ情報、一例として、曲識別子、アルバム情報、アーティスト情報、ジャンル情報を含むメタデータを消費履歴データとして記録および管理してよい。また、消費履歴管理部３３０は、ユーザが消費したプレイリストと関連する外部情報、一例として、該当のプレイリストが消費された当時の天気や社会的イシューなどを消費履歴データとして記録および管理してよい。上述した消費履歴データは、プレイリストに対するユーザの消費形態を分析するために活用されてよく、特に、プレイリスト構成部３１０でプレイリストを個人化して構成するために活用されてよい。ユーザがツリーグラフを利用して消費したプレイリストに対する消費履歴データを収集し、これを次の推薦過程でのプレイリストの構成のために使用することにより、プレイリストの推薦をより精巧化することができる。

ユーザが推薦プレイリストに対して直接的にフィードバックをしなくても、ツリーグラフを利用した間接的な方式によって詳細かつ精巧なフィードバックデータを収集することができ、これによってユーザの消費履歴と行動を容易に把握することができることから、ユーザに個人化されたプレイリストを構成するために活用することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

本発明の実施形態は、さらに以下の課題を解決する。

漸次的に成長するツリー形状のグラフでプレイリストを提供することにより、ゲーム的な要素によって付随的な楽しみを提供することができる。

成長グラフのノードを自由に移動しながらプレイリストを消費するようにサポートし、ユーザの消費ヒストリーを成長グラフ上に効果的に視覚化することができる。

成長グラフのノードを移動しながらプレイリストを消費する形態を容易に把握することができ、成長グラフによる消費形態に基づいてプレイリストの推薦をより精巧化することができる。

Claims (18)

1. コンピュータシステムが実行するプレイリスト提供方法であって、
   前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   前記プレイリスト提供方法は、
   前記少なくとも１つのプロセッサにより、音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成する段階、および
   前記少なくとも１つのプロセッサにより、前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦する段階
   を含み、
   前記推薦する段階は、
   前記ツリーグラフの各ノードに配置されたプレイリストが消費されることによって漸次的に前記ツリーグラフのノードを拡張し、他のプレイリストを追加で配置する段階
   をさらに含む、プレイリスト提供方法。
2. 前記推薦する段階は、
   前記ツリーグラフから選択されたノードを基準に少なくとも１つ以上の深さを追加しながらノードを拡張する段階
   を含む、請求項１に記載のプレイリスト提供方法。
3. 前記推薦する段階は、
   前記ツリーグラフのルートノードに、音楽コンテンツに対するユーザの選好度が反映された初期プレイリストを配置する段階
   を含む、請求項１に記載のプレイリスト提供方法。
4. 前記推薦する段階は、
   前記ツリーグラフ上でユーザが消費したプレイリストのノードを視覚化する段階
   を含む、請求項１に記載のプレイリスト提供方法。
5. 前記推薦する段階は、
   前記ツリーグラフ上でユーザが消費したプレイリストのノードをマーキングおよび連結して前記ユーザのコンテンツ消費経路を視覚化する段階
   を含む、請求項１に記載のプレイリスト提供方法。
6. 前記プレイリスト提供方法は、
   前記少なくとも１つのプロセッサにより、前記ツリーグラフで提供されるプレイリストに対するユーザの消費履歴と関連するデータを管理する段階
   をさらに含む、請求項１に記載のプレイリスト提供方法。
7. 前記構成する段階は、
   前記ユーザの消費履歴と関連するデータを利用して前記ユーザが選好する音源特徴を抽出する段階、および
   前記抽出された音源特徴に対応する曲で個人化されたプレイリストを構成する段階
   を含む、請求項６に記載のプレイリスト提供方法。
8. 前記個人化されたプレイリストを構成する段階は、
   前記ユーザが選好する音源特徴を共通して持ちながら、プレイリスト間に一部の音源特徴が互いに異なる複数の個人化されたプレイリストを構成する段階
   を含む、請求項７に記載のプレイリスト提供方法。
9. 前記構成する段階は、
   前記音楽コンテンツそれぞれに対し、前記音楽コンテンツの音源データをディープラーニング学習モデルに基づいて学習して固有の音源特徴を生成する段階、および
   前記音源特徴を利用して前記音楽コンテンツ間の類似度を算出し、前記音楽コンテンツ間の類似度に基づいて前記プレイリストを構成する段階
   を含む、請求項１に記載のプレイリスト提供方法。
10. 請求項１～９のうちのいずれか一項に記載のプレイリスト提供方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、非一時的なコンピュータ読み取り可能な記録媒体。
11. コンピュータシステムによって実現されるプレイリスト提供システムであって、
    メモリ、および
    前記メモリに接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    音楽コンテンツ間の類似度に基づいて複数のプレイリストを構成するプレイリスト構成部、および
    前記プレイリストそれぞれをノードとするツリーグラフを提供することによって前記プレイリストを推薦するプレイリスト提供部
    を含み、
    前記プレイリスト提供部は、
    前記ツリーグラフの各ノードに配置されたプレイリストが消費されることによって漸次的に前記ツリーグラフのノードを拡張し、他のプレイリストを追加で配置すること
    を特徴とする、プレイリスト提供システム。
12. 前記プレイリスト提供部は、
    前記ツリーグラフから選択されたノードを基準に少なくとも１つ以上の深さを追加しながらノードを拡張すること
    を特徴とする、請求項１１に記載のプレイリスト提供システム。
13. 前記プレイリスト提供部は、
    前記ツリーグラフのルートノードに、音楽コンテンツに対するユーザの選好度が反映された初期プレイリストを配置すること
    を特徴とする、請求項１１に記載のプレイリスト提供システム。
14. 前記プレイリスト提供部は、
    前記ツリーグラフ上でユーザが消費したプレイリストのノードを視覚化すること
    を特徴とする、請求項１１に記載のプレイリスト提供システム。
15. 前記プレイリスト提供部は、
    前記ツリーグラフ上でユーザが消費したプレイリストのノードをマーキングおよび連結して前記ユーザのコンテンツ消費経路を視覚化すること
    を特徴とする、請求項１１に記載のプレイリスト提供システム。
16. 前記少なくとも１つのプロセッサは、
    前記ツリーグラフで提供されるプレイリストに対するユーザの消費履歴と関連するデータを管理する消費履歴管理部
    をさらに含む、請求項１１に記載のプレイリスト提供システム。
17. 前記プレイリスト構成部は、
    前記ユーザの消費履歴と関連するデータを利用して前記ユーザが選好する音源特徴を抽出し、
    前記抽出された音源特徴に対応する曲で個人化されたプレイリストを構成すること
    を特徴とする、請求項１６に記載のプレイリスト提供システム。
18. 前記プレイリスト構成部は、
    前記ユーザが選好する音源特徴を共通して持ちながら、プレイリスト間に一部の音源特徴が互いに異なる複数の個人化されたプレイリストを構成すること
    を特徴とする、請求項１７に記載のプレイリスト提供システム。

Images