[go: up one dir, main page]

WO2024257632A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2024257632A1
WO2024257632A1 PCT/JP2024/020145 JP2024020145W WO2024257632A1 WO 2024257632 A1 WO2024257632 A1 WO 2024257632A1 JP 2024020145 W JP2024020145 W JP 2024020145W WO 2024257632 A1 WO2024257632 A1 WO 2024257632A1
Authority
WO
WIPO (PCT)
Prior art keywords
page
display
lyrics
related content
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/020145
Other languages
English (en)
French (fr)
Inventor
晴子 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2024257632A1 publication Critical patent/WO2024257632A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 

Definitions

  • This technology relates to an information processing device, an information processing method, and a program, and to displaying content related to music content.
  • packaged music media such as analog records and music CDs (Compact Discs) included lyric sheets or lyric booklets, allowing users to enjoy listening to music while looking at the lyrics and artwork such as photographs, pictures, and illustrations.
  • analog records and music CDs Compact Discs
  • CDs Compact Discs
  • Patent Document 1 there are known music players with a lyrics display function that display lyrics while playing music.
  • Lyric cards and lyric booklets are also a means of expression for music artists, and have functions such as conveying the lyrics and expressing the worldview of the song through artwork.
  • the size, style, and font of the characters displayed in the lyrics are also part of the artist's expression. Considering these factors, it is desirable to be able to provide a lyric sheet or lyric booklet to a user as a work when providing the user with a song as digital content.
  • This disclosure therefore envisages the display of related content associated with music content, such as digital content such as lyric sheets or lyric booklets, and proposes technology that allows for display in a way that is desirable for the user.
  • An information processing device includes a control unit that controls displaying related content associated with music content and consisting of multiple pages on which text or images are displayed, and also controls displaying a page guide indicating the currently displayed page of the entire related content. For example, when displaying related content associated with music content as artwork including text and images on multiple pages, page guide is performed during display.
  • text refers to the part of the page that is displayed as text
  • image is a general term for the part that is not text, such as a photograph, picture, illustration, animation, etc.
  • FIG. 1 is an explanatory diagram of a system configuration according to an embodiment of the present technology
  • FIG. 13 is an explanatory diagram of a lyrics booklet as related content according to an embodiment.
  • 1 is an explanatory diagram of a lyric booklet and a lyric card as related content in an embodiment.
  • FIG. 11 is an explanatory diagram of an example of display of related content on the terminal device according to the embodiment;
  • FIG. 1 is a block diagram of an information processing apparatus according to an embodiment. 11 is a flowchart of a related content creation process according to an embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • FIG. 13 is an explanatory diagram of a related content creation screen according to the embodiment.
  • 13 is an explanatory diagram of a user interface image when related content is displayed according to the embodiment.
  • FIG. FIG. 11 is an explanatory diagram of a content concentration mode according to an embodiment.
  • FIG. 4 is an explanatory diagram of a display position guide according to the embodiment.
  • FIG. 4 is an explanatory diagram of a display position guide according to the embodiment.
  • FIG. 13 is an explanatory diagram of a default display position displayed in the display position guide according to the embodiment;
  • FIG. 13 is an explanatory diagram of a text range display in the display position guide according to the embodiment;
  • FIG. FIG. 2 is an explanatory diagram of a page guide according to an embodiment.
  • FIG. 11 is an explanatory diagram of a change in display position within a page according to an embodiment.
  • FIG. 11 is an explanatory diagram of a change in display position within a page according to an embodiment.
  • FIG. 11 is an explanatory diagram of a sharing mode according to the embodiment.
  • FIG. 11 is an explanatory diagram of a sharing mode according to the embodiment.
  • FIG. 11 is an explanatory diagram of a sharing mode according to the embodiment.
  • 11 is a flowchart of a related content display process according to the embodiment.
  • 11 is a flowchart of a display setting process according to an embodiment.
  • 11 is a flowchart of a display update control process according to an embodiment.
  • 11 is a flowchart of a display update control process according to an embodiment.
  • music content is a general term for music data as digital content, and may refer to the music data of a single song or to a collection of music data for multiple songs, such as on a music album.
  • “Related content” refers to digital content associated with music content, such as digital content provided in conjunction with the purchase or distribution of individual music content.
  • the related content will be described using the example of a lyric booklet or lyric card.
  • a lyric booklet is a pamphlet containing lyrics, artwork in the form of photographs or pictures, credits for artists and producers, etc., on multiple pages.
  • a lyric card refers to a single page, or the front and back of a single sheet of paper, on which lyrics, artwork, credits, etc. are printed, rather than on multiple pages.
  • the related content is the digitalized version of the text and images expressed in the form of these pamphlets or a single sheet of paper.
  • lyric booklets when there is no particular distinction between lyric booklets and lyric cards, they will be collectively referred to as "lyric booklets, etc.”
  • Such related content such as a lyrics booklet is provided as one or more image data. That is, the image data includes characters or images on each page. However, text data corresponding to the display portion of the lyrics may also be included.
  • FIG. 1 shows a server device 1, a database 2, a terminal device 3, and a terminal device 4.
  • the server device 1 is a server that sells and distributes content via a network 6.
  • the database 2 stores various contents such as music content and related content, and information (software programs and data) required for the server device 1 to execute processing.
  • the server device 1 is composed of one or more information processing devices, and performs processes such as transmitting information to the terminal device 4 and accepting information uploads from the terminal device 3 .
  • Terminal device 3 is an information processing device used by artists who create music content.
  • Terminal device 4 is an information processing device used by general users who purchase music content, etc.
  • terminal devices 3 and 4 are assumed to be smartphones, PCs (personal computers), tablet devices, etc.
  • the terminal devices 3 and 4 are capable of communicating with the server device 1 via a network 6.
  • Examples of the network 6 include the Internet, a home network, a LAN (Local Area Network), a mobile communication network, and various other networks.
  • a user can access the server device 1 via a specific application program on a terminal device 4 or via a web browser, and purchase music content (music albums or specific songs), etc.
  • artists can use the terminal device 3 to create and edit lyric booklets and the like to be added to music content.
  • artists can not only provide music data as music content, but also express artwork in lyric booklets and the like. Lyric booklets and the like created and edited using the terminal device 3 are uploaded to the server device 1 and registered as related content associated with the music content.
  • 2 and 3 show examples of related content such as a lyrics booklet.
  • 2 shows an example of a lyrics booklet consisting of multiple pages.
  • a lyrics booklet enclosed in a CD or the like as a music album consists of multiple pages as shown as pages P1, P2, ..., with lyrics and artwork printed on each page.
  • the images of each page are converted into digital content consisting of multiple pieces of image data, for example, vertically long image data suitable for display on a terminal device 4 such as a smartphone, and this is the related content of the lyrics booklet.
  • Each page P1, P2, etc. may contain the lyrics of one song, a page with the lyrics of multiple songs, a page with no lyrics and only artwork, or a page with the track list and credits.
  • the related content may also be in the form of a single lyric sheet.
  • Fig. 3A shows image data (related content) in the form of a lyric sheet on which lyrics and artwork for multiple songs are printed in a vertically long area. The shapes also vary, and FIG. 3B shows image data (related content) of a lyric card that is nearly square in shape and contains lyrics and artwork for multiple songs.
  • the lyrics booklet may consist of two pages, like the front and back of a sheet of paper, as in Figures 3A and 3B, and in other cases, the lyrics booklet may be formed over a larger number of pages, as in Figures 3A and 3B.
  • the page shape of the lyric booklet, the position, format, size and font of the lyrics, the arrangement of the artwork, the type of expression through photographs, illustrations, pictures, background color, patterns, or combinations of these, and the position and format of credits for composers, lyricists, arrangers, performers, producers, etc., etc., can be regarded as one aspect of the artist's expression. Therefore, in this embodiment, when a user purchases music content such as a music album on the terminal device 4, not only is music played back but also a lyrics booklet and the like are displayed.
  • FIG. 4 shows a state in which a lyrics booklet or the like is displayed on the terminal device 4 while music is being played.
  • various icons and guide information are displayed as a user interface along with images of the lyrics booklet or the like. The individual functions will be described later.
  • the artist's expression through the lyrics booklet or the like that accompanies music is delivered to the user.
  • This allows the user to be provided with an experience equivalent to that of viewing a paper lyrics booklet on a CD, for example.
  • lyrics booklets or the like are displayed as a user interface. This is to achieve good usability when viewed on the screen, and to provide various functions that are possible with digital content.
  • the information processing device 70 can be configured as, for example, a dedicated workstation, a general-purpose personal computer, a mobile terminal device, or the like.
  • a non-volatile memory unit 74 such as a read-only memory (ROM) 72 or an electrically erasable programmable read-only memory (EEP-ROM), or programs loaded from a storage unit 79 to a random access memory (RAM) 73.
  • the RAM 73 also stores data necessary for the CPU 71 to execute various processes. In the CPU 71, various control and calculation functions described later are realized by programs.
  • processors other than the CPU 71 may include a GPU (Graphics Processing Unit), a GPGPU (General-purpose computing on graphics processing units), an AI (artificial intelligence) processor, etc.
  • GPU Graphics Processing Unit
  • GPGPU General-purpose computing on graphics processing units
  • AI artificial intelligence
  • the CPU 71, ROM 72, RAM 73, and non-volatile memory unit 74 are interconnected via a bus 83.
  • the input/output interface 75 is also connected to this bus 83.
  • An input unit 76 including an operator or an operating device is connected to the input/output interface 75.
  • the input unit 76 may be various operators or operating devices such as a keyboard, a mouse, a key, a dial, a touch panel, a touch pad, or a remote controller.
  • a user operation is detected by the input unit 76, and a signal corresponding to the input operation is interpreted by the CPU 71.
  • the input/output interface 75 is also connected, either integrally or separately, to a display unit 77 such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and an audio output unit 78 such as a speaker.
  • a display unit 77 such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel
  • an audio output unit 78 such as a speaker.
  • the display unit 77 performs various displays as a user interface.
  • the display unit 77 is, for example, a display device provided in the housing of the information processing device 70, or a separate display device connected to the information processing device 70.
  • the display unit 77 executes various image displays on the display screen based on instructions from the CPU 71.
  • the display unit 77 also displays various operation menus, icons, messages, etc., that is, GUIs (Graphical User Interfaces), based on instructions from the CPU 71.
  • the input/output interface 75 may be connected to a storage unit 79 configured with a solid state drive (SSD) or a hard disk drive (HDD) or a communication unit 80 configured with a modem or the like.
  • the storage unit 79 can be used to store various data, and a database can be constructed in the storage unit 79.
  • the communication unit 80 performs communication processing via the network 6 .
  • a drive 82 is also connected to the input/output interface 75 as necessary, and a removable recording medium 81 such as a flash memory, a memory card, a magnetic disk, an optical disk, or a magneto-optical disk is appropriately attached thereto.
  • the drive 82 allows data files such as image files and various computer programs to be read from the removable recording medium 81.
  • the read data files are stored in the storage unit 79, and images and sounds contained in the data files are output on the display unit 77 and the sound output unit 78.
  • the computer programs and the like read from the removable recording medium 81 are installed in the storage unit 79 as necessary.
  • software can be installed via network communication by the communication unit 80 or via a removable recording medium 81.
  • the software may be pre-stored in the ROM 72, the storage unit 79, etc.
  • Such an information processing device 70 can constitute the terminal device 4, the terminal device 3, the server device 1, or the database 2.
  • the process relating to displaying related content in the terminal device 4, which will be described later, and the process relating to generating and editing related content in the terminal device 3 can be realized by the hardware configuration of the information processing device 70 in Fig. 5 and software installed therein.
  • Fig. 6 shows an example of the processing performed by the terminal device 3 when generating and editing related content
  • Figs. 7 to 13 show examples of display screens on the terminal device 3.
  • the term "artist” here refers to at least someone who produces a lyric booklet or the like.
  • the artist can start an application program as an editing tool on the terminal device 3 and perform operations according to the guidance of the application program. First, the artist loads the actual song content and lyric booklet etc. into the editing tool.
  • step S101 the CPU 71 performs a process of reading in music content and a lyric booklet for an artist.
  • data such as music content and a lyric booklet selected by an operation of the artist is read as processing targets.
  • the artist selects data of music content or data such as a lyrics booklet stored in the storage unit 79 on the editing tool and performs a read operation. If the lyrics booklet or the like is not prepared as image data, a paper lyrics booklet or the like may be scanned and read.
  • the CPU 71 After reading the music content and lyrics booklet, etc. to be edited, the CPU 71 performs data analysis of the music content and lyrics booklet, etc. in step S102, and reflects this on the editing screen in step S103.
  • FIG. 7 shows an example of the editing screen 20 .
  • the name of the currently displayed song and artist are displayed as a title 21, and an edit mode button 22 and a confirmation mode button 23 are also displayed.
  • the edit mode button 22 is an operator for instructing the edit mode
  • the confirmation mode button 23 is an operator for instructing the confirmation mode.
  • a specification box 25 An editing box 26, and a confirmation box 27.
  • a text icon 30 is displayed in the specification box 25, indicating that it is a box for specifying an editing position from the lyrics side.
  • the specification box 25 is provided with a text presentation area 31 and a corresponding text presentation area 32.
  • Text data obtained by performing voice recognition on the music content read by the CPU 71 is displayed in the text presentation area 31.
  • the display in the text presentation area 31 can be scrolled by a scroll bar 31S.
  • some phrases are displayed in a different way from the other parts, as underlined in the figure, to clearly indicate the parts recommended for editing.
  • the display style of the parts recommended for editing may be underlined as in the figure, or may be a different color, font, size, etc.
  • the corresponding text presentation area 32 displays an image of the lyrics booklet or the like that has been read. However, here, the text parts in the image of the lyrics booklet or the like are displayed in a darker color to make them stand out.
  • the CPU 71 uses character recognition in the image of the lyrics booklet or the like to determine the areas in which lyrics or other text is written, and displays these areas in a darker color to make them stand out. On the other hand, image parts such as artwork are displayed in a lighter color to make them less noticeable.
  • the display in the corresponding text presentation area 32 can be scrolled by using the scroll bar 32S.
  • the parts marked as recommended for editing in the text presentation area 31 are displayed in a different way from the other parts. In the example shown in the figure, they are underlined, but a specific color may also be overlaid.
  • the corresponding text presentation area 32 displays the lyrics displayed in the lyrics booklet or the like as an image, so the font or size of the text is not changed.
  • An image icon 35 is displayed in the editing box 26, indicating that this is a box for setting editing content for the image portion.
  • the editing box 26 is provided with an image presentation area 36 and an editing button area 37.
  • the image presentation area 36 displays an image of the loaded lyrics booklet, etc. However, here, within the image of the lyrics booklet, etc., the image parts such as artwork are displayed dark and eye-catching, while the text parts are displayed lightly so as not to stand out.
  • the display in the image presentation area 36 can be scrolled using the scroll bar 36S.
  • Various edit buttons 38 are displayed in the edit button area 37. For example, various edit contents such as “fill background with red”, “fill background with blue”, “blinking black and white”, “Japanese writing”, “change dialogue”, etc. are presented as each edit button 38 together with the part to be edited.
  • the displayed edit buttons 38 can be scrolled by using the scroll bar 37S.
  • a music icon 34 is displayed, indicating that this is an area where editing contents can be confirmed while music is being played.
  • a lyric booklet or the like as the editing result is displayed in a confirmation box 27.
  • the user can check the edited color changes, image effects, animations, and the like, while the music is being played back.
  • a progress bar 40 indicates the current position of the music being played back.
  • the user operates a play/stop button 41 to play and stop the music.
  • the playback position can be changed by moving the pointer 40P of the progress bar 40 by a dragging operation or the like.
  • the artist can use the designation box 25, editing box 26, and confirmation box 27 on the editing screen 20 to designate the location to be edited, operate the editing box 26 to determine the editing content for that location, and confirm the result in the confirmation box 27.
  • the plus mark 28 is displayed to indicate that the edit in the editing box 26 will be added to the location designated in the designation box 25.
  • the equals mark 29 indicates that the result will be the content displayed in the confirmation box 27.
  • the display mode of the plus mark 28 and equals mark 29 changes depending on the progress of the editing, to show the artist the progress of the editing. For example, the plus mark 28 is white (light color) in Figures 7 and 8, but is black (dark color) in Figure 9.
  • the specification box 25 is used to specify an editing location within the lyrics text
  • the edit box 26 is used to add an image effect.
  • the text and image can be interchanged using the left/right conversion button 39. That is, the user can designate an arbitrary location in an image such as artwork in the designation box 25, and determine the editing contents of the lyrics text in the edit box 26.
  • the mode boundary line 24 visually indicates whether each area is in the edit mode or the check mode.
  • 7 shows a state in which the designation box 25 and the editing box 26 are positioned above the mode boundary line 24, and an artist is performing editing using the designation box 25 and the editing box 26.
  • the mode boundary line 24 distinguishes between the designation box 25 and the editing box 26 by displaying them brighter above and darker below, indicating that the designation box 25 and the editing box 26 are functioning in the editing mode, and indicating that the confirmation box 27 is functioning in the confirmation mode.
  • the position where the mode boundary line 24 is drawn changes depending on the mode selection state, etc.
  • the CPU 71 of the terminal device 3 performs the following process as the data analysis in step S102.
  • the CPU 71 performs a voice recognition process (a process of generating text data of lyrics) on the music content in order to display text in the text presentation area 31 .
  • the CPU 71 performs a process of determining whether an image of a loaded lyric booklet or the like is a character area or an image area for display in the corresponding text presentation area 32 and the image presentation area 36 .
  • the CPU 71 also performs a process of setting a recommended editing portion to be presented on the text in the text presentation area 31. That is, the CPU 71 sets a portion of a song or lyric phrase for which editing such as image effects is recommended. For example, an AI process based on learning effect settings for a large number of song contents is used to find a portion where effects such as blinking, animation, and color changes are effective, and the portion is set as the recommended editing portion. The CPU 71 also performs a process of setting what editing content is appropriate for each recommended editing portion.
  • step S103 a display such as that shown in Figure 7 can be produced in response to images of the loaded music content and lyrics booklet, etc.
  • the CPU 71 monitors an operation to end editing in step S104 of FIG. 6, and also monitors various operations on the editing screen 20 in step S105. When an operation on the editing screen 20 is detected, the CPU 71 performs a process corresponding to the operation in step S106. Specifically, the CPU 71 performs control such as updating the display state of the editing screen 20, setting edit data, and playing back music content in response to the operation.
  • Figure 7 With the editing screen 20 displayed as in Figure 7, the artist selects the part they wish to edit from among the recommended editing parts (underlined parts) shown in the text presentation area 31 of the designation box 25.
  • Figure 8 shows the artist using the cursor CS to designate the phrase "I love you” from the recommended editing parts of the lyrics.
  • the CPU 71 updates the display state accordingly, as shown in FIG.
  • the recommended editing portion specified in the text presentation area 31 is displayed clearly in the corresponding text presentation area 32. That is, the "I love you” portion is also displayed clearly in the image of the lyrics booklet, etc.
  • the selected portion is displayed in a target frame 43 in the text presentation area 31 and a target frame 44 in the corresponding text presentation area 32, and these are connected by a line 45.
  • the artist may be allowed to specify the recommended editing portion from the corresponding text presentation area 32.
  • the recommended editing portion specified in the corresponding text presentation area 32 is clearly displayed in the text presentation area 31, resulting in a display state as shown in FIG.
  • an edit button 38 corresponding to this selected recommended edit portion is displayed.
  • the edit button 38 that is suitable for the selected recommended edit portion is displayed in an active state
  • the edit buttons 38 that are not suitable are displayed in an inactive state.
  • Figure 9 shows the state in which the edit button 38 with the black and white inversion and blinking for the stylized image of "I love you" is selected.
  • the edit button 38 that was operated is highlighted as shown in Figure 10, and the corresponding image portion is shown in a target frame 46, and these are connected by a line 47. This indicates that the black and white inversion and blinking has been set for the image portion shown in the target frame 46.
  • the confirmation box 27 displays an adjustment bar 42 along with the progress bar 40.
  • This adjustment bar 42 sets the period during which the image portion indicated by the target frame 46 is to be blinked in black and white inversion during music playback.
  • the section recommended by the CPU 71 is indicated by the start position 42S and the end position 42E, and a width with a little margin from the recommended section before and after that is indicated as the overall scale of the adjustment bar 42.
  • the CPU 71 estimates the recommended position estimated to be appropriate for the period during which the image portion indicated by the target frame 46 is to be blinked in black and white inversion, as well as a position with a margin allowing the artist to arbitrarily adjust before and after that, and clearly indicates these on the progress bar 40 and the adjustment bar 42.
  • the user can confirm in the confirmation box 27 that the corresponding image portion in the section indicated by the adjustment bar 42 is flashing. Also, an artist may wish to fine-tune the blinking display section in accordance with the progress of a song. In such a case, the artist can adjust the blinking display section by moving the start position 42S or the end position 42E by a dragging operation or the like.
  • the artist specifies the part of the suggested editing portion presented in the specification box 25 where he/she would like to make some kind of edit or add an effect, and determines the content of the edit/effect in the edit box 26.
  • the artist can adjust the effect section in the song as necessary in the confirmation box 27.
  • FIG. 12 shows the state in which the artist has operated the confirmation mode button 23 to switch the entire display to confirmation mode.
  • the area below the mode boundary line 24 is displayed brighter, and the area above is displayed darker. This indicates that the specification box 25, edit box 26, and confirmation box 27 are functioning in confirmation mode.
  • the portion in the text presentation area 31 where editing and setting have been performed up to now is indicated by a confirmation frame 48.
  • a confirmation frame 48 an example is given in which the portion is indicated by a confirmation frame 48, but it is sufficient if the portion can be indicated in some display mode so as to be distinguished from other portions.
  • the portion in the corresponding text presentation area 32 where editing and setting have been performed is indicated. In the figure, this is indicated by an underline. This allows the artist to check the parts that have already been edited.
  • each confirmation frame 48 can be displayed by selecting the confirmation frame 48. For example, clicking on a confirmation frame 48, which is the cursor CS as shown in FIG. 12, displays detailed settings for that confirmation frame 48 as shown in FIG. 13. First, the target frame 44 corresponding to the confirmation frame 48 is displayed, and by connecting it with a line 45, the target portion such as the lyrics booklet is clearly indicated.
  • the edit button 38 for the edit content set for this confirmation frame 48 is highlighted and is connected to the target frame 46 by a line 47. This clearly shows the area to be edited and the edit content, such as the image effects, that have been set.
  • an adjustment bar 42 is displayed in the confirmation box 27, indicating the section in which the effect will be executed.
  • the mode boundary line 24 is changed so that it passes through the center of the confirmation box 27, so that the confirmation box 27 is in both confirmation mode and edit mode.
  • the user can also adjust the section to be edited by moving the start position 42S or end position 42E of the adjustment bar 42.
  • steps S105 and S106 of FIG. 6 the CPU 71 of the terminal device 3 detects the operation of the user interface as described above and executes the corresponding processing.
  • step S104 When the artist performs an operation to end editing, the CPU 71 advances from step S104 to step S107 to perform a registration process. That is, data such as a lyrics booklet including information on the edited content that has been set is uploaded to the server device 1 as related content. This allows the server device 1 to provide the user with related content edited by the artist in addition to the music content.
  • the editing screen 20 is an example of display on a horizontally long screen of a PC or the like
  • an editing screen 20 suitable for a vertically long screen of a smartphone or the like is also envisioned. In that case, too, it is sufficient to perform a screen layout or the like that allows easy specification of the editing position, editing, confirmation, and the like.
  • the terminal device 4 displays images of the lyrics booklet and the like as well as icons for various user interfaces.
  • FIG. 14 shows only the icons, excluding images of the lyrics booklet and the like.
  • Icons and the like for the user interface include an album title 51, a page guide 52, a page forward icon 53, a page back icon 54, a display position guide 55, a full focus icon 56, a flip icon 57, a link icon 58, synchronization icons 59, 61, a highlight icon 60, a track title 62 corresponding to the currently viewed page, a page number 63, sharing mode icons 64, 65, and audio controls 66. Note that these are just examples, and it is not necessary for all of them to be displayed. Icons and the like other than these may also be displayed.
  • album title 51 the title of the music album representing the music content being played is displayed. It is to be noted that this is not limited to the album title, and the song name may be displayed when playing a single piece of music, or both the album title and the title of the song being played may be displayed. Furthermore, the artist name, etc. may be displayed. Thumbnail images of the music album and artist, etc. may also be displayed.
  • the page guide 52 is a display that indicates the currently displayed page within the entire related content such as a lyric booklet. This page guide 52 indicates to the user which page is currently displayed, assuming a lyric booklet made up of multiple pages, or a lyric card made up of two pages, one on the front and one on the back of the paper. Details of the page guide 52 will be described later.
  • the page forward icon 53 is an operator that allows the user to advance to the next page being viewed.
  • the page back icon 54 is an operator that allows the user to go back to the previous page being viewed.
  • the display position guide 55 is an indication that indicates the displayed position within one page of related content (lyric booklet, etc.). For example, when a page is not displayed in its entirety on the screen of a terminal device 4 such as a smartphone, the entire page and the display range are clearly indicated. In Fig. 14, an example is given showing that the range (area 55a) indicated by the diagonal lines on a vertically long page is currently displayed.
  • the track title 62 displays the title of the song whose lyrics are currently being displayed.
  • the song information may also include the lyricist, composer, arranger, and so on.
  • the title of the song being played may be displayed separately.
  • the page number 63 shows the page number of the lyric booklet or the like being viewed. For example, using fractional notation, the sixth page out of the total number of pages (e.g., 10 pages) is shown as "6/10.”
  • the full-page focus icon 56 is an operator for focusing on full-page display, that is, the default size that allows the pages of the lyrics booklet or the like to be most easily viewed.
  • the flip icon 57 is an operator for flipping the lyric sheet over.
  • the flip function allows additional hidden elements to be provided on a given page using a display method such as a pop-up. By operating the flip icon 57, such hidden elements are displayed.
  • Link icon 58 is a link button to an external website.
  • Synchronization icons 59 and 61 are controls for synchronizing the playback position of the song with the currently viewed page of the lyrics booklet, etc.
  • Synchronization icon 59 is a control for changing the playback position of the song to match the currently viewed position of the lyrics booklet, etc.
  • synchronization icon 61 is a control for changing the currently viewed position of the lyrics booklet, etc. to match the playback position of the song.
  • the highlight icon 60 is an operator for a highlight mode for displaying a lyric booklet or the like.
  • Share mode icons 64 and 65 are controls for a share mode with other users or artists.
  • Audio controls 66 are provided for various controls related to the playback of music content. For example, a play/stop button, a button to skip forward through the music being played, a back button, a favorite button, a progress bar, etc. are displayed.
  • the content concentration mode is a mode in which the user interface is erased and the lyrics booklet or the like is displayed in the foreground so that the user can concentrate on viewing the lyrics booklet or the like.
  • Fig. 15A shows a display state in the normal display mode, in which icons for various user interfaces, as explained in Fig. 14, are displayed for an image of a lyrics booklet or the like.
  • a predetermined operation such as a tap operation TP
  • the CPU 71 which is the control unit of the terminal device 4
  • the CPU 71 performs control to erase the icons, etc., as shown in Figure 15B, and display only the lyric booklet, etc. (display of content concentration mode).
  • the CPU 71 performs control to return to the normal display mode display of FIG. 15A.
  • the CPU 71 of the terminal device 4 performs full-face focus control when the user operates the full-face focus icon 56 .
  • the user can shrink or enlarge the image of the lyric booklet or the like by pinching in/out on the screen.
  • the full focus icon 56 may be displayed at all times, but it is recommended that it be displayed only when the screen display is no longer at the default size due to a user pinch operation, etc.
  • the full focus icon 56 is an operator for returning the display size from the enlarged/reduced state to the default size as described above, but it may also be configured to control the display position at the same time. For example, the user can move the display area by dragging or flicking on the screen, but the display position of the current page may be returned to the initial position in response to the operation of the full focus icon 56. Alternatively, a separate icon for such an operation may be provided.
  • a display position guide 55 indicates the displayed position within one page of a lyrics booklet or the like.
  • Fig. 16A shows an entire page 100 of a certain page such as a lyrics booklet.
  • a vertically long page created to fit a smartphone is assumed.
  • the range enclosed by the thick diagonal line frame is assumed to be a display range 101 that is actually currently displayed on the screen. This state is presented to the user by the display position guide 55.
  • this type of vertically long page format adapted to smartphones will be referred to as the standard type.
  • Fig. 16B shows a display screen of the terminal device 4 similar to that of Fig. 15A. However, only the display position guide 55 is shown. In a case like that of Fig. 16A, the entire display position guide 55 corresponds to the entire page area 100, as shown in Fig. 16B, and within that, the current display range 101 is clearly indicated by the shaded area 55a. Note that area 55a may actually be clearly indicated by a specific color or the like.
  • Fig. 17A shows a case where the page shape is not vertically long to suit a smartphone. For example, this is the case where the entire page area 100 is close to a square. Let us assume that the display range 101 is in the upper left part of the page relative to the entire page area 100 as shown in the figure. In this case, the display position guide 55 is shaped to represent the entire page area 100 as shown in Fig. 17B, within which the area 55a representing the display range 101 is clearly displayed as shown by the shaded area.
  • Custom shape types are shapes that are set by the artist when creating or editing a lyric booklet, for example.
  • the position of area 55a changes within display position guide 55 in response to a change in the display range caused by a scroll operation or drag operation by the user. Furthermore, the size of area 55a within display position guide 55 is changed in response to the user's zooming in/out operation using a pinch operation.
  • the user can easily recognize the shape of the page and the current display range within the page, even when there are lyric booklets and other documents with various page shapes. This is a useful guide when viewing on a screen with limited space, such as a smartphone.
  • the display position guide 55 may also be used as an operator for moving the display range. For example, in FIG. 16B, by moving area 55a up and down, the display range of the lyrics booklet, etc. on the screen is scrolled up and down. In addition, in the case of FIG. 17B, by moving the position of area 55a in any direction, the display range of the lyrics booklet, etc. on the screen is moved in that direction.
  • the display position guide 55 may be displayed at all times, or may be displayed in response to some operation. For example, in the case of a standard type lyric booklet as shown in Fig. 16A, the display position guide 55 is displayed and the area 55a moves in response to the up and down scroll operation. When scrolling is not performed, the display position guide 55 is erased. 17A, the display position guide 55 is displayed in response to a scroll operation in all directions or a zoom-in/zoom-out operation, and the area 55a moves or expands or contracts in response to the scroll operation or the zoom-in/zoom-out operation. When no scroll operation or zoom-in/zoom-out operation is being performed, the display position guide 55 is erased.
  • the display position guide 55 is expected to use a relatively larger area than other icons, so by displaying it only during operation as described above, it can be prevented from interfering with the display of the lyric booklet, etc.
  • the CPU 71 determines how lyrics are displayed for each page of a lyrics booklet or the like, and sets a default position.
  • the CPU 71 determines the number of columns of the lyrics section and sets the default position based on the size that matches the width of the column closest to the top left.
  • 18A and 18B each show an example in which lyrics are displayed in multiple columns across an entire page 100.
  • the default position 102 can be set by adjusting the width of the column closest to the top left.
  • lyrics are written in a variety of ways, and are not always written in an orderly manner in columns. In some cases, the letters are written diagonally. In such cases, for example, - Set the screen size so that one chunk of lyrics fits. - When the screen size is set so that one chunk of lyrics can fit, if the smallest character is smaller than a specified font size, the screen size is set to match that specified font size. Then, based on the screen size thus set, a default position within the page is set.
  • artists may be able to specify the default position at which their image will first appear on the page during the editing stage.
  • the display position guide 55 clearly indicates where on the current page the lyrics (text) are displayed.
  • a text position marker 55b is displayed as indicated by "" in the figure.
  • This text position marker 55b indicates the location on the page where characters are actually written.
  • the display mode of the text position marker 55b may be any display mode as long as it allows the position of the text to be identified.
  • the CPU 71 When the CPU 71 reads in a lyrics booklet or the like to be displayed, it analyzes the image of each page and determines the text display position. This makes it possible to display a text position marker 55b like those shown in Figures 19A and 19B for each page to be displayed.
  • each page of a lyrics booklet or the like is represented by a circular mark 90, 91, 92, 93, 94, and the nature of the page is indicated by the difference in the display mode of the circle.
  • the size of the circle indicates whether the page contains lyrics or not. For example, a small circular mark 91 indicates a page without lyrics. Then, large circular marks 90, 92, 93, and 94 indicate pages with lyrics.
  • a mark 90 indicates a page containing lyrics other than the currently displayed page.
  • a mark 92 indicates the currently displayed page on which lyrics are posted.
  • a mark 93 indicates a lyrics page which lists the lyrics of the song currently being played.
  • a mark 94 indicates a lyrics page which lists lyrics for a number of songs. When the currently displayed lyrics are those of a song currently being played back, it is possible to use a mark that combines the marks 92 and 93 .
  • each mark is shown as a black circle, a white circle, a dashed circle, a ring, etc., but this is for the purpose of distinction in explanation.
  • each mark can be expressed by differences in color, brightness, shade, highlight method, blinking/illuminating, etc.
  • the page guide 52 guiding each page in an identifiable manner is a very convenient function for the user. It also serves as a guide when one is unsure whether to operate the page forward icon 53 or the page back icon 54.
  • the marks 90, 91, 92, 93, and 94 may be used as operators for directly transitioning to the corresponding page.
  • pages containing text may be presented regardless of whether they contain lyrics or not.
  • pages containing text, pages containing artwork, and pages containing both text and artists may be presented in a way that makes it possible to distinguish between them.
  • a page containing lyrics, a page containing a track list, a page containing credits, a currently displayed page not containing lyrics, etc. may be presented in such a way that they can be easily identified.
  • the mark 92 indicating the currently displayed page may be applied regardless of whether lyrics are included or not. Furthermore, the mark 94 indicating a lyrics page on which lyrics for a plurality of songs are posted may display a number indicating the number of songs posted.
  • the page guide 52 may be displayed at all times, or may be made to appear in response to some operation. For example, the display of the page guide 52 may be turned off when the page containing the lyrics of the song being played is displayed, and the page guide 52 may be displayed when transitioning to a page other than the page containing the lyrics of the song being played.
  • the presence or absence of page notations in a lyrics booklet or the like can be thought of as the presence or absence of page notations within the currently displayed range. For example, even if the current page in a lyrics booklet or the like has a page notation, if the page notation does not appear within the currently displayed range on that page, page number 63 is displayed. In this way, the user can always check which page they are currently viewing, either by page number 63 or by the notation in the lyrics booklet itself.
  • Synchronization function Users may wish to view lyrics and then listen to the music with those lyrics, or may wish to view the lyrics of a song while listening to that song. Therefore, a synchronization function is provided, and synchronization icons 59 and 61 are displayed.
  • the CPU 71 When the synchronization icon 59 is operated, the CPU 71 performs control to change the playback position of the music to match the currently viewed position of the lyrics booklet or the like. For example, the CPU 71 plays the music of the lyrics published on the currently displayed page.
  • the following control example of the CPU 71 is considered. If the currently displayed page contains lyrics for one song, the corresponding song is played from the beginning in response to the operation of the synchronization icon 59. When the currently displayed page contains lyrics for one song and a portion of the lyrics is displayed, the song is played from the position of the displayed lyrics in response to the operation of the synchronization icon 59. If the currently displayed page contains lyrics for one song, but the lyrics portion is not displayed, the corresponding song is played from the beginning in response to the operation of the synchronization icon 59.
  • the lyrics of multiple songs are displayed on the currently displayed page
  • the first song in the order in which the lyrics are displayed on that page is played from the beginning in response to the operation of the synchronization icon 59.
  • the song whose lyrics are currently displayed is played from the beginning in response to the operation of the synchronization icon 59.
  • the currently displayed page contains lyrics for multiple songs and the lyrics for multiple songs are also displayed, one song can be selected based on the upper position on the display or the displayed size, and the selected song can be played from the beginning of the song or the beginning of the displayed range.
  • a certain portion (phrase) on the lyrics display is specified by a touch operation or the like and then the synchronization icon 59 is operated, the corresponding music is played from the position of the specified phrase.
  • a certain portion on the lyrics display may be identified by detecting the user's line of sight, and the music may be played from the position corresponding to the identified portion in response to the operation of the synchronization icon 59.
  • control content may differ depending on the operation mode; for example, a single tap on the synchronization icon 59 may cause playback to be synchronized with the current location (phrase), and a long tap (long press) may cause playback to begin from the beginning of the song corresponding to the displayed page.
  • a user may tap on the displayed lyrics portion to start playback from that position in the music.
  • a single tap on the lyrics may cause the music to be played in sync with that location (phrase), and a long tap may cause the music to be played from the beginning.
  • the CPU 71 performs a process of synchronizing the lyrics display with the music being played back.
  • the following control example of the CPU 71 is considered.
  • These controls may be switched depending on the operation mode. For example, one tap on the synchronization icon 61 displays lyrics in sync with the current playback position (phrase), while a long tap on the synchronization icon 61 displays lyrics from the beginning of the song being played.
  • the highlight features here include lyric text and animations.
  • Lyric text highlighting is a function for highlighting the lyric text corresponding to the playback portion in accordance with the playback of a song, for example.
  • An animation is, for example, an artwork that blinks or moves in time with a certain phrase, according to the artist's performance settings as described with reference to FIG.
  • the CPU 71 sets the highlight icon 60 as a button for switching the highlight display among the following three stages in a toggle manner. - Show all highlights (lyric text + animation) - Highlight only lyrics text - Do not highlight
  • the highlight display can be switched on or off according to the user's desire. Since some users may find the highlight display annoying, such an on/off function is useful.
  • the highlight mode may include a mode in which only animation is displayed.
  • the display of music information includes a track title 62. This track title 62 is displayed appropriately.
  • a lyrics booklet or the like there are pages corresponding to one song and pages corresponding to multiple songs.
  • track title 62 is displayed as follows.
  • the CPU 71 displays the title of that song as the track title 62.
  • the CPU 71 displays, as the track title 62, the title of the song that corresponds to the upper left part of the displayed range.
  • Figures 21A and 21B show a standard page format, with lyrics for multiple songs printed on one page.
  • a dashed line indicates the display range 101 within the entire page area 100.
  • the numbers indicate the track numbers.
  • 21A is displayed at a certain point in time, the upper left portion will be the lyrics of the first song. Therefore, the title of the first song is displayed as the track title 62. 21B, the upper left portion becomes the lyrics of the third song. Therefore, the title of the third song is displayed as the track title 62.
  • the page format is of an arbitrary shape type, and the lyrics of nine songs are printed within the entire page area 100. If the display range 101 is displayed at a certain point in time, the upper left portion will be the lyrics of the seventh song. Therefore, the title of the seventh song is displayed as the track title 62.
  • the title of the song whose lyrics the user is paying attention to and reading is displayed as the track title 62.
  • Similar control can be performed when displaying song information such as the lyricist, composer, arranger, and participating musicians, in addition to the song title.
  • Playback gimmick We will provide a playback gimmick that can deliver a digital experience to users. For example, items, content, links, etc. that are not normally displayed may be displayed under certain conditions.
  • Examples of conditions include: - Play the song n times (e.g. 100 times). - During playback, tap on the specified lyric text or image location in a phrase of the song. - Tap the specified lyric text or image location n times. - Open related content when it is determined that the user is in a specific location based on location information (for example, a live venue or a place related to the content). - The user is simultaneously present within a predetermined distance range with n other users who have the same related content.
  • a user can play a favorite song over and over again, which can cause exclusive content to be displayed. Also, at a live concert or other venue, if there are a certain number of users who own the same song content or related content, an exclusive link button can be displayed.
  • a notification will be sent on the terminal device 4. For example, a notification of the number of downloads will be sent, or a notification such as "X is playing **.”
  • a mechanism may be established that allows the limited content mentioned above to be shared on SNS (Social Networking Service). For example, a share button may be displayed when certain conditions are met, and the content may be uploaded to SNS when the button is pressed.
  • SNS Social Networking Service
  • Share mode icons 64, 65 allow playback status and the like to be shared between users, or between a user and an artist.
  • the CPU 71 sets the mode of the sharing function between users in response to the operation of the sharing mode icon 64.
  • the mode of the sharing function is, for example, a preference sharing mode, a current status sharing mode, or a comment sharing mode.
  • the mode can be toggled among no sharing, preference sharing mode, current status sharing mode, and comment sharing mode.
  • the switching between the preference sharing mode, the current status sharing mode, and the comment sharing mode is also indicated by a change in the sharing mode icon 64 as shown in FIG. 23, FIG. 24, and FIG.
  • the preference sharing mode will be described with reference to FIG.
  • one or more other user icons 120 are displayed in a line near the sharing mode icon 64. These icons represent other users with whom the preference information is shared. In the example shown in the figure, three other users are shown. For example, other users who are mutually followed by the user, other users with whom sharing settings are set, etc. are included.
  • other users' favorite phrases are presented in the page display of the lyrics booklet, etc.
  • the favorite phrases of the people represented by the other user icons 120 are presented. For example, favorite phrases are determined based on the history of how many times each user has played the content, and the determination information is shared to execute such display control. Alternatively, each user can set their own favorite phrases.
  • the current status sharing mode will be described with reference to FIG.
  • the current status sharing mode is selected, one or more other user icons 120 are displayed. In this case, the currently active logged-in user among the other users set for sharing is targeted.
  • the part of the music content currently being listened to by other users is presented.
  • the user and two other users are listening to the same music album, and one other user is listening to the music whose lyrics are being displayed in FIG. 24, and the other other user is listening to a different music.
  • the listening portion of one of the other users is indicated by a listening phrase presentation 122 in the displayed lyrics text.
  • the other user icon 120 indicates the part that other users are listening to.
  • the other user icon 120 is displayed on the page that contains the lyrics of the song that is being listened to, thereby indicating which part of the music album the user is listening to.
  • the comment sharing mode is explained with reference to FIG.
  • the comment sharing mode one or more other user icons 120 that are set as shared are also displayed.
  • comments 123 from other users are displayed.
  • the comment target is displayed in a comment target display 124 for the other user icon 120.
  • an artwork portion or a phrase in the lyrics text is displayed.
  • the comment 123 is then displayed together with the other user icon 120 near the comment target.
  • the above has described sharing between users using the share mode icon 64, but a similar sharing between artists can be performed by operating the share mode icon 65.
  • the share mode icon 65 it is possible to toggle between no sharing, preference sharing mode, current status sharing mode, and comment sharing mode. In this case as well, switching between the preference sharing mode, the current status sharing mode, and the comment sharing mode is indicated by a change in the sharing mode icon 65 as shown in FIGS.
  • preference sharing mode the artist will see what parts of the song they like.
  • the part of the song the artist is listening to is displayed.
  • comment sharing mode comments uploaded by the artist of the song themselves are displayed. That is, by logging in to a viewing service for lyrics booklets and the like, artists themselves can post explanations and comments about their own songs and lyrics, and present their favorite parts, thereby making them known to general users.
  • FIG. 26 shows an example of a process related to display during playback of music content.
  • the CPU 71 proceeds from step S201 to step S202 to acquire music data and lyrics data.
  • the music data is audio data of each song in the content as a music album.
  • the lyrics data includes image data such as a lyrics booklet and associated performance data.
  • the CPU 71 can simply read out the target data from that storage medium (e.g., the memory unit 79). Furthermore, the music data and lyrics data may be obtained successively from the server device 1 during playback.
  • step S203 the CPU 71 performs display setting processing for displaying a lyrics booklet or the like for the currently reproduced music piece content.
  • FIG. 27 shows an example of this display setting process.
  • step S221 the CPU 71 sets the page guide.
  • the CPU 71 analyzes the images of each page of the lyrics booklet, etc. acquired as lyrics data, and determines the number of pages, the type of each page, etc.
  • the type refers to whether the page contains lyrics or does not contain lyrics. In other words, the CPU 71 makes these determinations so that the initial display of the page guide 52 can be executed.
  • step S222 the CPU 71 sets the default display position.
  • the CPU 71 automatically determines the range to be initially displayed when the page shape of the lyrics booklet or the like is of the arbitrary shape type.
  • the CPU 71 analyzes the images of each page of the lyrics booklet or the like obtained as lyrics data, and determines for each page the default position at which the lyrics are most easily viewable when the page of the lyrics booklet or the like is initially displayed.
  • step S223 the CPU 71 performs page notation determination and page display setting. This is a preparatory process for displaying the page number 63.
  • the CPU 71 analyzes the image of each page of the lyrics booklet or the like acquired as lyrics data, and determines whether or not each page has a page notation. For example, the page notation is determined for each page by checking whether or not there are numbers within a certain distance from the four corners of the image on the page, whether or not there are fractional notations such as "X/X", and whether or not the numbers correspond to the page order. The position of the page notation on the page is also checked.
  • the CPU 71 sets the page number 63 on the screen to be displayed at all times for pages that do not have a page notation. For pages that do have a page notation, the CPU 71 stores the page notation position, and sets the display of the page number 63 to be switched on/off depending on the display range when the page is displayed. In other words, when the page notation position is included in the display range, the display of the page number 63 is turned off, and when the page notation position is not included in the display range, the display of the page number 63 is turned on.
  • step S224 the CPU 71 determines the text display position on each page. This is a preparatory process for displaying the text position within the display position guide 55, as shown in Fig. 19.
  • the CPU 71 analyzes the images of each page of the lyrics booklet or the like acquired as lyrics data, and determines and stores the text publication area on each page.
  • the processing order may be any order.
  • the CPU 71 does not have to perform the analysis processes in steps S221, S222, S223, etc., every time playback is performed.
  • image analysis of each page of a lyric booklet or the like may be performed in advance, the analyzed data may be stored in a database, and the analyzed data may be acquired at the stage of step S202, and the initial display setting, default display position setting, and page display setting of the page guide 52 may be performed based on the analyzed data.
  • step S204 the CPU 71 proceeds to step S204, where it performs control to start playing back the music content and also performs control to start displaying a lyrics booklet or the like.
  • icons for the user interface are displayed together with the lyrics booklet, etc., as shown in Fig. 15A.
  • the page guide 52 and display position guide 55 are displayed according to the current lyrics booklet, etc., and the page number 63 is displayed according to the display settings.
  • the CPU 71 monitors the end of the reproduction in step S205, and performs display update control in step S206. During playback, the CPU 71 performs operations such as skipping songs, controlling the volume, fast-forwarding and rewinding, and updating the display of the progress bar of the playback point in response to operations of the audio control 66, but an explanation of these processes related to music playback is omitted.
  • FIG. 28 and 29 An example of the display update control carried out in step S206 is shown in Figures 28 and 29. Note that "c1" in Figures 28 and 29 indicates that the flowcharts in each figure are continuous. 28 and 29 do not show all the processes related to display update, but particularly show the processes related to the display function of the lyric booklet, etc., of this embodiment. In reality, other processes may be performed.
  • the CPU 71 performs each monitoring process from step S231 in FIG. 28 to step S241 in FIG.
  • the CPU 71 monitors an operation in the content concentration mode. For example, this is a tap operation by the user at an arbitrary position on the screen. If this operation is detected, the CPU 71 proceeds to step S251 and changes the display setting. That is, if the normal display mode setting was selected up until then, the display setting is changed to the content concentration mode setting. If the content concentration mode setting was selected up until then, the display setting is changed to the normal display setting. Then, the CPU 71 starts displaying according to the mode setting changed in step S252, thereby switching the display state as shown in Fig. 15A and Fig. 15B.
  • step S232 the CPU 71 determines whether or not a full-face focus operation has been performed. For example, in step S232, the CPU 71 displays the full focus icon 56 in response to an image of a lyric booklet or the like being enlarged or reduced by a pinch operation or the like, and monitors whether or not the full focus icon 56 has been operated.
  • step S255 the CPU 71 controls the image of the lyric booklet, etc., to return to a state in which it is focused on the default size.
  • the CPU 71 also erases the full focus icon 56 in response to returning to the default size.
  • step S234 the CPU 71 monitors the screen movement operation. If a screen movement operation is detected, the CPU 71 proceeds from step S234 to step S261, and controls the screen movement in response to the operation. In addition, if necessary, the CPU 71 controls changes to the guide display in step S262.
  • the screen movement operation here refers to a user operation that changes the display range of the screen. Examples include a scroll operation, a pinch operation, the operation of the page forward icon 53, the operation of the page back icon 54, a scroll operation or a drag operation when the area 55a of the display position guide 55 is used as an operator, and a page transition operation when the page guide 52 is used as an operator.
  • the CPU 71 controls in step S261 to change the display position on the screen within the page, enlarge/reduce the page, and transition to another page.
  • the CPU 71 controls changes to the guide display, such as moving or enlarging/reducing the area 55a of the display position guide 55 in response to a change in the display position on the screen within a page, changing the display of the page guide 52 in the case of a page transition (for example, changing the position of the mark 92 indicating the currently displayed lyrics page), changing the track title 62 in response to a change in the displayed portion of the lyrics, and changing the page number 63 in response to a page transition.
  • step S235 the CPU 71 monitors a synchronization operation.
  • a synchronization operation i.e., operation of the synchronization icon 59 or the synchronization icon 61
  • the CPU 71 proceeds from step S235 to step S265 and performs synchronization processing in response to the operation. That is, in response to operation of the synchronization icon 59, the playback position is controlled so as to synchronize the music playback position with the lyrics text.
  • control is performed to change the display position or the displayed page so as to synchronize the lyrics display with the playback position.
  • the CPU 71 controls changes to the guide display in step S266.
  • the CPU 71 controls the movement of the area 55a of the display position guide 55 in response to a change in the display position on the screen within a page, changes to the display state of the page guide 52 and the page number 63 in the case of a page transition, changes to the track title 62, etc.
  • step S236 the CPU 71 monitors the highlight setting operation using the highlight icon 60. If operation of the highlight icon 60 is detected, the CPU 71 proceeds from step S236 to step S271 and changes the highlight setting in response to the operation. For example, if the highlight function is currently on, it is turned off, and if it is off, it is turned on. Alternatively, if the highlight function can be switched between three modes, "display all highlights,”"highlight only lyric text,” and “display highlights,” as described above, the highlight setting is changed in a toggle manner in response to operation of the highlight icon 60. Then, in step S272, the CPU 71 starts a display according to the change in the highlight setting.
  • step S237 in FIG. 29 the CPU 71 monitors a change in the reproduced music piece.
  • the CPU 71 proceeds from step S237 to step S275, and controls a change in the display position of the lyrics booklet, etc.
  • the lyrics booklet, etc. is transitioned to a page containing the lyrics of the third song.
  • the display position is moved within the page so that the lyrics of the third song are displayed.
  • the CPU 71 controls changes to the guide display in step S276.
  • the CPU 71 controls the movement of the area 55a of the display position guide 55 in response to a change in the display position on the screen within a page, the change of the display state of the page guide 52 or the page number 63 in the case of a page transition, the change of the track title 62, etc.
  • step S2308 the CPU 71 monitors a designation operation for the lyrics portion. For example, a tap operation on the lyrics text portion in a lyrics booklet or the like is detected. If such a designation operation for lyrics is detected, the CPU 71 proceeds from step S238 to step S281, and controls the playback position of the music content so as to synchronize the music playback position with the lyrics text.
  • step S239 the CPU 71 determines whether or not the conditions for the playback gimmick are satisfied. For example, the control unit 101 judges whether the conditions for the playback gimmick are met by determining the user's operation, the number of playbacks, the location information, the user's listening status, and the like. If it is detected that the conditions related to the playback gimmick are satisfied, the CPU 71 proceeds from step S239 to step S285, and performs a process according to the satisfied condition, such as control of displaying the limited link button or displaying a hidden page.
  • the satisfied condition such as control of displaying the limited link button or displaying a hidden page.
  • step S240 the CPU 71 monitors the sharing mode operation.
  • a sharing mode operation i.e., an operation of the sharing mode icon 64 or the sharing mode icon 65
  • the CPU 71 proceeds from step S240 to step S291 and performs processing to change the sharing mode, for example, switching between the above-mentioned no sharing, preference sharing mode, current status sharing mode, and comment sharing mode.
  • step S292 the CPU 71 starts a display according to the sharing mode. That is, when the CPU 71 changes to no sharing, it executes a normal display without information sharing thereafter, and when the preference sharing mode is selected, it executes a display as shown in Fig. 23 thereafter.
  • the CPU 71 when the CPU 71 changes to the current status sharing mode, it executes a display as shown in Fig. 24 thereafter, and when the comment sharing mode is selected, it executes a display as shown in Fig. 25 thereafter.
  • the CPU 71 may monitor the user's location information, listening status, etc., and perform display accordingly.
  • step S241 the CPU 71 performs a determination regarding page display.
  • the CPU 71 determines whether or not it is necessary to display the page number 63, and if it is determined that it is necessary, controls the display of the page number 63 in step S295. For example, if there is no page number in a lyrics booklet or the like, or if there is a page number but the page number does not appear in the current display range, the CPU 71 displays the page number 63.
  • the processes in Fig. 28 and Fig. 29 are carried out in step S206 in Fig. 26.
  • the display operations and playback operations of the various functions described above are carried out.
  • the monitoring processes from step S231 to step S241 in Fig. 28 and Fig. 29 may be performed in any order, as long as each of the monitoring processes and corresponding processes in response to the monitoring are performed at the timing of step S206 in Fig. 26.
  • step S205 of FIG. 26 the CPU 71 proceeds to step S207 to end the display of the lyrics booklet, etc., and ends the process.
  • the information processing device 70 used as the terminal device 4 of the embodiment has a control unit (CPU 71) that displays related content that is associated with music content and consists of multiple pages, with each page containing text or images, and also controls the display of a page guide 52 that indicates the currently displayed page of the entire related content.
  • a control unit CPU 71
  • an installed application program causes the CPU 71 as a control unit to carry out the processes shown in FIGS. 26 to 29, thereby performing control to display a lyrics booklet including a page guide 52 on the screen.
  • lyrics booklet lyric card
  • the user can feel the artist's expression not only through the music but also through the accompanying artwork.
  • the display of the page guide 52 described in Figures 14 and 20 allows the user to easily recognize which page of the lyrics booklet or the like is being viewed when viewing it on the terminal device 4.
  • a lyric booklet corresponds to music content that has lyrics
  • the technology can also be applied when the music content is, for example, an instrumental piece of music without lyrics, or a booklet for a music album.
  • the technology disclosed herein can be applied when a booklet is associated with a piece of music or a music album as artwork such as photographs, illustrations, animations, etc., and the booklet is to be displayed.
  • page guide 52 has been described as an example of a guide for each page of a multi-page lyric booklet, there may be cases where a single lyric sheet containing lyrics and artwork for all songs is considered to be related content for the content of a music album. In such cases, page guide 52 may be displayed in a way that indicates the position of the lyrics for each song (track) on one page.
  • the related content includes text that is the lyrics of the corresponding music content
  • the CPU 71 performs control to display the related content when the music content is played back.
  • the user can experience the same experience as when listening to a CD or record, that is, reading lyrics and enjoying artwork while listening to music, using a terminal device 4 such as a smartphone.
  • the user can arbitrarily change the display position of the lyrics booklet or the like, and the display position can be controlled according to the progress of the music, allowing the user to experience the same enjoyment as when reading an actual lyrics booklet with one's eyes while listening to music.
  • the CPU 71 is adapted to execute a display in the page guide 52 showing pages that include lyrics and pages that do not include lyrics.
  • each page of the lyrics booklet is represented by, for example, a circular mark on a bar, and depending on the display mode of the circular portion (for example, the size of the circle), the mark 90 (and 92, 93, 94) of the page containing lyrics and the mark 91 of the page not containing lyrics are displayed. This makes it easier for the user to grasp the whole lyrics booklet.
  • the CPU 71 is configured to execute a display in the page guide 52 showing a page on which the lyrics of one piece of music are posted and a page on which the lyrics of a plurality of pieces of music are posted.
  • the mark 90 for the lyrics page and the mark 94 for the lyrics page for multiple songs are displayed in different display modes, so that the user can easily identify the desired page when moving to a different page, etc.
  • the page guide 52 shows the page for one song or multiple songs, making it easy to understand the page to move to.
  • the number of songs may be indicated by a number.
  • the number of songs on a page may be indicated by adding a number within a mark 90 on the page, such as a circle.
  • the CPU 71 executes display in the page guide 52 showing the currently displayed page and the page on which the lyrics of the music being played are posted. While a song is being played, the user does not necessarily always look at the lyrics of the song being played. Also, when looking at the lyrics of another song, the user may want to return to the lyrics page of the song being played. Therefore, the mark 92 of the lyrics page being displayed and the mark 93 of the lyrics page of the song being played are displayed in a distinguishable manner. This allows the user to understand that they are looking at the lyrics of a song that is not being played, and also serves as an appropriate guide for the operation when the user wants to return to the lyrics page of the song being played.
  • the CPU 71 controls the display of the display position guide 55 that indicates the displayed position within one page of related content. 15 and 16, for example, by clearly indicating the currently displayed area within the entire page using the display position guide 55, the user can view a page such as a lyric booklet while being aware of the entire page (the entire card in the case of a single lyric sheet). This also serves as a guide for scrolling and pinching operations, improving operability.
  • the CPU 71 sets the initial display position based on the position of the lyrics among the related contents. For example, in step S222 of Fig. 27, the position of the lyrics in the lyrics booklet is determined and a default display position is set, and when playback of a song starts in step S204 of Fig. 26, the lyrics booklet is started to be displayed at the default display position. This allows the display to be executed from a position appropriate for the user when playback of a song starts. In this case, the display position is clearly indicated by the display position guide 55 as shown in FIG. 17B, so that the user can recognize the display range in the initial display state of the lyrics booklet or the like.
  • the CPU 71 performs control to change the display position of related content in response to a change in the reproduced music, and to indicate the display position within the page on the display position guide 55.
  • the lyrics portion corresponding to the newly played music is displayed. This allows a lyrics booklet to be displayed in a way that is desirable for the user. Also, by clearly indicating the display position in the display position guide 55, the user can be aware of the display position on the page.
  • the display position guide 55 indicates the lyrics posting position within the page.
  • the display position guide 55 shows the position (area) of lyrics on the page. This serves as a guide for scrolling when the user wants to view the lyrics of other songs on the page.
  • lyrics booklets and lyric cards which are a venue for artists to express themselves, do not necessarily display the lyrics of each song in an orderly manner.
  • lyrics booklets and lyric cards which are a venue for artists to express themselves, do not necessarily display the lyrics of each song in an orderly manner.
  • lyrics booklets and lyric cards which are a venue for artists to express themselves, do not necessarily display the lyrics of each song in an orderly manner.
  • lyrics booklets and lyric cards which are a venue for artists to express themselves, do not necessarily display the lyrics of each song in an orderly manner.
  • lyrics are scattered in various places on the page in various sizes and fonts. Therefore, a guide to the position of lyrics is extremely useful when viewing a lyrics booklet or lyric card.
  • the CPU 71 performs control to execute display of the page number 63 when no page notation exists within the display range of the related content (see steps S241 and S295 in FIG. 29).
  • the page number 63 is also displayed as a guide to the user. Since the booklet is not actually held in the hand, the display showing the current page out of the total pages makes it easier for the user to get a sense of the overall volume of the lyrics booklet.
  • the CPU 71 performs control to display related content when playing music content, and also performs control to change the playback location of the music content to a playback location corresponding to the display location of the related content in response to a specified operation.
  • the CPU 71 controls the playback of the music content so that the song whose lyrics are currently being displayed is played back. This provides a convenient function when the user sees the lyrics and wants to immediately listen to the song (see steps S235, S265, and S266 in FIG. 28).
  • a tap operation on the lyrics text can provide a convenient function when the user sees the lyrics and wants to immediately listen to that phrase (see steps S238 and S281 in FIG. 29).
  • CPU 71 performs control to change the display location of related content to a display location corresponding to the playback location of music content in response to a predetermined operation. For example, as a synchronization process in response to the operation of the synchronization icon 61, the CPU 71 performs control to change the lyrics display location to a location corresponding to the currently played music piece. This provides a convenient function when the user wants to see the lyrics immediately after listening to the music piece (see steps S235, S265, and S266 in FIG. 28).
  • an example is given in which the CPU 71 performs processing to switch between a display mode in which an image for a user interface is superimposed on an image of related content and a display mode in which an image for a user interface is not superimposed on an image of related content in response to a specified operation (see steps S231, S251, and S252 in Figure 28).
  • various icons and guides for the user interface can be hidden as shown in Fig. 17B. This provides the user with an experience similar to that of viewing a lyric booklet or the like.
  • the CPU 71 performs output control in accordance with the satisfied conditions based on the user's actions regarding the playback of music content or the display of related content (see steps S239 and S285 in Figure 29).
  • This allows the user to enjoy the benefits of having a lyric booklet or lyric card provided as digital content.
  • the playback gimmicks described above can be used to display images or transition pages that are not normally displayed, change the content of the lyric booklet, or display hidden pages, providing the user with an experience that is not possible with a paper lyric booklet.
  • the above information about other people includes information about the listening positions of other people, information about the favorite positions of other people, information about comments of other people, and the like. By displaying this information, users can share their thoughts about the song, lyrics, artwork, etc. of other users or artists.
  • sharing modes it is also possible to execute only a part of these modes.
  • the server device 1 can also be assumed as the information processing device 70 that performs the above-described control and enables the user to view a lyric booklet, etc.
  • the server device 1 distributes music data to the terminal device 4 and plays it
  • a system operation is also possible in which the CPU 71 of the server device 1 performs processing equivalent to Figs. 26 to 29 to control the display of the lyric booklet on the terminal device 4. Even in such cases, the effects of the above-described embodiment can be obtained in the same way.
  • the program of the embodiment is a program that causes, for example, a CPU, a DSP (digital signal processor), an AI processor, etc., or an information processing device 70 including these, to execute processes such as those in Figures 26 to 29 and those in Figure 6.
  • the program of the embodiment is a program that causes the information processing device 70 to execute control to display related content that is associated with music content and consists of multiple pages on which text or images are displayed, and to display a page guide 52 that indicates the currently displayed page within the entire related content.
  • the terminal device 4 or the information processing device 70 serving as the server device 1 of the embodiment can be realized, for example, in a computer device, a mobile terminal device, or other device capable of executing information processing.
  • Such a program can be recorded in advance in a HDD serving as a recording medium built into a device such as a computer device, or in a ROM within a microcomputer having a CPU.
  • the program may be temporarily or permanently stored (recorded) on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory, a memory card, etc.
  • a removable recording medium may be provided as so-called package software.
  • such a program can be installed in a personal computer or the like from a removable recording medium, or can be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for the widespread provision of information processing devices 70 constituting the terminal device 4 or server device 1 of the embodiment.
  • mobile terminal devices such as smartphones and tablets, mobile phones, personal computers, game devices, video devices, PDAs (Personal Digital Assistants), etc.
  • these devices can be made into information processing devices 70 that function as the terminal device 4 or server device 1 of the present disclosure.
  • the program of the embodiment may also be a program that causes the information processing device 70 to execute the process shown in FIG. 6. This makes it possible to realize a terminal device 3 that an artist can use to generate and edit lyrics booklets, etc.
  • the present technology can also be configured as follows.
  • An information processing device comprising a control unit that controls displaying related content associated with music content and consisting of multiple pages displaying characters or images, and displaying a page guide indicating the currently displayed page of the entire related content.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the information processing device according to (1) wherein the control unit performs control to display the related content when playing back music content.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the related content includes text that is the lyrics of the corresponding music content; The information processing device described in any one of (1) to (3) above, wherein the control unit executes a display in the page guide showing a page that contains lyrics for one song and a page that contains lyrics for multiple songs in the related content.
  • the related content includes text that is the lyrics of the corresponding music content; The information processing device described in any one of (1) to (4) above, wherein the control unit controls the display of the related content when playing music content, and also causes the page guide to display the currently displayed page and a page containing lyrics of the music being played.
  • the information processing device performs control to execute display of a display position guide indicating a displayed position within one page of the related content.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the information processing device sets an initial display position based on a position of lyrics among the related content.
  • the control unit controls the display of the related content when music content is played, and also controls the display position of the related content to be changed in response to changes in the played music, so that the display position guide indicates the display position within the page.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the information processing device according to any one of (6) to (8) above, wherein the control unit performs control so that a lyrics posting position within a page is indicated in the display position guide.
  • the information processing device according to any one of (1) to (9) above, wherein the control unit performs control to cause a page number to be displayed when a page notation is not present in the display range of the related content.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the control unit controls the display of the related content when playing back music content, and also controls the changing of the playback location of the music content to a playback location corresponding to the display location of the related content in response to a specified operation.
  • the related content includes text that is the lyrics of the corresponding music content;
  • the control unit controls the display of the related content when playing back music content, and also controls the display location of the related content to change to a display location corresponding to the playback location of the music content in response to a specified operation.
  • (13) The information processing device according to any one of (1) to (12) above, wherein the control unit performs a process of switching, in response to a predetermined operation, between a display mode in which a portion of the related content is highlighted and a display mode in which the highlighted display is not performed.
  • control unit performs a process of switching, in response to a predetermined operation, a display mode in which an image for a user interface is superimposed on an image of the related content, and a display mode in which an image for a user interface is not superimposed on the image of the related content.
  • control unit performs output control in accordance with the satisfied conditions by determining whether a predetermined condition is satisfied based on a user's behavior regarding the playback of the music content or the display of the related content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

情報処理装置は、楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う制御部を備えるようにする。

Description

情報処理装置、情報処理方法、プログラム
 本技術は情報処理装置、情報処理方法、プログラムに関し、楽曲コンテンツに関連するコンテンツの表示に関する。
 例えばアナログレコードや音楽CD(Compact Disc)等の音楽のパッケージメディアでは、歌詞カードや歌詞ブックレットが同封され、ユーザが歌詞や、写真、絵、イラスト等のアートワークを見ながら音楽を聴くという楽しみ方ができた。
 また下記特許文献1のように、歌詞表示機能付きの音楽プレーヤとして音楽を再生させながら歌詞を表示させるものも知られている。
特開2006-259236号公報
 近年、ユーザは好みの楽曲をCD等のパッケージメディアで購入する以外に、ネットワーク通信を介して楽曲コンテンツを購入するという形態が広まっている。この場合、ユーザは、音としての楽曲自体を楽しむことは容易にできるが、歌詞カード等、CDやアナログレコードにおいての音楽メディアに付随して提供されていたものをユーザが楽しむ機会が少なくなっている。
 歌詞カードや歌詞ブックレットは、一方で音楽アーティストの表現の一手段であるという側面もあり、歌詞を伝えることや、アートワークで楽曲の世界観を表現することなどの機能がある。歌詞表示の文字の大きさや字体、フォントなどもアーティストの表現の一部である。
 このようなことを考えると、デジタルコンテンツとしての楽曲をユーザに提供する際に、歌詞カードや歌詞ブックレットも作品としてユーザに提供できるようにすることが望ましい。
 そこで本開示では、楽曲コンテンツに関連づけられた関連コンテンツ、例えばデジタルコンテンツとしての歌詞カードや歌詞ブックレット等の表示を行うことを想定し、ユーザにとって望ましい表示が行われるようにする技術を提案する。
 本技術に係る情報処理装置は、楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う制御部を備える。
 例えば複数ページで文字やイメージを含むアートワークとして楽曲コンテンツに関連づけられた関連コンテンツを画面表示させる場合に、その表示中にページガイドが行われるようにする。なお「文字」とはページ内で文字として表示されている部分を指し、また「イメージ」とは写真、絵、イラスト、アニメーションなど、文字ではない表示部分の総称としている。
本技術の実施の形態のシステム構成の説明図である。 実施の形態の関連コンテンツとしての歌詞ブックレットの説明図である。 実施の形態の関連コンテンツとしての歌詞ブックレットや歌詞カードの説明図である。 実施の形態の端末装置での関連コンテンツの表示例の説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の関連コンテンツ作成処理のフローチャートである。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ作成画面の説明図である。 実施の形態の関連コンテンツ表示の際のユーザインタフェース画像の説明図である。 実施の形態のコンテンツ集中モードの説明図である。 実施の形態の表示位置ガイドの説明図である。 実施の形態の表示位置ガイドの説明図である。 実施の形態の表示位置ガイドでのデフォルト表示位置の表示の説明図である。 実施の形態の表示位置ガイドでのテキスト範囲表示の説明図である。 実施の形態のページガイドの説明図である。 実施の形態のページ内の表示位置変更の説明図である。 実施の形態のページ内の表示位置変更の説明図である。 実施の形態の共有モードの説明図である。 実施の形態の共有モードの説明図である。 実施の形態の共有モードの説明図である。 実施の形態の関連コンテンツ表示処理のフローチャートである。 実施の形態の表示設定処理のフローチャートである。 実施の形態の表示更新制御処理のフローチャートである。 実施の形態の表示更新制御処理のフローチャートである。
 以下、実施の形態を次の順序で説明する。
<1.システム構成及び関連コンテンツの表示>
<2.情報処理装置の構成>
<3.関連コンテンツ生成・編集>
<4.関連コンテンツ表示>
<5.まとめ及び変形例>
 なお本開示において「楽曲コンテンツ」とは、デジタルコンテンツとしての音楽データの総称としており、1曲の楽曲データを指す場合や、音楽アルバム単位などでの複数曲の楽曲データをまとめて指す場合がある。
 「関連コンテンツ」とは楽曲コンテンツに関連づけられたデジタルコンテンツを指し、例えば個々の楽曲コンテンツの購入や配信の際に付随して提供されるデジタルコンテンツである。実施の形態では、関連コンテンツを、歌詞ブックレットや歌詞カードとしての例で説明する。
 歌詞ブックレットとは複数ページで歌詞や、写真や絵によるアートワーク、アーティストや制作者のクレジット等が掲載された小冊子である。また歌詞カードは、複数ページではなく1ページ、或いは1枚のペーパーの表裏で、歌詞、アートワーク、クレジット等が掲載されたものを指す。実施の形態では、これら小冊子や1枚の紙の形態で表現された文字やイメージをデジタルコンテンツ化したものを関連コンテンツとする。説明上、歌詞ブックレットと歌詞カードを特に区別しない場合は、まとめて「歌詞ブックレット等」と表記する。
 このような歌詞ブックレット等としての関連コンテンツは、1又は複数の画像データとして提供される。即ち1ページ毎に文字又はイメージが含まれる画像データである。但し、歌詞等の文字の表示部分に相当するテキストデータが含まれていてもよい。
<1.システム構成及び関連コンテンツの表示>
 図1に実施の形態のシステム構成例を示す。図1ではサーバ装置1、データベース2、端末装置3、端末装置4を示している。
 サーバ装置1は、ネットワーク6を介してコンテンツ販売、配信を行うサーバである。データベース2は楽曲コンテンツや関連コンテンツなど各種コンテンツや、サーバ装置1の処理実行に必要な情報(ソフトウェアプログラムやデータ)を記憶する。
 サーバ装置1は1又は複数の情報処理装置によって構成され、端末装置4に対する情報送信や、端末装置3からの情報のアップロードを受け付ける処理などを行う。
 端末装置3は楽曲コンテンツを制作するアーティストが用いる情報処理装置としている。また端末装置4は、楽曲コンテンツの購入等を行う一般ユーザが用いる情報処理装置としている。端末装置3,4としては、具体的には、スマートフォン、PC(パーソナルコンピュータ)、タブレット機器等が想定される。
 端末装置3,4は、ネットワーク6を介してサーバ装置1と通信可能とされる。ネットワーク6としては、例えばインターネット、ホームネットワーク、LAN(Local Area Network)、移動体通信網、その他の各種のネットワークが想定される。
 このようなシステムにおいて、ユーザは端末装置4において所定のアプリケーションプログラムを介して、或いはウェブブラウザを介してサーバ装置1にアクセスし、楽曲コンテンツ(楽曲アルバムや、特定の楽曲)の購入等を行うことができる。
 またアーティストは、楽曲コンテンツに付加する歌詞ブックレット等を、端末装置3を用いて制作、編集することができる。即ちアーティストが、単に楽曲コンテンツとしての音楽データを提供するだけでなく、歌詞ブックレット等でのアートワーク表現もできるようにする。端末装置3を用いて制作、編集された歌詞ブックレット等はサーバ装置1にアップロードされ、楽曲コンテンツに関連づけられた関連コンテンツとして登録される。
 図2,図3で関連コンテンツとなる歌詞ブックレット等の例を示す。
 図2では複数ページで構成される歌詞ブックレットの例を示している。例えば音楽アルバムとしてのCD等に封入される歌詞ブックレットがページP1,P2・・・として示すように複数のページで構成され、1つのページに歌詞やアートワークが掲載されている。この各ページの画像を複数枚の画像データによるデジタルコンテンツとしたもの、例えばスマートフォンである端末装置4において表示に適した縦長の画像データとしたものが、歌詞ブックレットとしての関連コンテンツである。
 各ページP1,P2・・・には、1曲の歌詞が掲載されているページや、複数曲の歌詞が掲載されているページ、歌詞が掲載されておらずアートワークのみのページ、曲目やクレジットの掲載ページなどがある。
 また、関連コンテンツとしては、歌詞カードとしての1枚の形態もある。図3Aには、縦長の領域に、複数曲の歌詞やアートワークが掲載された歌詞カードとしての形態の画像データ(関連コンテンツ)を示している。
 また形状も様々であり、図3Bは、正方形に近い形状で複数曲の歌詞やアートワークが掲載された歌詞カードとしての画像データ(関連コンテンツ)を示している。
 またこの図3A、図3Bのような形態で、紙面の表裏のように2ページで構成される場合もあるし、図3Aや図3Bのような形態で、より多数のページにわたって歌詞ブックレットが形成される場合もある。
 歌詞ブックレット等のページ形状や、掲載する歌詞の位置、態様、文字の大きさ、フォント、さらにはアートワークの配置、写真、イラスト、絵、背景色、模様、或いはこれらの組み合わせによる表現の種類、作曲者、作詞者、編曲者、演奏者、制作者などのクレジットの表記位置や表記形態など、歌詞ブックレット等に掲載される事項は、アーティスト側の表現の一つとして捉えることができる。
 そのため本実施の形態では、ユーザが端末装置4において、例えば音楽アルバム等の楽曲コンテンツの購入した場合に、音楽再生だけでなく、歌詞ブックレット等の表示も行われるようにする。
 例えば図4に、端末装置4において、音楽再生中に歌詞ブックレット等が表示されている状態を示している。図では歌詞ブックレット等の画像とともに、ユーザインタフェースとして各種のアイコンやガイド情報も表示されている。個々の機能については後述する。
 本実施の形態では、このように歌詞ブックレット等を表示させることで、音楽に付随する歌詞ブックレット等によるアーティストの表現をユーザに届けるようにする。これにより例えばCDにおける紙の歌詞ブックレット等を見るときと同等の体験をユーザに提供できるようにする。さらに歌詞ブックレット等をデジタルコンテンツとして提供することで、より多様な楽しみ方をユーザが体験可能とする。このためユーザインタフェースとしてのアイコン等の表示を行う。これは、画面上で視認する上での良好な使用性を実現するためや、デジタルコンテンツであることによる各種の機能を提供できるようにするためである。
<2.情報処理装置の構成>
 図1における端末装置4、端末装置3、サーバ装置1、或いはデータベース2として用いることのできる情報処理装置70の構成例を図5で説明する。
 情報処理装置70は、例えば専用のワークステーションや、汎用のパーソナルコンピュータ、モバイル端末装置等として構成することができる。
 図5に示す情報処理装置70のCPU(Central Processing Unit)71は、ROM(Read Only Memory)72や例えばEEP-ROM(Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリ部74に記憶されているプログラム、または記憶部79からRAM(Random Access Memory)73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU71においては、プログラムによって、後述する各種の制御・演算を行う機能が実現される。
 なおCPU71とは別のプロセッサとして、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、AI(artificial intelligence)プロセッサ等を備える場合もある。
 CPU71、ROM72、RAM73、不揮発性メモリ部74は、バス83を介して相互に接続されている。このバス83にはまた、入出力インタフェース75も接続されている。
 入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
 入力部76によりユーザ操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
 また入出力インタフェース75には、LCD(Liquid Crystal Display)或いは有機EL(Electro-Luminescence)パネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
 表示部77はユーザインタフェースとして各種表示を行う。表示部77は例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
 表示部77は、CPU71の指示に基づいて表示画面上に各種の画像表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
 入出力インタフェース75には、SSD(Solid State Drive)やHDD(Hard Disk Drive)などより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
 記憶部79は各種データのストレージに用いることができる。また記憶部79においてデータベースを構築することができる。
 通信部80は、ネットワーク6を介した通信処理を行う。
 入出力インタフェース75にはまた、必要に応じてドライブ82が接続され、フラッシュメモリ、メモリカード、磁気ディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体81が適宜装着される。
 ドライブ82により、リムーバブル記録媒体81からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
 この情報処理装置70では、ソフトウェアを、通信部80によるネットワーク通信やリムーバブル記録媒体81を介してインストールすることができる。或いは当該ソフトウェアは予めROM72や記憶部79等に記憶されていてもよい。
 このような情報処理装置70により、端末装置4、端末装置3、サーバ装置1、或いはデータベース2を構成することができる。そして、後述する端末装置4における関連コンテンツ表示に関する処理や、端末装置3における関連コンテンツ生成・編集に関する処理は、図5の情報処理装置70のハードウェア構成と、それにインストールされたソフトウェアにより実現可能である。
<3.関連コンテンツ生成・編集>
 ここではアーティストが端末装置3を用いて行う関連コンテンツ生成・編集に関して説明する。図6に関連コンテンツ生成・編集の際の端末装置3の処理例を示し、また図7から図13に端末装置3における表示画面例を示す。なおここでいう「アーティスト」とは、少なくとも歌詞ブックレット等の制作を行う人を指す。
 アーティストが関連コンテンツとしての歌詞ブックレット等の生成・編集を行う場合、端末装置3において編集ツールとしてのアプリケーションプログラムを起動させ、そのアプリケーションプログラムのガイドに応じて操作を行っていけば良い。
 最初にアーティストは、実際の楽曲コンテンツと歌詞ブックレット等を編集ツールに読み込ませるようにする。
 図6は、端末装置3としての情報処理装置70の制御部であるCPU71の処理例である。特には編集ツールが起動されたことによるCPU71の処理例となる。
 CPU71はステップS101としてアーティストに曲コンテンツと歌詞ブックレット等の読み込みの処理を行う。例えばアーティストの操作により選択された楽曲コンテンツや歌詞ブックレット等のデータを処理対象として読み込む。
 アーティストは、記憶部79に格納した楽曲コンテンツのデータや歌詞ブックレット等としてのデータを編集ツール上で選択し、読み込み操作を行う。歌詞ブックレット等については、画像データとして用意されていない場合は、紙による歌詞ブックレット等をスキャニングして読み込むようにしてもよい。
 編集対象の楽曲コンテンツと歌詞ブックレット等を読み込んだら、CPU71はステップS102で楽曲コンテンツ及び歌詞ブックレット等のデータ分析を行い、ステップS103で編集画面に反映させる。
 図7に編集画面20の例を示している。
 編集画面20では、タイトル21として現在表示中の曲名やアーティスト名が表示され、また編集モードボタン22、確認モードボタン23が表示される。編集モードボタン22は、編集モードを指示する操作子で、確認モードボタン23は確認モードを指示する操作子である。
 画面上には、指定ボックス25、編集ボックス26、確認ボックス27として3つの領域が用意される。
 この図7の例では指定ボックス25にはテキストアイコン30が表示されて歌詞側から編集位置を指定するボックスであることが示される。そしてこの場合、指定ボックス25には、テキスト提示エリア31、対応テキスト提示エリア32が設けられている。
 テキスト提示エリア31には、CPU71が読み込んだ楽曲コンテンツに対して音声認識を行って得たテキストデータが表示される。スクロールバー31Sにより、テキスト提示エリア31の表示をスクロールさせることができる。
 歌詞のテキスト上では、図ではアンダーラインを付しているが、一部のフレーズ部分が他の部分と異なる表示態様とされて、編集推奨部分として明示される。編集推奨部分の表示態様は、図のようにアンダーラインでも良いし、異なる色、異なるフォント、異なる文字サイズなどとされてもよい。
 対応テキスト提示エリア32には、読み込んだ歌詞ブックレット等の画像が表示される。ただしここでは歌詞ブックレット等の画像内での文字部分が濃く目立つように表示される。CPU71は歌詞ブックレット等の画像内での文字認識により歌詞等の文字が表記されている領域を判定し、その領域が目立つように濃く表示させる。一方で例えばアートワーク等のイメージ部分は目立たないように薄く表示させる。
 スクロールバー32Sにより、対応テキスト提示エリア32の表示をスクロールさせることができる。
 また、この対応テキスト提示エリア32における歌詞部分においては、テキスト提示エリア31で編集推奨部分とされた箇所が、他の部分と異なる表示態様で明示される。図の例ではアンダーラインが付された状態としているが、特定色をオーバーレイするなどしてもよい。この対応テキスト提示エリア32は、歌詞ブックレット等における歌詞表示をそのまま画像として表示するので、文字のフォントやサイズを異なるようにするのではない。
 編集ボックス26にはイメージアイコン35が表示され、イメージ部分に対して編集内容を設定するボックスであることが示される。そしてこの場合、編集ボックス26にはイメージ提示エリア36と編集ボタンエリア37が設けられている。
 イメージ提示エリア36には、読み込んだ歌詞ブックレット等の画像が表示される。ただしここでは歌詞ブックレット等の画像内でアートワーク等のイメージ部分が濃く目立つように表示され、文字部分は目立たないように薄く表示される。スクロールバー36Sにより、イメージ提示エリア36の表示をスクロールさせることができる。
 編集ボタンエリア37には、各種の編集ボタン38が表示される。例えば「背景赤色塗りつぶし」「背景青色塗りつぶし」「白黒反転点滅」「日本語表記」「セリフ変更」等の各種の編集内容が、編集対象部分とともに各編集ボタン38として提示される。
 スクロールバー37Sにより、表示される編集ボタン38をスクロールさせることができる。
 確認ボックス27では、楽曲アイコン34が示され、楽曲再生と共に編集内容を確認できる領域であることが示される。
 確認ボックス27では編集結果としての歌詞ブックレット等が表示される。ユーザは、編集による色の変更や、画像効果、アニメーション等を付加した状態を、楽曲の再生に合わせて確認することができる。
 プログレスバー40はオーディオ再生している楽曲の現在位置を表す。楽曲の再生及び停止はユーザが再生/停止ボタン41を操作することで行われる。
 またプログレスバー40のポインタ40Pをドラッグ操作などで移動させることで、再生位置を変化させることができる。
 このように指定ボックス25、編集ボックス26、確認ボックス27を含む編集画面20に対してアーティストは、指定ボックス25により編集対処の箇所を指定し、編集ボックス26の操作でその箇所に対しての編集内容を決め、その結果を確認ボックス27で確認できるというものとなる。プラスマーク28は、指定ボックス25での指定箇所に編集ボックス26での編集を付加するという意味で表示される。またイコールマーク29で、その結果が確認ボックス27で表示される内容であるということが示される。このプラスマーク28やイコールマーク29は、編集の進み具合によって表示態様を変化させ、アーティストに編集の進み具合を提示するようにする。例えばプラスマーク28は図7,図8では白色(薄い色)であるが図9では黒(濃い色)になるようにしている。
 なお図7の例では、指定ボックス25では、歌詞のテキスト内で編集箇所を指定し、編集ボックス26で、イメージ上の効果を付加するという状態の例であるが、左右変換ボタン39で、テキストとイメージを入れ替えることができる。
 即ち指定ボックス25で、アートワーク等のイメージにおいて任意の箇所を指定し、編集ボックス26で歌詞テキストの編集内容を決定するということもできる。
 またモード境界線24によって、エリア毎に編集モードであるのか確認モードであるのかが視覚的に明示される。
 図7の例は、指定ボックス25と編集ボックス26が、モード境界線24により上方とされ、アーティストが指定ボックス25と編集ボックス26を用いて編集を行っている状態が示されている。この場合、例えばモード境界線24により上方は明るめに表示され、下方は暗めに表示されるなどにより区別され、指定ボックス25と編集ボックス26が編集モードで機能していることが示されるとともに、確認ボックス27が確認モードで機能していることが示される。
 モード境界線24が引かれる位置はモード選択状態などによって変更される。
 図6のステップS103で以上のような表示を行うために、端末装置3のCPU71は、ステップS102のデータ分析として次のような処理を行う。
 まず、CPU71は、テキスト提示エリア31でのテキスト表示のための、楽曲コンテンツに対する音声認識処理(歌詞のテキストデータ生成処理)を行う。
 またCPU71は、対応テキスト提示エリア32やイメージ提示エリア36での表示のために、読み込んだ歌詞ブックレット等の画像における文字領域とイメージ領域の判定処理を行う。
 またCPU71は、テキスト提示エリア31のテキスト上で提示する編集推奨部分の設定処理を行う。即ち楽曲や歌詞のフレーズとして、画像効果等の編集を加えることを推奨する部分を設定する。例えば多数の楽曲コンテンツに対する効果設定の学習に基づくAI処理により、点滅、アニメーション、色変化等の演出が効果的な箇所を探し、その箇所を編集推奨部分とする。
 またCPU71は、各編集推奨部分に対して、どのような編集内容が適切であるかを設定する処理も行う。
 これらの処理を行うことで、ステップS103で、読み込んだ楽曲コンテンツ及び歌詞ブックレット等の画像に対応して図7のような表示を行うことができる。
 CPU71は、図6のステップS104で編集終了の操作を監視し、またステップS105で編集画面20に対する各種の操作を監視する。
 編集画面20の操作を検知した場合、CPU71はステップS106で操作に対応する処理を行う。具体的にはCPU71は、操作に応じて、編集画面20の表示状態の更新、編集データ設定、楽曲コンテンツの再生などの制御を行う。
 このステップS105,S106で行われる操作とそれに応じた処理により実現される歌詞ブックレット等の編集作業を具体的に説明する。
 図7のように編集画面20が表示された状態において、アーティストは指定ボックス25のテキスト提示エリア31に示されている編集推奨部分(アンダーラインを付した部分)のうちで編集したい箇所を選択する。例えば図8は、アーティストが、歌詞の編集推奨部分のうちの「I love you」というフレーズ部分を、カーソルCSで指定する操作を行っている状態を示している。
 このように編集推奨部分を指定する操作を検知した場合、CPU71はそれに応じて図9のように表示状態を更新する。
 まずテキスト提示エリア31で指定された編集推奨部分が、対応テキスト提示エリア32内で明示される。即ち歌詞ブックレット等の画像内で、同じく「I love you」の部分が明示される。例えば図のようにテキスト提示エリア31内の対象枠43と、対応テキスト提示エリア32内の対象枠44で選択部分が示され、これらがライン45で結ばれるような表示が行われる。これにより、選択した編集推奨部分が、歌詞ブックレット等の画像内のどの部分に相当するかをアーティストが容易に確認できる。
 なお、アーティストが、対応テキスト提示エリア32から編集推奨部分を指定できるようにしてもよい。その場合、対応テキスト提示エリア32で指定された編集推奨部分が、テキスト提示エリア31内で明示され、図9のような表示状態となる。
 そして編集ボックス26側では、この選択された編集推奨部分に応じた編集ボタン38が示される。例えば複数の編集ボタン38の内で、選択された編集推奨部分に適した編集ボタン38がアクティブ状態に表示され、適していない編集ボタン38が非アクティブに表示される。これにより、アーティストへ編集推奨部分に適した効果(白黒反転点滅など)の候補を明示すると同時に、非アクティブ状態としてテキスト提示エリア31で指定された編集推奨部分に対して推奨されない効果も明示することで、アーティストは曲全体に適用できる効果全体を俯瞰しながら現在の指定位置に適応する効果を検討することができる。
 アーティストはカーソルCSでアクティブな編集ボタン38を選択する。図9では「I love you」を図案化したイメージに対する白黒反転点滅の編集ボタン38を選択する状態を示している。この選択操作に応じて、図10のように操作された編集ボタン38がハイライトされ、また該当のイメージ部分が対象枠46で示され、これらがライン47で結ばれる。つまり対象枠46で示されたイメージ部分について、白黒反転点滅が設定されたことを示している。
 さらにこれらの結果、図11のように、確認ボックス27での編集が可能とされる。即ちモード境界線24が変更され、確認ボックス27が編集モードで機能することが明示される。このとき確認ボックス27では、プログレスバー40に沿って調整バー42が表示される。この調整バー42は、楽曲再生中において対象枠46で示されたイメージ部分について白黒反転点滅を実行させる期間を設定するものである。初期状態では、CPU71が推奨する区間が開始位置42Sと終了位置42Eで示され、その前後の推奨区間から少し余裕を持たせた幅が調整バー42全体の尺として示される。つまりCPU71は、対象枠46で示されたイメージ部分について白黒反転点滅を実行させる期間について、適切と推定される推奨位置、およびそれに対してアーティストが任意で前後の調整が可能となる余裕を持たせた位置を推定し、プログレスバー40および調整バー42上で明示する。
 ユーザは再生/停止ボタン41で楽曲再生を開始させると、調整バー42で示される区間において該当のイメージ部分が点滅表示されることを、この確認ボックス27で確認できる。
 またアーティストは、曲の進行に合わせて、点滅表示区間を微調整したいと思うこともある。その場合、アーティストは開始位置42Sや終了位置42Eをドラッグ操作等で移動させ、点滅表示区間を調整することができる。
 例えば以上のようにアーティストは、指定ボックス25で提示された編集推奨部分のうちで何らかの編集やエフェクト付加を行いたい箇所を指定し、編集ボックス26で編修・エフェクトの内容を決定する。また必要に応じて確認ボックス27で楽曲内でのエフェクト区間を調整することもできる。
 図12はアーティストが確認モードボタン23を操作して全体を確認モードとした状態を示している。この場合、例えばモード境界線24より下方が明るく表示され、上方が暗めに表示される。これにより指定ボックス25、編集ボックス26、確認ボックス27が確認モードで機能することが示される。
 指定ボックス25では、確認モードとされた場合、テキスト提示エリア31において、これまでに編集設定が行われた部分が確認枠48により明示される。ここでは確認枠48で明示する例としたが、何らかの表示態様で他の部分と区別して明示できればよい。また対応テキスト提示エリア32でも、同じく編集設定が行われた部分が明示される。図ではアンダーラインで示している。
 これによりアーティストは、既に編集設定した部分を確認することができる。
 また個々の確認枠48の設定の詳細は、確認枠48を選択することで表示される。例えば図12のようにカーソルCSである確認枠48をクリックすると、図13のようにその確認枠48についての設定の詳細が示される。まず確認枠48に対応する対象枠44が示され、かつライン45で結びつけられることで、歌詞ブックレット等の対象部分が明示される。
 また編集ボックス26では、この確認枠48の部分に対して設定した編集内容の編集ボタン38がハイライトされ、対象枠46とライン47で結ばれる。これにより編集対象の箇所と、設定した画像効果等の編集内容が明示される。
 また、このように示された編集内容が、点滅表示エフェクトのように区間も設定されるものである場合は、確認ボックス27において、調整バー42が表示され、エフェクトを実行させる区間が示される。
 この場合、この時点でも区間の調整ができるとよい。そこでモード境界線24が変更され、確認ボックス27は、確認モードでもあり編集モードでもあるように、モード境界線24が確認ボックス27の中央を通るような状態とされる。
 ユーザは調整バー42の開始位置42S又は終了位置42Eを移動させて、編集対象の区間を調整することもできる。
 端末装置3のCPU71は、図6のステップS105,S106では、以上のようなユーザインタフェースとしての操作検知やそれに応じた処理を実行する。
 アーティストが編集終了の操作を行うと、CPU71はステップS104からステップS107に進み、登録処理を行う。即ち設定された編集内容の情報を含めて歌詞ブックレット等のデータを、関連コンテンツとしてサーバ装置1にアップロードする。
 これによりサーバ装置1が、楽曲コンテンツに付随してユーザに対し、アーティストが編集した関連コンテンツを提供できるようになる。
 なお以上の編集画面20の例は、PC等の横長の画面における表示例としたが、スマートフォン等で縦長の画面の場合に適した編集画面20も想定される。その場合も編集位置の指定、編集、確認等が容易に可能なような画面レイアウト等が行われればよい。
<4.関連コンテンツ表示>
 [ユーザインタフェースのためのアイコン等の表示例]
 以下、ユーザが端末装置4により楽曲コンテンツを再生させるとともに関連コンテンツの歌詞ブックレット等を閲覧する場合について説明していく。
 先に図4に示したように、端末装置4では歌詞ブックレット等の画像を表示させるとともに各種のユーザインタフェースのためのアイコン等を表示させる。図14には歌詞ブックレット等の画像を除いて、アイコン等のみを示している。
 ユーザインタフェースのためのアイコン等として、アルバムタイトル51、ページガイド52、ページ送りアイコン53、ページ戻しアイコン54、表示位置ガイド55、全面フォーカスアイコン56、裏返しアイコン57、リンクアイコン58、同期アイコン59,61、ハイライトアイコン60、現在閲覧中ページに相当するトラックタイトル62、ページナンバ63、共有モードアイコン64,65、オーディオコントロール66等が表示される。なおこれらは一例であり、全てが表示される必要はない。またこれら以外のアイコン等が表示されてもよい。
 アルバムタイトル51として、再生している楽曲コンテンツとしての音楽アルバムのタイトルが表示される。なおアルバムタイトルに限らず、1曲の音楽の再生の際にその曲名が表示されてもよいし、アルバムタイトルと再生中の楽曲タイトルの両方が表示されてもよい。さらにアーティスト名等が表示されてもよい。音楽アルバムやアーティストのサムネイル画像などが表示されてもよい。
 ページガイド52は、関連コンテンツとしての歌詞ブックレット等の全体の内で表示中のページの明示等を行う表示である。このページガイド52は、複数ページで構成される歌詞ブックレットや、紙面の表裏の2ページで構成される歌詞カード等を想定して、表示中のページがどのページであるかをユーザに提示する。ページガイド52についての詳細は後述する。
 ページ送りアイコン53は、ユーザが閲覧中のページを進める操作を行う操作子である。ページ戻しアイコン54は、ユーザが閲覧中のページを戻す操作を行う操作子である。
 表示位置ガイド55は、関連コンテンツ(歌詞ブックレット等)の1つのページ内で、表示されている位置を示す表示である。
 例えばスマートフォン等の端末装置4の画面で、1ページの全体が表示されていないときに、そのページ全体と、表示範囲を明示する。この図14では、縦長のページにおいて斜線部で示す範囲(エリア55a)が現在表示されていることを示す例を挙げている。
 トラックタイトル62として現在歌詞を表示している楽曲のタイトルが表示される。
 なお、楽曲情報として楽曲のタイトルだけでなく、作詞者、作曲者、編曲者等の表示が行われてもよい。
 なお、再生中の楽曲のタイトルを別途表示させてもよい。
 ページナンバ63として歌詞ブックレット等の閲覧中のページナンバが表示される。例えば分数表記により、全体のページ数(例えば10ページ)のうちの第6ページなどの場合「6/10」のように表示される。
 全面フォーカスアイコン56は、全面表示、即ち最も歌詞ブックレット等のページが見やすいデフォルトサイズにフォーカスするための操作子である。
 裏返しアイコン57は歌詞カードの裏返し操作のための操作子である。裏返し機能として、ポップアップ等の表示方法を用いて、ある1ページに追加の裏要素を設けられるようにした機能がある。裏返しアイコン57の操作によりこのような裏要素を表示させるようにする。
 リンクアイコン58は外部ウェブサイトへのリンクボタンである。
 同期アイコン59、61は楽曲の再生位置と歌詞ブックレット等の現在閲覧中ページを同期するための操作子である。同期アイコン59は歌詞ブックレット等の現在閲覧中の位置に合うように楽曲の再生位置を変更させる操作子で、同期アイコン61は楽曲の再生位置に合うように歌詞ブックレット等の閲覧中の位置を変更させる操作子である。
 ハイライトアイコン60は歌詞ブックレット等の表示についてのハイライトモードの操作子である。
 共有モードアイコン64、65は他のユーザやアーティストとの共有モードについての操作子である。
 オーディオコントロール66として楽曲コンテンツの再生に関する各種の操作子が用意される。例えば再生/停止ボタン、再生楽曲の送りボタン、戻しボタン、お気に入りボタン、プログレスバーなどが表示される。
 以下、このような端末装置4の画面においてユーザに提供される各種の機能を説明していく。
 [コンテンツ集中モード]
 コンテンツ集中モードは、ユーザが歌詞ブックレット等を集中して閲覧できるように、ユーザインタフェースを消去し、歌詞ブックレット等を前面に表示させるモードである。
 例えば図15Aに通常表示モードでの表示状態を示している。歌詞ブックレット等の画像に対して図14で説明した各種のユーザインタフェースのためのアイコン等が表示されている。
 この場合にユーザが画面上の任意の位置(アイコン等が表示されていない位置)で所定の操作、例えばタップ操作TPなどを行うこと、もしくはユーザが何も操作を行わないまま所定の時間が経過することで、端末装置4の制御部であるCPU71は、図15Bのようにアイコン等を消去させ、歌詞ブックレット等のみの表示(コンテンツ集中モードの表示)とする制御を行う。
 このようにすることで、ユーザは歌詞ブックレット等を、紙面によるものと同等の状態で閲覧できる。
 なおユーザが図15Bの画面上でタップ操作等の所定の操作を行うことに応じて、CPU71は図15Aの通常表示モードの表示に戻すように制御する。
 [全面フォーカス]
 端末装置4のCPU71は、ユーザが全面フォーカスアイコン56を操作することにより、全面フォーカス制御が行われる。
 例えば図15Aや図15Bの状態での表示中には、ユーザは、画面上でのピンチイン/アウトの操作により歌詞ブックレット等の画像を縮小させたり拡大させたりすることができる。
 このように任意に画面操作を行っていると、ユーザは、今、歌詞ブックレット等のページにおいて、どのような拡大/縮小状態で閲覧しているかわからなくなることがある。そこで全面フォーカスアイコン56を用意し、ユーザが操作することで、CPU71は最も歌詞ブックレット等のページが見やすいデフォルトサイズにフォーカスした状態に戻すように制御する。つまり、そのページにおいて最初に表示される画像サイズの状態に戻すようにする。
 なおこのため、全面フォーカスアイコン56は常に表示させてもよいが、ユーザのピンチ操作等によって、画面表示がデフォルトサイズでなくなったときにのみ表示させるようにするとよい。
 また全面フォーカスアイコン56は、以上のように拡大/縮小状態からデフォルトサイズに戻す操作子であるが、同時に表示位置の制御を行うようにしてもよい。例えばユーザは画面上のドラッグ操作やフリック操作などにより表示領域を移動させることもできるが、例えば全面フォーカスアイコン56の操作に応じて、現在のページの最初の表示位置を戻すようにするなどである。或いはそのような操作のためのアイコンを別途設けてもよい。
 [歌詞ブックレット等の表示位置ガイド]
 表示位置ガイド55により、歌詞ブックレット等の1つのページ内で、表示されている位置が示される。
 例えば図16Aには、歌詞ブックレット等の或るページのページ全域100を示している。ここではスマートフォンに合わせて作成された縦長のページを想定している。
 そして斜線を付した太線枠の範囲が、実際に現在画面上に表示されている表示範囲101であるとする。この状態を表示位置ガイド55でユーザに提示する。
 なおこのようなスマートフォンに合わせた縦長のページ形状のタイプを、説明上、スタンダードタイプと呼ぶこととする。
 図16Bは端末装置4の図15Aのような表示画面を示している。但し表示位置ガイド55のみを示している。上記図16Aのような場合に、図16Bのように、表示位置ガイド55の全体がページ全域100に相当するものとし、その中で、斜線部で示したエリア55aにより、現在の表示範囲101が明示される。なおエリア55aは実際には特定の色などで明示されるようにすればよい。
 図17Aはページ形状がスマートフォンに合わせた縦長とはなっていない場合を示している。例えばページ全域100が正方形に近い状態である場合である。ページ全域100に対して表示範囲101が図示ようにページ内の左上部分になっているとする。この場合に表示位置ガイド55では図17Bのようにページ全域100を表現する形状とされ、その中で、斜線部で示すように、表示範囲101を表現するエリア55aが明示される。
 なおこのようなスタンダードタイプではないページ形状のものを、説明上、任意形状タイプと呼ぶこととする。任意形状タイプは、例えばアーティストが歌詞ブックレット等の生成、編集の際に形状を設定するものである。
 図16B、図17Bにおいてエリア55aの位置は、ユーザのスクロール操作やドラッグ操作による表示範囲の変化に応じて、表示位置ガイド55内で変化される。
 またユーザのピンチ操作による拡大/縮小に応じて、エリア55aの表示位置ガイド55内でのサイズが変化される。
 このように表示位置ガイド55が表示されることで、ユーザは、多様なページ形状の歌詞ブックレット等が存在するなかで、ページの形状や、ページ内での現在の表示範囲を容易に認識できる。これはスマートフォンなど面積が限られた画面上での閲覧にとって有用なガイドとなる。
 なお表示位置ガイド55を、表示範囲を移動させる操作子として用いることができるようにしてもよい。例えば図16Bにおいてエリア55aを上下に移動させる操作により、画面上の歌詞ブックレット等の表示範囲が上下にスクロールされるようにする。また図17Bの場合にエリア55aの位置を任意方向に移動させることで、画面上の歌詞ブックレット等の表示範囲が、その方向に移動されるようにする。
 表示位置ガイド55の表示は、常に行っても良いが、何らかの操作に応じて表示させるようにしてもよい。
 例えば歌詞ブックレット等が図16Aのようなスタンダードタイプの場合、上下スクロール操作に応じて表示位置ガイド55を表示させ、エリア55aが移動するようにする。スクロールしていないときは表示位置ガイド55を消去させる。
 また歌詞ブックレット等が図17Aのような任意形状タイプの場合、全方向のスクロール操作や拡大/縮小操作に応じて表示位置ガイド55を表示させ、スクロール操作や拡大/縮小操作に応じてエリア55aが移動したり、拡大又は縮小したりするようにする。スクロール操作や拡大/縮小操作をしていないときは表示位置ガイド55を消去させる。
 表示位置ガイド55は、他のアイコンよりも比較的広い領域を使うことが想定されるので、以上のように操作時のみの表示とすることで、歌詞ブックレット等の表示の邪魔になりにくいようにすることができる。
 [表示位置ガイドにおけるデフォルト位置の自動判定]
 歌詞ブックレット等のページ形状が任意形状タイプの場合に、端末装置4のCPU71が最初に表示させる範囲を自動的に判定する機能を説明する。
 即ちCPU71は、歌詞ブックレット等のページを最初に表示するときの最も歌詞を見やすいデフォルト位置を、各ページに対して判定する。
 例えばCPU71は、歌詞ブックレット等のページ毎に歌詞がどのように表示されているかを判定して、デフォルト位置を設定する。
 CPU71は、歌詞が1ページ内で、N列で表記されている場合は、歌詞部分のかたまりの列数を判定して、最も左上に近い1列の横幅に合わせたサイズを元に、デフォルト位置を設定する。
 図18A、図18Bは、それぞれページ全域100内に複数列で歌詞が掲載されている例を示している。最も左上に近い1列の横幅に合わせることで、デフォルト位置102が設定できる。
 但し、歌詞の表記は多様であり、必ずしも列単位で整然と表記されるわけではない。文字が斜めに表記されるような場合もある。
 そのような場合は、例えば、
・歌詞ひとかたまりが収まる画面サイズを設定する。
・歌詞ひとかたまりが収まる画面サイズとしたときに、最も小さい文字が所定のフォントサイズを下回る場合、その所定のフォントサイズに合わせた画面サイズを設定する。
 そして、このように設定した画面サイズを元に、ページ内でのデフォルト位置を設定する。
 なお、アーティストが編集段階において、ページ内で最初に表示させるデフォルト位置を指定することができるようにしてもよい。
 [テキスト位置表示]
 表示位置ガイド55において、現在のページ内のどの位置に歌詞(テキスト)が表示されているかを明示するようにする。
 図19A、図19Bに例を示す。表示位置ガイド55内では、図中「・・・」で示すようにテキスト位置マーカー55bが表示されるようにする。このテキスト位置マーカー55bは、実際にページ内で文字が表記されている場所を示すものとする。テキスト位置マーカー55bの表示態様は、テキストの位置がわかるようであれば、どのような表示態様でもよい。
 CPU71は、表示する歌詞ブックレット等を読み込んだときに、各ページの画像を分析して、テキスト表示位置を判定する。これにより表示させるページ毎に、図19A、図19Bのようなテキスト位置マーカー55bを表示させることができる。
 表示位置ガイド55内に、このようなテキスト位置マーカー55bが表示されることで、ユーザは歌詞が読みたいときに、どのあたりにスクロール等をさせれば良いかが容易に認識できるようになる。
 [歌詞ブックレット等のページナビゲーション]
 表示中の歌詞ブックレット等について、ユーザがページを容易に認識できるようにする。このために図14のようにページガイド52を表示させる。
 ページガイド52の例を図20に拡大して示す。
 この例のページガイド52では、歌詞ブックレット等の1つのページを円状のマーク90,91、92,93,94で表現するとともに、円状の表示態様の違いにより、ページの性質を示すようにしている。あくまで一例であるが、以下のようにする。
 まず円のサイズの違いにより、歌詞掲載ページか歌詞を掲載していないページかを示すようにする。例えば小さい円状のマーク91は歌詞非掲載ページを示すものとする。そして大きい円状のマーク90,92,93,94は歌詞掲載ページを示す。
 歌詞掲載ページに関しては次のように性質を表す。
 マーク90は現在表示しているページ以外の歌詞掲載ページを示す。
 マーク92は現在表示中の歌詞掲載ページを示す。
 マーク93は現在、再生中の楽曲の歌詞を掲載した歌詞掲載ページを示す。
 マーク94は、複数の楽曲の歌詞を掲載した歌詞掲載ページを示す。
 なお、現在表示中の歌詞が現在再生中の楽曲の歌詞である場合は、マーク92、93を複合したようなマークとすることが考えられる。
 図では、各マークを黒丸、白丸、破線円、リング状などとして示しているが、これは説明上の区別のためである。例えば各マークは色、輝度、濃淡、ハイライト方式、点滅/点灯などの違いによって、それぞれが表現されればよい。
 ユーザは、楽曲を再生させながら歌詞ブックレット等を閲覧している場合、必ずしも再生中の楽曲の歌詞のみを見ているわけではない。ユーザは任意にページ内をスクロール移動させたり、他のページに遷移させたりすることができる。すると次のようなケースがある。
・再生中の楽曲の歌詞掲載ページから離れている状態で、その再生中の楽曲の歌詞掲載ページに遷移させたい。
・アートワークのみのページを閲覧したい。
・どのページに何曲の歌詞が掲載されているかを知りたい。
・現在閲覧中のページが全体の内でどのページであるか知りたい。
・現在閲覧中のページの前後がどのようなページであるか知りたい。
・目的のページが現在のページの前後方向のいずれかを知りたい。
 例えば以上のようなケースでは、ページガイド52で各ページが識別可能にガイドされることはユーザにとって非常に便利な機能となる。
 またページ送りアイコン53とページ戻しアイコン54のいずれを操作すべきか迷ったときのガイドにもなる。
 なお、マーク90,91,92,93,94が、そのまま当該ページに遷移させるための操作子となるようにしてもよい。
 また、ページの性質の提示例も多様に考えられる。例えば歌詞であるか否かに関わらずテキスト掲載ページを提示してもよい。またテキスト掲載ページ、アートワーク掲載ページ、テキスト・アーティスト混在ページを識別できるような提示を行ってもよい。
 さらに、歌詞掲載ページ、曲目リスト掲載ページ、クレジット掲載ページ、現在表示中の歌詞非掲載ページなどを識別できるような提示を行ってもよい。
 現在表示中のページを示すマーク92は、歌詞の掲載、非掲載に関わらず適用してもよい。
 また複数の楽曲の歌詞を掲載した歌詞掲載ページを示すマーク94では、掲載する楽曲数を示す数字を表示させてもよい。
 ページガイド52は常時表示させていても良いが、何らかの操作で表示が出現するようにしてもよい。例えば再生中の楽曲の歌詞の掲載ページを表示させているときはページガイド52の表示をオフとしておき、再生中の楽曲の歌詞掲載ページとは異なるページに遷移したときに、ページガイド52を表示させるような例もある。
 [表示中ページナンバのナビゲーション]
 ページナンバ63として、全ページ中で現在表示させているページが表示される。但し、歌詞ブックレット等自体にページ表記されている場合があり、その場合、ページナンバ63を表示させる必要性は低くなる。
 そこで、歌詞ブックレット等の表示上でページ表記が見られないときに、ページナンバ63の表示を実行させるようにする。これによりユーザは現在のページナンバを容易に確認できる。
 なお、歌詞ブックレット等におけるページ表記の有無とは、現在表示している範囲内でのページ表記の有無と考えるとよい。例えば歌詞ブックレット等における現在のページにページ表記があったとしても、そのページにおいて現在表示されている範囲にページ表記が現れていなければ、ページナンバ63を表示させるようにする例である。このようにすることで、ユーザは常に現在何ページを閲覧中であるかを、ページナンバ63又は歌詞ブックレット自体の表記のいずれかによって確認できる。
 [同期機能]
 ユーザの要望として、歌詞をみてその歌詞の楽曲を聴きたいと思うことや、楽曲を聴いていて、その楽曲の歌詞を見たいと思うことがある。
 そこで同期機能を用意し、同期アイコン59,61を表示させる。
 同期アイコン59が操作されることでCPU71は、歌詞ブックレット等の現在閲覧中の位置に合うように楽曲の再生位置を変更させる制御を行う。例えばCPU71は、現在表示中のページに掲載されている歌詞の楽曲を再生させる。
 この場合に、次のようなCPU71の制御例が考えられる。
・現在表示中のページに1曲の歌詞が掲載されている場合は、同期アイコン59の操作に応じて、該当楽曲を曲の先頭から再生させる。
・現在表示中のページに1曲の歌詞が掲載されており、その歌詞の一部が表示されている場合は、同期アイコン59の操作に応じて、該当楽曲を、その表示されている歌詞の位置から再生させる。
・現在表示中のページに1曲の歌詞が掲載されているが、歌詞部分が表示されていない場合は、同期アイコン59の操作に応じて、該当楽曲を曲の先頭から再生させる。
・現在表示中のページに複数曲の歌詞が掲載されている場合は、同期アイコン59の操作に応じて、そのページの歌詞掲載順で先頭の楽曲を曲の先頭から再生させる。
・現在表示中のページに複数曲の歌詞が掲載されている場合は、同期アイコン59の操作に応じて、現在歌詞が表示されている該当楽曲を曲の先頭から再生させる。
・現在表示中のページに複数曲の歌詞が掲載されて、表示上でも複数の曲の歌詞が現れている場合は、表示上で上方位置、或いは表示されているサイズなどにより、一方を選択して、選択した楽曲を曲の先頭又は表示されている範囲の先頭から再生させる。
・歌詞表示上である部分(フレーズ)がタッチ操作等で指定されたうえで同期アイコン59の操作が行われた場合、該当楽曲を、その指定されたフレーズの位置から再生させる。ユーザの視線検出によって歌詞表示上のある部分を特定して、同期アイコン59の操作に応じて、その特定した部分に相当する位置から楽曲を再生させるようにしてもよい。
 以上は制御の例であるが、これらのように表示させている歌詞から楽曲の再生位置を同期制御する処理方式は多様に考えられる。
 また同期アイコン59の1タップ操作で、現在のその場所(フレーズ)に同期させて再生させ、ロングタップ(長押し)操作で、表示中ページに相当する楽曲の先頭から再生させるようにするなど、操作態様によって制御内容が異なるようにしてもよい。
 また同期アイコン59の操作ではなく、表示されている歌詞部分のタップ操作等で、楽曲のその位置からの再生を実行させてもよい。
 その場合には、歌詞部分の1タップ操作で、その場所(フレーズ)に同期させて楽曲を再生させ、ロングタップ操作で、その楽曲の先頭から再生させるようにしてもよい。
 なお、同期アイコン59の表示は、歌詞掲載ページの表示中に表示させ、歌詞非掲載ページでは表示させないようにするとよい。歌詞非掲載ページでは、歌詞が表示されないため同期対象の楽曲がないためである。
 次に、もう1つの同期アイコン61の操作に応じては、CPU71は、再生中の楽曲に歌詞表示を同期させる処理を行う。
 この場合に、次のようなCPU71の制御例が考えられる。
・再生中の楽曲の歌詞掲載ページの先頭を表示させる。
・再生中の楽曲の歌詞掲載ページにおいて、その歌詞の先頭部分から表示させる。
・再生中の楽曲の歌詞掲載ページにおいて、再生中のフレーズに相当する歌詞の位置から表示させる。
 これらの制御を操作態様によって切り替えても良い。
 例えば同期アイコン61の1タップ操作で、現在の再生位置(フレーズ)に同期させて歌詞を表示させる。また同期アイコン61のロングタップ(長押し)操作で、再生中の楽曲の先頭から歌詞が表示されるようにする。
 [歌詞のハイライト機能のオン/オフ]
 CPU71はハイライトアイコン60の操作に応じて、ハイライト機能のオン/オフを切り替える。
 ここでいうハイライト機能とは、歌詞テキストやアニメーションがある。
 歌詞テキストのハイライトとは、例えば楽曲の再生に合わせて、再生箇所に相当する歌詞テキストをハイライトさせる機能である。
 アニメーションとは、例えば図10で説明したようなアーティストの演出設定により、あるフレーズに合わせてアートワークの点滅や動きなどが実行されるようにしたものである。
 CPU71は、例えばハイライトアイコン60について、ハイライト表示について以下3段階をトグル方式で切り替えるボタンとする。
・全てのハイライトを表示(歌詞テキスト+アニメーション)
・歌詞テキストのみハイライト表示
・ハイライト表示しない
 このようにすることで、ユーザの希望にあわせてハイライト表示の実行/不実行を切り替えることができる。ユーザによってはハイライト表示を煩わしく感じる場合もあるため、このようなオン/オフ機能は有用である。
 なお、ハイライトのモードとして、アニメーションのみを表示するというモードがあってもよい。
 [ページ態様に応じた楽曲情報の表示]
 例えば楽曲情報の表示としてはトラックタイトル62がある。このトラックタイトル62を適切に表示させる。
 歌詞ブックレット等のページでは、1曲に対応するページや、複数曲に対応するページがある。ユーザにとっては、歌詞ブックレット等の閲覧時にはトラックタイトル62としては、現在注目している歌詞の楽曲のタイトルが表示されることが望ましい。
 そこで次のようにトラックタイトル62を表示させる。
 現在表示中のページが1曲の歌詞を掲載したページであるときは、CPU71は、その楽曲のタイトルをトラックタイトル62として表示させる。
 現在表示中のページが複数曲の歌詞を掲載したページであるときは、CPU71は、表示している範囲の左上部分に相当する楽曲のタイトルをトラックタイトル62として表示させる。
 例えば図21A、図21Bにはページ形式がスタンダードタイプのもので、1ページに複数曲の歌詞が掲載されている例を示している。ページ全域100内において破線で表示範囲101を示している。数字はトラックナンバを示す。
 ある時点で図21Aの表示範囲101を表示させているとすると、左上部分は1曲目の歌詞となる。そこでトラックタイトル62としては1曲目のタイトルを表示させる。
 また図21Bのように表示範囲101が移動された場合は、左上部分は3曲目の歌詞となる。そこでトラックタイトル62としては3曲目のタイトルを表示させる。
 図22はページ形式が任意形状タイプのもので、ページ全域100内に9曲の歌詞が掲載されていたとする。
 ある時点で表示範囲101を表示させているとすると、左上部分は7曲目の歌詞となる。そこでトラックタイトル62としては7曲目のタイトルを表示させる。
 このような制御により、トラックタイトル62としては、ユーザが注目して歌詞を読んでいる楽曲のタイトルが表示される。
 なお楽曲のタイトルに限らず、作詞者、作曲者、編曲者、参加ミュージシャンなどの楽曲情報を表示させる場合も、同様の制御を行うことができる。
 [再生ギミック]
 デジタル体験をユーザに届けることができる再生ギミックを用意する。
 例えば所定の条件により、通常は表示されないアイテム、コンテンツ、リンク等が表示されるようなものである。
 条件の例を挙げる。
・楽曲をn回再生する(例えば100回など)。
・再生中楽曲のあるフレーズで、指定の歌詞テキスト部分や、画像位置をタップする。
・指定の歌詞テキスト部分や画像位置をn回タップする。
・位置情報に基づきユーザ自身が特定の場所に居ると判定された時に関連コンテンツを開く(例えばライブ会場やコンテンツにゆかりの地など)。
・同じ関連コンテンツを持つ他のユーザn人と、所定距離範囲内に同時に存在する。
 条件を充足した場合の処理の例としては次のような例がある。
・限定リンクボタンを表示させる。
・限定コンテンツへ遷移する。
・歌詞ブックレット等に隠しページを閲覧可能とする。
・歌詞ブックレット等の表現や文言を変化させる。
・デジタルアイテムを付与する。
 このような再生ギミックを用意することで、ユーザに新たな体験を与えることができる。例えばユーザは、気に入った楽曲を何度も再生させることで、限定コンテンツが表示されるようになるなどである。またライブ会場などで、同じ楽曲コンテンツや関連コンテンツを所有するユーザが所定数以上存在することで、限定リンクボタンが表示させるなども可能となる。
 また条件として次の例もある。
・楽曲コンテンツの盛況度が高まったと判定される(例えばダウンロード数や再生数が所定数以上となるなど)。
・フォロー中のユーザが楽曲コンテンツを再生する。
 これらの条件の充足により端末装置4において通知が行われるようにする。例えばダウンロード数の通知が行われたり、「〇〇さんが**を再生中です」などというような通知が行われたりするようにする。
 また上記の限定コンテンツなどをSNS(Social Networking Service)で共有できるような仕組みを設けてもよい。例えば条件充足時などに共有ボタンを表示させ、ボタン操作に応じてSNSにアップロードするなどである。
 [再生状況等の共有機能]
 共有モードアイコン64,65により、再生状況などをユーザ間、或いはユーザとアーティストの間で共有できるようにする。
 共有モードアイコン64の操作に応じてCPU71は、ユーザ間での共有機能のモード設定を行う。共有機能のモードとは例えば嗜好共有モード、現況共有モード、コメント共有モードである。
 例えば共有モードアイコン64の操作により、共有無し、嗜好共有モード、現況共有モード、コメント共有モードがトグル方式で切り替えられるようにする。
 なお、嗜好共有モード、現況共有モード、コメント共有モードの切り替わりは、図23,図24,図25のような共有モードアイコン64の変化によっても示される。
 嗜好共有モードについて図23で説明する。
 嗜好共有モードとされると、共有モードアイコン64の付近に、1又は複数の他ユーザアイコン120が並んで表示される。これは嗜好情報が共有される他ユーザを表すアイコンである。図の例では3人の他ユーザが示されている。例えばユーザ本人との間で相互フォローをしている他ユーザ、共有設定をしている他ユーザなどが対象となる。
 そしてこの嗜好共有モードでは歌詞ブックレット等のページ表示において、他ユーザが、それぞれお気に入りのフレーズが提示される。図では嗜好フレーズ提示121として、それぞれの他ユーザアイコン120で示される人がお気に入りのフレーズが提示される。
 例えば各ユーザが何度も再生させるなどの履歴に基づいてお気に入りのフレーズが判定され、その判定情報が共有されることで、このような表示制御が実行される。もしくは各ユーザが、任意でお気に入りのフレーズを設定することも可能である。
 現況共有モードを図24で説明する。
 現況共有モードとされると、1又は複数の他ユーザアイコン120が表示される。この場合は、共有設定された他ユーザの内で、現在アクティブのログインユーザが対象となる。
 現況共有モードでは、他ユーザの現在の楽曲コンテンツの聴取箇所が提示される。例えばこの例では、ユーザ本人と、2人の他ユーザが同じ音楽アルバムを聴いており、一人の他ユーザは、図24の歌詞表示中の楽曲を聴取中で、もう一人の他ユーザは、他の楽曲を聴取中であることを示している。
 一人の他ユーザの聴取箇所は、表示中の歌詞テキストにおいて聴取フレーズ提示122により示される。
 またページガイド52においても他ユーザアイコン120により、他ユーザの聴取箇所が示される。この場合、聴取している楽曲の歌詞が掲載されているページに対して他ユーザアイコン120が表示されることで、音楽アルバム内でどのあたりを聴いているかが示される。
 コメント共有モードを図25で説明する。
 コメント共有モードでも共有設定された1又は複数の他ユーザアイコン120が表示される。
 このコメント共有モードでは、他ユーザのコメント123が表示される。他ユーザアイコン120に対して、コメント対象提示124で、コメント対象が示される。例えばアートワーク部分や、歌詞テキスト上のフレーズなどが示される。そしてそのコメント対象の近辺に他ユーザアイコン120と共にコメント123が表示される。
 以上は共有モードアイコン64によるユーザ間での共有について説明したが、共有モードアイコン65の操作によっては、アーティストとの間で同様の共有を行うことができる。例えば共有モードアイコン65の操作により、共有無し、嗜好共有モード、現況共有モード、コメント共有モードがトグル方式で切り替えられるようにする。
 なおこの場合も、嗜好共有モード、現況共有モード、コメント共有モードの切り替わりは、図23,図24,図25のような共有モードアイコン65の変化によっても示される。
 嗜好共有モードでは、この楽曲のアーティストが自身で気に入っている箇所が表示される。
 現況共有モードでは、この楽曲のアーティストが聴取している箇所が提示される。
 コメント共有モードでは、この楽曲のアーティストが自身でアップロードしたコメントが表示される。
 即ちアーティスト自身が、この歌詞ブックレット等の閲覧サービスにログインすることで、自身の楽曲や歌詞について解説やコメントを載せたり、お気に入り箇所を提示したりして、一般ユーザに知らせることができる。
 また楽曲のアーティスト自身に加え、その他ユーザが任意でフォロー中のアーティストなどを表示することも可能であり、その際にはユーザは好きなアーティスト達が相互の楽曲を楽しんでいる様子を感じることができる。
 [処理例]
 ここまで端末装置4で提供される歌詞ブックレット等の閲覧の際の各種機能を説明してきたが、これらの機能を実現する端末装置4の処理例を説明する。以下は、端末装置4の制御部であるCPU71がアプリケーションプログラム或いはサービスを提供するウェブサイトを通じて実行する処理例である。
 図26は楽曲コンテンツの再生時の表示に関する処理例を示している。
 CPU71は楽曲コンテンツの再生開始操作があった場合、ステップS201からステップS202に進み、楽曲データ及び歌詞データを取得する。楽曲データとは、楽曲アルバムとしてのコンテンツの各曲のオーディオデータである。歌詞データとは、歌詞ブックレット等の画像データやそれに付随する演出データなどを含む。
 これら楽曲コンテンツに関する楽曲データ及び歌詞データは、ユーザが既にサーバ装置1からの購入などをして端末装置4の記憶媒体に記憶している場合は、CPU71はその記憶媒体(例えば記憶部79)から対象のデータを読み出せば良い。
 また再生時に楽曲データ及び歌詞データを逐次サーバ装置1から取得する形態であってもよい。
 ステップS203でCPU71は、今回再生される楽曲コンテンツに関して、歌詞ブックレット等の表示のための表示設定処理を行う。
 図27にこの表示設定処理の例を示す。
 ステップS221でCPU71はページガイド設定を行う。CPU71は歌詞データとして取得した歌詞ブックレット等の各ページの画像を解析して、ページ数、各ページの種別等を判定する。種別とは、歌詞掲載ページ、歌詞非掲載ページの別などである。即ちCPU71は、これらの判定により、ページガイド52の初期的表示が実行できるようにする。
 ステップS222でCPU71は、デフォルト表示位置設定を行う。先に「表示位置ガイドにおけるデフォルト位置の自動判定」で説明したように、歌詞ブックレット等のページ形状が任意形状タイプの場合に、CPU71が最初に表示させる範囲を自動的に判定する処理である。CPU71は、歌詞データとして取得した歌詞ブックレット等の各ページの画像を解析して、歌詞ブックレット等のページを最初に表示するときの最も歌詞を見やすいデフォルト位置を各ページに対して判定する。
 ステップS223でCPU71は、ページ表記判定及びページ表示設定を行う。
 これはページナンバ63の表示のための準備処理である。CPU71は、歌詞データとして取得した歌詞ブックレット等の各ページの画像を解析して、各ページにページ表記が存在するか否かを判定する。
 例えばページ内の画像の4隅の所定距離以内の数字表記の有無や「X/X」との分数表記の有無、さらには数値がページ順に対応していることなどを確認し、ページ毎にページ表記を判定する。またページ内でのページ表記の位置も確認する。
 そしてCPU71は、ページ表記が存在しないページについては、画面上のページナンバ63を常時表示させる設定を行う。ページ表記が存在するページについては、ページ表記位置を記憶し、そのページの表示の際に、表示範囲に応じてページナンバ63の表示オン/オフを切り替える設定を行う。つまり、表示範囲にページ表記位置が含まれたときはページナンバ63の表示をオフとし、表示範囲にページ表記位置が含まれないときはページナンバ63の表示をオンとする設定を行う。
 ステップS224でCPU71は、各ページでのテキスト表示位置判定を行う。
 これは図19のように、表示位置ガイド55内でテキスト位置表示を行うための準備処理である。CPU71は、歌詞データとして取得した歌詞ブックレット等の各ページの画像を解析して、各ページにおけるテキスト掲載エリアを判定し、記憶する。
 なお図27の処理例における各ステップの処理は、ページの画像解析結果に基づく処理であるため、その処理順はどのような順でもよい。図は一例にすぎない。
 またCPU71は、ステップS221,S222,S223等における解析処理を、再生時に毎回行わなくてもよい。例えば歌詞ブックレット等の各ページの画像解析を事前に行って解析済みのデータをデータベースに保存しておき、ステップS202の段階で解析済みのデータを取得し、それに基づいてページガイド52の初期的表示の設定、デフォルト表示位置設定、ページ表示設定を行うものとしてもよい。
 図26のステップS203で以上のような処理を行ったら、CPU71はステップS204に進み、楽曲コンテンツの再生を開始させる制御を行うとともに、歌詞ブックレット等の表示を開始させる制御を行う。
 この時点で例えば図15Aのように、歌詞ブックレット等とともにユーザインタフェースのためのアイコン等が表示される。ページガイド52や表示位置ガイド55は、今回の歌詞ブックレット等に応じて表示され、またページナンバ63は表示設定に応じて表示される。
 再生及び表示を開始させた以降は、CPU71はステップS205で再生終了を監視しつつ、ステップS206で表示更新制御を行う。
 なお、再生中にはCPU71は、オーディオコントロール66等の操作に応じて曲送り、音量制御、早送り、早戻し、再生箇所のプログレスバーの表示更新、などを行うが、それら楽曲再生に関する処理についての説明は省略している。
 ステップS206で行われる表示更新制御の例を図28,図29に示す。なお図28,図29の「c1」は各図のフローチャートが連続していることを示している。
 なお図28,図29は、表示更新に関する全ての処理を示すのではなく、特に本実施の形態の歌詞ブックレット等の表示機能に関する処理を示しているものである。実際には他の処理が行われてもよい。
 表示更新制御では、CPU71は図28のステップS231から図29のステップS241の各監視処理を行う。
 ステップS231でCPU71はコンテンツ集中モードの操作を監視する。例えばユーザによる画面上の任意位置のタップ操作である。この操作を検知した場合、CPU71はステップS251に進み、表示設定を変更する。即ちそれまで通常表示モード設定であれば、コンテンツ集中モード設定とする。それまでコンテンツ集中モード設定であれば通常表示設定とする。
 そしてCPU71はステップS252で変更したモード設定に応じた表示を開始する。これにより図15A、図15Bのように表示状態が切り替えられる。
 ステップS232でCPU71は全面フォーカス操作が行われたか否かを判定する。全面フォーカスアイコン56の操作監視である。
 例えばCPU71はステップS232で、ピンチ操作等で歌詞ブックレット等の画像の拡大や縮小が行われたことに応じて全面フォーカスアイコン56を表示させるとともに、その全面フォーカスアイコン56の操作が行われたか否かの監視を行う。
 全面フォーカスアイコン56が操作されたことを検知したら、CPU71はステップS255に進み、全面フォーカス状態に変更する。即ち歌詞ブックレット等の画像をデフォルトサイズにフォーカスした状態に戻すように制御する。またCPU71はデフォルトサイズに戻したことに応じて全面フォーカスアイコン56を消去させる。
 ステップS234でCPU71は画面移動操作を監視する。画面移動の操作を検知したら、CPU71はステップS234からステップS261に進み、操作に応じて画面移動の制御を行う。またそれに応じて必要であれば、CPU71はステップS262でガイド表示の変更制御を行う。
 ここでいう画面移動の操作とは、画面の表示範囲を変更させるユーザの操作を指す。例えばスクロール操作、ピンチ操作、ページ送りアイコン53の操作、ページ戻しアイコン54の操作、表示位置ガイド55のエリア55aが操作子とされる場合のスクロール操作やドラッグ操作、ページガイド52が操作子とされる場合のページ遷移操作などを含む。
 これらの操作に応じてCPU71はステップS261で、ページ内の画面上での表示位置の変更や、拡大/縮小、他のページへの遷移の制御を行う。
 またCPU71はガイド表示の変更としてステップS262で、ページ内の画面上での表示位置の変更に応じた表示位置ガイド55のエリア55aの移動や拡大/縮小、ページ遷移の場合のページガイド52の表示の変更(例えば表示中の歌詞掲載ページを示すマーク92の位置の変更)、歌詞の表示部分の変更に応じたトラックタイトル62の変更、ページ遷移に応じたページナンバ63の変更などの制御を行う。
 ステップS235でCPU71は同期操作を監視する。
 同期操作、即ち同期アイコン59又は同期アイコン61の操作を検知したら、CPU71はステップS235からステップS265に進み、操作に応じて同期処理を行う。即ち同期アイコン59の操作に応じて、歌詞テキストに楽曲再生位置を同期させるように再生位置の制御を行う。また同期アイコン61の操作の場合は、再生位置に歌詞表示を同期させるように、表示位置又は表示ページを変更させる制御を行う。
 また、再生位置の変更や表示位置の変更に伴って必要であれば、CPU71はステップS266でガイド表示の変更制御を行う。例えば、ページ内の画面上での表示位置の変更に応じた表示位置ガイド55のエリア55aの移動、ページ遷移の場合のページガイド52の表示状態やページナンバ63の変更、トラックタイトル62の変更などの制御を行う。
 ステップS236でCPU71はハイライトアイコン60によるハイライト設定操作を監視する。ハイライトアイコン60の操作を検知したら、CPU71はステップS236からステップS271に進み、操作に応じてハイライト設定の変更を行う。例えば現在ハイライト機能がオンであればオフとし、オフであればオンとする。或いはハイライト機能が例えば上述のように「全てのハイライトを表示」「歌詞テキストのみハイライト表示」「ハイライト表示」の3つのモードを切り替え可能とするのであれば、ハイライトアイコン60の操作に応じてトグル方式でハイライト設定を変更する。
 そしてステップS272でCPU71は、ハイライト設定の変更に応じた表示を開始させる。
 図29のステップS237でCPU71は再生曲変化を監視する。
 再生曲の変化を検知したら、CPU71はステップS237からステップS275に進み、歌詞ブックレット等の表示位置変更の制御を行う。例えば音楽アルバム内で2曲目の再生が終わり、3曲目の再生に移ったら、歌詞ブックレット等において3曲目の歌詞が掲載されたページに遷移させる。或いはページ内で、3曲目の歌詞が表示されるように表示位置を移動させるようにする。
 またCPU71はステップS276でガイド表示の変更制御を行う。例えば、ページ内の画面上での表示位置の変更に応じた表示位置ガイド55のエリア55aの移動、ページ遷移の場合のページガイド52の表示状態やページナンバ63の変更、トラックタイトル62の変更などの制御を行う。
 なお、このような再生曲に同期させたブックレット等の表示位置変更は行わないようにしてもよい。例えばユーザは再生曲が変わっても、歌詞ブックレットでは別の楽曲のページを見ていることもある。また同じ楽曲を再生し、ページ表示していたとしても、必ずしも同期して自動でページ遷移するのではなく、ユーザはあくまで自分のペースでページを変更することができるようにしたいという場合もある。このため、実物CDの紙の歌詞ブックレット等をめくる時と同様の使い勝手を提供する場合は、ステップS237、S275、S276の処理を行わないようにするとよい。
 ステップS238でCPU71は歌詞部分に対する指定操作を監視する。例えば歌詞ブックレット等の表示における歌詞テキスト部分に対するタップ操作等である。このような歌詞の指定操作を検知したら、CPU71はステップS238からステップS281に進み、その歌詞テキストに楽曲再生位置を同期させるように、楽曲コンテンツの再生位置の制御を行う。
 ステップS239でCPU71は再生ギミックに関する条件充足の判定を行う。
 例えばユーザ操作、再生回数、位置情報、ユーザの試聴状況等の判定を行い、再生ギミックに関する条件充足の有無を判定する。
 再生ギミックに関する条件充足を検知した場合、CPU71はステップS239からステップS285に進み、充足条件に応じた対応処理を行う。例えば上述した限定リンクボタンの表示、隠しページの表示などの制御である。
 ステップS240でCPU71は共有モード操作を監視する。
 共有モード操作、即ち共有モードアイコン64又は共有モードアイコン65の操作を検知した場合は、CPU71はステップS240からステップS291に進み、共有モードを変更する処理を行う。例えば上述の、共有無し、嗜好共有モード、現況共有モード、コメント共有モードの切り替えを行う。
 そしてステップS292でCPU71は、共有モードに応じた表示を開始させる。即ちCPU71は、共有無しに変更したときは、以降、情報共有の無い通常の表示を実行させ、嗜好共有モードとしたときは、以降、図23のような表示を実行させる。またCPU71は現況共有モードとしたときは、以降、図24のような表示を実行させ、コメント共有モードとしたときは、以降、図25のような表示を実行させる。
 共有モードの場合は、CPU71はユーザの位置情報、試聴状況などの監視を行って、それに応じた表示を行うようにしてもよい。
 ステップS241でCPU71はページ表示に関する判定を行う。
 CPU71は、ページナンバ63の表示が必要であるか否かを判定し、必要であると判定したときは、ステップS295でページナンバ63の表示制御を行う。
 例えばCPU71は、歌詞ブックレット等においてページ表記がない場合や、ページ表記があっても現在の表示範囲にページ表記が現れていない場合は、ページナンバ63を表示させるようにする。
 例えば以上の図28,図29の処理を、図26のステップS206で行う。これにより、上述した各種の機能の表示動作や再生動作が行われる。
 なお図28,図29のステップS231からステップS241の監視処理の順序は、どのような順序でもよい。どのような順序であれ、これらそれぞれの監視処理、及び監視に応じた対応処理が図26のステップS206のタイミングで行われればよい。
 図26のステップS205で再生終了を検知したら、CPU71はステップS207に進み、歌詞ブックレット等の表示を終了させ、処理を終える。
<5.まとめ及び変形例>
 以上の実施の形態によれば次のような効果が得られる。
 実施の形態の端末装置4として用いられる情報処理装置70は、楽曲コンテンツに関連づけられたコンテンツであって、各ページに文字又はイメージが含まれて複数ページで構成される関連コンテンツを表示させるとともに、関連コンテンツの全体の内で表示中のページを示すページガイド52を表示させる制御を行う制御部(CPU71)を備えている。
 端末装置4は、例えばインストールしたアプリケーションプログラムにより、制御部としてのCPU71が図26から図29のような処理を行うことで、ページガイド52を含む歌詞ブックレットを画面に表示させる制御を行う。
 歌詞ブックレット(歌詞カード)を電子的に表示させることで、ユーザは、アーティストの表現を、音楽だけでなく、それに付随するアートワークによっても感じることができる。その場合に、図14や図20で説明したページガイド52の表示により、ユーザは歌詞ブックレット等を端末装置4で視認する場合に、全体中のどのページを見ているかを容易に認識できるようになる。
 なお、実施の形態では、歌詞が存在する楽曲コンテンツに対応する歌詞ブックレット等としての例で説明したが、例えば楽曲コンテンツが歌詞のないインストメンタル曲の楽曲や楽曲アルバムのブックレットの場合でも本技術は適用可能である。例えば楽曲や楽曲アルバムに写真、イラスト、アニメーションなどのアートワークとしてのブックレットが関連づけられており、そのブックレットを表示させる場合に本開示の技術を適用できる。
 またページガイド52は、複数ページの歌詞ブックレットの各ページのガイドとしての例で説明したが、例えば1枚の歌詞カードに全曲の歌詞やアートワーク等が含まれたものが、楽曲アルバムのコンテンツに対する関連コンテンツとされる場合もあり得る。そのような場合に、ページガイド52を、1ページ内の各楽曲(トラック)の歌詞掲載位置を示すような表示形態となるようにしてもよい。
 実施の形態では、関連コンテンツは対応する楽曲コンテンツの歌詞である文字を含み、CPU71が楽曲コンテンツの再生時に関連コンテンツを表示させる制御を行う例を挙げた。
 楽曲再生時に歌詞ブックレット等を表示させることで、ユーザは、CDやレコードを聴取していたときの体験、つまり音楽を聴きながら歌詞を読んだりアートワークを楽しんだりするということを、スマートフォン等の端末装置4を用いて体験できる。
 特にユーザが任意に歌詞ブックレット等の表示位置を変化させたり、曲の進行に応じて表示位置が制御されたりすることで、実際の歌詞ブックレットを、音楽を聴きながら目で追って見ているときと同様の楽しみ方を体験できる。
 実施の形態では、CPU71はページガイド52において、歌詞が含まれるページと歌詞が含まれないページを示す表示を実行させるようにしている。
 図20のようにページガイド52において、歌詞ブックレットの各ページを例えばバー上の円形のマークなどで表現するものとし、円形部の表示態様の設定(例えば円のサイズ)により、歌詞掲載ページのマーク90(及び92,93,94)と、歌詞非掲載ページのマーク91を表示させる。これによりユーザが歌詞ブックレットの全体を把握しやすくなる。
 実施の形態では、CPU71はページガイド52において、1つの楽曲の歌詞を掲載したページと複数の楽曲の歌詞を掲載したページを示す表示を実行させるようにしている。
 ページガイド52において、歌詞掲載ページのマーク90と、複数曲の歌詞掲載ページのマーク94が異なる表示態様で表示されることで、ユーザは、ページ移動をさせたい場合などに、望みのページを把握しやすくなる。例えばアルバム内の5曲先の歌詞を読みたいといったときに、ページガイド52において1つの楽曲、複数の楽曲のページが示されることで、移動先ページがわかりやすくなる。
 なお、例えば曲数を数字で明示してもよい。例えば円形等の歌詞掲載ページのマーク90内に数字を付すことで、そのページに何曲の歌詞が掲載されているかを示してもよい。
 実施の形態では、CPU71は楽曲コンテンツの再生時に、ページガイド52において、現在表示中のページと再生中の楽曲の歌詞を掲載したページを示す表示を実行させるようにした。
 ユーザは、楽曲再生中に、必ずしも常に再生中の楽曲の歌詞を見るわけではない。また他の楽曲の歌詞を見ているときに、再生中の楽曲の歌詞のページに戻りたくなることもある。そこで、表示中の歌詞掲載ページのマーク92と再生中の楽曲の歌詞掲載ページのマーク93とが区別して表示されるようにする。これによりユーザは、再生中ではない楽曲の歌詞をみていることを把握でき、また再生中の楽曲の歌詞のページに戻りたいと行ったときの操作に適切なガイドとなる。
 実施の形態では、CPU71は、関連コンテンツの1つのページ内で、表示されている位置を示す表示位置ガイド55の表示を実行させる制御を行うものとした。
 例えば図15、図16で説明したように、表示位置ガイド55によりページ全体内で現在表示中のエリアを明示することで、ユーザが歌詞ブックレット等のページを見るときにページ全体(歌詞カード1枚の場合はカード全体)を意識して閲覧できる。これはスクロール操作やピンチ操作の目安にもなり、操作性を向上させることになる。
 実施の形態では、CPU71は関連コンテンツのうちで、歌詞の掲載位置に基づいて初期表示位置を設定するものとした。
 例えば図27のステップS222で歌詞ブックレット内での歌詞の掲載位置を判定してデフォルト表示位置設定を行い、図26のステップS204で楽曲の再生開始時に、そのデフォルト表示位置で歌詞ブックレットの表示を開始させる。これにより楽曲の再生開始時にユーザにとって適切な位置から表示が実行される。
 またこの場合に図17Bのように表示位置ガイド55で表示位置が明示されることで、歌詞ブックレット等の初期表示状態でユーザが表示範囲を認識できる。
 実施の形態では、CPU71が再生楽曲の変化に応じて関連コンテンツの表示位置を変更し、表示位置ガイド55においてページ内での表示位置が示されるようにする制御を行う例を述べた。
 例えば図21、図22、図29のステップS237、S275、S276で説明したように、複数の歌詞が掲載されているページにおいては、次のトラックに進むなどで再生楽曲が変化したときに、新たな再生楽曲に対応する歌詞の部分を表示させる。これによりユーザにとって望ましい歌詞ブックレットの表示ができる。また表示位置ガイド55において表示位置が明示されることで、ユーザがページ内での表示位置を意識できる。
 実施の形態では、CPU71が表示位置ガイド55においてページ内での歌詞掲載位置が示されるようにする制御を行う例を挙げた。
 例えば図19A、図19Bに例示したように、表示位置ガイド55内で、ページ内の歌詞の掲載位置(掲載領域)が表現されるような表示を行う。これは、ユーザがページ内の他の楽曲の歌詞をみるような場合のスクロール操作のガイドとなる。特にアーティストの表現の場である歌詞ブックレットや歌詞カードは、各曲の歌詞が整然と並んで掲載されるとは限らない。ページ内の多様な場所に多様なサイズ・フォント等で歌詞が散りばめられる場合もある。そのため、歌詞の掲載位置のガイドは、歌詞ブックレットや歌詞カードの閲覧時に極めて便利なものとなる。
 実施の形態では、CPU71が関連コンテンツの表示範囲においてページ表記が存在しない場合に、ページナンバ63の表示を実行させる制御を行う例を挙げた(図29のステップS241,S295参照)。
 歌詞ブックレット自体にページ表記がある場合は、ユーザは歌詞ブックレットの表示上でページナンバがわかるが、歌詞ブックレット自体にページ表記がないと、ユーザはわかりにくい。そこで、ページガイド52に加えてページナンバ63も表示してユーザへのガイドとする。特に実際に小冊子を手に持つわけではないので、全体ページ中の現在ページを示す表示とすることで、ユーザに歌詞ブックレットの全体のボリューム感が伝わりやすい。
 実施の形態では、CPU71が、楽曲コンテンツの再生時に関連コンテンツを表示させる制御を行うとともに、所定操作に応じて、楽曲コンテンツの再生箇所を、前記関連コンテンツの表示箇所に対応する再生箇所に変更する制御を行う例を挙げた。
 例えば同期アイコン59の操作に応じた同期処理として、CPU71は、楽曲コンテンツの再生曲を、現在歌詞表示中の曲が再生されるように制御する。これによりユーザが歌詞をみて、直ぐにその曲を聴きたいと思った場合に便利な機能を提供できる(図28のステップS235,S265,S266参照)。
 また歌詞テキストに対するタップ操作でも、ユーザが歌詞をみて、直ぐにそのフレーズを聴きたいと思った場合に便利な機能を提供できる(図29のステップS238,S281参照)。
 実施の形態では、CPU71が、所定操作に応じて、関連コンテンツの表示箇所を、楽曲コンテンツの再生箇所に対応する表示箇所に変更する制御を行う例を挙げた。
 例えば同期アイコン61の操作に応じた同期処理として、CPU71は、歌詞表示箇所を、現在再生中の楽曲に対応する箇所に変更する制御を行う。これによりユーザが曲を聴いて、直ぐに歌詞を見たいと思った場合に便利な機能を提供できる(図28のステップS235,S265,S266参照)。
 実施の形態では、CPU71が、所定の操作に応じて、関連コンテンツの一部をハイライト表示させる表示モードと、ハイライト表示を実行させない表示モードを切り替える処理を行う例を挙げた(図28のステップS236,S271,S272参照)。
 楽曲の再生に合わせて対応する歌詞の部分をハイライトさせたり、アーティストのエフェクト設定に応じて歌詞や絵をハイライトさせたりすることで、デジタルコンテンツとしての歌詞ブックレット、歌詞カードの有用性を発揮させることができる。ただし、そのようなハイライトをさせないモードも用意することで、ユーザに紙の歌詞ブックレット等と同等の見方を提供できる。
 実施の形態では、CPU71が、所定の操作に応じて関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させる表示モードと、関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させない表示モードを切り替える処理を行う例を挙げた(図28のステップS231,S251,S252参照)。
 コンテンツ集中モードとして、図17Bのようにユーザインタフェースのための各種のアイコンやガイドを表示させないようにすることができる。このようにすることで純粋に歌詞ブックレット等を見るような体験をユーザに提供できる。
 なお、コンテンツ集中モードではない、通常表示モードにおいてアイコンやガイドを表示させる場合でも、それぞれのアイコンやガイドが、必要時のみに表示されるようにすることで、なるべく歌詞ブックレット等の画像の邪魔にならないようにすることができる。従って表示位置ガイド55、全面フォーカスアイコン56、ページナンバ63などで説明したように、アイコンやガイド等が必要時に一時的に表示されるようにすることが好適である。
 実施の形態では、CPU71が、楽曲コンテンツの再生または関連コンテンツの表示に関するユーザの行動により所定条件の充足を判定することに応じて、充足条件に応じた出力制御を行う例を挙げた(図29のステップS239,S285参照)。
 これにより歌詞ブックレットや歌詞カードがデジタルコンテンツとして提供されることによる効果をユーザに提供できる。例えば上述した再生ギミックとして、通常は表示されない画像や遷移先ページを表示させたり、歌詞ブックレットの内容を変化させたり、隠しページを表示させたりして、紙の歌詞ブックレットではできない体験をユーザに提供できる。
 実施の形態では、CPU71が、所定の操作に応じて、関連コンテンツの表示上で、他人の情報を表示させる処理を行う例を挙げた(図29のステップS240,S291,S292参照)。
 他ユーザやアーティストとの共有モードを用意し、他ユーザに関する情報やアーティスの情報を表示させることで、ユーザにより多様な音楽体験を提供できる。
 上記の他人の情報とは、他人の聴取箇所の情報、他人の嗜好箇所の情報、他人のコメント情報などとした。
 これらの情報を表示させることで、他ユーザやアーティストの当該楽曲や歌詞、アートワーク等に対する思いを共有できる。
 なお、共有モードとして嗜好共有モード、現況共有モード、コメント共有モードを挙げたが、これらの一部のモードが実行されるものでもよい。
 以上のような実施の形態の各種の効果は、端末装置4がアプリケーションプログラムにより、制御部としてのCPU71が図26から図29のような処理を行うことで実現されるものとしたが、本技術では、以上のような制御を行って、ユーザに歌詞ブックレット等の閲覧を可能とする情報処理装置70としては、サーバ装置1も想定できる。例えばサーバ装置1が端末装置4に楽曲データを配信して再生される際などに、サーバ装置1のCPU71が図26から図29と同等の処理を行って歌詞ブックレットの端末装置4での表示を制御するシステム動作も可能である。そのような場合でも、以上述べてきた実施の形態の効果を同様に得ることができる。
 実施の形態のプログラムは、図26から図29のような処理や、図6のような処理を、例えばCPU、DSP(digital signal processor)、AIプロセッサ等、或いはこれらを含む情報処理装置70に実行させるプログラムである。
 即ち実施の形態のプログラムは、楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、関連コンテンツの全体の内で表示中のページを示すページガイド52を表示させる制御を、情報処理装置70に実行させるプログラムである。
 このようなプログラムにより、実施の形態の端末装置4或いはサーバ装置1としての情報処理装置70を、例えばコンピュータ装置、携帯端末装置、その他の情報処理が実行できる機器において実現できる。
 このようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 あるいはまたプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
 またこのようなプログラムによれば、実施の形態の端末装置4或いはサーバ装置1を構成する情報処理装置70の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、これらの機器を、本開示の端末装置4やサーバ装置1として機能する情報処理装置70とすることができる。
 なお実施の形態のプログラムとしては、図6のような処理を情報処理装置70に実行させるプログラムもある。これによりアーティストが歌詞ブックレット等の生成、編集に用いる端末装置3を実現できる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 なお本技術は以下のような構成も採ることができる。
 (1)
 楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う制御部を備えた
 情報処理装置。
 (2)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行う
 上記(1)に記載の情報処理装置。
 (3)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、前記ページガイドにおいて、前記関連コンテンツにおいて歌詞が含まれるページと歌詞が含まれないページを示す表示を実行させる
 上記(1)又は(2)に記載の情報処理装置。
 (4)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、前記ページガイドにおいて、前記関連コンテンツにおいて1つの楽曲の歌詞を掲載したページと複数の楽曲の歌詞を掲載したページを示す表示を実行させる
 上記(1)から(3)のいずれかに記載の情報処理装置。
 (5)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、前記ページガイドにおいて、現在表示中のページと再生中の楽曲の歌詞を掲載したページを示す表示を実行させる
 上記(1)から(4)のいずれかに記載の情報処理装置。
 (6)
 前記制御部は、前記関連コンテンツの1つのページ内で、表示されている位置を示す表示位置ガイドの表示を実行させる制御を行う
 上記(1)から(5)のいずれかに記載の情報処理装置。
 (7)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、前記関連コンテンツのうちで、歌詞の掲載位置に基づいて初期表示位置を設定する
 上記(6)に記載の情報処理装置。
 (8)
 前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、再生楽曲の変化に応じて前記関連コンテンツの表示位置を変更し、前記表示位置ガイドにおいてページ内での表示位置が示されるようにする制御を行う
 上記(6)又は(7)に記載の情報処理装置。
 (9)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、前記表示位置ガイドにおいてページ内での歌詞掲載位置が示されるようにする制御を行う
 上記(6)から(8)のいずれかに記載の情報処理装置。
 (10)
 前記制御部は、前記関連コンテンツの表示範囲においてページ表記が存在しない場合に、ページナンバの表示を実行させる制御を行う
 上記(1)から(9)のいずれかに記載の情報処理装置。
 (11)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、所定操作に応じて、楽曲コンテンツの再生箇所を、前記関連コンテンツの表示箇所に対応する再生箇所に変更する制御を行う
 上記(1)から(10)のいずれかに記載の情報処理装置。
 (12)
 前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
 前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、所定操作に応じて、前記関連コンテンツの表示箇所を、楽曲コンテンツの再生箇所に対応する表示箇所に変更する制御を行う
 上記(1)から(11)のいずれかに記載の情報処理装置。
 (13)
 前記制御部は、所定の操作に応じて、前記関連コンテンツの一部をハイライト表示させる表示モードと、前記ハイライト表示を実行させない表示モードを切り替える処理を行う
 上記(1)から(12)のいずれかに記載の情報処理装置。
 (14)
 前記制御部は、所定の操作に応じて、前記関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させる表示モードと、前記関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させない表示モードを切り替える処理を行う
 上記(1)から(13)のいずれかに記載の情報処理装置。
 (15)
 前記制御部は、前記楽曲コンテンツの再生または前記関連コンテンツの表示に関するユーザの行動により所定条件の充足を判定することに応じて、充足条件に応じた出力制御を行う
 上記(1)から(14)のいずれかに記載の情報処理装置。
 (16)
 前記制御部は、所定の操作に応じて、前記関連コンテンツの表示上で、他人の情報を表示させる処理を行う
 上記(1)から(15)のいずれかに記載の情報処理装置。
 (17)
 前記他人の情報とは、他人の聴取箇所の情報、他人の嗜好箇所の情報、他人のコメント情報のいずれかを含む
 上記(16)に記載の情報処理装置。
 (18)
 情報処理装置が、
 楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う
 情報処理方法。
 (19)
 楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を、情報処理装置に実行させる
 プログラム。
1 サーバ装置
2 データベース
3,4 端末装置
6 ネットワーク
20 編集画面
52 ページガイド
53 ページ送りアイコン
54 ページ戻しアイコン
55 表示位置ガイド
56 全面フォーカスアイコン
57 裏返しアイコン
58 リンクアイコン
59,61 同期アイコン
60 ハイライトアイコン
62 トラックタイトル
63 ページナンバ
64,65 共有モードアイコン
70 情報処理装置
71 CPU
90,91,92,93,94 マーク
100 ページ全域
101 表示範囲

Claims (19)

  1.  楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う制御部を備えた
     情報処理装置。
  2.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行う
     請求項1に記載の情報処理装置。
  3.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、前記ページガイドにおいて、前記関連コンテンツにおいて歌詞が含まれるページと歌詞が含まれないページを示す表示を実行させる
     請求項1に記載の情報処理装置。
  4.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、前記ページガイドにおいて、前記関連コンテンツにおいて1つの楽曲の歌詞を掲載したページと複数の楽曲の歌詞を掲載したページを示す表示を実行させる
     請求項1に記載の情報処理装置。
  5.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、前記ページガイドにおいて、現在表示中のページと再生中の楽曲の歌詞を掲載したページを示す表示を実行させる
     請求項1に記載の情報処理装置。
  6.  前記制御部は、前記関連コンテンツの1つのページ内で、表示されている位置を示す表示位置ガイドの表示を実行させる制御を行う
     請求項1に記載の情報処理装置。
  7.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、前記関連コンテンツのうちで、歌詞の掲載位置に基づいて初期表示位置を設定する
     請求項6に記載の情報処理装置。
  8.  前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、再生楽曲の変化に応じて前記関連コンテンツの表示位置を変更し、前記表示位置ガイドにおいてページ内での表示位置が示されるようにする制御を行う
     請求項6に記載の情報処理装置。
  9.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、前記表示位置ガイドにおいてページ内での歌詞掲載位置が示されるようにする制御を行う
     請求項6に記載の情報処理装置。
  10.  前記制御部は、前記関連コンテンツの表示範囲においてページ表記が存在しない場合に、ページナンバの表示を実行させる制御を行う
     請求項1に記載の情報処理装置。
  11.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、所定操作に応じて、楽曲コンテンツの再生箇所を、前記関連コンテンツの表示箇所に対応する再生箇所に変更する制御を行う
     請求項1に記載の情報処理装置。
  12.  前記関連コンテンツは、対応する楽曲コンテンツの歌詞である文字を含み、
     前記制御部は、楽曲コンテンツの再生時に前記関連コンテンツを表示させる制御を行うとともに、所定操作に応じて、前記関連コンテンツの表示箇所を、楽曲コンテンツの再生箇所に対応する表示箇所に変更する制御を行う
     請求項1に記載の情報処理装置。
  13.  前記制御部は、所定の操作に応じて、前記関連コンテンツの一部をハイライト表示させる表示モードと、前記ハイライト表示を実行させない表示モードを切り替える処理を行う
     請求項1に記載の情報処理装置。
  14.  前記制御部は、所定の操作に応じて、前記関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させる表示モードと、前記関連コンテンツの画像にユーザインタフェースのための画像を重畳表示させない表示モードを切り替える処理を行う
     請求項1に記載の情報処理装置。
  15.  前記制御部は、前記楽曲コンテンツの再生または前記関連コンテンツの表示に関するユーザの行動により所定条件の充足を判定することに応じて、充足条件に応じた出力制御を行う
     請求項1に記載の情報処理装置。
  16.  前記制御部は、所定の操作に応じて、前記関連コンテンツの表示上で、他人の情報を表示させる処理を行う
     請求項1に記載の情報処理装置。
  17.  前記他人の情報とは、他人の聴取箇所の情報、他人の嗜好箇所の情報、他人のコメント情報のいずれかを含む
     請求項16に記載の情報処理装置。
  18.  情報処理装置が、
     楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を行う
     情報処理方法。
  19.  楽曲コンテンツに関連づけられ、文字又はイメージが表示される複数ページで構成される関連コンテンツを表示させるとともに、前記関連コンテンツの全体の内で表示中のページを示すページガイドを表示させる制御を、情報処理装置に実行させる
     プログラム。
PCT/JP2024/020145 2023-06-16 2024-06-03 情報処理装置、情報処理方法、プログラム Pending WO2024257632A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023098924 2023-06-16
JP2023-098924 2023-06-16

Publications (1)

Publication Number Publication Date
WO2024257632A1 true WO2024257632A1 (ja) 2024-12-19

Family

ID=93851845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/020145 Pending WO2024257632A1 (ja) 2023-06-16 2024-06-03 情報処理装置、情報処理方法、プログラム

Country Status (1)

Country Link
WO (1) WO2024257632A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150298A (ja) * 2001-11-13 2003-05-23 Sony Corp 電子ブック、書籍内容表示方法、書籍内容表示プログラム及び書籍内容表示プログラム格納媒体
JP2008537221A (ja) * 2005-04-18 2008-09-11 トムソン ライセンシング 高密度の対話型メディアガイド
JP2010097672A (ja) * 2008-10-20 2010-04-30 Onkyo Corp サービス提供システム
JP5013548B2 (ja) * 2009-07-16 2012-08-29 ソニーモバイルコミュニケーションズ, エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US20130227471A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method of providing information and mobile terminal thereof
US20190155586A1 (en) * 2017-11-20 2019-05-23 Coupa Software Incorporated Customizable project and help building interfaces for deployable software
WO2021248672A1 (zh) * 2020-06-12 2021-12-16 海信视像科技股份有限公司 一种控制按键的自定义设置方法、启动方法及显示设备
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150298A (ja) * 2001-11-13 2003-05-23 Sony Corp 電子ブック、書籍内容表示方法、書籍内容表示プログラム及び書籍内容表示プログラム格納媒体
JP2008537221A (ja) * 2005-04-18 2008-09-11 トムソン ライセンシング 高密度の対話型メディアガイド
JP2010097672A (ja) * 2008-10-20 2010-04-30 Onkyo Corp サービス提供システム
JP5013548B2 (ja) * 2009-07-16 2012-08-29 ソニーモバイルコミュニケーションズ, エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US20130227471A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method of providing information and mobile terminal thereof
US20190155586A1 (en) * 2017-11-20 2019-05-23 Coupa Software Incorporated Customizable project and help building interfaces for deployable software
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
WO2021248672A1 (zh) * 2020-06-12 2021-12-16 海信视像科技股份有限公司 一种控制按键的自定义设置方法、启动方法及显示设备

Similar Documents

Publication Publication Date Title
JP4622535B2 (ja) メディアプレゼンテーションを制作するためのシステム、方法、インターフェース装置、および統合システム
JP3871684B2 (ja) コンテンツ再生装置およびメニュー画面表示方法
US7818658B2 (en) Multimedia presentation system
JP2013536528A (ja) リンクベースのマルチメディアを作成しナビゲートする方法
US20220093132A1 (en) Method for acquiring video and electronic device
US10642463B2 (en) Interactive management system for performing arts productions
US20100287476A1 (en) System and interface for mixing media content
JP2005209196A5 (ja)
JP2007535018A (ja) マルチメディアデジタルコンテンツの視覚化及び制御技術
CN110291787B (zh) 存储介质、终端装置的控制方法、终端装置、以及服务器
WO2006036303A2 (en) Common user interface for accessing media
CN113553466B (zh) 页面展示方法、装置、介质和计算设备
US9122656B2 (en) Interactive blocking for performing arts scripts
US9870134B2 (en) Interactive blocking and management for performing arts productions
JP5891401B2 (ja) 画像編集装置、画像編集方法、およびプログラム
JP4671679B2 (ja) ファイル情報出力装置およびファイル情報出力プログラム
WO2024257632A1 (ja) 情報処理装置、情報処理方法、プログラム
US20240185481A1 (en) Lyrics and karaoke user interfaces, methods and systems
CN112988018B (zh) 多媒体文件输出方法、装置、设备及计算机可读存储介质
JP7277635B2 (ja) イメージに対する音声合成に基づいて映像コンテンツを生成する方法およびシステム
Harnett Learning Articulate Storyline
KR100948290B1 (ko) 멀티미디어 재생 장치 및 그 화면 표시 방법
US7376332B2 (en) Information processing method and information processing apparatus
JP2010039991A (ja) 画像表示方法、画像表示用コンピュータプログラムおよび記録媒体
US20120166981A1 (en) Concurrently displaying a drop zone editor with a menu editor during the creation of a multimedia device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823252

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025527837

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025527837

Country of ref document: JP