KR20020020262A

KR20020020262A - 정보 처리 장치, 시스템 및 방법, 및 기록 매체

Info

Publication number: KR20020020262A
Application number: KR1020010055070A
Authority: KR
Inventors: 곤도데쯔지로; 오따고지
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 2000-09-08
Filing date: 2001-09-07
Publication date: 2002-03-14
Anticipated expiration: 2021-09-07
Also published as: US20060015508A1; EP1197902A3; EP1197902A2; JP2002082977A; US7580955B2; US20020099763A1; US6990489B2; JP4552296B2; KR100846252B1

Abstract

단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 장치가 개시되어 있으며, 이 정보 처리 장치는, 컨텐츠 데이터 기억 장치, 통신 장치, 입력 정보 기억 장치, 해석 장치, 및 처리 장치를 포함한다. 컨텐츠 데이터 기억 장치는 복수의 컨텐츠 데이터를 기억한다. 통신 장치는 컨텐츠 데이터 기억 장치에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하고, 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신한다. 입력 정보 기억 장치는 각 사용자에 대해 통신 장치에 의해 수신된 입력 정보를 기억한다. 해석 장치는 입력 정보 기억 장치에 기억된, 주목 사용자(target user)의 입력 정보와 유사한 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호를 해석한다. 처리 장치는 해석 장치에 의한 해석 결과에 따라서 단말 장치들에 전송해야 할 컨텐츠 데이터를 처리한다.

Description

정보 처리 장치, 시스템 및 방법, 및 기록 매체{INFORMATION PROCESSING APPARATUS, SYSTEM AND METHOD, AND RECORDING MEDIUM}

본 발명은 정보 처리 장치, 시스템 및 방법, 및 기록 매체에 관한 것이다. 특히, 본 발명은 예를 들면 사용자에 대하여 부가 가치가 있는 컨텐츠를 제공하는 것이 가능한 정보 처리 장치 및 정보 처리 방법에 관한 것이다.

예를 들면, 다이렉트 메일과 같은 상품 소개 정보를 개인의 기호 경향에 따라서 작성하고 배포하는 것이 일반적으로 행해지고 있다. 따라서, 종래에는, 예를 들면, 앙케이트로 개인 정보가 수집되고, 그 해석 결과에 기초하여, 개인의 기호 경향이 확인된다.

그러나, 상기 종래의 방법에서는, 정확한 기호 정보를 얻기 위한 질문을 작성하는 것이 곤란하고, 앙케이트의 검사자에 따라서 앙케이트 결과가 달라져서, 정확한 기호 경향을 파악하는 것이 곤란해지는 문제가 있다. 또한, 앙케이트를 작성하고, 그것을 검사하고 해석하는 데에 막대한 시간이 소요되는 문제가 있다.

그러므로, 본 발명의 출원인은, 예를 들면, 일본 특허공개 2000-48046호 공보(특원평1-144505호, 미국 특허출원 09/463425호)에서, 복수의 사용자의 개인 정보로부터 주목 사용자의 개인 정보와 관련도가 높은 개인 정보를 추출하고, 그 개인 정보에 기초하여, CD(Compact Disc) 타이틀의 일람을 생성함으로써, 주목 사용자에게 흥미가 있어 보이는 CD 타이틀의 일람을 제공하는 방법을 이전에 제안한 바 있다.

그러나, 이전 제안 방법에서는, 사용자가 흥미 있어 하는 CD나 서적의 타이틀만이 소개된다. 따라서, 이전 제안 방법에서는, 예를 들어, 사용자에게 그 사용자가 CD 타이틀의 일람으로부터 선택한 CD의 컨텐츠가 제공될 수 있다 하더라도, 모든 사용자에게 CD 상에 기록된 동일 컨텐츠가 제공되는 것이 된다.

즉, 미국 특허출원 09/463425호에는, 각 사용자의 기호를 추정하고 각 사용자의 기호에 적당한 CD 타이틀의 일람을 제공하는 방법이 개시되어 있다. 그러나, CD 상에 기록된 컨텐츠는 사용자의 기호에 상관없이 고정된다.

그러나, 각 사용자의 기호에 따라서 사용자들에게 컨텐츠가 제공될 수 있다면, 컨텐츠에 부가 가치가 부여될 수 있고, 그들 서비스를 이용하는 사용자의 수가 증가할 것이 예상된다.

본 발명은 그러한 상황을 감안하여 이루어졌다. 본 발명의 목적은 부가 가치가 있는 컨텐츠를 제공하는 데 있다.

이를 위하여, 일 국면에서, 본 발명은 단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 장치로서, 복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터 기억 수단; 상기 컨텐츠 데이터 기억 수단에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하고 상기 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신하기 위한 통신 수단; 각 사용자에 대해 상기 통신 수단에 의해 수신된 상기 입력 정보를 기억하기 위한 입력 정보 기억 수단; 상기 입력 정보 기억 수단에 기억된 주목 사용자(target user)의 입력 정보와 유사한 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호를 해석하는 해석 수단; 및 상기 해석 수단에 의한 해석 결과에 따라서 상기 단말 장치에 전송해야 할 컨텐츠 데이터를 처리하기 위한 처리 수단을 포함하는 정보 처리 장치를 제공한다.

다른 국면에서, 본 발명은 정보 처리 장치로서, 컨텐츠 데이터를 사용자 단말에 송신하고 상기 사용자 단말로부터 송신된 사용자 ID 및 상기 컨텐츠 데이터의 일부를 지정하는 식별 정보를 수신하기 위한 통신 수단; 상기 사용자 ID 및 상기 식별 정보를 서로 대응되게 기억하기 위한 식별 정보 데이터베이스; 상기 통신 수단에 의해 수신된 상기 사용자 ID 및 상기 식별 정보를 상기 식별 정보 데이터베이스 내에 등록하기 위한 등록 수단; 상기 식별 정보 데이터베이스 내에 등록된, 복수의 사용자 ID의 상기 식별 정보를 통합하여 기억하기 위한 통합 데이터베이스; 상기 식별 정보 데이터베이스 내에 기억된 주목 사용자 ID에 대응하는 상기 식별 정보와 상기 식별 정보 데이터베이스 내에 기억된, 다른 사용자의 ID에 대응하는 상기 식별 정보를 비교함으로써 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자의 ID를 추출하고, 상기 추출된 유사 사용자 ID에 대응하는 상기 식별 정보 내의 상기 주목 사용자 ID에 대응하는 상기 식별 정보에 고유한 식별 정보를 상기 주목 사용자 ID에 대응하는 상기 식별 정보와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 데이터베이스 내에 기억하기 위한 추출 수단; 상기 통합 데이터베이스 내에 기억된 상기 주목 사용자 ID의 상기 식별 정보에 따라서 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하기 위한 기호 정보 작성 수단; 복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터베이스; 및 상기 컨텐츠 데이터베이스로부터 소정의 간격으로 상기 컨텐츠 데이터베이스 내에 기억된 상기 컨텐츠 데이터를 판독하고, 상기 기호 정보 내에 포함된 상기 식별 정보에 대응하는 컨텐츠 데이터를 처리하고, 상기 가공 컨텐츠 데이터를 상기 통신 수단에 출력하기 위한 컨텐츠 데이터 처리 수단을 포함하는 정보 처리 장치를 제공한다.

본 발명의 상기 및 기타 목적, 국면 및 신규한 특징은 이하의 상세한 설명을 첨부 도면을 참조하여 읽어보면 보다 명확해질 것이다.

도 1은 본 발명을 적용한 네트워크 시스템의 일 실시 형태의 구성예를 도시하는 도면.

도 2는 휴대 단말(1)의 외관 구성예를 도시하는 사시도.

도 3은 휴대 단말(1)의 카메라부(15)를 회전시킨 상태를 도시하는 사시도.

도 4는 휴대 단말(1)의 전기적 구성예를 도시하는 블럭도.

도 5는 컨텐츠 서버(7)의 하드웨어 구성예를 도시하는 블럭도.

도 6a, 6b, 6c는 컨텐츠 서버(7)에 의해 제공되는 전자 서적 데이터를 설명하는 도면.

도 7a, 7b, 7c는 컨텐츠 서버(7)에 의해 제공되는 전자 서적 데이터를 설명하는 도면.

도 8은 컨텐츠 서버(7)에 의해 제공되는 전자 서적 데이터를 설명하는 도면.

도 9a, 9b는 컨텐츠 서버(7)에 의해 제공되는 화상 데이터를 설명하는 도면.

도 10a, 10b는 컨텐츠 서버(7)에 의해 제공되는 화상 데이터를 설명하는 도면.

도 11은 컨텐츠 서버(7)의 기능적 구성예를 도시하는 블럭도.

도 12는 컨텐츠 서버(7)에 의한 사용자 등록 처리를 설명하는 순서도.

도 13은 컨텐츠 서버(7)에 의한 해석 처리를 설명하는 순서도.

도 14는 컨텐츠 서버(7)에 의한 컨텐츠 제공 처리를 설명하는 순서도.

도 15는 전자 서적 데이터를 제공하는 컨텐츠 서버(7)의 기능적 구성예를 도시하는 블럭도.

도 16은 동일 기호 사용자 추출부(86)의 처리를 설명하는 순서도.

도 17은 전자 서적 데이터 처리부(82)의 구성예를 도시하는 블럭도.

도 18은 전자 서적 데이터 처리부(82)의 처리를 설명하는 순서도.

도 19는 화상 데이터를 제공하는 컨텐츠 서버(7)의 제1 기능적 구성예를 도시하는 블럭도.

도 20은 특징 추출부(106)의 처리를 설명하는 순서도.

도 21은 화상 데이터 처리부(102)의 구성예를 도시하는 블럭도.

도 22는 화상 데이터 처리부의 처리를 설명하는 순서도.

도 23은 화상 데이터를 제공하는 컨텐츠 서버(7)의 제2 기능적 구성예를 도시하는 블럭도.

도 24는 근접 프레임 클릭 데이터 추출부(126)의 처리를 설명하는 순서도.

도 25는 화상 데이터 처리부(122)의 구성예를 도시하는 블럭도.

도 26은 화상 데이터 처리부(122)의 처리를 설명하는 순서도.

도 27은 오브젝트 추출부(134)의 구성예를 도시하는 블럭도.

도 28은 동작 오브젝트 화상 및 정지 오브젝트 화상을 추출하는 처리를 설명하는 순서도.

도 29는 정/동 판정 처리를 설명하는 순서도.

도 30은 프레임간 차분을 계산하는 방법을 설명하는 순서도.

도 31은 연속 클릭 판정 처리를 설명하는 순서도.

도 32는 오브젝트 번호를 할당하는 방법을 설명하는 도면.

도 33은 정지 오브젝트 연결 처리를 설명하는 순서도.

도 34는 동작 오브젝트 연결 처리를 설명하는 순서도.

도 35는 오브젝트 연결 추출 처리를 설명하는 순서도.

도 36은 연결 추출 처리를 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1₁내지 1_A: 휴대 단말

2₁내지 2_B: 기지국

3 : 공중 회선망

4₁내지 4_C: WWW 서버

5 : 인터넷

6 : 액세스 서버

7 : 컨텐츠 서버

8 : 관리 제어 장치

도 1은 본 발명이 적용되는 네트워크 시스템("시스템"은 복수의 장치의 논리적 어셈블리를 지칭하며, 각 구성 장치가 동일 하우징에 있는지의 여부는 문제가 되지 않는다)의 일 실시예의 구성예를 도시한다.

복수의 휴대 단말 1₁, 1₂, …, 1_A는 예를 들어 휴대 전화, PHS(개인 핸드폰 시스템)(상표), PDA(개인 휴대 단말) 등으로 형성되며, 이들은 무선 통신을 수행할 수 있다.

기지국 2₁, 2₂, …, 2_B은 통신 서비스 제공 영역이 소정의 크기로 분할되는 셀 내에 각각 배치되는 고정 무선국이다. 동작 무선국인 휴대 단말 1₁, 1₂, …, 1_A는 휴대 단말가 위치하는 셀 내의 기지국에 무선 접속된다.

본 실시예에서, 기지국 2₁내지 2_B(이하 특별히 식별될 필요가 없다면 "기지국(2)"으로 기재함) 및 휴대 단말 1₁내지 1_A(이하 특별히 식별될 필요가 없다면 "휴대 단말(1)"로 기재함) 간에, 광 대역-코드 분할 다중 접속(W-CDMA)에 의해 무선통신이 수행된다. 결과적으로, 휴대 단말(1) 및 기지국(2) 간에, 2 GHz의 주파수 대역을 사용함으로써 최대 2 Mbps의 데이터 전송율로 대용량의 데이터를 고속 교환하는 것이 가능하다. 고속으로의 대용량의 데이터 통신이 이러한 방식으로 가능하기 때문에, 휴대 단말(1)는 음성 전송 뿐만 아니라, 전자 메일의 송수신, 홈페이지의 브라우징, 또는 이미지의 송수신과 같은 다양한 데이터 교환을 수행할 수 있다.

기지국(2)은 유선 회로를 통해 공중 회선망(3)에 접속되고, 인터넷(5), 다수 가입자 유선 단말기(도시되지 않음), 컴퓨터 네트워크, 인트라넷 네트워크 등이 공중 회선망(3)에 접속된다. 또한, 인터넷 서비스 프로바이더가 소지하는 액세스 서버(6) 및 컨텐츠 서버(7)가 또한 공중 회선망(3)에 접속된다.

액세스 서버(6)는 소위 "다이얼-업 접속"에 의해 인터넷(5)으로의 접속 서비스를 제공한다. 컨텐츠 서버(7)는 휴대 단말(1)로부터의 요구에 응답하거나 소위 "푸시형 분배"에 의해 웹 페이지로서 HTML(하이퍼 텍스트 마크업 랭귀지) 포맷의 파일, 전자 서적 데이터, CD에 저장된 곡목의 오디오 데이터, 동영상의 이미지 데이터(이미지/비디오) 등과 같이 다양한 컨텐츠를 제공한다.

대다수의 WWW(월드 와이드 웹) 서버 4₁, 4₂, …, 4_C는 인터넷(5)에 접속되어, 가입자 유선 단말기 및 휴대 단말(1)로부터의 TCP/IP 프로토콜(전송 제어 프로토콜/인터넷 프로토콜)에 따라 이들 WWW 서버 4₁내지 4_C(이하 특별히 식별될 필요가 없다면 "WWW 서버(4)"로 기재함)를 액세스할 수 있다.

여기서, 예를 들어 휴대 단말(1)에서 기지국(2)까지의 섹션에서는 2 Mbps의간략화된 전송 프로토콜에 따라 통신이 수행되고, 기지국(2)에서 인터넷(5)을 통한 WWW 서버(4)까지의 섹션에서는 TCP/IP 프로토콜에 따라 통신이 수행된다.

관리 제어 장치(8)는 공중 회선망(3)에 접속되고, 가입자 유선 단말기 및 휴대 단말(1)에 대해 전화 호출 등의 비용에 대한 과금 처리를 수행한다.

도 2는 도 1의 휴대 단말(1)의 외관 구성예를 도시한다.

특히, 도 2는 예를 들어 휴대 단말(1)가 카메라를 갖춘 디지털 휴대 전화 세트인 경우에서의 외관 구성예를 도시한다. 도 2에서, 휴대 단말(1)는 표시부(12) 및 경계로서 작용하는 중앙에 힌지부(11)와 함께 본체(13)로 분할되고, 힌지부(11)를 통해 접는것이 가능하도록 형성된다.

표시부(12)에서 송수신용 안테나(14)가 들어가게 할 수 있도록 하는 방식으로 그 상단 좌측부에 장착되고, 안테나(14)는 기지국(2)과 무선파를 송수신한다. 또한, 표시부(12)에서, 거의 180도의 각으로 회전가능한 카메라부(15)가 그 상단의 중앙부에 제공된다. 카메라부(15)는 소정 객체의 이미지를 휴대 단말(1)가 포착할 수 있도록, CCD(고체 촬상 소자)를 구비한다.

스피커(17)는 CCD 카메라(16)가 제공되는 카메라부(15) 측의 반대측(후면) 상에 제공된다. 즉, 사용자가 도 2에 도시된 상태로부터 거의 180도까지 카메라부(15)를 돌려 도 3에 도시된 바와 같은 상태로 위치지정을 수행할 때, 카메라부(15)의 후면 중앙에 제공되는 스피커(17)가 정면 상에 위치하고, 이는 상기 상태를 정상 음성 전송이 가능한 상태로 전환될 수 있게 한다.

표시부(12)는 또한 그 정면 상에 액정디스플레이(18)가 제공된다. 액정 디스플레이(18)에, 예를 들어 무선파 수신 상태, 배터리 여분 레벨, 상대방 이름 및 전화번호부에 등록된 전화 번호, 및 통화 내역이 표시된다. 또한, 전자 메일 컨텐츠, 웹 페이지, CCD 카메라(16)에 의해 포착된 이미지, 휴대 단말(1)에 의해 수신된 데이터, 및 추가로 액정 디스플레이(18)의 디스플레이 스크린 상의 소정 위치를 가리키는 커서가 액정 디스플레이(18) 상에 표시된다.

본체(13)는 그 표면 상에 전자 메일 키와 같은 조작 키(19) 뿐만 아니라, "0" 내지 "9"까지의 숫자키, 호출 발생 키, 재다이얼키, 호출 종료 및 전원 키, 삭제 키가 제공된다. 사용자는 이들 조작키(19)를 조작함으로써 다양한 명령을 입력할 수 있다.

또한, 본체(13)는 메모 버튼(10) 및 마이크로폰(21)이 조작 키(19) 아래에 제공된다. 메모 버튼(20)은 음성 전송 동안 상대방의 음성이 기록되도록 할 때 조작된다. 마이크로폰(21)은 음성 전송 동안 사용자의 음성 사운드를 수집한다.

추가적으로, 본체(13)는 본체(13)의 표면으로부터 약간 돌출되도록 하는 방식으로 회전가능 트랙볼(22)이 조작 키(19) 위에 제공된다. 트랙볼(22)이 이러한 조작에 응답하여 회전될 때, 액정 디스플레이(18) 상에 표시된 전화 디렉토리 및 전자 메일 리스트의 스크롤링 조작, 홈 페이지의 페이지 변경 조작, 또는 이미지 개선 조작과 같은 다양한 조작이 수행된다.

또한, 트랙볼(22)은 본체(13)의 내부를 향해 프레싱 조작이 가능하도록 한다. 예를 들어, 트랙볼(22)을 회전시킴으로써, 사용자가 액정 디스플레이(18) 상에 표시된 전화 디렉토리의 다수의 전화 번호 중에서 소정의 전화 전호를 선택하고휴대 단말(1)의 본체(13) 내부로 트랙볼(22)을 누를 때, 선택 전화 번호가 결정되고 호출 발생 처리가 그 전화 번호에 대해 자동 수행된다.

추가적으로, 트랙볼(22)은 액정 디스플레이(18) 상에 표시된 커서가 동작되도록 할 때는 회전되며, 커서가 위치하는 지점이 클릭되도록 할 때는 눌러진다.

본체(13)의 좌측 상의 상부에, 동저자능 "메모리 카드"(23)를 삽입하기 위한 메모리 카드 슬롯(24)이 제공된다. 메모 버튼(20)이 눌러질 때, 음성 전송 동안 상대방으로부터의 음성이 메모리 카드에 기록되거나, 사용자의 조작에 응답하여 전자 메일, 홈 페이지, CCD 카메라(16)에 의해 포착된 이미지, 휴대 단말(1)에 의해 수신된 데이터가 기록된다.

여기서, 메모리 카드(23)는 덮어쓰기 및 소거가 전기적으로 가능한 비휘발성 메모리인 EEPROM(전기적으로 소거가능 및 프로그램가능 판독 전용 메모리)중 하나의 형태인 플래쉬 메모리가 작고 얇은 플라스틱 케이스 내에 저장되어, 이미지 데이터, 오디오 데이터 또는 프로그램과 같은 다양한 형태의 데이터를 기록 및 소거할 수 있도록 한다.

메모리 카드(23)에 대해서는, 예를 들어, 본 발명의 출원인인 소니사에 의해 개발된 메모리 스틱(소니사의 상표)이 채택될 수 있다. 또한, 메모리 카드(23)에 대해서는, 다른 회사의 제품인 SD 메모리 카드, 콤팩트 플래쉬, 스마트 미디어, 멀티미디어 카드, 썸 드라이브(Thumb Drive)(이들 모두는 상표임)가 또한 채택될 수 있다. 또한 예를 들어 반도체 메모리인 메모리 카드(23) 대신에, 마이크로드라이브 및 ID 포맷(이들 둘다 상표임)인 자기 디스크가 또한 채택될 수 있다.

메모리 카드(23)는 메모리 카드 슬롯(24)에 대해 용이하게 착탈가능하다. 결과적으로, 메모리 카드(23)를 통해 다른 전자 장치와 데이터를 용이하게 공유할 수 있다.

본체(13)의 후면 상에, 배터리팩(도시되지 않음)이 삽입된다. 호출 종료 및 전원 키가 턴온되면, 전원이 배터리 팩에서 각 회로부에 공급되어 휴대 단말(1)가 동작할 수 있게 한다.

도 4는 휴대 단말(1)의 전기적 구성예를 도시한다.

휴대 단말(1)는 표시부(12) 및 본체(13)의 각 부를 집중적으로 제어하기 위한 주 제어부(30)에 대해, 전원 회로부(31), 조작 입력 제어부(32), 화상 인코더(33), 카메라 인터페이스부(34), LCD(액정 디스플레이) 제어부(35), 화상 디코더(36), 다중분리부(37), 기록/재생부(42), 모뎀 회로부(38), 오디오 코덱(39)이 메인 버스(40)를 통해 상호접속되고, 화상 인코더(33), 화상 디코더(36), 다중 분리부(37), 모뎀 회로부(38), 및 오디오 코덱(39)이 동기 버스(41)를 통해 상호접속되는 방식으로 구성된다.

호출 종료 및 전원 키가 사용자의 조작에 응답하여 턴 온될 때, 전원 회로부(31)는 휴대 단말(1)가 조작 상태에서 시작하도록 배터리 팩에서 각 부까지 전원을 공급한다.

주 제어부(30)는 CPU(중앙 처리 장치), ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리)(도시되지 않음) 등을 구비한다. ROM에 저장된 프로그램을 CPU에 의해 실행시킴으로써, 다양한 처리가 수행된다.

특히, 주 제어부(30)의 제어하에 휴대 단말(1)는 음성 전송 모드동안 사운드가 마이크로폰(21)에 의해 수집되도록 오디오 신호를 오디오 코덱(39)에 의해 디지털 오디오 데이터로 변환시키고, 모뎀 회로부(38)에 의해 이러한 데이터에 대한 스펙트럼 확산 처리가 수행된다. 또한, 휴대 단말(1)에서, 송수신 회로부(43)에 의해 스펙트럼 확산 처리후의 신호에 대하여 디지털-아날로그 변환 처리 및 주파수 변환 처리가 수행되고, 신호는 안테나(14)를 통해 송신된다.

또한, 휴대 단말(1)에서, 음성 전송 모드 동안 안테나(14)에 의해 수신된 수신 신호는 송수신 회로부(43)에 의해 증폭되고, 신호에 대해 주파수 변환 처리 및 아날로그-디지털 변환 처리가 수행되며, 이러한 신호는 모뎀 회로부(38)에 제공된다. 모뎀 회로부(38)는 송수신 회로부(43)로부터의 신호에 대한 반전 스펙트럼 확산 처리를 수행하고 신호를 오디오 코덱(39)에 공급한다. 오디오 코덱(39)은 모뎀 회로부(38)로부터의 신호를 아날로그 오디오 신호로 변환하고 상기 신호를 스피커(17)에 공급하여, 신호가 출력된다.

추가적으로, 예를 들어 전자 메일과 같은 텍스트 데이터가 전송되도록 할 때, 휴대 단말(1)는 조작 키(19) 및/또는 트랙볼(22)을 조작함으로써 입력된 텍스트 데이터를 조작 입력 제어부(32)를 통해 주 제어부(30)에 보낸다. 주 제어부(30)는 이에 공급되는 텍스트 데이터로 하여금 상술된 음성 전송과 유사한 방식으로 모뎀 회로부(38) 및 송수신 회로부(43)에 의해 처리되도록 하며, 이후 주 제어부(30)는 상기 텍스트 데이터를 안테나(14)를 통해 기지국(2)에 전송한다.

또한, 전자 메일과 같은 텍스트 데이터가 수신되도록 할 때, 휴대 단말(1)에서, 안테나(14)를 통해 기지국(2)으로부터 수신된 수신 신호가 음성 전송 동안의 경우와 유사한 방식으로 송수신 회로부(43) 및 모뎀 회로부(38)에 의해 처리되어 수신 신호가 텍스트 데이터로서 복원되도록 하며, 이후 데이터는 LCD 제어부(35)를 통해 액정 디스플레이(18)에 공급되어, 데이터가 전자 메일로서 표시된다.

추가적으로, 휴대 단말(1)에서, 예를 들어 화상 데이터가 전송되도록 할 때, CCD 카메라(16)에 의해 포착된 화상 데이터는 카메라 인터페이스부(34)를 통해 화상 인코더(33)에 공급된다. 화상 인코더(33)는 CCD 카메라(16)로부터 공급되는 화상 데이터를 선정된 코딩 방법에 의해 압축 코딩시킴으로써 코딩된 화상 데이터로 변환시키고, 이 데이터를 다중 분리부(37)에 보낸다. 동시에, 휴대 단말(1)는 CCD 카메라(16)에 의해 사진이 찍히는 동안 마이크로폰(21)에 의해 수집된 사운드를 디지털 오디오 데이터로서 오디오 코덱(39)을 통해 다중 분리부(37)에 보낸다. 다중 분리부(37)는 화상 인코더(33)로부터 제공된 코딩된 화상 데이터 및 오디오 코덱(39)으로부터 제공된 오디오 데이터를 선정된 방법에 의해 다중화한다. 이렇게 구해진 다중화된 데이터는 모뎀 회로부(38) 및 송수신 회로부(43)에 의해 처리되어, 안테나(14)를 통해 송신된다.

CCD 카메라(16)에 의해 상술된 방식으로 사진을 찍음으로써 구해진 화상 데이터는 화상 데이터가 표시되도록 카메라 인터페이스부(34) 및 LCD 제어부(35)를 통해 액정 디스플레이(18)에 동시에 제공될 수 있다.

예를 들어, 화상 데이터가 수신되도록 할 때, 휴대 단말(1)에서, 안테나(14)를 통해 기지국(2)으로부터 수신된 수신 신호는 송수신 회로부(43) 및 모뎀회로부(38)에 의해 처리되어, 이렇게 얻어진 다중화 데이터는 다중 분리부(37)에 송신된다. 다중 분리부(37)는 다중화 데이터를 코딩된 화상 데이터 및 오디오 데이터로 다중분리하고, 코딩된 화상 데이터를 화상 디코더(36)에 공급하며, 오디오 데이터를 동기 버스(41)를 통해 오디오 코덱(39)에 공급한다. 화상 디코더(36)는 선정된 코딩 방법에 대응하는 디코딩 방법에 의해 코딩된 화상 데이터를 디코딩하여, 재생 동화상 데이터를 생성시키고, LCD 제어부(35)를 통해 상기 데이터를 액정 디스플레이(18)에 공급하여, 데이터가 표시된다. 오디오 코덱(39)은 여기에 공급되는 오디오 데이터를 아날로그 오디오 신호로 변환시키고, 상기 신호를 스피커(17)에 공급하여 신호가 출력된다.

추가적으로, 휴대 단말(1)는 컨텐츠 서버(7)가 푸시형에 의해 분배되는 전자 서적의 데이터, 및 영화와 같은 화상 데이터(동화상)와 같은 컨텐츠를 수신하는 것이 가능하다. 물론, 휴대 단말(1)은 전자 서적 데이터, 영화와 같은 비디오/화상 데이터, 및 음성 및 음악을 포함하는 오디오 데이터를 기록/재생부(42)를 통해 메모리 카드(23) 및 내장 메모리(도시되지 않음)에 다운로드할 수 있다.

다음, 도 5는 도 1의 컨텐츠 서버(7)의 하드웨어 구성의 일례를 나타내는 도면이다.

입출력 인터페이스(60)가 버스(51)를 통해 CPU(52)에 접속된다. 키보드, 마우스, 마이크로폰 등으로 구성된 입력부(57)가 인터넷 서비스 제공자의 관리자에 의해 조작된 결과로서 입출력 인터페이스(60)를 통해 명령이 입력될 때, CPU(52)는 이 명령에 따라 ROM(53)에 저장된 프로그램을 실행한다. 또는, CPU(52)는 하드 디스크(55)에 저장된 프로그램, 위성 또는 통신망으로부터 전송되고 통신부(58)에 의해 수신되어 하드 디스크(55)에 설치된 프로그램, 또는 드라이브(59)에 삽입된 제거가능한 기록 매체(61)로부터 판독되어 하드 디스크(55)에 설치된 프로그램을 RAM(54)에 로딩하여 프로그램을 실행한다. 결과적으로, CPU(52)는 순서도에 따라 처리를 실시하거나(후술됨), 블럭도의 구성에 따라 처리를 실시한다(후술됨). 이어서, CPU(52)는 예컨대 필요에 따라 LCD, 스피커 등으로 구성된 출력부(56)로부터 입출력 인터페이스(60)를 통해 처리 결과를 출력하거나, 통신부(58)로부터 처리 결과를 전송하며, 또한 처리 결과가 하드 디스크(55)에 기록되도록 한다.

본 명세서에서, 컨텐츠 서버(7)가 각종 처리를 실시하도록 하기 위한 프로그램을 기술하는 처리 단계들은 순서도에 설명된 시퀀스로부터 반드시 시간 순으로 실시될 필요는 없으며, 병렬 또는 개별적으로도(예컨대 병렬 처리 또는 객체 기반 처리) 실시되는 처리를 포함한다.

또한, 프로그램은 컨텐츠 서버(7)에 의해서만 처리될 수 있으며, 컨텐츠 서버(7)를 포함한 다수의 컴퓨터에 의해 분배 처리될 수도 있다. 더욱이, 프로그램은 원격 컴퓨터로 전송되어 그에 의해 실행될 수도 있다.

여기서, 프로그램은 컨텐츠 서버(7)에 포함된 기록 매체인 하드 디스크(55) 및 ROM(53)에 미리 저장될 수 있다.

대안으로, 프로그램은 플로피 디스크, CD-ROM, 자기 광학(MO) 디스크, DVD, 자기 디스크 또는 반도체 메모리와 같은 소거가능 기록 매체(61)에 일시적으로 또는 영구적으로 저장(기록)될 수 있다. 이러한 소거가능 기록 매체는 통상적인 패키지 매체로서 제공될 수 있다.

전술한 바와 같은 소거가능 기록 매체(61)로부터 컨텐츠 서버(7) 안으로 설치되는 외에, 프로그램은 디지탈 위성 방송용의 인공 위성을 통해 다운로드 사이트로부터 무선 방식으로 컨텐츠 서버(7)로 전송되거나, LAN 또는 인터넷과 같은 통신망을 통해 유선 방식으로 컨텐츠 서버(7)로 전송될 수 있으며, 컨텐츠 서버(7)에서, 상기 방식으로 전송되는 프로그램은 통신부(58)에 의해 수신될 수 있고, 그 안에 구비된 하드 디스크(105)에 설치될 수 있다.

전술한 바와 같이, 컨텐츠 서버(7)는 예컨대 푸시 타입의 분배, 즉 방송에 의해 휴대 단말(1)에 전자 서적의 데이터 및 영화의 화상 데이터와 같은 컨텐츠를 제공한다. 제공되는 컨텐츠는 복수의 휴대 단말(1₁내지 1_A) 각각으로부터 전송되는 각 사용자의 사용자 입력 정보에 따라 제어된다. 또한, 푸시 타입 분배은 사용자 데이터그램 프로토콜/인터넷 프로토콜(UDP/IP)에 따라 통신망 회선을 통해 스트리밍함으로써 컨텐츠 데이터를 분배시키는 형태를 포함한다.

보다 구체적으로, 도 1에서 예컨대 전자 서적의 데이터가 복수의 휴대 단말(1₁내지 1_A) 중에서 주목받고 있는 주목 사용자의 휴대 단말(1)(이하 "주목 휴대 단말(1)라 한다)로 공급될 때, 먼저 예컨대 각 전자 서적의 서적명, 작자 및 출판사만이 액세스 서버(6), 공중망(3) 및 기지국(2)을 통해 주목 휴대 단말(1)로 제공된다.

이 경우, 주목 휴대 단말(1)에서는 예컨대 도 6a에 도시된 바와 같이 각 전자 서적의 서적명, 작자 및 출판사가 액정 표시장치(18) 상에 표시된다. 또한, 주목 휴대 단말(1)가 아닌 다른 휴대 단말(1)에도 동일한 내용이 표시된다.

복수의 휴대 단말(1₁내지 1_A) 각각에서, 도 6a에 도시된 표시가 행해지는 동안, 휴대 단말(1₁내지 1_A) 각각의 사용자가 트랙볼(22)을 클릭함으로써 사용자가 원하는 전자 서적의 표시부를 선택할 때, 주 제어부(30)(도 4)는 선택된 전자 서적을 특정하는 정보를 사용자로부터의 사용자 입력 정보로서 전송하도록 모뎀 회로부(38) 및 송수신 회로부(43)를 제어한다. 즉, 결과적으로 사용자 입력 정보는 기지국(2), 공중망(3) 및 액세스 서버(6)를 통해 컨텐츠 서버(7)로 전송된다.

컨텐츠 서버(7)는 상기 방식으로 복수의 휴대 단말(1₁내지 1_A) 각각으로부터 전송된 각 사용자의 사용자 입력 정보에 기초하여 주목 사용자의 기호를 추정하고, 이렇게 추정된 기호에 기초하여 주목 사용자에게 제공될 전자 서적의 데이터를 처리한다.

보다 구체적으로, 컨텐츠 서버(7)는 제공될 전자 서적의 데이터로부터 주목 사용자가 관심이 없을 것으로 추정되는 서적에 관한 데이터를 삭제한다. 더욱이, 컨텐츠 서버(7)는 주목 사용자가 관심이 있을 것으로 추정되는 서적의 컨텐츠의 일부를 제공될 전자 서적의 데이터에 추가한다. 그리고 나서, 컨텐츠 서버(7)는 상기 처리가 행해지는 전자 서적의 데이터를 주목 사용자의 주목 휴대 단말(1)에 제공한다.

결과적으로, 휴대 단말(1)에는 예컨대 도 6b에 도시된 바와 같이 주목 사용자가 관심이 있는 책만의 서적명, 작자 및 출판사, 및 이 책의 컨텐츠의 일부가 액정 표시장치(18) 상에 표시된다. 또한, 주목 휴대 단말(1)가 아닌 다른 휴대 단말(1)에도 각 사용자가 관심 있는 서적에 대하여 동일한 표시가 이루어진다.

이후, 컨텐츠 서버(7)는 주목 사용자의 기호를 계속 추정하여 보다 관심있는 것으로 추정되는 서적에 관해 그 서적의 모든 컨텐츠를 제공한다.

결과적으로, 주목 휴대 단말(1)에는 예컨대 도 6c에 도시된 바와 같이 주목 사용자가 보다 관심있는 서적만의 서적명, 작자 및 출판사, 및 그 서적의 모든 컨텐츠가 액정 표시장치(18) 상에 표시된다. 또한, 주목 휴대 단말(1)가 아닌 다른 휴대 단말(1)에도 각 사용자가 관심있는 서적에 대하여 동일한 표시가 이루어진다.

여기서, 전술한 경우에 컨텐츠 서버(7)는 주목 사용자의 기호를 추정하여 사용자가 관심있을 것으로 추정되는 서적만에 대한 전자 서적의 데이터를 주목 사용자에게 제공하지만, 다른 서적에 대한 전자 서적의 데이터도 주목 사용자에게 제공될 수 있다. 즉, 컨텐츠 서버(7)가 전자 서적의 데이터를 갖고 있는 서적들 중에서 주목 사용자가 관심 있는 것으로 추정되는 서적에 대해서는 도 6b 및 6c에 설명된 것과 같은 전자 서적의 데이터가 제공되며, 나머지 서적에 대해서는 전자 서적의 서적명, 작자 및 출판사만의 데이터가 제공될 수 있다.

더욱이, 컨텐츠 서버(7)는 주목 사용자의 추정된 기호에 따라 예컨대 서적의 컨텐츠를 나타내는 문자가 도 7a에 도시된 것과 같은 디폴트 사이즈로부터 도 7b에 도시된 것과 같은 더 큰 문자로 변경되는 전자 서적의 데이터를 제공하는 것이 가능하게 된다. 또한, 컨텐츠 서버(7)는 예컨대 도 7c에 도시된 바와 같이 주목 사용자의 추정된 기호에 따라 전자 서적의 서적명, 저자 및 출판사, 및 삽화, 작자의 사진 및 서적의 표지 사진이 그 서적의 모든 컨텐츠에 포함되어 있는 전자 서적의 데이터를 제공하는 것도 가능하게 된다.

또한, 도 8에 도시된 바와 같이, 컨텐츠 서버(7)는 주목 사용자의 추정된 기호에 기초하여 주목 사용자가 관심있는 것으로 추정되는 서적의 리스트(추천 서적의 리스트)를 생성하고, 이 리스트를 포함하도록 변경되는 전자 서적의 데이터를 주목 사용자에게 제공하는 것도 가능하게 된다.

전술한 경우에, 컨텐츠 서버(7)에서 전자 서적의 데이터가 제공되고, 또한 다른 컨텐츠에 대해 각 사용자에게 제공될 컨텐츠는 복수의 사용자로부터의 사용자 입력 정보에 따라 제어된다.

보다 구체적으로, 예컨대 컨텐츠 서버(7)로부터 복수의 휴대 단말(1₁내지 1_A)에 화상 데이터가 제공될 때, 먼저 예컨대 도 9a에 도시된 바와 같이 전체적으로 낮은 해상도(또는 표준 해상도)를 가진 화상 데이터가 제공된다.

도 9a에 도시된 저해상도 화상 데이터가 복수의 휴대 단말(1₁내지 1_A) 각각에 표시되고 있는 경우, 휴대 단말(1₁내지 1_A) 각각의 사용자가 트랙볼(22)을 클릭함으로써 사용자가 원하는 오브젝트의 표시부를 선택할 때, 주 제어부(30, 도 4)는 선택된 표시부를 특정하는 정보를 사용자로부터의 사용자 입력 정보로서 컨텐츠 서버(7)로 전송하도록 모뎀 회로부(38) 및 송수신 회로부(43)를 제어한다.

컨텐츠 서버(7)는 상기 방식으로 복수의 휴대 단말(1₁내지 1_A) 각각으로부터 전송된 각 사용자의 사용자 입력 정보에 기초하여 주목 사용자의 기호를 추정하고, 이렇게 추정된 기호에 기초하여 주목 사용자에게 제공될 화상 데이터를 처리한다.

즉, 컨텐츠 서버(7)는 제공될 화상 데이터 내에서 주목 사용자가 관심 있을 것으로 추정되는 영역의 해상도를 향상시키고, 이러한 방식으로 해상도가 향상된 화상 데이터를 주목 사용자의 주목 휴대 단말(1)에 제공한다.

결과적으로, 주목 휴대 단말(1)에서, 예컨대 도 9b에 도시된 바와 같이, 주목 사용자가 관심 있는 오브젝트의 표시부의 해상도가 향상된 화상 데이터가 액정 표시장치(18)에 표시된다. 또한, 주목 휴대 단말(1)가 아닌 다른 휴대 단말(1)에서도 각 사용자가 관심 있는 오브젝트에 대해 동일한 표시가 행해진다.

예컨대 도 10a에 도시된 바와 같이 오브젝트들이 분리되지 않은 화상 데이터가 컨텐츠 서버(7)로부터 복수의 휴대 단말(1₁내지 1_A)에 제공되는 경우, 휴대 단말(1₁내지 1_A) 각각의 사용자가 트랙볼(22)을 클릭함으로써 사용자가 원하는 오브젝트의 표시부를 선택할 때, 주 제어부(30, 도 4)는 선택된 표시부를 특정하는 정보를 사용자로부터의 사용자 입력 정보로서 컨텐츠 서버(7)에 전송하도록 모뎀 회로부(38) 및 송수신 회로부(43)를 제어한다.

컨텐츠 서버(7)는 상기 방식으로 복수의 휴대 단말(1₁내지 1_A) 각각으로부터 전송되는 복수의 사용자의 사용자 입력 정보에 기초하여 주목 사용자에게 제공되는 화상 데이터로부터 오브젝트를 추출함으로써 화상 데이터를 오브젝트(전경)와 배경으로 분리하고, 도 10b에 도시된 바와 같이 오브젝트의 코딩을 실시하여 데이터를 주목 사용자의 주목 휴대 단말(1)에 제공한다.

주목 휴대 단말(1)에서, 오브젝트 코딩 화상 데이터를 형성하는 오브젝트 및 배경이 결합되어 도 10a에 도시된 것과 같은 화상이 표시되며, 오브젝트들이 분리되어 있는 화상 데이터가 주목 사용자에게 제공되어 주목 사용자가 오브젝트들을 재사용하는 것이 가능하게 된다.

이어서, 도 11은 도 6a 내지 10에 도시된 바와 같은 컨텐츠가 휴대 단말(1)에 제공되는 경우에 도 5의 컨텐츠 서버(7)의 기능적인 구성의 일례를 나타낸다. 이러한 기능적 구성은 하드 디스크(55)에 설치된 프로그램을 실행하는 CPU(52)에 의해 컨텐츠 서버(7)에서 구현된다.

컨텐츠 데이터베이스(71)가 휴대 단말(1)에 제공될 컨텐츠를 저장한다.

컨텐츠 가공부(72)가 컨텐츠 데이터베이스(71)로부터 휴대 단말(1)로 제공될 컨텐츠를 판독하여 검색부(78)로부터 공급되는 해석 정보에 따라 컨텐츠를 가공한다. 그 다음, 컨텐츠 가공부(72)는 가공된 컨텐츠(이하 '가공 컨텐츠' 함)를 송/수신 제어부(73)에 공급한다.

송/수신 제어부(73)는 가공 컨텐츠를 푸시 타입 분배에 의해 컨텐츠 가공부(72)에서 휴대 단말(1)로 전송한다. 또한, 송/수신 제어부(73)는 사용자 단말기(1)로부터 전송된 사용자 입력 정보를 수신하여 이를 등록부(74)에 공급한다. 또한, 송/수신 제어부(73)는 사용자 등록을 위한 데이터의 송수신도 행한다.

등록부(74)는 송/수신 제어부(73)로부터 공급된 사용자 입력 정보를 사용자입력 정보 데이터베이스(75)에 공급하여 사용자 입력 정보를 등록한다. 더욱이, 등록부(74)는 사용자 ID 및 패스워드의 발행과 같은 사용자 등록을 위한 처리도 행한다. 또한, 등록부(74)는 필요에 따라, 휴대 단말(1)의 사용자를 특정하는 사용자 ID를 과금 처리부(79)에 공급한다.

사용자 입력 정보 데이터베이스(75)는 사용자 입력 정보를 전송한 휴대 단말의 사용자의 사용자 ID에 대응하는 방식으로 등록부(74)로부터 공급된 사용자 입력 정보를 저장한다.

해석부(76)는 사용자 입력 정보 데이터베이스(75)에 저장된 복수의 사용자의 입력 정보를 해석하여 주목 사용자의 기호와 같은 해석 정보를 만들고, 주목 사용자의 사용자 ID에 대응하여 해석 정보를 해석 정보 데이터베이스(77)에 공급한다.

해석 정보 데이터베이스(77)는 해석부(76)로부터 공급된 해석 정보 및 사용자 ID를 임시 저장한다.

검색부(78)는 해석 정보 데이터베이스(77)로부터 주목 사용자의 사용자 ID에 대응하도록 만들어진 해석 정보를 검색하여 이 해석 정보를 컨텐츠 가공부(72)에 공급한다.

과금 처리부(79)는 사용자 입력 정보 데이터베이스(75)에 저장된 사용자 ID의 사용자에 대한 과금 처리를 행한다. 컨텐츠 서버(7)에 의해 사용자에게 제공된 서비스는 그 컨텐츠에 따라 유료 또는 무료로 될 수 있다. 사용자 입력 정보 데이터베이스(75)에서, 사용자가 유료 서비스를 수신하는 사용자(유료 사용자)인지 무료 서비스를 수신하는 사용자(무료 사용자)인지에 관한 유료/무료 정보가 각 사용자의 사용자 ID에 대응하는 방식으로 등록될 수 있다. 이 경우, 과금 처리부(79)는 유료 사용자에 대해서만 과금 처리를 행한다. 여기서, 과금 처리부(79)는 사용자 ID(사용자의 은행 계좌 번호 등), 컨텐츠 서버(7)를 관리하고 사용자에게 서비스를 제공하기 위한 서비스 제공자 ID(서비스 제공자의 은행 계좌 번호 등), 및 요금으로 이루어진 과금 정보를 외부 결제 센터로 전송하기 위한 기능을 가질 수 있다.

이상과 같이 구성되는 컨텐츠 서버(7)에서는, 컨텐츠 서버(7)가 제공하는 서비스를 받기 위한 사용자 등록 처리, 사용자 입력 정보 데이터베이스(75)에 기억된 사용자 입력 정보를 해석하기 위한 해석 처리, 사용자(휴대 단말 (1))에의 푸시형에 의한 컨텐츠 제공 처리 등이 행해진다.

즉, 도 12는, 컨텐츠 서버(7)가 행하는 사용자 등록 처리를 설명하는 순서도이다.

사용자 등록 처리에서는, 휴대 단말(1)로부터, 사용자 등록의 요구가 발생하면, 단계 S1에 있어서, 송/수신 제어부(73)가, 사용자 등록에 필요한 정보(이하, "등록 정보"라 함)를 사용자가 입력하는, 예를 들면 HTML 등으로 기술된 사용자 등록 화면을, 사용자 등록의 요구가 있는 휴대 단말(1)로 송신한다.

이 사용자 등록 화면은, 휴대 단말(1)로 수신되어, 액정 디스플레이(18)상에 표시된다. 그 후, 사용자가, 액정 디스플레이(18)상에 표시된 사용자 등록 화면에 대하여, 사용자의 성명이나, 대금인출을 위한 계좌 번호 혹은 크레디트 카드 번호, 그 밖의 필요한 등록 정보를 입력하여, 그 등록 정보가, 휴대 단말(1)로부터 컨텐츠 서버(7)로 송신되면, 송/수신 제어부(73)는, 단계 S2에 있어서, 휴대 단말(1)로부터 송신되어 오는 등록 정보를 수신하여, 등록부(74)에 공급한다. 등록부(74)는, 등록 정보를 수신하면, 단계 S3에 있어서, 고유한 사용자 ID와 패스워드를 발행하여, 단계 S4으로 진행한다.

단계 S4에서는, 등록부(74)가, 사용자 입력 정보 데이터베이스(75)에, 새로운 엔트리를 생성하여(등록 정보를 송신하여 온 사용자의 사용자 입력 정보를 기억하기 위한 기억 영역을 확보함), 단계 S3에서 발행한 사용자 ID 및 패스워드가, 송/수신 제어부(73)로부터의 등록 정보에 대응되는 방식으로 그 엔트리에 등록한다.

그 후, 등록부(74)는, 발행한 사용자 ID와 패스워드를, 송/수신 제어부(73)에 공급하여, 송/수신 제어부(74)는, 단계 S5에 있어서, 등록부(74)로부터의 사용자 ID와 패스워드를, 등록 정보를 송신하여 온 휴대 단말(1)에 송신하여, 사용자 등록 처리를 종료한다.

사용자 ID와 패스워드를 수신한 휴대 단말(1)에서는, 예를 들면, 주 제어부(30)에 의해, 그 사용자 ID와 패스워드가 기억되어, 필요한 경우에, 컨텐츠 서버(7)로 송신된다.

다음에, 도 13의 순서도를 참조하여, 해석부(76)에 의해 실행되는, 사용자 입력 정보 데이터베이스(75)에 기억된 사용자 입력 정보를 해석하는 해석 처리에 대하여 설명한다.

컨텐츠 서버(7)가 제공하는 컨텐츠에 대하여, 휴대 단말 1₁내지 1_A각각의 사용자가, 도 6a 내지 도 10에 설명한 바와 같이, 트랙볼(22)을 클릭하면, 휴대 단말 1₁내지 1_A는, 그 클릭된 컨텐츠의 부분을 나타내는 정보를, 사용자 입력 정보로서, 주 제어부(30)에 등록된 사용자 ID와 함께, 컨텐츠 서버(7)로 송신한다. 이 사용자 입력 정보와 사용자 ID는, 컨텐츠 서버(7)의 송/수신 제어부(73)에 의해 수신되어, 등록부(74)로 공급된다. 등록부(74)는, 송/수신 제어부(73)로부터의 사용자 입력 정보를, 그것에 대응되고 있는 사용자 ID에 대응하는, 사용자 입력 정보 데이터베이스(75)의 엔트리에 등록한다.

해석부(76)는, 이상과 같이하여, 1 이상의 사용자 입력 정보가 사용자 입력 정보 데이터베이스(75)에 주목 사용자로 등록되도록 순차적으로 사용자들을 가정함으로써 해석 처리를 행한다.

즉, 단계 S11에서는, 해석부(76)는, 주목 사용자의 사용자 입력 정보를, 사용자 입력 정보 데이터베이스(75)로부터 판독하고, 그 사용자 입력 정보에 관련된, 다른 사용자의 사용자 입력 정보를 사용자 입력 정보 데이터베이스(75)로부터 추출한다. 그리고, 단계 S12로 진행하여, 해석부(76)는, 주목 사용자의 사용자 입력 정보와, 단계 S11에서 추출한 사용자 입력 정보를 통합하여 해석 정보로 하여, 주목 사용자의 사용자 ID와 대응하는 방식으로, 해석 정보 데이터베이스(77)에 해석 정보를 등록하고, 해석 처리를 종료한다.

다음으로, 도 14의 순서도에 대하여, 단계 S21에서, 컨텐츠를 주목 사용자의주목 휴대 단말(1)로 제공하는 컨텐츠 제공 과정을 설명한다.

컨텐츠 제공 과정의 초기에는 단계 S21에서, 검색부(78)는 해석 정보 데이터베이스(77)로 부터 주목 사용자의 사용자 ID에 대응시키는 해석정보를 검색하여 컨텐츠 가공부(72)로 제공한다. 단계 S22에서, 컨텐츠 가공부(72)는 소정의 스케쥴 정보에 일치하는 컨텐츠를 컨텐츠 데이터베이스(71)로부터 판독하여, 그 컨텐츠를 검색부(78)로부터의 해석 정보에 기초하여 가공한다.

컨텐츠 가공부(72)는 가공 결과로서 얻어진 가공된 컨텐츠를 송/수신 제어부(73)로 공급한다. 단계 S23에서, 송/수신 제어부(73)는 가공된 컨텐츠를 푸쉬 타입으로 컨텐츠 가공부(72)로부터 주목 사용자의 주목 휴대 단말(1)로 송신하여, 컨텐츠 제공 과정을 완료한다.

다음으로, 도 15는 컨텐츠로서 전자 서적의 데이터를 제공하는 컨텐츠 서버(7)의 기능적인 구성의 일례를 보인다. 여기서, 사용자 등록 처리와 빌링 처리는 도 11의 경우와 동일하기 때문에, 그 설명은 생략한다.

도 15의 컨텐츠 서버(7)에서, 전자 서적 데이터베이스(81), 전자 서적 데이터 처리부(82), 송/수신 제어부(83), 등록부(84), 기호 데이터베이스(85), 동일 기호 사용자 추출부(86), 통합 기호 데이터베이스(87), 및 기호 정보 검색부(88)는 각기, 도 11의 컨텐츠 데이터베이스(71), 컨텐츠 가공부(72), 송/수신 제어부(73), 등록부(74), 사용자 입력 정보 데이터베이스(75), 해석부(76), 해석정보 데이터베이스(77), 및 검색부(78)에 대응한다.

더우기, 전자 서적 데이터베이스(81)은 전자 서적 데이터로서, 각 서적별로,서적명, 저자, 출판사, 내용, 및 그 밖의 다른 데이터를 저장하고 있다. 전자 서적 데이터 처리부(82)는 그 전자 서적 데이터를 전자 서적 데이터베이스(81)로부터 판독하여, 기호 정보 검색부(88)로부터의 기호 정보에 기초하여 가공하고, 가공한 데이터를 송/수신 제어부(83)로 공급한다.

송/수신 제어부(83)는, 전자 서적 데이터 처리부(82)로부터의 전자 서적 데이터를 푸쉬 타입으로 휴대 단말(1)로 송신한다. 또한, 송/수신 제어부(83)는, 휴대 단말(1)에서 수신된 사용자 입력 정보로서 클릭 데이터와, 휴대 단말(1)의 사용자에게 발행된 사용자 ID를 수신한다.

더우기, 휴대 단말(1)에서, 도 6a 내지 도 8에서 설명한 바와 같이, 컨텐츠 서버(7)로부터 제공된 전자 서적 데이터가 디스플레이된다. 휴대 단말(1)의 사용자가 디스플레이된 전자 서적 데이터 중에서 관심있는 디스플레이 부분을, 트랙볼(22)을 클릭하는 것과 같은 방식으로 클릭하면, 휴대 단말(1)은, 전자 서적 데이터를 특정하는 정보가 클릭이 이루어지고 있다는 것을 보여주는 클릭 데이터에 포함되도록 하는 클릭이 일어나도록 하며, 그 데이터를 주 제어부(30)에 기억되어 있는 사용자 ID에 대응시켜 컨텐츠 서버(7)로 송신한다. 송/수신 제어부(83)는, 이러한 방식으로 휴대 단말(1)로부터 송신되는 클릭 데이터와 사용자 ID를 수신하여, 등록부(84)로 공급한다.

등록부(84)는, 송/수신 제어부(83)로부터의 클릭 데이터에 기초하여, 사용자가 클릭함으로써 선택되었던, 전자 서적 데이터로 서적을 인식하며, 그 서적을 특정하기 위한 정보로서, 예를 들어, ISBN 코드를 송/수신 제오부(83)로부터의 클릭데이터에 대응하는 사용자 ID에 대응하여 기호 데이터베이스(85)의 엔트리로 등록한다. 기호 데이터베이스(85)는 이러한 방식으로 등록부(84)로부터 공급된 ISBN 코드를 기억한다.

"ISBN 코드"는 JIS X 0305에 의해 표준화된 국제 표준 도서번호이다. ISBN 코드는 특정 출판사에서 출판한 서적이나 서적의 판(version)을 식별한다.

동일 기호 사용자 추출부(86)는, 주목 사용자와 동일한 기호를 갖는 다른 사용자를 추출한다. 즉, 동일 기호 사용자 추출부(86)는 기호 데이터베이스(85)의 주목 사용자의 엔트리와 다른 사용자의 엔트리를 비교하여, 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와 일치하는 ISBN 코드가 소정 수 이상 등록되어 있는, 다른 사용자의 엔트리를 추출한다. 그 다음, 동일 기호 사용자 추출부(86)는, 그 추출한 다른 사용자의 엔트리에 등록되어 있는 ISBN 코드와, 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와의 AND를 계산함으로써 ISBN 코드들을 통합하여, 주목 사용자의 사용자 ID와 대응하는 코드를 만들고 이 코드를 통합 기호 데이터베이스(87)에 공급하여 기억시킨다.

따라서, 이 경우, 통합 기호 데이터베이스(87)에는, 주목 사용자가 흥미를 갖는다고 생각되는 사용자에 의해 직접 선택된 서적의 ISBN 코드와 함께, 그 ISBN 코드에 의해 특정되는 서적을 선택한 다른 사용자가 선택한 서적의 ISBN 코드도, 주목 사용자의 사용자 ID와 대응하도록 동일한 방법으로 등록된다.

보다 상세하게는, 주목 사용자에 의해 직접 선택된 서적과 동일한 소정 개수 이상의 서적을 선택한 다른 사용자가 주목 사용자와 동일한 기호를 갖는다고 추측한다. 따라서, 이와 같이 사용자가 선택한 서적은, 주목 사용자도 흥미를 갖는다고 예측할 수 있기 때문에, 동일 기호 사용자 추출부(86)는, 상술된 바와 같은 방법으로 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와 일치하는 소정 개수의 ISBN 코드를 등록한 다른 사용자의 엔트리를 추출하고, 그 추출한 다른 사용자의 엔트리에 등록되어 있는 ISBN 코드와 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와의 AND를 계산함으로써 코드들을 통합하여, 이 코드를 통합 기호 데이터베이스(87)에 등록한다.

여기서는, 주목 사용자와 다른 사용자에 의해 선택된 동일한 서적의 개수에 기초하여 주목 사용자와 다른 사용자기 동일한 기호를 갖는지의 여부를 판정하도록 하였지만, 주목 사용자와 다른 사용자가 동일한 기호를 갖는지의 여부는, 기타, 예를 들면, 주목 사용자와 다른 사용자에 의해 선택된 서적의 장르 등을 종합적으로 고려하여 판정할 수도 있다. 즉, 예를 들어, 주목 사용자와 다른 사용자에 의해 선택된 서적의 장르, 저자, 출판사 등에 대하여 히스토그램을 작성하고, 그 히스토그램에 기초하여, 주목 사용자와 다른 사용자가 동일한 기호를 갖는 지의 여부를 판정할 수 있다.

통합 기호 데이터베이스(87)는, 동일 기호 사용자 추출부(86)로부터 공급되는 ISBN 코드와 사용자 ID와의 세트를 통합 기호 정보로서 기억한다. 기호 정보 검색부(88)는 주목 사용자의 통합 기호 정보를 통합 기호 데이터베이스(87)로부터 검색하여, 그 통합된 기호 정보를 전자 서적 데이터 처리부(82)에 공급한다.

다음은, 도 16의 순서도를 참조하여, 도 15의 동일 기호 사용자 추출부(86)의 처리에 대하여 설명한다.

우선 최초로, 단계 S31에 있어서, 동일 기호 사용자 추출부(86)는 기호 데이터베이스(85)의 주목 사용자의 엔트리와 다른 사용자의 엔트리를 비교하고, 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와 일치하는 소정 개수 이상의 ISBN 코드들이 등록되어 있는 엔트리의 사용자를, 주목 사용자와 동일한 기호를 갖는 사용자로서 추출한다.

그 다음, 처리를 단계 S32로 진행하여, 동일 기호 사용자 추출부(86)가 단계 S31에서 추출된 사용자의 엔트리에 등록되어 있는 ISBN 코드와 주목 사용자의 엔트리에 등록되어 있는 ISBN 코드와의 AND를 계산하여 통합하고, 통합되기 전의 ISBN 코드의 개수(이하, 적절하게, 중복 수라 함)를 통합 결과 얻어진 각각의 ISBN 코드에 부가한다.

보다 상세하게는, 예를 들면, 주목 사용자 UserO와 동일한 기호를 갖는 사용자로서 3명의 사용자 Userl, User2, User3이 추출된 경우, 주목 사용자 User0의 엔트리에 등록되어 있는 ISBN 코드들이 code0, codel, code2; 사용자 User1의 엔트리에 등록되어 있는 ISBN 코드들이 code0, codel, code2, code3; 사용자 User2의 엔트리에 등록되어 있는 ISBN 코드들이 codel, code2, code3; 사용자 User3의 엔트리에 등록되어 있는 ISBN 코드들이 codel, code2, code3, code4이라고 하면, 동일 기호 사용자 추출부(86)는 주목 사용자를 포함하는 4명의 사용자의 엔트리에 등록되어 있는 ISBN 코드를 통합함으로써, code0, codel, code2, code3, code4로 한다. 또한, 동일 기호 사용자 추출부(86)는, code0에 2를, code1에 4를, code2에 4를,code3에 3을, code4에 1을 각각 중복 수로서 부가한다.

그리고, 동일 기호 사용자 추출부(86)는 중복 수(number of duplicates)가 부가된 ISBN 코드를 주목 사용자의 사용자 ID에 대응하여 발생시키고, 통합 기호 데이터베이스(87)에 공급하여, ISBN 코드를 기억시키고, 처리를 종료한다.

또, 동일 기호 사용자 추출부(86)는 사용자 ID가 기호 데이터베이스(85)에 등록되어 있는 사용자 전부를 시퀀스내에서, 주목 사용자로 가정하여 처리한다.

다음으로, 도 17은 도 15의 전자 서적 데이터 처리부(82)의 구성예를 도시한다.

스케쥴러(91)는 전자 서적 데이터를 푸시형(push type)으로 분배하는 스케쥴링을 행하고, 그 스케쥴링 결과에 기초하여, 전자 서적 데이터 판독부(92)를 제어한다. 전자 서적 데이터 판독부(92)는 스케쥴러(91)의 제어하에서, 전자 서적 데이터베이스(81)로부터 송신하여야 할 전자 서적 데이터를 판독하여, 데이터 선택부(93)에 공급한다. 데이터 선택부(93)는 기호 정보 검색부(88)로부터 공급되는 통합 기호 정보에 따라서, 전자 서적 데이터 판독부(92)로부터의 전자 서적 데이터를 취사 선택하여 출력한다.

이상과 같이 구성되는 전자 서적 데이터 처리부(82)에서는, 도 18의 순서도에 도시한 바와 같이, 우선, 단계 S41에 있어서, 전자 서적 데이터 판독부(92)는 스케쥴러(91)의 제어하에서, 전자 서적 데이터베이스(81)로부터 송신하여야 할 전자 서적 데이터를 판독하여, 데이터 선택부(93)에 공급한다. 그리고, 단계 S42에 진행하여, 데이터 선택부(93)는 기호 정보 검색부(88)로부터 공급되는 통합 기호정보에 기초하여, 전자 서적 데이터 판독부(92)로부터의 전자 서적 데이터를 취사 선택한다.

보다 구체적으로, 데이터 선택부(93)는 기호 정보 검색부(88)로부터 통합 기호 정보로서 공급되는 사용자 ID에 대응된 ISBN 코드의 중복 수를 가정하고, 그 ISBN 코드에 의해서 특정되는 서적에 대한 주목 사용자의 흥미의 정도에 따라, 전자 서적 데이터 판독부(92)로부터의 전자 서적 데이터를 취사 선택한다.

구체적으로, 데이터 선택부(93)는 주목 사용자가 매우 흥미가 있다고 추정되는 서적의 전자 서적 데이터에 대해서는, 예를 들면, 그 전부를 선택하여 출력한다. 또한, 데이터 선택부(93)는 주목 사용자가 조금 흥미가 있다고 추정되는 전자 서적 데이터에 대해서는, 예를 들면, 그 서적명, 저자, 출판사, 및 내용의 일부만을 선택하여 출력한다. 또한, 데이터 선택부(93)는 주목 사용자가 거의 흥미가 없다고 추정되는 전자 서적 데이터에 대해서는, 예를 들면, 그 서적명, 저자, 및 출판사만을 선택하여 출력한다. 또한, 데이터 선택부(93)는 주목 사용자가 전혀 흥미가 없다고 추정되는 전자 서적 데이터에 대해서는, 예를 들면, 일체 출력하지 않는다.

이에 따라, 전자 서적 데이터는 도 6a, 6b, 및 6c에서 설명하였던 것과 같이, 주목 사용자의 주목 휴대용 단말(1)에 제공된다.

그리고 나서, 단계 S41에 되돌아가고, 이하, 동일한 처리가 반복된다.

통합 기호 정보내의 중복 수의 최대치가 작은 경우에는, 주목 사용자에 대하여, 충분한 수의 클릭 데이터가 기호 데이터베이스(85)에 등록되어 있지 않다고 생각되지만, 이 경우에는, 데이터 선택부(93)가 디폴트 처리를 행하게 할 수 있다. 즉, 이 경우에는, 전자 서적 데이터 판독부(92)로부터 공급되는 모든 전자 서적 데이터에 대하여, 데이터 선택부(93)가 예를 들면, 그 서적명, 저자, 및 출판사만을 선택하여 출력시키도록 할 수 있다.

이상과 같이, 컨텐츠 서버(7)에서는, 주목 사용자의 기호가, 주목 사용자로부터의 클릭 데이터 뿐만 아니라, 같은 기호를 갖는 사용자로부터의 클릭 데이터를 가미하여 인식된다. 그리고, 주목 사용자가 흥미가 있는 서적에 대해서는, 전체 내용을 포함하는 전자 서적 데이터가 주목 사용자에게 제공되고, 너무 흥미가 없는 서적에 대해서는, 내용의 일부를 포함하는 전자 서적 데이터나, 내용을 일체 포함하지 않은 전자 서적 데이터가 주목 사용자에게 제공된다.

따라서, 동일한 기호를 갖는 사용자로부터의 클릭 데이터에 기초하여, 주목 사용자의 기호를 신속하게 추정하여, 주목 사용자의 기호에 적절한 형태로 전자 서적 데이터를 제공할 수 있다. 또한, 주목 사용자는 흥미가 있는 서적의 표시부분을 단지 트랙볼(22)로 클릭함으로써, 주목 사용자에게 흥미가 있는 서적에 대하여, 보다 상세한 전자 서적 데이터를 얻을 수 있다.

다음에, 도 19는 컨텐츠로서 영화 등의 동화상의 화상 데이터를 제공하는 컨텐츠 서버(7)의 제1 기능적 구성예를 나타내고 있다.

도 19의 컨텐츠 서버(7)에 있어서, 화상 데이터베이스(101), 화상 데이터 처리부(102), 송/수신 제어부(103), 등록부(104), 클릭 위치 데이터베이스(105), 특징 추출부(106), 특징 데이터베이스(107), 특징 검색부(108)는 도 11에 있어서의컨텐츠 데이터베이스(71), 컨텐츠 가공부(72), 송/수신 제어부(73), 등록부(74), 사용자 입력 정보 데이터베이스(75), 해석부(76), 해석 정보 데이터베이스(77), 검색부(78)에 각각 대응하고 있다.

더욱 구체적으로, 화상 데이터베이스(101)는 영화 등의 동화상의 화상 데이터를 기억하고 있다. 화상 데이터 처리부(102)는 화상 데이터베이스(101)로부터 화상 데이터를 판독하여, 그 화상 데이터를, 특징 검색부(108)로부터의 특징에 기초하여 가공해서, 송/수신 제어부(103)에 공급한다.

송/수신 제어부(103)는 화상 데이터 처리부(102)로부터의 화상 데이터를 푸시형으로 휴대 단말(1)에 송신한다. 또한, 송/수신 제어부(103)는 휴대 단말(1)로부터 송신되어 오는 사용자 입력 정보로서의 클릭 데이터와 사용자 ID를 수신한다.

더욱 구체적으로, 휴대 단말(1)에 있어서는, 도 9에서 설명한 바와 같이, 컨텐츠 서버(7)로부터 제공되는 화상 데이터가 표시된다. 휴대 단말(1)의 사용자가, 그와 같은 방식으로 표시되는 화상 데이터 중 자신의 흥미가 있는 표시 부분을 트랙볼(22)을 조작하여 클릭하면, 휴대 단말(1)은 클릭이 행해진 것을 나타내는 클릭 데이터에, 그 클릭이 행해진 화상 데이터의 시간 및 공간의 위치를 특정하는 정보를 포함시키고, 데이터를 주 제어부(30)에 기억되어 있는 사용자 ID와 대응시켜, 컨텐츠 서버(7)에 송신한다. 송/수신 제어부(103)는 이러한 방식으로 휴대 단말(1)로부터 송신되어 오는 클릭 데이터와 사용자 ID를 수신하여, 등록부(104)에 공급한다.

등록부(104)는 송/수신 제어부(103)로부터의 클릭 데이터로부터, 사용자가클릭함으로써 선택한 화상 데이터의 시간적 및 공간적 위치, 즉 사용자가 클릭한 화상 데이터의 식별자와, 화상 데이터의 프레임 넘버와, 그 프레임 넘버에 있어서의 좌표를 인식한다. 그 다음, 등록부(104)는 클릭 위치 정보로서, 송/수신 제어부(103)로부터의 클릭 데이터에 대응되어 있는 사용자 ID에 대응하는 클릭 위치 데이터베이스(105)의 엔트리에 화상 데이터 식별자, 프레임 넘버, 및 공간 좌표를 등록한다. 클릭 위치 데이터베이스(105)는 등록부(104)로부터 이러한 방식으로 공급되는 클릭 위치 정보를 기억한다.

특징 추출부(106)는 클릭 위치 데이터베이스(105)에 기억된 복수의 사용자에 대한 클릭 위치 정보에 기초하여, 주목 사용자의 흥미를 끄는 화상 데이터의 영역의 특징을 인식한다.

더욱 구체적으로, 특징 추출부(106)는 클릭 위치 데이터베이스(105)에 등록되어 있는 클릭 위치 정보에 의해 나타내는 위치(클릭 위치)를 중심으로 하는 소 영역의 화상 데이터를 화상 데이터베이스(101)로부터 판독하여, 그 특징을 추출한다. 여기서, 소 영역의 화상 데이터의 특징의 예는 그 소 영역에서의 색과 동작, 그 소 영역에 표시된 물체의 종류(예를 들면, 인간, 자동차 등), 액티비티 등을 포함한다.

특징 추출부(106)는 클릭 위치를 중심으로 하는 소 영역의 화상 데이터에 대하여, 예를 들면, 복수의 특징을 추출하고, 더 나아가 주목 사용자의 클릭 위치를 중심으로 하는 소 영역의 화상 데이터의 특징 중의 한 종류 이상과 유사한 특징이 획득되는 다른 사용자를 추출한다. 그러면, 특징 추출부(106)는 추출된 사용자의클릭 위치에서 획득된 특징 중에서 주목 사용자의 클릭 위치에서 획득된 특징과 유사하지 않은 특징을 주목 사용자의 클릭 위치에서 획득된 특징으로서 추가하고, 이 특징이 주목 사용자의 사용자 ID 에 대응하도록 하고, 이 특징을 특징 데이터베이스(107)에 공급하여 기억시킨다.

따라서, 이 경우에, 특징 데이터베이스(107)에는 주목 사용자가 흥미가 있다고 하여 자신이 직접 선택한 화상 데이터의 특징과 함께, 이 특징과 유사한 특징의 화상 데이터를 선택한 다른 사용자가 선택한 화상 데이터의 특징이 주목 사용자의 사용자 ID 에 대응하는 방식으로 특징 데이터베이스(107)에 등록된다.

더 자세히 말하면, 주목 사용자가 직접 선택한 화상 데이터의 특징과 유사한 특징의 화상 데이터를 선택한 다른 사용자는 주목 사용자의 것과 동일한 기호도를 나타내는 것으로 추정된다. 따라서, 이와 같은 사용자가 선택한 특징의 화상 데이터는 주목 사용자에게도 흥미가 있는 것으로 추정되기 때문에 특징 추출부(106)는, 상술된 바와 같이, 주목 사용자의 클릭 위치의 특징과 유사한 특징의 위치를 클릭한 다른 사용자를 추출하고, 그 추출된 다른 사용자가 클릭한 클릭 위치에서의 특징을 주목 사용자의 엔트리에 등록된 클릭 위치의 특징에 추가하고 이 특징을 특징 데이터베이스(107)에 등록한다.

특징 데이터베이스(107)는 특징 추출부(106)로부터 공급되는 특징과 사용자 ID 로 구성된 세트를 기억한다. 특징 검색부(108)는 주목 사용자의 사용자 ID 에 대응하도록 된 특징을 특징 데이터베이스(107)로부터 검색하고 이 특징을 화상 데이터 처리부(102)에 공급한다.

다음에, 도 20의 순서도를 참조하여 도 19의 특징 추출부(106)의 처리에 대하여 설명한다.

우선 최초로 특징 추출부(106)는, 단계 S51에서, 클릭 위치 데이터베이스(105)에 등록된 클릭 위치를 중심으로 하는 소 영역의 화상 데이터를 화상 데이터베이스(101)로부터 판독하여 그 특징을 추출한다. 그리고, 처리는 단계 S52로 진행하여, 특징 추출부(106)는 주목 사용자의 클릭 위치를 중심으로 하는 소 영역의 화상 데이터의 특징 중의 한 종류 이상과 유사한 특징이 획득된 다른 사용자를 추출하고, 단계 S53으로 진행한다. 단계 S53에서는, 특징 추출부(106)는 추출된 사용자에 대하여 획득된 특징을 주목 사용자에 대하여 획득된 특징으로서 추가하고, 이 특징이 주목 사용자의 사용자 ID에 대응하도록하고, 특징 데이터베이스(107)에 이 특징을 공급하여 기억시키고, 처리를 종료한다.

특징 추출부(106)는 클릭 위치 데이터베이스(105)에 사용자 ID가 등록되어 있는 사용자 전부를 주목 사용자라고 순차적으로 가정하여 처리를 행한다.

다음에, 도 21은 도 19의 화상 데이터 처리부(102)의 한 구성예를 나타내었다.

스케쥴러(111)는 화상 데이터를 푸시형(push type)으로 배분하는 스케쥴링을 행하고, 이 스케쥴링 결과에 기초하여 화상 데이터 판독부(112)를 제어한다. 화상 데이터 판독부(112)는 스케쥴러(111)의 제어 하에서 화상 데이터베이스(101)로부터, 송신하여야 할 화상 데이터를 판독하고, 이 화상 데이터를 특징 추출부(113) 및 해상도 변환부(115)에 공급한다. 특징 추출부(113)는 화상 데이터 판독부(112)로부터의 화상 데이터를 소 영역들로 구분하고, 각 소 영역에 대하여 도 19의 특징 추출부(106)와 마찬가지의 처리를 행함으로써 그 특징을 추출하고, 이 특징을 특징 근사 영역 검출부(114)에 공급한다. 특징 근사 영역 검출부(114)는 특징 추출부(113)로부터 공급되는 특징 중에서 (도 19의) 특징 검색부(108)에 의해 공급되는, 주목 사용자에 대한 특징과 근사(유사)한 것을 검출하고, 이 근사한 특징을 갖는 화상 데이터의 영역을 특정하는 영역 정보를 해상도 변환부(115)에 공급한다. 해상도 변환부(115)는 화상 데이터 판독부(112)로부터 공급되는 화상 데이터의 영역 중에서 특징 근사 영역 검출부(114)에 의해 공급되는 영역 정보에 의해서 특정된 영역의 해상도를 고해상도로 변환하고, 이 고 해상도 정보를 출력한다.

이상과 같이 구성되는 화상 데이터 처리부(102)에서는, 도 22의 순서도에 도시한 바와 같이, 우선 최초로, 단계 S61에 있어서, 화상 데이터 판독부(112)는, 스케쥴러(111)의 제어 하에서, 화상 데이터베이스(101)로부터, 송신하여야 할 화상 데이터를 판독하고, 상기 화상 데이터를 특징 추출부(113)와 해상도 변환부(115)에 공급한다. 그 후, 단계 S62에 있어서, 특징 추출부(113)는, 화상 데이터 판독부(112)로부터의 화상 데이터를 소 영역으로 구분하고, 각 소 영역의 특징을 추출하여, 특징 근사 영역 검출부(114)에 공급한다. 특징 근사 영역 검출부(114)는, 단계 S63에 있어서, 특징 추출부(113)로부터 공급되는 특징의 중에서, 특징 검색부(108)(도 19)로부터 공급되는 주목 사용자에 대한 특징에 근사하는 것을 검출하여, 그 근사하는 특징을 갖는 화상 데이터의 영역을 특정하는 영역 정보를, 해상도 변환부(115)에 공급한다. 그리고, 단계 S64에 있어서, 해상도 변환부(115)는,화상 데이터 판독부(112)로부터 공급되는 화상 데이터로부터, 특징 근사 영역 검출부(114)로부터 공급되는 영역 정보에 의해서 특정되는 영역을 인식하고, 그 영역의 해상도를 고해상도로 변환하고, 고해상도 정보를 출력한다. 대안으로서, 이와 대조적으로, 해상도 변환부(115)는 지정된 영역 이외의 영역을 서브샘플링(subsampling)에 의해 저해상도로 변환할 수도 있다.

이에 따라, 주목 사용자의 주목 휴대 단말(1)에는, 도 9a 및 도 9b에서 설명하였던 것 같은 형태로, 화상의 데이터가 제공된다.

그 후는, 단계 S61에 되돌아가, 이하, 동일한 처리가 반복된다.

이상과 같이, 컨텐츠 서버(7)에서는, 주목 사용자의 기호가, 주목 사용자로부터의 클릭 데이터뿐만 아니라, 같은 기호를 갖는 사용자로부터의 클릭 데이터도 가미하여 인식된다. 그리고, 주목 사용자가 흥미를 갖는 물체 등이 표시되어 있는 화상 데이터에 대해서는, 그 물체가 표시되어 있는 영역의 해상도가 고해상도로 변환되고, 상기 영역 이외의 영역은 저해상도로 변환되어, 주목 사용자에게 제공된다.

따라서, 같은 기호를 갖는 사용자로부터의 클릭 데이터에 기초하여, 주목 사용자의 기호를, 신속하게 추정하여, 주목 사용자의 기호에 부합하는 형태로 화상 데이터를 제공할 수 있다. 또한, 주목 사용자는, 흥미가 있는 물체 등의 표시부분을, 트랙볼(22)로 클릭하는 것만으로, 그 흥미가 있는 물체에 대하여, 보다 고해상도의 화상 데이터를 얻을 수 있다.

여기서, 사용자에게는, 그 사용자가 화상 상의 특정 위치를 클릭한 경우에,그 클릭 위치에 대응하고, 클릭 후에 송신될 프레임의 위치를 포함하는 영역의 해상도를 고해상도로 변환하고, 사용자에게 고해상도 정보를 제공하는 것이 가능하다.

또한, 이 경우, 주목 사용자가 클릭한 화상 상의 위치와 시공간적으로 가까운 화상 상의 위치를 클릭한 다른 사용자를, 주목 사용자와 같은 기호를 갖는 것으로 하고 추출하는 것이 가능하다. 그리고, 주목 사용자와 같은 기호를 갖는 다른 사용자(이하, 적절하게, 동일 기호 사용자라 함)가, 그 후에 화상 상의 특정 위치를 클릭한 경우에는, 주목 사용자가 클릭을 행하고 있지 않더라도, 동일 기호 사용자가 클릭한 위치에 대응하는, 그 후에 송신될 프레임의 위치를 포함하는 영역의 해상도를 고해상도로 변환하여, 고해상도 정보를 주목 사용자에게 제공하는 것이 가능하다.

이 경우, 같은 기호를 갖는 복수의 사용자 중의 1 이상이, 화상 상의 특정 위치를 클릭하면, 그 1 이상의 사용자에게 대하여, 소정의 영역의 해상도가 높게 된 화상이 제공되는 것뿐만 아니라, 같은 기호를 갖는 다른 사용자에게 대하여도, 마찬가지로, 소정의 영역의 해상도가 높게 된 화상이 제공되게 된다. 또한, 이 경우, 컨텐츠 서버(7)에서는, 클릭을 행한 사용자에게 제공하는 것과 동일한 화상을, 같은 기호를 갖는 다른 사용자에게 제공하는 것으로 충분하다. 따라서, 송신할 화상의 특징을 추출하지 않아도 되지 때문에, 처리 부담을 경감할 수 있다.

해상도 변환부(115)에서 해상도를 변화시킬 때, 본 발명의 응용에 의해 이전에 제안되었던 클래스 분류 적응 처리가 적용될 수 있다.

클래스 분류 적응 처리는 클래스 분류 처리와 적응 처리로 이루어진다. 클래스 분류 처리는 그 특성에 기초된 데이터를 분류하고, 각 클래스에 대해 적응할 수 있는 처리를 행하고, 그 적용할 수 있는 처리는 하기에서 설명되는 바와 같은 기술 처리이다.

보다 구체적으로 말하면, 적응 처리에서 예를 들어, 표준-해상도 혹은 저-해상도 화상(SD(표준 밀도) 화상)(이후로는 적용 가능한 부분에서 "SD 화상"이라 부르기로 함)을 형성하는 화소와, 소정의 예측 계수와의 선형 조합을 사용함으로써, SD 화상의 해상도가 향상되는 고 해상도 화상(HD(높은 밀도) 화상) 화소의 기대 값이 결정되고, 그에 따라 SD 화상의 해상도가 향상된다.

구체적으로, 예를 들면 특정 HD 화상이 선생님(teacher) 데이터이고 HD 화상이 열화되는 해상도가 학생(student) 데이터라고 가정하면, 여러 SD 화소(SD 화상을 형상하는 화소)의 화소 값 x1, x2,.. 셋트와, 소정의 예측 계수 w1, w2,...와의 선형 조합에 의해 결정되는 1차 선형 조합 모델을 사용하여 HD 화상을 형성하는 화소(이후로는 "HD 화소"로 함)의 화소값의 예측치 E[y]을 결정하도록 고려된다. 이 경우, 예측치 E[y]는 하기의 식에 의해 표현될 수 있다.

수학식 1을 일반화하기 위해, 예측 계수 W_j의 집합으로 구성되는 행렬 W, 학생 데이터 x_ij의 집합으로 구성되는 행렬 X, 및 예측치 E[y]의 집합으로 구성되는행렬 Y'가 하기의 식에 기초하여 정의되면,

다음과 같은 관측 방정식이 성립한다.

여기서, 행렬 x의 성분 x_ij는 i번째 학생 데이터(학생 데이터 셋트는 i번째 교사 데이터 y_i를 예측하는 데 사용됨) 셋트내의 j번째 학생 데이터를 가리키며, 행렬 W의 성분 W_j는 학생 데이터 셋트내의 j번째 학생 데이터를 갖는 프로덕트(product)가 계산되는 예측 계수를 가리킨다. 또한, y_i는 i번째 교사 데이터를 가리킨다. 수학식 1의 좌측에서의 y는 행렬 Y의 첨자 i가 생략된 것이다. 또한, 수학식 1의 우측의 x₁, x₂,...는 행렬 X의 성분 x_ij의 첨자 i가 생략된 것이다.

그 후, HD 화소의 화소값 y에 근접한 예측치 E[y]를 결정하기 위해, 관측(observation) 방정식에 최소 제곱 방법(least square method)이 적용된다.이 경우, 행렬 Y가 piHD 화소-교사 데이터임-의 참 화소 값 y 셋트로 구성되면 HD 화소의 화소 값 y에 대한 예측치 E[y]의 나머지(residual) e로 구성된 행렬 E는 하기와 같이 정의된다

하기와 같은 나머지 방정식은 수학식 2에 기초하여 적용될 수 있다.

이 경우, HD 화소의 화소 값 y에 근사한 예측치 E[y]를 결정하기 위한 예측 계수 w_j는 제곱 오차를 최소화함으로써 결정될 수 있다.

따라서, 예측 계수 w로 미분된 상술된 제곱 오차가 0이 되면, 하기의 식을 만족하는 예측 계수 w_j는 HD 화소의 화소 값 y에 근사한 예측치 E[y]를 검출하기 위한 최적의 값이 된다.

따라서, 우선 예측 계수 w_j로 수학식 3을 미분함으로써, 하기의 방정식이 유도될 수 있다.

수학식 4와 수학식 5에 기초하여 수학식 6을 얻을 수 있다.

또한, 학생 데이터 x_ij, 예측 계수 w_j, 교사 데이터 y_i, 수학식 3의 오차 수학식의 오차 e_i사이의 관계를 고려하면, 다음과 같은 정규화된 수학식이 수학식 6을 기초하여 얻어질 수 있다.

행렬 A 및 벡터 v가 다음과 같이 정의되고,

벡터 W가 수학식 1과 같이 정의되면, 수학식 7에 보인 정규화된 수학식은 다음과 같이 표현될 수 있다.

수학식 7의 각 정규화된 수학식은 일정한 수만큼 학생 데이터 x_ij및 교사 데이터 y_i세트를 마련하여 결정될 예측 계수 w_j의 수 J와 동일한 수에 의해 공식화될 수 있다. 그러므로, 수학식 8을 벡터 W에 대해 풀면(그러나, 수학식 8을 풀기 위해서는 수학식 8의 행렬 A가 정규적이어야 함) 최적의 예측 계수 w_j가 결정될 수 있다. 수학식 8을 풀 때, 예를 들면, 스위핑-아웃(sweeping-out) 방법("가우스 조르단(Gauss-Jordan)"의 소거법) 등이 사용될 수 있다.

상술한 방식에서, 최적 예측 계수 w_j가 미리 결정되고, 예측 계수 w_j가 수학식 1에 기초하여 HD 화소의 화소값 y에 근사한 예측값 E[y]을 결정하기 위해 사용되는 적응 처리이다.

본 명세서에서, 적응 처리는, 예를 들면 SD 화상에 포함되지 않고 HD 화상에는 포함된 성분을 재생하는 단순한 보간화 처리와 다르다. 즉, 적응 처리에서는 수학식 1만을 고려하면, 소위 보간화 필터를 사용하는 보간화 처리와 동일한 것처럼 보인다. 그러나, 보간화 필터의 탭 계수와 동등한 예측 계수 w가 교사 데이터 y를 사용하여 소위 학습에 의해 결정되므로, HD 화상에 포함된 성분은 재생될 수 있다. 이 사실로부터, 적응 처리는 소위 화상 생성(해상도생성) 동작을 구비한 처리라 할 수 있다.

본 명세서에서, 주목 사용자가 관심있는 영역의 해상도가 개선되기도 하지만, 부가적으로 화상 데이터베이스(101)에 고해상도의 화상 데이터를 미리 저장하고 저대역 통과 필터를 사용하여 주목 사용자가 관심있는 영역과 다른 화상 데이터의 해상도를 감소시킴으로써 주목 사용자가 관심있는 영역의 해상도를 상대적으로 개선할 수도 있다. 또한, 주목 사용자에게 개선된 해상도를 갖는 화상 데이터 자체보다는 등급화 적응 처리에 의해 해상도를 개선하기 위한 예측 계수를 제공하고 휴대용 단말(1)에서 예측 계수를 사용하여 등급화 적응 처리를 수행하여 화상 데이터의 해상도를 개선시키는 것도 가능하다.

다음으로, 도 23은 컨텐츠로서 영화와 같은 동화상 화상 데이터를 제공하는컨텐츠 서버(7)의 제2 기능 구성예를 도시하는 도면이다. 도 19의 경우에 대응되는 도 23의 구성요소는 동일한 참조 부호를 부여하고 이에대한 설명은 생략하기로 한다.

도 23의 컨텐츠 서버(7)에서, 화상 데이터 처리부(122), 근접 프레임 클릭 데이터 추출부(126), 근접 프레임 클릭 데이터베이스(127), 근접 프레임 클릭 데이터 검색부(128)는 각각 도 11의 컨텐츠 가공부(72), 해석부(76), 해석 정보 데이터베이스(77), 검색부(78)에 대응된다.

구체적으로, 화상 데이터 처리부(122)는 화상 데이터베이스(101)로부터 화상 데이터를 판독하고, 근접 프레임 클릭 데이터 검색부(128)로부터의 클릭 데이터에 따라 화상 데이터를 처리하고, 송/수신 제어부(103)로 이 데이터를 공급한다.

근접 프레임 클릭 데이터 추출부(126)는 클릭 위치 데이터베이스(105)에 저장된 복수의 사용자의 클릭 데이터로부터 주목 사용자에 대해 클릭 데이터에 의해 지시된 클릭 위치에 시간상 근접한 프레임에 대한 데이터를 추출한다. 또한, 근접 프레임 클릭 데이터 추출부(126)는 주목 사용자에 대한 클릭 데이터에 추출된 클릭 데이터를 부가하고, 클릭 데이터가 주목 사용자의 사용자 ID에 대응되게 하여 그 데이터를 근접 프레임 클릭 데이터베이스(127)로 공급하여, 그 데이터를 저장한다.

그러므로, 이 경우, 사용자에 의해 직접 선택되었던 화상 데이터 내의 클릭 위치를 나타내는 클릭 데이터와 함께, 그 클릭 위치에 근접한 프레임에서 다른 사용자에 의해 선택된 화상 데이터 내의 클릭 위치를 나타내는 클릭 데이터가, 근접 프레임 클릭 데이터베이스(127) 내에서 해당 사용자의 사용자 ID에 대응하도록 등록된다.

전술한 바와 같이, 근접 프레임 클릭 데이터베이스(127)는 근접 프레임 클릭 데이터 추출부(126)로부터 공급된 클릭 데이터의 세트와 사용자 ID를 저장하고, 근접 프레임 클릭 데이터베이스(127)로부터 해당 사용자의 사용자 ID에 대응하게 되는 클릭 데이터를 검색하고, 클릭 데이터를 화상 데이터 처리부(122)에 공급한다.

다음으로, 도 24의 순서도를 참조하여, 도 23의 근접 프레임 클릭 데이터 추출부(126)의 처리가 설명된다.

우선, 단계 S71에서, 근접 프레임 클릭 데이터 추출부(126)는 클릭 위치 데이터베이스(105)로부터 해당 사용자의 클릭 데이터(해당 사용자의 사용자 ID에 대응하게 되는 클릭 데이터)를 판독하고, 상기 클릭 데이터에 의해 지정되는 클릭 위치에 시간상 가까운 위치가 등록되도록 하는 클릭 데이터에 대한 사용자를 추출한다. 그 다음, 처리는 단계 S72로 진행하여, 근접 프레임 클릭 데이터 추출부(126)는 해당 사용자의 클릭 데이터에 추출된 사용자의 클릭 데이터를 부가하고, 클릭 데이터가 해당 사용자의 사용자 ID에 대응하게 하며, 데이터를 근접 프레임 클릭 데이터베이스(127)에 공급하여 데이터를 저장한 후, 처리가 종료된다.

근접 프레임 클릭 데이터 추출부(126)는, 사용자 ID가 클릭 위치 데이터베이스에 등록되게 된 모든 사용자를 순차적으로 해당 사용자로 하여 처리를 행한다.

다음으로, 도 25는 도 23의 화상 데이터 처리부(122)의 구성의 일례를 도시하고 있다.

스케쥴러(131)는 화상 데이터가 푸시 타입에 의해 분배되는 스케쥴링을 행하고, 스케쥴링 결과에 기초하여 화상 데이터 판독부(132)를 제어한다. 화상 데이터 판독부(132)는, 스케쥴러(131)의 제어 하에, 화상 데이터베이스(101)로부터 전송될 화상 데이터를 판독하고, 그 화상 데이터를 배경 추출부(133), 오브젝트 추출부(134) 및 부가 정보 산출부(135)에 공급한다.

근접 프레임 클릭 데이터 검색부(128)로부터 공급된 클릭 데이터에 기초하여, 오브젝트 추출부(134)는 화상 데이터 판독부(132)로부터의 화상 중에서 휴대 단말(1)의 사용자가 관심의 오브젝트 영역으로서 주목하는 화상 영역을 추출(지정)하고, 추출(지정)된 관심의 오브젝트 영역에 대응하는 화상 데이터를 송신 처리부(136)에 공급한다. 화상 데이터 판독부(132)로부터 공급된 화상 내에서 휴대 단말(1)의 사용자가 주목하는 관심의 오브젝트 영역이 복수개 존재하는 경우, 오브젝트 추출부(134)는 복수의 관심의 오브젝트 영역의 화상 데이터를 송신 처리부(136)에 공급한다. 또한, 오브젝트 추출부(134)에 의해 추출된 관심 오브젝트 영역의 화상 데이터도 부가 정보 산출부(135)에 공급된다.

여기에서, 사용자가 주목하는 관심 오브젝트 영역의 예로는 신체와 같은 오브젝트가 있다. 이하에서는, 관심 오브젝트 영역의 예인 오브젝트(이하, "오브젝트 화상"라 함)가 오브젝트 추출부(134)에서 추출되는 경우를 예로 들어 설명한다. 그러나, 관심 오브젝트 영역은 반드시 오브젝트일 필요는 없으며, 오브젝트가 아닌 화상 영역, 오브젝트 내의 화상 영역 또는 배경 화상부(이하 설명됨) 등일 수도 있다. 오브젝트 추출부(134)에서 행해지는 오브젝트 추출의 세부 사항(관심 오브젝트 영역의 상세) 처리는 이하에 설명될 것이다.

오브젝트 추출부(134)에 의한 오브젝트 추출 결과에 기초하여, 배경 추출부(133)는 화상 데이터 판독부(132)로부터 공급된 화상 데이터 중에서 화상의 배경부에 대응하는 신호(이하, "배경 화상 데이터"로 칭함)를 추출하고, 추출된 배경 화상 데이터를 송신 처리부(136) 및 부가 정보 산출부(135)에 공급한다. 즉, 본 실시예에서, 배경 추출부(133)는, 오브젝트 추출부(134)에 의해 출력된 오브젝트 화상이 화상 데이터 판독부(132)에 의해 출력된 화상 데이터로부터 제외된 나머지 부분을 배경 화상으로서 추출한다.

배경 추출부(133)로부터 공급된 배경 화상 데이터에 기초하여, 부가 정보 산출부(135)는 배경의 동작을 표시하는 배경 동작 벡터(화상의 사진 촬영 중에 화상 데이터 판독부(132)의 사진 촬영 방향이 동작됨으로 인한 배경의 동작)를 검출하고, 오브젝트 추출부(134)로부터 공급된 오브젝트 화상의 화상 데이터 (이하, "오브젝트 화상 데이터"라 함)에 기초하여 오브젝트의 동작을 표시하는 오브젝트 동작 데이터를 검출하고, 이들 동작 벡터들을 하나의 부가 정보로서 송신 처리부(136)로 공급한다. 또한, 부가 정보 산출부(135) 또는, 오브젝트 추출부(134)로부터 공급된 오브젝트 화상 데이터에 기초하여, 화상 데이터 판독부(132)의 비디오 카메라부에 의해 촬영된 화상(프레임) 내의 오브젝트의 시간상 위치 및 공간, 윤곽 등의 오브젝트에 관련된 정보를 부가 정보로서 송신 처리부(136)에 공급한다. 예를 들면, 오브젝트 추출부(134)는 또한 오브젝트 화상이 추출되었을 때, 오브젝트의 위치, 윤곽 등의 오브젝트에 관련된 정보를 추출하고, 이를 부가 정보 산출부(135)에 공급한다. 부가 정보 산출부(135)는 그 오브젝트에 관련된 정보를 부가 정보로서 출력한다.

송신 처리부(136)는 오브젝트 추출부(134)로부터의 오브젝트 화상 데이터, 배경 추출부(133)로부터의 배경 화상 데이터, 송신 처리부(136)로부터의 부가 정보에 따라 화상 데이터의 오브젝트의 코딩을 행하고, 데이터를 출력한다.

상술한 방식으로 구성된 화상 데이터 처리부(122)는, 도 26의 순서도에 도시된 바와 같이, 초기에 단계 S81에서, 화상 데이터 판독부(132)가, 스케쥴러(131)의 제어하에서, 화상 데이터베이스(101)로부터 전송될 화상 데이터를 판독하고, 그 화상 데이터를 배경 추출부(133), 오브젝트 추출부(134), 및 부가 정보 산출부(135)에 공급한다. 그 다음, 처리는 단계 S82로 진행하고, 오브젝트 추출부(134)는, 화상 데이터 판독부(132)로부터의 화상 데이터로부터, 근접 프레임 클릭 데이터 검색부(128)로부터 공급된 주목 사용자에 대한 클릭 데이터에 기초하여 오브젝트 화상 데이터를 추출하고, 오브젝트 화상 데이터를 배경 추출부(133), 부가 정보 산출부(135), 및 송신 처리부(136)에 공급한다.

단계 S83에서, 배경 추출부(133)는 화상 데이터 판독부(132)로부터 공급된 화상 데이터로부터, 오브젝트 추출부(134)로부터 공급된 오브젝트 화상 데이터를 뺌으로써 배경 화상 데이터를 추출하고, 이 배경 화상 데이터를 부가 정보 산출부(135) 및 송신 처리부(136)에 공급한다.

단계 S84에서, 부가 정보 산출부(135)는 화상 데이터 판독부(132)의 출력, 배경 추출부(133), 및 오브젝트 추출부(134)에 기초하여 부가 정보를 산출하고, 이를 송신 처리부(136)에 공급한다.

단계 S85에서, 송신 처리부(136)는 오브젝트 추출부(134)로부터의 오브젝트 화상 데이터, 배경 추출부(133)로부터의 배경 화상 데이터, 및 부가 정보 산출부(135)로부터의 부가 정보에 기초하여, 화상 데이터베이스(101)로부터의 화상 데이터 판독부(132)에 의해 판독된 화상 데이터에 대한 오브젝트의 코딩을 행하고, 데이터를 출력한다.

그 결과, 화상 데이터가 도 10a 및 도 10b에 도시된 바와 같은 형식으로 주목 사용자의 주목 휴대 단말(1)에 제공된다.

그 후, 처리는 단계 S81로 되돌아 가고, 그 후, 동일한 처리가 반복된다.

상술한 바와 같이, 컨텐츠 서버(7)에서, 주목 사용자가 클릭한 클릭 위치에 시간적으로 가까운 또 다른 사용자에 의한 클릭 위치가 추출되고, 오브젝트가 주목 사용자에 의한 클릭 위치에 의해서 뿐만 아니라, 다른 사용자에 의한 클릭 위치도 고려하여 추출되고, 오브젝트는 주목 사용자에게 제공된다.

따라서, 동일한 오브젝트를 클릭한 복수의 사용자로부터의 클릭 데이터에 기초하여, 주목 사용자가 클릭한 오브젝트가 신속하게 추출되어 주목 사용자에 제공될 수 있다. 또한, 주목 사용자가, 트랙볼(22)을 이용하여 관심있는 오브젝트의 표시 부분을 클릭함으로써, 주목 사용자가 관심있는 오브젝트의 화상 데이터(오브젝트 화상 데이터)에 대한 화상 데이터를 얻는 것이 가능하다.

다음으로, 오브젝트 추출부(134)의 오브젝트 추출 방법에 대해 설명한다.

도 27은 도 25의 오브젝트 추출부(134)의 구성예를 도시한다.

화상 데이터 판독부(132)로부터 공급된 화상 데이터는 화상 메모리(201)에저장된다. 화상 메모리(201)에 저장된 화상 데이터는 그것으로부터 판독되어 정/동 판정부(203), 오브젝트 화상 추출부(213), 및 선택 스위치(207)의 공통 단자로 전송된다. 화상 메모리(201)에는, 이후의 단계에서 정/동 판정부(203)에 의해 행해질 정/동 판정 동안에 필요한 적어도 수개의 프레임에 대한 화상 데이터가 저장된다.

또한, 근접 프레임 클릭 데이터 검색부(128)로부터 공급된 클릭 데이터는 클릭 데이터 메모리(202)에 저장된다. 그 다음에, 클릭 데이터 메모리(202)로부터 클릭 데이터가 판독되어 정/동 판정부(203), 연속 클릭 판정부(204), 및 선택 스위치(206)의 공통 단자로 전송된다. 클릭 데이터 메모리(202)에는, 이후의 단계에서 연속 클릭 판정부(204)에서의 연속 클릭 판정 동안에 필요한, 소정 주기의 시간(예를 들면, 500 내지 700 msec 이상)에 대한 클릭 데이터가 저장된다.

정/동 판정부(203)는 클릭 데이터 메모리(202)에 저장된 클릭 데이터 내의 소정의 데이터에 유의하며, 주목해야할 주목 클릭 데이터를 판독한다. 또한, 정/동 판정부(203)는 주목 클릭 데이터(화상내의 좌표값)에 의해 나타내어지는 클릭 위치가 중심인 작은 로컬 블럭(예를 들면, 16 ×16 화소)의 화상 영역이, 동작이 있는 영역인 동작 영역인지, 혹은 동작이 없는 정지 영역인지에 대해 정/동 판정을 행한다. 즉, 정/동 판정부(203)는 수개 프레임에 의한 이전의 화상 영역과, 클릭 위치가 중앙에 있는 16 ×16 화소에 대한 현재 프레임의 화상 영역 사이의 상호-프레임(inter-frame) 차를 판정하여, 이 상호-프레임 차가 소정의 임계치보다 작거나 같으면 블럭은 정지인 것으로 판정되고, 이 상호-프레임 차가 소정의 임계치보다크면 블럭은 동작인 것으로 판정되는, 정/동 판정을 수행한다. 사용되는 화상이 컬러 화상이면, 정/동 판정 중에, 예를 들어 R, G 및 B 각각의 16 ×16 화소의 화상에 대해 상호-프레임 차를 판정하여, R, G 및 B 각각에 대해 판정된 상호-프레임 차의 절대치의 평균치이 소정 임계치보다 작거나 같으면(예를 들면, 10) 블럭은 정지인 것으로서 판정되고, 평균치이 소정 임계치보다 크면, 블럭은 동작인 것으로써 판정되는 것이 가능하다. 정/동 판정에 의해 블럭이 정지인 것으로서 판정되면, 정/동 판정부(203)는 주목 클릭 데이터가 정지 클릭(정지 영역에 있는 클릭)이라고 추측한다. 정/동 판정에 의해 블럭이 동작인 것으로서 판정되면, 정/동 판정부(203)는 주목 클릭 데이터가 동작 클릭(동작 영역에 있는 클릭)이라고 추측한다. 정지 클릭 또는 동작 클릭을 나타내는 정보는 정/동 판정 결과로서 처리 판정부(205)로 전송된다.

주목 클릭 데이터의 클릭 시간에 기초하여, 연속 클릭 판정부(204)는 사용자에 의해 수행되는 클릭 동작이 연속 클릭 동작인지의 여부에 대한 연속 클릭 판정을 행한다. 즉, 연속 클릭 판정으로써, 연속 클릭 판정부(204)는 주목 클릭 데이터의 클릭 시간과 그 직전의(그 이전의) 클릭 데이터의 클릭 시간 사이의 시간차(클릭 시간 간격)를 판정하여, 시간차가 소정 임계치보다 작거나 같으면, 클릭 동작이 연속 클릭이라고 판정하고, 시간차가 소정 임계치 보다 크면 클릭 동작이 연속 클릭이 아니라고 판정한다. 그 다음에, 연속 클릭 판정에 기초하여 클릭 동작이 연속 클릭이라는 것이 판정되는 경우, 연속 클릭 판정부(204)는 주목 클릭 데이터가 연속 클릭이라고 추측한다. 반면에, 연속 클릭 판정에 기초하여 클릭 동작이연속 클릭이 아니라는 것(클릭 시간들 간의 시간차가 소정 임계치보다 큼)이 판정될 때, 연속 클릭 판정부(204)는 주목 클릭 데이터가 비연속 클릭이라고 추측하고, 연속 클릭 또는 비연속 클릭의 정보를 연속 클릭 판정 결과로서 처리 판정부(205)로 전송한다.

처리 판정부(205)는 정/동 판정부(203)로부터의 정/동 판정 결과 및 연속 클릭 판정부(204)로부터의 연속 클릭 판정 결과에 기초하여 선택 스위치(206 내지 208)의 스위칭 제어를 수행한다.

보다 상세히 설명하자면, 예를 들어, 주목 클릭 데이터가 정/동 판정 결과 및 연속 클릭 판정 결과에 기초하여 정지 클릭 및 연속 클릭을 나타내는 것으로 판정되면, 처리 판정부(205)는 주목 클릭 데이터가 정지 오브젝트 연결 처리부(211)로 전송되도록 선택 스위치(206)의 스위칭 제어를 행하고, 화상 메모리(201)로부터 출력된 화상 데이터가 정지 오브젝트 연결 처리부(211)로 전송되도록 선택 스위치(207)의 스위칭 제어를 행한다. 또한, 처리 판정부(205)는 오브젝트 추출 결과 메모리(214)(후술하기로 함)로부터 출력된 이전의 클릭 데이터, 이 클릭 데이터에 할당된 오브젝트 번호(오브젝트를 분류(식별)하는 번호), 및 이 오브젝트 번호에 대응하는 오브젝트 화상 데이터가 정지 오브젝트 연결 처리부(211)로 전송되도록 선택 스위치(208)의 스위칭 제어를 행한다.

또한, 정/동 판정 결과 및 연속 클릭 판정 결과에 기초하여 주목 클릭 데이터가 동작 클릭 및 연속 클릭을 나타내는 것으로 판정되면, 처리 판정부(205)는 주목 클릭 데이터가 동작 오브젝트 연결 처리부(210)로 전송되고 화상 메모리(201)로부터 출력된 화상 데이터가 동작 오브젝트 연결 처리부(210)로 전송되도록 선택 스위치(206)의 스위칭 제어를 행한다. 또한, 처리 판정부(205)는 오브젝트 추출 결과용 메모리(214)로부터 출력된 이전의 클릭 데이터, 이 클릭 데이터에 할당된 오브젝트 번호, 및 이 오브젝트 번호에 대응하는 오브젝트 화상 데이터가 동작 오브젝트 연결 처리부(210)로 전송되도록 선택 스위치(208)의 스위칭 제어를 행한다.

또한, 정/동 판정 결과 및 연속 클릭 판정 결과에 기초하여 주목 클릭 데이터가 정지 클릭과 비연속 클릭(클릭 시각들 간의 시간차가 소정의 임계치 이상이 되는 클릭)을 나타내는 것으로 판정되면, 처리 판정부(205)는 주목 클릭 데이터가 오브젝트 번호 할당부(209)로 전송되도록 선택 스위치(208)의 스위칭 제어를 행하고, 화상 메모리(201)로부터 출력된 화상 데이터가 정지 오브젝트 연결 처리부(211)에 전송되도록 선택 스위치(207)의 스위칭 제어를 행한다. 이 때, 오브젝트 추출 결과용 메모리(214)로부터 출력된 이전의 클릭 데이터, 오브젝트 번호, 및 오브젝트 화상 데이터가 정지 오브젝트 연결 처리부(211)에 전송되지 않도록 선택 스위치(208)(선택 스위치(208)는 개방 상태로 위치되어 있슴)에 대해 스위칭 제어가 행해진다.

정/동 판정 결과 및 연속 클릭 판정 결과에 기초하여 주목 클릭 데이터가 동작 클릭 및 비연속(클릭 시각들 간의 시간차가 소정의 임계치 이상이 되는 클릭)을 나타내는 것으로 판정되면, 처리 판정부(205)는 주목 클릭 데이터가 오브젝트 번호 할당부(209)로 전송되도록 선택 스위치(206)의 스위칭 제어를 행하고, 화상 메모리(201)로부터 출력된 화상 데이터가 동작 오브젝트 연결 처리부(210)로 전송되도록 선택 스위치(207)의 스위칭 제어를 행한다. 이 때, 오브젝트 추출 결과용 메모리(214)로부터 출력된 이전의 클릭 데이터, 오브젝트 번호, 및 오브젝트 화상 데이터가 동작 오브젝트 연결 처리부(210)로 전송되지 않도록 선택 스위치(208)(선택 스위치(208)는 개방 상태로 위치되어 있슴)에 대해 스위칭 제어를 행한다.

오브젝트 번호 할당부(209)는 정지 오브젝트 연결 처리부(211) 및 동작 오브젝트 연결 처리부(210)에서 후술될 연결 처리의 오브젝트에 대한 것 이외의 비연속 클릭인 클릭 데이터에 새로운 오브젝트 화상을 할당하고, 오브젝트 번호 및 클릭 데이터를 오브젝트 번호 메모리(212)로 전송한다.

처리 판정부(205)에 의해 주목 클릭 데이터가 동작 클릭 및 연속 클릭을 나타내는 것으로 판정되면, 동작 오브젝트 연결 처리부(210)는 이전의 클릭 데이터가 동작 클릭인지의 여부와, 주목 클릭 데이터에 의해 표시된 클릭 위치의 부근에서의 화상 특징이 이전의 클릭 데이터에 할당된 오브젝트 번호에 의한 동작 오브젝트 화상의 영역의 특징에 포함되어 있는지, 또는 이들 특징과 유사한지의 여부를 판정한다. 그리고, 판정 결과가 참(true)인 경우, 동작 오브젝트 연결 처리부(210)는 주목 클릭이 동일한 오브젝트 화상을 클릭하는 것으로 판정하여, 주목 클릭 데이터에 대해 이전의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 동작 오브젝트 연결 처리를 행하고, 오브젝트 번호 및 주목 클릭 데이터를 오브젝트 번호 메모리(121)로 전송한다.

처리 판정부(205)에 의해 주목 클릭 데이터가 정지 클릭 및 연속 클릭이라고 판정되면, 정지 오브젝트 연결 처리부(211)는 이전 클릭이 정지 클릭인지 여부 및주목 클릭 데이터로 표시된 클릭 위치가 이전 클릭 데이터에 할당된 오브젝트 번호로 형성된 정지 오브젝트 화상 영역 내에 포함되어 있는지 여부 또는 그 영역 주변에 있는지 여부를 판정한다. 그 후, 판정 결과가 사실이면, 정지 오브젝트 연결 처리부(211)는 이전 클릭에 의한 것과 동일한 오브젝트 화상이 클릭온 되도록 주목 클릭이 주목 클릭 데이터에 대해 이전 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 수행하여, 오브젝트 번호 및 주목 클릭 데이터를 메모리(212)에 전송한다.

오브젝트 번호 메모리(212)는 오브젝트 번호가 오브젝트 번호 할당부(209), 동작 오브젝트 연결 처리부(210) 및 정지 오브젝트 연결 처리부(211)에 할당된 복수의 이전 프레임에 대응하는 클릭 데이터를 저장하며, 저장된 클릭 데이터 및 오브젝트 번호를 오브젝트 화상 추출부(213)에 전송한다.

오브젝트 화상 추출부(213)는 오브젝트 번호 메모리(212)로부터 제공되는 오브젝트 번호가 할당된 복수의 이전 프레임에 대한 클릭 데이터를 기초로 하여, 화상 메모리(201)로부터 제공된 화상 데이터로부터 정지 오브젝트 화상, 동작 오브젝트 화상, 배경 화상 등을 추출하여 이러한 추출 결과를 오브젝트 추출 결과용 메모리(214)에 제공한다.

특히, 오브젝트 화상 추출부(213)는 오브젝트 번호 메모리(212)로부터 제공된 오브젝트 번호가 할당된 복수의 이전 프레임의 클릭 데이터에 기초하여, 정지 클릭인 것으로 결정된 클릭 데이터의 밀도가 높은 화상부 내의 주요한 오브젝트 번호를 결정한다. 그 후, 오브젝트 화상 추출부(213)는 주요한 오브젝트 번호가 할당된 클릭 데이터의 화상 내의 분포에 기초한 오브젝트 형태를 생성하며, 화상 데이터로부터 생성 오브젝트 형태로 된 화상을 오브젝트 화상으로서 추출한다.

더우기, 오브젝트 화상 추출부(213)는 동작 클릭인 것으로 결정된 클릭 데이터 내에서 동일한 오브젝트 번호가 할당된 클릭 위치의 근방에서 화상들간의 프레임간 패턴 매칭을 수행하고 그 매칭 결과에 기초하여 동작 보상을 수행한다. 또한, 오브젝트 화상 추출부(213)는 주요한 오브젝트 번호를 결정하며, 패턴 매칭에 의해 유사한 것으로 결정된 화상 영역(즉, 동작 보상에 의해 위치 정렬이 수행된 화상 영역) 내에서 클릭 밀도는 높다. 그 후, 오브젝트 화상 추출부(213)는 주요한 오브젝트 번호가 할당된 클릭 데이터의 화상 내의 분포에 기초한 오브젝트 형태를 생성하며, 화상 데이터로부터 생성 오브젝트 형태로 된 화상을 오브젝트 화상으로서 추출한다.

더우기, 오브젝트 화상 추출부(213)는 상술된 것과 같은 정지 클릭 및 동작 클릭의 클릭 밀도가 낮은 화상부는 배경 화상이 되는 것으로 가정한다.

오브젝트 추출 결과용 메모리(214)는 오브젝트 화상 추출부(213)에 의해 추출된 오브젝트 화상 데이터를 클릭 데이터, 오브젝트 번호 등과 함께 저장하며, 이것을 필요에 따라 배경 추출부(133), 부가 정보 연산부(135) 및 송신 처리부(136)에 제공한다.

그 후, 도 28의 순서도를 참조하여, 휴대용 단말기(1)의 사용자가 도 27에 도시된 오브젝트 추출부(134)에서의 클릭 데이터에 기초한 관심 오브젝트 화상을 화상 데이터로부터 추출하는 처리의 상세한 설명에 대해 후술하기로 한다.

처음에, 단계 S131에서, 화상 메모리(201)는 화상 데이터 판독부(132)(도 25)로부터 입력된 프레임의 화상 데이터(각 전송 시간에 대한 프레임 화상 데이터)를 저장한다. 화상 메모리(201)는, 이후의 스테이지에서 단계 S131에서 수행되는 정/동 판정 처리 동안 필요하게 될 적어도 몇몇 프레임에 대한 화상 데이터를 저장한다.

또한, 단계 S131에서, 클릭 데이터 메모리(202)는 근접 프레임 클릭 데이터 검색부(128)로부터 공급된 클릭 데이터를 수신하여 저장한다. 이 클릭 데이터 메모리(202)에서, 이후의 스테이지에서 단계 S133에서 수행되는 연속 클릭 판정 처리 동안 필요하게 될, 적어도 소정의 시간 동안의 클릭 데이터가 저장된다.

그 후, 처리는 단계 S132로 진행되며, 이에 따라 아직 처리되지 않은 클릭 데이터가 클릭 데이터 메모리(202) 내에 저장되었는지 여부가 판정된다. 단계 S132에서 처리되지 않은 클릭 데이터가 클릭 데이터 메모리(202) 내에 존재하지 않는 것으로 판정되면, 단계 S131로 처리가 돌아가며, 이에 따라 입력 대기 상태에 도달한다. 반면에, 단계 S132에서 클릭 데이터 메모리(202) 내에 아직 처리되지 않은 클릭 데이터가 존재하는 것으로 판정되면, 단계 S133으로 처리가 돌아가며, 이에 따라 예를 들면, 아직 처리되지 않은 클릭 데이터 내에서 가장 오래된 클릭 데이터가 주목 클릭 데이터로 되는 것으로 간주되며, 정/동 판정 처리 및 연속 클릭 판정 처리가 정/동 판정부(203), 연속 클릭 판정부(204), 및 처리 판정부(205)에 의해 주목 클릭 데이터에 대해 수행된다.

보다 구체적으로는, 단계 S133에서, 정/동 판정 처리에서, 정/동판정부(203)는 주목 클릭 데이터 내에 포함된 클릭 위치(화상에서의 좌표값) 정보를 이용하여, 센터 또는 블럭이 정지일 때 클릭 위치와 함께 작은 로컬 블럭의 화상 영역 내에 동작이 있는지 여부에 대한 판정을 행한다.

이하, 보다 구체적으로 설명하기로 한다. 도 29의 순서도에 도시한 바와 같이, 처음에, 단계 S141에서, 도 28의 단계 S133으로 처리가 진행되고 정/동 판정 처리로 처리가 진행되면, 정/동 판정부(203)는, 여러 프레임에 대해 각각 화상 메모리(201) 및 클릭 데이터 메모리(202)에 저장되어 있는 화상 데이터 및 클릭 데이터를 판독한다. 즉, 정/동 판정부(203)는, 주목 클릭 데이터에 대응하는 클릭킹이 화상 메모리(201)로부터 수행된 프레임을 포함하는 이전의 몇몇 프레임의 화상 데이터를 판독하며, 클릭 데이터 메모리(202)로부터의 이들 몇몇 프레임들에 대해 수행된 클릭에 대응하는 클릭 데이터를 판독한다. 사용될 화상이 칼라 화상일 경우, 정/동 판정부(203)는 도 30의 (A) 부분으로 도시한 바와 같이 몇몇 프레임의 R(red), G(green), B(blue) 화상 데이터를 판독한다.

다음에, 단계 S142에서, 정/동 판정부(203)는, 현재의 클릭 데이터에 의해 표시되는 클릭 위치가 센터일 때, 예를 들어 수평 방향의 16 화소와 수직 방향의 16화소로 이루어지는 작은 로컬 블럭에 따라, 1 이상의 이전의 프레임인 화상 영역과 현재 프레임의 화상 영역 간의 프레임간 차를 계산한다. 이용될 화상이 칼라 화상일 때, 단계 S142의 처리에서 정/동 판정부(203)는, 도 30의 (B) 및 (C) 부분으로 도시한 바와 같이, 각각이 16 ×16 화소로 이루어지는, R, G, B 화상에 따라 프레임간 차를 판정하며, 각 R, G, B에 대해 판정되는 프레임간 차분의 절대치 각각의 평균치을 판정한다.

다음에, 단계 S143의 처리에서, 정/동 판정부(203)는 단계 S142의 계산에 의해 결정되는 프레임간 차분치가 소정의 임계치 이하인지 여부를 판정한다. 그 후, 단계 S144로 처리가 진행되며, 이에 따라 프레임간 차분이 소정의 임계치 이하일 경우 정/동 판정부(203)는, 주목 클릭 데이터에 의해 표시되는 클릭 위치를 포함하는 작은 블럭(이하, 적절하게 "현재 블럭"이라 칭함)이 정지인 것으로 판정하며, 이와 반대로, 프레임간 차가 소정의 임계치보다 클 경우 정/동 판정부(203)는 동작이 있는 것으로 판정한다. 또한, 정/동 판정부(203)가 현재 블럭이 정지인 것으로 판정할 경우, 정지인 것으로 판정된 현재 블럭의 화상 영역에 대응하는 클릭 데이터가 정지 클릭인 것으로 간주되며, 동작이 있는 것으로 판정된 경우, 동작인 것으로 판정된 현재 블럭의 화상 영역에 대응하는 클릭 데이터는 동작 클릭을 나타내는 것으로 간주되며, 동작 클릭 데이터가 정/동 판정 결과로서 출력된다.

이용될 화상이 칼라 화상인 경우, 각각이 16 ×16 화소로 구성되는 현재의 R, G, B 블럭 각각에 대해 판정되는 프레임간 차분의 절대치의 평균치이 소정의 임계치(예를 들면, 10) 이하일 경우, 예를 들면, 정/동 판정부(203)는 도 30의 (D) 부분에 도시한 바와 같이 단계 S144에서 소정의 플래그를 "0"으로 설정한다. 이와 반대로, 평균치이 임계치보다 클 경우, 예를 들면 정/동 판정부(203)는 소정의 플래그를 "1"로 설정한다. 또한, 단계 S144에서, 도 30의 (E) 부분에 도시한 바와 같이, 각각이 16 ×16 화소로 구성되는, 현재의 각 R, G, B 블럭에 대해 설정되는 모든 소정의 플래그가 "0"일 때 정/동 판정부(203)는, 현재 블럭이 정지인 것으로판정하며, 정지인 것으로 판정된 현재 블럭의 화상 영역에 대응하는 클릭 데이터가 정지 클릭을 가리키도록 한다. 반면에, 각각이 16 ×16 화소로 구성되는 현재의 각 R, G, B 블럭에 대해 설정되는 소정의 플래그중 임의의 하나가 "1"로 설정되면, 정/동 판정부(203)는 현재 블럭 내에 동작이 있는 것으로 판정하고, 동작으로 판정된 현재 블럭의 화상 영역에 대응하는 클릭 데이터가 동작 클릭을 가리키도록 한다. 그 후, 정/동 판정부(203)는 정/동 판정 결과로서 정지 클릭 또는 동작 클릭의 정보를 출력한다.

도 28로 다시 돌아가면, 단계 S133에서, 연속 클릭 판정부(204)는, 사용자에 의해 수행되는 클릭 동작이 주목 클릭 데이터에 포함된 클릭 시간에 근거하여 연속적인 클릭 동작인지 여부에 대한 연속적인 클릭 판정을 또한 행한다.

이하, 보다 구체적으로 설명하기로 한다. 도 31의 순서도에 도시한 바와 같이, 처음에 단계 S151에서, 도 28의 단계 S133에서의 연속적인 클릭 판정부(204)는 클릭 데이터 메모리(202)에 저장된 클릭 데이터를 판독한다.

이하, 단계 S152에서, 연속 클릭 판정부(204)는, 주목 클릭 데이터의 클릭 시간과, 그 바로 전의 클릭 데이터의 클릭 시간 간의 시간차(클릭 간격)를 판정한다.

다음에, 단계 S153에서, 연속 클릭 판정부(204)는, 시간차가 소정의 임계치 이하인지 여부에 대해 판정한다. 단계 S153에서 시간차가 소정의 임계치 이하일 경우, 연속 클릭 판정부(204)는, 주목 클릭 데이터가 연속 클릭을 나타내는 것으로 판정한다. 반면에, 시간차가 소정의 임계치보다 클 경우, 연속 클릭 판정부(204)는, 주목 클릭 데이터가 연속 클릭을 나타내지 않는 것으로 판정한다. 그 후, 연속 클릭 판정부(204)는 단계 S154로 진행하여, 연속 클릭 또는 비연속 클릭을 나타내는 정보가 연속 클릭 판정 결과로서 출력된다.

보다 구체적으로는, 단계 S153에서 주목 클릭 데이터가 연속 클릭인 것으로 판정된 경우, 사용자가 하나의 특정 오브젝트 화상에 대해 클릭 동작을 연속적으로 수행할 가능성이 높다. 그 이유는, 휴대 단말 사용자가, 개선된 공간 해상도가 요구되는 오브젝트 화상 부분(원하는 오브젝트 영역)을 연속적으로 클릭할 가능성이 있기 때문이다. 따라서, 연속 클릭 판정 처리에서 주목 클릭 데이터가 연속 클릭인 것으로 판정된 경우, 연속 클릭 판정부(204)는, 현재의 클릭 데이터가 연속 클릭을 나타내는 것으로 간주한다. 반면에, 주목 클릭 데이터가 연속 클릭이 아닌 것으로 판정(클릭 시간 간의 시간차가 소정의 임계치 이상일 때)될 경우, 연속 클릭 판정부(204)는 주목 클릭 데이터가 비연속 클릭을 나타내는 것으로 간주하고 연속 클릭 판정 결과로서 데이터를 출력한다.

다시 도 28을 참조하면, 정/동 판정부(203) 및 연속 클릭 판정부(204)에서 단계 S133에서 정/동 판정 및 연속 클릭 판정에 의해, 주목 클릭 데이터가 연속 클릭이며 정지 클릭인 것으로 판정되면, 처리 판정부(205)는 전술한 방식으로 선택 스위치(206-208)를 제어하여, 단계 S135에서 정지 오브젝트 연결 처리부(211)가 정지 오브젝트 연결 처리를 실행하게 된다. 또한, 주목 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키는 것으로 판정된 경우, 처리 판정부(205)는 선택 스위치(206-208)를 제어하여, 단계 S136에서 동작 오브젝트 연결 처리부(210)가 동작 오브젝트연결 처리를 행하게 된다. 또한, 주목 클릭 데이터가 비연속 클릭을 가리키는 것으로 판정된 경우, 처리 판정부(205)는 선택 스위치(206)를 제어하여, 단계 S134에서 오브젝트 번호 할당부(209)가 새로운 오브젝트 번호 할당 처리를 수행하게 된다.

보다 구체적으로는, 단계 S133에서, 주목 클릭 데이터가 비연속 클릭을 가리키는 것으로 판정된 경우, 단계 S134로 처리를 진행하고, 이에 따라 오브젝트 번호 할당부(209)는 새로운 오브젝트 번호를 주목 클릭 데이터에 할당하고 단계 S131로 처리를 진행한다.

이하, 구체적인 예를 들어 설명하기로 한다. 예를 들어, 도 32의 (A) 부분에 도시한 바와 같이, 도면 내의 실선으로 된 x 마크로 표시된 이전의 클릭 데이터 CL1에 할당되는 오브젝트 번호가 예를 들어 "0"으로 설정되는 경우, 도 32의 (A) 부분에서 점선으로 된 x 마크로 표시된 주목 클릭 데이터 CL2(오브젝트 번호가 할당되기 전의 클릭 데이터)가 비연속 클릭을 가리키는 것으로 판정되면, 오브젝트 번호 할당부(209)는 새로운 오브젝트 번호(이 예에서는 "1")를, 도 32의 (B) 부분 내의 실선으로 된 x 마크로 표시된 현재 클릭 데이터 CL2에 할당한다.

반면에, 단계 S133에서 주목 클릭 데이터가 연속 클릭 및 정지 클릭을 나타내는 것으로 판정되면, 이전의 클릭이 정지 클릭이며 주목 클릭 데이터에 의해 표시된 클릭 위치가, 이전의 클릭 데이터에 할당되거나 혹은 그 영역에 가까운 오브젝트 번호에 의해 형성되는 화상 영역 내에 포함되는 경우, 정지 오브젝트 연결 처리부(211)는, 주목 클릭 데이터에 대응하는 클릭이, 이전의 클릭이 포함되어 있는것과 동일한 오브젝트 화상이 클릭되었는 지에 대해 판정하며, 단계 S135에서 정지 오브젝트 연결 처리부(211)는 주목 클릭 데이터에 대한 이전의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 수행한다.

보다 구체적으로는, 도 33의 순서도에 도시한 바와 같이, 단계 S161에서, 정지 오브젝트 연결 처리부(211)는, 이전의 클릭 데이터(이전에 주목 클릭 데이터였던 클릭 데이터)가 연속 클릭 및 정지 클릭을 가리키는지 여부를 판정한다. 단계 S161에서, 이전의 클릭 데이터가 연속 클릭 및 정지 클릭을 가리키는 것으로 판정된 경우, 단계 S162로 처리가 진행되며, 반면에 이전의 클릭 데이터가 연속 클릭 및 정지 클릭을 가리키지 않는 것으로 판정된 경우, 단계 S164로 처리가 진행된다.

단계 S161에서, 이전의 클릭 데이터가 연속 클릭 및 정지 클릭을 가리키지 않는 것으로 판정된 경우, 단계 S164의 처리에서, 정지 오브젝트 연결 처리부(211)는, 도 32의 (A) 및 (B) 부분에서 기술한 바와 동일한 방식으로, 새로운 오브젝트 번호를 주목 클릭 데이터에 할당한다. 단계 S164의 처리 후에, 도 28의 단계 S137로 처리가 진행된다.

또한, 단계 S161에서, 이전의 클릭 데이터가 연속 클릭 및 정지 클릭을 가리키는 것으로 판정된 경우, 단계 S162로 처리가 진행되면, 정지 오브젝트 연결 처리부(211)는, 주목 클릭 데이터로 표시된 클릭 위치와, 이전의 클릭 데이터에 할당된 오브젝트 번호에 의해 형성된 화상 영역 간의 공간적 거리를 판정한다. 이 거리에 근거하여, 주목 클릭 데이터에 의해 표시된 클릭 위치가, 이전의 클릭 데이터에 할당된 오브젝트 번호에 의해 형성된 화상 영역에 포함되거나 혹은 그 영역에 가까울경우, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 동일한 오브젝트 화상이 클릭된 것을 가리키는 것으로 판정한다. 반면에, 주목 클릭 데이터에 의해 표시된 클릭 위치가, 이전의 클릭 데이터에 할당된 오브젝트 번호에 의해 형성된 오브젝트 화상 내에 포함되지 않고 그 영역으로부터 멀리 떨어져 있는 경우, 정지 오브젝트 연결 처리부(211)는, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 다른 오브젝트 화상이 클릭되도록 하였는지 여부를 판정한다. 단계 S162에서, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 동일한 오브젝트 화상이 클릭된 것을 가리키는 데이터인 것으로 판정되면, 단계 S163으로 처리가 진행된다. 반면에, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 다른 오브젝트 화상이 클릭된 것을 가리키는 데이터인 것으로 판정되면, 단계 S164로 처리가 진행된다.

단계 S162에서, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 다른 오브젝트 화상이 클릭된 데이터이고, 단계 S164로 처리가 진행될 경우, 정지 오브젝트 연결 처리부(211)는 새로운 오브젝트 번호를 주목 클릭 데이터에 할당하고, 그 후 도 28의 단계 S137로 처리가 진행된다.

또한, 단계 S162에서 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 동일한 오브젝트 화상이 클릭된 데이터인 것으로 판정된 경우, 정지 오브젝트 연결 처리부(211)는 단계 S163에서 주목 클릭 데이터에 대한 이전의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 수행한다.

이하, 구체적인 예를 이용하여 설명하기로 한다. 예를 들어 도 32의 (C) 부분에서, 도면에서 실선으로 된 x 마크에 의해 표시된 이전의 클릭 데이터 CL1에 할당된 오브젝트 번호가 예를 들어 "0"으로 설정되는 경우, 도 32의 (C) 부분에서 점선으로 된 x 마크에 의해 표시된 주목 클릭 데이터 CL2(오브젝트 번호가 할당되기 전의 클릭 데이터)가 연속 클릭 및 정지 클릭을 가리키는 것으로 판정되고, 이전의 클릭이 정지 클릭이고, 주목 클릭 데이터에 의해 표시된 클릭 위치가 이전의 클릭 데이터에 할당된 오브젝트 번호에 의해 형성된 화상 영역에 포함되거나 혹은 그 영역에 가까우면, 정지 오브젝트 연결 처리부(211)는 이전의 클릭 데이터와 동일한 오브젝트 번호를, 도 32의 (D) 부분에서 실선으로 된 x 마크에 의해 표시된 주목 클릭 데이터 CL2에 할당한다.

단계 S163에서 이러한 방식으로 이전의 클릭 데이터와 동일한 오브젝트 번호가 주목 클릭 데이터에 할당된 후, 도 28의 단계 S137로 처리가 진행된다.

또한, 도 28의 단계 S133에서, 주목 클릭 데이터가 연속 클릭 및 동작 클릭이며, 이전의 클릭이 동작 클릭이며, 주목 클릭 데이터에 의해 표시된 클릭 위치 근방에서의 화상 특성이, 이전의 클릭에 할당된 오브젝트 번호에 의해 형성된 화상 영역(16 ×16 화소)의 특성과 유사한 것으로 판정되면, 동작 오브젝트 연결 처리부(210)는, 이전의 클릭이 포함된 것과 동일한 오브젝트 화상이 클릭된 것으로 주목 클릭 데이터를 판정하며, 단계 S136에서 이전의 클릭 데이터와 동일한 오브젝트 번호를 주목 클릭 데이터에 할당하는 동작 오브젝트 연결 처리를 수행한다.

보다 구체적으로는, 단계 S133에서, 주목 클릭 데이터가 연속 클릭 및 동작 클릭인 것으로 판정되면, 동작 오브젝트 연결 처리부(210)는 도 34에 도시한 바와 같이, 초기에 단계 S171에서, 이전의 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키는지 여부를 판정한다. 단계 S171에서 이전의 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키는 것으로 판정되면, 단계 S172로 처리가 진행된다. 반면에, 이전의 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키지 않는 것으로 판정되면, 단계 S174로 처리가 진행된다.

단계 S171에서, 이전의 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키지 않는 것으로 판정되고 또한 단계 S174로 처리가 진행되면, 동작 오브젝트 연결 처리부(210)는, 도 32의 (A) 및 (B) 부분에서 기술한 바와 유사한 방식으로 새로운 오브젝트 번호를 주목 클릭 데이터에 할당한다. 단계 S174의 처리 후에, 도 28의 단계 S137로 처리가 진행된다.

또한, 단계 S171에서 이전의 클릭 데이터가 연속 클릭 및 동작 클릭을 가리키는 것으로 판정되고 또한 단계 S172로 처리가 진행되면, 동작 오브젝트 연결 처리부(210)는, 주목 클릭 데이터에 의해 표시되는 클릭 위치의 근처에 있는 화상 영역(16 ×16 화소)의 특성과, 이전의 클릭에 할당되는 오브젝트 번호에 의해 형성되는 화상 영역의 특성을 판정한다. 이들 특성에 근거하여, 주목 클릭 데이터에 의해 표시된 클릭 위치 근방에 있는 화상 영역의 특성이, 이전의 클릭에 할당된 오브젝트 번호에 의해 형성된 화상 영역의 특성과 유사할 경우, 주목 클릭 데이터가, 이전의 클릭이 포함된 것과 동일한 오브젝트 화상이 클릭된 것을 가리키는 것으로 판정한다. 반면에, 주목 클릭 데이터에 의해 표시된 클릭 위치 근방에 있는 화상 영역의 특성이, 이전의 클릭에 할당된 오브젝트 번호에 의해 형성된 화상 영역의 특성과 유사하지 않을 경우, 동작 오브젝트 연결 처리부(210)는, 주목 클릭 데이터가, 이전의 클릭과 다른 오브젝트 화상이 클릭된 것을 나타내는 데이터인 것으로 판정한다.

여기서 화상 영역의 특징은, 예를 들어 클릭 위치 부근의 국소 영역(16 X 16 화소)에서의 색(평균색, 대표색 등) 및 휘도의 히스토그램이나 패턴 등이다. 또한, 상술한 바와 같이, 복수의 동작 클릭에 동일한 오브젝트 번호를 할당하는 것은 이들 클릭 데이터 사이에 오브젝트의 트래킹이 수행된다고 말하는 것으로 환언할 될 수 있다.

단계 S172에서, 주목 클릭 데이터가 이전 클릭이 포함되는 것과 동일한 오브젝트 화상이 클릭되었다는 것을 나타내는 데이터로 판정되는 경우는, 단계 S173의 처리로 진행한다. 한편, 주목 클릭 데이터가 이전 클릭과는 별도의 오브젝트 화상이 클릭되었다는 것을 나타내는 데이터로 판정되는 경우는, 단계 S174의 처리로 진행한다.

단계 S172에서 주목 클릭 데이터가 이전 클릭과는 별도의 오브젝트 화상이 클릭되었다는 것을 나타내는 데이터로 판정되어 단계 S174의 처리로 진행하는 경우, 동작 오브젝트 연결 처리부(210)는 상술한 바와 같은 방식으로 주목 클릭 데이터에 신규 오브젝트 번호를 할당하고, 도 28의 단계 S137의 처리로 진행한다.

또한, 단계 S172에서 주목 클릭 데이터가 이전의 각 클릭이 포함되는 것과 동일한 오브젝트 화상이 클릭되었다는 것을 나타내는 데이터로 판정되어 단계 S173의 처리로 진행하는 경우, 동작 오브젝트 연결 처리부(210)는 주목 클릭 데이터에 이전 클릭 데이터의 것과 동일한 오브젝트 번호를 할당한다.

이제, 구체예를 사용하여 설명하겠다. 예를 들어 도 32의 (E)에 도시된 바와 같이, 도면에 실선 X 표시로 표시되는 이전 클릭 데이터 CL1에 할당되는 오브젝트 번호가, 예를 들어 "0"인 경우, 도 32의 (E)에 점선 X 표시로 표시되는 주목 클릭 데이터 CL2(오브젝트 번호 할당 이전의 클릭 데이터)가 연속 클릭 및 동작 클릭을 나타내고, 주목 클릭 데이터에 의해 표시되는 클릭 위치 부근의 화상의 특징이 이전 클릭에 할당된 오브젝트 번호에 의해 형성되는 오브젝트 화상의 특징과 유사하다고 판정되면, 동작 오브젝트 연결 처리부(210)는 도 32의 (F)에 실선 X로 표시된 주목 클릭 데이터 CL2에 이전 클릭 데이터와 동일한 오브젝트 번호(본 예에서는 "0")를 할당한다.

단계 S173에서 이전 클릭 데이터와 동일한 오브젝트 번호가 주목 클릭 데이터에 할당된 후, 도 28의 단계 S137의 처리로 진행한다.

다음에, 도 28의 단계 S135에서 단계 S137의 처리로 진행하는 경우, 오브젝트 화상 추출부(213)는, 오브젝트 메모리(212)에 저장된 오브젝트 번호가 할당되는 수개의 이전 프레임들에 대응하는 각각의 클릭 데이터 및 화상 메모리(201)에 저장된 수개의 이전 프레임들에 대한 화상 데이터에 기초하여, 클릭 데이터의 주목 휴대 단말(1)에 송신될 프레임(이하, 편의상 '주목 프레임'이라 함)의 화상 데이터로부터, 정지되어 있는 오브젝트 화상(정지 오브젝트 화상), 움직이는 오브젝트 화상(동작 오브젝트 화상), 및 이들 화상 이외의 배경 화상을 추출한다. 즉, 주목 휴대 단말(1)에 송신될 주목 프레임의 화상내에서 정지 클릭을 나타내도록 결정되는 클릭 데이터의 밀도가 높은 화상 부분에 정지 오브젝트 화상이 존재한다는 것을고려하기 때문에, 오브젝트 화상 추출부(213)는, 오브젝트 번호가 할당되는 복수의 이전 프레임들에 대한 클릭 데이터에 기초하여 정지 클릭을 나타내도록 결정되는 클릭 데이터의 밀도(클릭 밀도)를 결정하고, 클릭 밀도가 높은 화상 부분 내에서 지배적인 오브젝트 번호를 결정한다. 그리고, 오브젝트 화상 추출부(213)는, 지배적인 오브젝트 번호가 할당되는 클릭 데이터의 분포에 기초하여 오브젝트의 형상을 생성하고, 주목 프레임의 화상 데이터로부터, 상기 생성된 오브젝트의 형상내의 화상을 정지 오브젝트 화상으로서 추출한다.

또한, 단계 S136에서 단계 S137의 처리로 진행하는 경우, 오브젝트 화상 추출부(213)는, 동작 클릭을 나타내는 것으로 판정된 클릭 데이터 중에서, 동일한 오브젝트 번호가 할당되는 클릭 위치 부근의 화상들 사이에 프레임간 패턴 매칭을 수행하고, 동작 보상을 수행한 후, 패턴 매칭에서 유사하다고 가정되는 화상 영역에서 클릭 밀도가 높은 지배적인 오브젝트 번호를 결정한다. 또한, 오브젝트 화상 추출부(213)는, 지배적인 오브젝트 번호가 할당되는 클릭 데이터의 분포에 기초하여 오브젝트의 형상을 생성하고, 주목 프레임의 화상 데이터로부터, 상기 생성된 오브젝트의 형상내의 화상을 동작 오브젝트 화상으로서 추출한다.

또한, 단계 S137에서, 오브젝트 화상 추출부(213)는, 상술한 정지 클릭 또는 동작 클릭을 나타낸다고 판정되는 클릭 데이터의 클릭 밀도가 낮은 화상 부분을 주목 프레임의 배경 화상으로 가정한다. 환언하면, 오브젝트 화상 추출부(213)는, 정지 오브젝트 화상 및 동작 오브젝트 화상이 주목 프레임으로부터 추출되고 남은 화상 부분을 배경 화상으로 가정한다.

이하, 단계 S137의 처리가 상세히 설명된다. 도 35의 순서도에 도시된 바와 같이, 먼저 단계 S181에서 오브젝트 화상 추출부(213)는, 오브젝트 번호가 할당된 복수의 프레임들에 대응하는 각각의 클릭 데이터 및 화상 데이터를 취득하고, 단계 S182에서, 각각의 클릭 데이터를 정지 클릭 및 동작 클릭마다 분류한다. 여기서, 도 28의 단계 S135에서 단계 S137의 처리로 진행하는 경우, 단계 S182에서 단계 S184 이하의 처리로 진행한다.

도 28의 단계 S135에서 단계 S137의 처리로 진행하는 경우, 및 도 35의 단계 S182에서 단계 S184 이하의 처리로 진행하는 경우, 오브젝트 추출부(213)는, 먼저, 복수의 이전 프레임들에 대한 화상에 대하여, 오브젝트 번호가 할당되는 각 클릭 데이터내의 정치 클릭들을 나타내는 것으로 결정되는 클릭 데이터의 밀도를 예를 들어 16 X 16 화소의 각 블럭마다 구한다. 즉, 복수의 프레임에 대한 정지 클릭을 나타내는 것으로 결정되는 복수의 클릭 데이터 각각은 오브젝트 화상 추출부(213)가 갖는 상술한 프레임과 동일한 사이즈를 갖는 메모리에 로드된다. 그리고, 오브젝트 화상 추출부(213)는 메모리에 저장된 클릭 데이터에 기초하여 16 X 16 화소의 각 블럭에 대한 클릭 밀도를 계산한다.

다음에, 단계 S185에서, 도 36A에 도시된 바와 같이, 오브젝트 화상 추출부(213)는 도면중에 X로 표시된 정지 클릭들의 클릭 밀도가 화상내에서 도면에 점선으로 표시된 16 X 16 화소의 각 블럭 bk에 대하여 소정치 이상인지 여부를 판정한다.

여기서, 주목 휴대 단말(1)에 전송될 화상 내에서, 정지 클릭을 나타내는 것으로 결정된 클릭 데이터의 밀도가 높은 화상 부분에 정지 오브젝트 화상이 존재한다는 것이 고려된다. 따라서, 오브젝트 화상 추출부(213)는, 정지 클릭의 클릭 밀도가 소정치 이상인 블럭에 대하여는 단계 S186의 처리를 수행하는 한편, 정지 클릭의 클릭 밀도가 소정치 미만인 블럭에 대하여는 단계 S190의 처리를 수행한다.

단계 S186의 처리로 진행하는 경우, 도 36B에 도시된 바와 같이, 정지 클릭의 클릭 밀도가 소정치 이상인 블럭에 대하여, 오브젝트 화상 추출부(213)는, 블럭내 각 클릭 데이터에 할당되는 오브젝트 번호들 중에서 발생 빈도가 가장 높은 지배적인 오브젝트 번호를 구하고, 또한 도 36C에 도시된 바와 같이, 지배적인 오브젝트 번호들이 동일한 블럭들 BK0, BK2, BK4 및 BK5를 수집하여 오브젝트 형상을 생성한다. 그리고, 오브젝트 화상 추출부(213)는, 생성된 오브젝트 형상에 기초하여, 주목 프레임의 화상 데이터에서 정지 오브젝트 화상을 추출한다. 단계 S186으 처리후, 단계 S131의 처리로 리턴한다.

한편, 도 28의 단계 S136에서 단계 S137의 처리로 진행하는 경우, 및 도 35의 단계 S182에서 단계 S183 이하의 처리로 진행하는 경우, 오브젝트 화상 추출부(213)는, 도 36D에 도시된 바와 같이, 도면중 X로 표시되는 동작 클릭을 나타내도록 각각 결정되는 클릭 데이터 중에서 동일한 오브젝트 번호가 할당되는 클릭 위치 근방의 화상들 사이에서 프레임간 패턴 매칭을 수행하고, 또한 동작 보상을 수행한다.

다음에, 단계 S187에서, 오브젝트 화상 추출부(213)는, 패턴 매칭에 의해 유사하다고 가정되는 화상 영역내의 동작 클릭들의 클릭 밀도를 구한다. 즉, 오브젝트 화상 추출부(213)는, 동일한 오브젝트 번호가 할당되는 클릭 위치 근방의 화상들 사이에서 프레임간 패턴 매칭에 의해 복수의 프레임들에 대한 동작 클릭을 나타내는 것으로 결정되는 복수의 클릭 데이터에 동작 보상을 수행하고, 오브젝트 화상 추출부(213)가 갖는 프레임들과 동일한 사이즈인 메모리에 데이터를 로드한다. 그리고, 오브젝트 화상 추출부(213)는 메모리에 저장된 클릭 데이터에 기초하여 16 X 16 화소의 각 블럭에 대한 클릭 밀도를 계산한다.

그 후, 단계 S188에서,도 36D에 도시된 바와 같이, 오브젝트 화상 추출부(213)는, 화상내에 도면중에 X로 표시되는 동작 클릭들의 클릭 밀도가 소정치 이상인지 여부를 판정한다.

여기서, 동작 보상이 수행된 후, 동작 클릭을 나타내는 것으로 결정되는 클릭 데이터의 밀도가 높은 화상 부분에는 동작 오브젝트 화상이 존재하는 것으로 고려된다. 따라서, 동작 보상후 화상에서 동작 클릭의 클릭 밀도가 소정치 이상인 화상 영역에 대하여는 오브젝트 화상 추출부(213)가 단계 S189의 처리를 수행하는 한편, 동작 클릭의 클릭 밀도가 소정치 미만인 화상 영역에 대하여는 단계 S190의 처리를 수행한다.

단계 S189의 처리로 진행하는 경우, 동작 클릭의 클릭 밀도가 소정치 이상인 화상 영역에 대하여 오브젝트 화상 추출부(213)는 각각의 클릭 데이터에 할당되는 오브젝트 번호들 중에서 발생 빈도가 가장 높은 지배적인 오브젝트 번호를 결정하고, 또한 도 36E에 도시된 바와 같이, 지배적인 오브젝트 번호가 동일한 블럭들 BK3 및 BK6을 수집하여 오브젝트 형상을 생성한다. 그리고, 오브젝트 화상추출부(213)는 상기 생성된 오브젝트 형상에 기초하여 주목 프레임의 화상 데이터에서 동작 오브젝트 화상을 추출한다. 단계 S189의 처리후, 도 28의 단계 S138로 리턴한다.

단계 S185 및 S188 모두에서 클릭 밀도가 소정치 미만이라고 판정되는 경우, 정지 클릭 및 동작 클릭의 클릭 밀도가 낮은 화상 부분에 대응하는 주목 프레임의 영역은 단계 S190의 처리에서 배경 화상 영역으로 사용된다. 환언하면, 오브젝트 화상 추출부(213)는, 주목 프레임에서 정지 오브젝트 화상 및 동작 오브젝트 화상이 추출되고 남ㅎ은 화상 부분을 배경 화상으로 가정한다. 단계 S190의 처리후, 도 28의 단계 S138의 처리로 리턴한다.

이러한 방식으로 오브젝트 화상 추출부(213)에 의해 정지 오브젝트 화상, 동작 오브젝트 화상 및 배경 화상이 추출된 후, 도 28의 단계 S131의 처리로 리턴하여, 다음 프레임이 주목 프레임이라는 가정하에 동일한 처리가 반복된다.

도 28의 순서도에 도시된 처리는 각각의 사용자가 주목 사용자라는 가정하에 수행된다.

상술된 처리 흐름과 같이, 오브젝트 추출부(134)는, 휴대 단말(1)의 사용자에 의한 클릭 데이터에 기초하여, 송신될 정지 오브젝트 화상, 동작 오브젝트 화상 및 배경 화상을 추출한다. 그러나, 충분한 수의 클릭 데이터가 존재하지 않으면 오브젝트 추출부(134)가 오브젝트를 추출하기 어렵기 때문에, 충분한 수의 클릭 데이터가 존재하지 않는 경우에는 후단에서 송신 처리부(136)로 화상 데이터가 공급된다. 따라서, 이러한 경우, 화상 데이터는 도 10A에 도시된 상태로 제공된다.

본 발명은 전자 서적 데이터 및 화상 데이터 외에도 음악 등의 음성 데이터 및 프로그램 등의 제공에도 적용될 수 있다. 음성 데이터에 대해서, 제공될 음성 데이터의 음질은 사용자 입력 정보에 기초하여, 예를 들어 샘플링 주파수, 양자화 비트수, 주파수 대역폭 등을 변경함으로써 제어될 수 있다. 또한, 프로그램에 대해서, 제공될 프로그램은 사용자 입력 정보에 기초하여, 예를 들어 소위 데보 버젼 또는 제품 버젼으로 형성될 수도 있다.

더욱이, 컨텐츠 서버(7)에서 휴대 단말(1)로 제공되는 데이터는 휴대 단말(1)의 메모리 카드(23)에 저장될 수 있다. 즉, 컨텐츠 서버(7)에 의해 제공되는 데이터는 휴대 단말(1)에 다운로드될 수 있어, 이후에 그 재생이 수행된다. 휴대 단말(1)에서, 컨텐츠 서버(7)로부터 푸쉬 타입으로 분배되는 데이터도 다운로드될 수 있고, 더욱이 휴대 단말(1)에서 컨텐츠 서버(7)로 다운로드 요청이 이루어져, 컨텐츠 서버(7)에서 송신되는 데이터가 다운로드될 수 있다.

또한, 상술된 바와 같이, 복수의 사용자들로부터의 사용자 입력 정보에 따라서 처리되는 컨텐츠의 제공은 유료 사용자들에 대해서만 수행될 수 있다.

본 발명의 정보 처리 장치 및 방법과 기록 매체에 의하면, 복수의 단말에서 송신되는 각 사용자의 입력 정보를 저장하고, 그 저장된 복수의 사용자의 입력 정보에 기초하여, 단말에 제공되는 컨텐츠가 제어된다. 따라서, 단말에 대하여, 부가 가치를 포함하는 컨텐츠의 제공이 가능하게 된다.

또한, 본 발명의 정보 처리 장치에 의하면, 복수의 단말 각각에 있어서, 제공 장치에서 제공되는 컨텐츠에 대하여, 소정의 입력을 고려하여, 그 입력을 나타내는 입력 정보가, 제공 장치에 송신된다. 그리고, 제공 장치에 있어서, 복수의 단말에서 송신되는 각 사용자의 입력 정보를 저장하고, 그 저장된 복수의 사용자의 입력 정보에 기초하여, 단말에 제공하는 컨텐츠를 제어한다. 따라서, 단말에 대하여, 부가 가치를 포함하는 컨텐츠의 제공이 가능하게 된다.

또한, 본 발명의 정보 처리 장치 및 방법과 기록 매체에 의하면, 복수의 단말에서 송신되는 각 사용자의 입력 정보를 저장하고, 그 저장된 복수의 사용자의 입력 정보에 기초하여, 복수의 단말 각각에 방송하는 방송 데이터를 제어한다. 따라서, 단말에 대하여, 부가 가치를 포함하는 방송 데이터의 제공이 가능하게 된다.

또한, 본 발명의 정보 처리 장치 및 방법과 기록 매체에 의하면, 복수의 단말에서 송신되는 각 사용자의 입력 정보가 저장되고, 그 저장된 복수의 사용자의 입력 정보에 기초하여, 단말에 다운로드된 다운로드 데이터를 제어한다. 따라서, 단말에 대하여, 부가 가치를 포함하는 다운로드 데이터를 다운로드하는 것이 가능하게 된다.

본 발명의 범위 및 사상에서 벗어나지 않고도 본 발명의 다양한 다른 실시예들이 구성될 수 있다. 본 발명은 본 명세서에 설명된 특정 실시예들에 제한되는 것이 아니라는 것을 이해하여야 한다. 이와는 대조적으로, 본 발명은 이하 청구되는 본 발명의 범위 및 사상에 포함되는 다양한 변형물 및 등가물들을 커버하도록 의도된 것이다. 이하 청구범위의 범위는 이러한 변형물, 등가 구조 및 기능들을 포함하는 최광의로 해석되어야 한다.

Claims

단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 장치에 있어서,

복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터 기억 수단;

상기 컨텐츠 데이터 기억 수단에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하고 상기 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신하기 위한 통신 수단;

각 사용자에 대해 상기 통신 수단에 의해 수신된 상기 입력 정보를 기억하기 위한 입력 정보 기억 수단;

상기 입력 정보 기억 수단에 기억된 주목 사용자(target user)의 입력 정보와 유사한 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호(preference)를 해석하기 위한 해석 수단; 및

상기 해석 수단에 의한 해석 결과에 따라서 상기 단말 장치에 전송해야 할 컨텐츠 데이터를 처리하기 위한 처리 수단

을 포함하는 정보 처리 장치.
제1항에 있어서, 상기 처리 수단은 상기 해석 수단에 의한 해석 결과에 따라서 상기 컨텐츠 데이터의 내용을 변경하는 정보 처리 장치.
제2항에 있어서, 상기 처리 수단은 상기 해석 수단에 의한 해석 결과에 따라서 지정된 상기 컨텐츠 데이터로서의 전자 서적 데이터의 내용을 적어도 서적명과 저자명을 포함하는 타이틀 정보만의 전자 서적 데이터로부터 상기 타이틀 정보 및 상기 서적 본문의 내용의 일부로 구성된 전자 서적 데이터로 변경하는 정보 처리 장치.
제3항에 있어서, 상기 처리 수단은 상기 해석 수단에 의한 해석 결과에 따라서 지정된 상기 컨텐츠 데이터로서의 전자 서적 데이터의 적어도 일부 텍스트의 폰트의 사이즈를 증가시키는 정보 처리 장치.
제3항에 있어서, 상기 처리 수단은 상기 해석 수단에 의한 해석 결과에 따라서 지정된 상기 컨텐츠 데이터로서의 전자 서적 데이터에 화상 정보를 부가하는 정보 처리 장치.
제3항에 있어서, 상기 처리 수단은 상기 해석 수단에 의한 해석 결과에 따라서 지정된 상기 컨텐츠 데이터로서의 전자 서적 데이터에 추천할 상기 타이틀 정보의 일람을 부가하는 정보 처리 장치.
제1항에 있어서, 상기 컨텐츠 데이터 기억 수단은 복수의 화상 데이터를 기억하고, 상기 통신 수단은 상기 사용자들 각각에 의해 지시된 상기 화상 데이터 내의 위치 정보를 수신하는 정보 처리 장치.
제7항에 있어서, 상기 해석 수단은 상기 입력 정보 기억 수단에 기억된, 상기 주목 사용자의 상기 위치 정보의 부근의 화상 영역이 지시되는 것을 나타내는, 상기 유사 사용자의 상기 위치 정보를 추출하기 위한 추출 수단을 포함하는 정보 처리 장치.
제8항에 있어서, 상기 추출 수단은 상기 입력 정보 기억 수단에 기억된, 상기 주목 사용자의 상기 위치 정보의 부근의 화상의 특징과 유사한 화상 영역이 지시되는 것을 나타내는, 상기 유사 사용자의 상기 위치 정보를 추출하는 정보 처리 장치.
제9항에 있어서, 상기 처리 수단은 상기 추출 수단에 의해 추출된, 상기 유사 사용자의 상기 위치 정보에 기초하여 지정된 화상 데이터의 일부의 화질을 상기 화상 데이터의 다른 부분의 화질 이상으로 향상시키는 정보 처리 장치.
제10항에 있어서, 상기 처리 수단은,

상기 추출 수단에 의해 추출된, 상기 유사 사용자의 상기 위치 정보에 기초하여 지정된 화상 데이터를 소정의 블럭 단위로 분류하기 위한 분류 수단;

상기 소정의 블럭 단위로 분류된 저품질 화상의 블럭 내의 복수의 화상 데이터의 1차 선형 조합에 의해 고품질 화상의 일부의 화소 데이터를 계산하기 위해,사전에 각 부류에 대해 설정된 계수를 기억하기 위한 계수 기억 수단; 및

상기 분류 수단에 의해 분류된 부류에 대응하는, 상기 계수 기억 수단 내에 설정된 계수와 타깃인 상기 화상 데이터의 블럭 내의 화상 데이터와의 1차 선형 조합에 의해 계산된 상기 화상 데이터의 품질보다 고품질의 화상 데이터를 출력하기 위한 적응 처리 수단

을 포함하는 정보 처리 장치.
제10항에 있어서, 상기 처리 수단은 상기 추출 수단에 의해 추출된, 상기 유사 사용자의 상기 위치 정보에 기초하여 상기 화상 데이터의 다른 부분의 화질을 저하시키는 정보 처리 장치.
제8항에 있어서, 상기 처리 수단은 상기 추출 수단에 의해 추출된, 상기 유사 사용자의 상기 위치 정보에 기초하여 상기 화상 데이터로부터 오브젝트 화상 데이터를 추출하기 위한 오브젝트 화상 데이터 추출 수단; 및

상기 화상 데이터로부터 상기 오브젝트 화상 데이터 추출 수단에 의해 추출된 상기 오브젝트 화상 데이터를 삭제하여 배경 화상 데이터를 추출하기 위한 추출 수단

을 포함하는 정보 처리 장치.
제1항에 있어서, 상기 컨텐츠 데이터를 방송 포맷으로 변환하기 위한 변환수단을 더 포함하고, 상기 통신 수단은 상기 변환 수단에 의해 변환된 컨텐츠 데이터를 상기 복수의 단말에 분배하는 정보 처리 장치.
제1항에 있어서, 상기 컨텐츠 데이터를 압축하여 압축 데이터를 출력하기 위한 변환 수단을 더 포함하고, 상기 통신 수단은 상기 변환 수단에 의해 변환된 상기 압축 데이터를 상기 단말들에 분배하는 정보 처리 장치.
제15항에 있어서, 상기 통신 수단은 상기 변환 수단에 의해 변환된 상기 압축 데이터를 UDP/IP(User Datagram Protocol/Internet Protocol)에 따라서 상기 단말들에 분배하는 정보 처리 장치.
정보 처리 장치에 있어서,

컨텐츠 데이터를 사용자 단말에 송신하고 상기 사용자 단말로부터 송신된 사용자 ID 및 상기 컨텐츠 데이터의 일부를 지정하는 식별 정보를 수신하기 위한 통신 수단;

상기 사용자 ID 및 상기 식별 정보를 서로 대응되게 기억하기 위한 식별 정보 데이터베이스;

상기 통신 수단에 의해 수신된 상기 사용자 ID 및 상기 식별 정보를 상기 식별 정보 데이터베이스 내에 등록하기 위한 등록 수단;

상기 식별 정보 데이터베이스 내에 등록된, 복수의 사용자 ID의 상기 식별정보를 통합하여 기억하기 위한 통합 데이터베이스;

상기 식별 정보 데이터베이스 내에 기억된 주목 사용자 ID에 대응하는 상기 식별 정보와 상기 식별 정보 데이터베이스 내에 기억된, 다른 사용자의 ID에 대응하는 상기 식별 정보를 비교함으로써 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자의 ID를 추출하고, 상기 추출된 유사 사용자 ID에 대응하는 상기 식별 정보 내의 상기 주목 사용자 ID에 대응하는 상기 식별 정보에 고유한 식별 정보를 상기 주목 사용자 ID에 대응하는 상기 식별 정보와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 데이터베이스 내에 기억하기 위한 추출 수단;

상기 통합 데이터베이스 내에 기억된 상기 주목 사용자 ID의 상기 식별 정보에 따라서 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하기 위한 기호 정보 작성 수단;

복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터베이스; 및

상기 컨텐츠 데이터베이스로부터 소정의 간격으로 상기 컨텐츠 데이터베이스 내에 기억된 상기 컨텐츠 데이터를 판독하고, 상기 기호 정보 내에 포함된 상기 식별 정보에 대응하는 컨텐츠 데이터를 처리하고, 상기 가공 컨텐츠 데이터를 상기 통신 수단에 출력하기 위한 컨텐츠 데이터 처리 수단

을 포함하는 정보 처리 장치.
제17항에 있어서, 상기 통신 수단은 상기 컨텐츠 데이터로서의 전자 서적 데이터 내의 하나의 전자 서적 데이터를 지정하는 전자 서적 식별 코드를 수신하고,상기 식별 정보 데이터베이스는 상기 사용자 ID 및 상기 전자 서적 식별 코드를 서로 대응되게 기억하는 정보 처리 장치.
제18항에 있어서, 상기 추출 수단은 상기 식별 정보 데이터베이스 내에 기억된 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드와 상기 식별 정보 데이터베이스 내에 기억된 다른 사용자 ID에 대응하는 상기 전자 서적 식별 코드와의 일치를 검출하고, 소정 수 이상의 전자 서적 식별 코드가 일치하는 사용자 ID를 상기 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자 ID로서 추출하고, 상기 추출된 유사 사용자 ID에 대응하는 상기 전자 서적의 전자 서적 식별 코드 내의 상기 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드에 고유한 식별 코드를 상기 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 데이터베이스 내에 기억하고, 상기 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드와의 각각의 복제 수(each number of duplicates)를 상기 통합 데이터베이스 내에 기억하고,

상기 기호 정보 작성 수단은 상기 통합 데이터베이스 내에 기억된 상기 주목 사용자 ID들의 상기 전자 서적 식별 코드들 내의 다수의 복제를 갖는 전자 서적 식별 코드에 기초하여 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하는 정보 처리 장치.
제17항에 있어서, 상기 통신 수단은 복수의 프레임으로 구성된 동화상 데이터를 상기 사용자 단말에 송신하고 복수의 프레임으로 구성된 동화상 데이터 내의 시공간 상의 위치를 지정하는 위치 정보 및 사용자 ID를 수신하고, 상기 식별 정보 데이터베이스는 상기 사용자 ID 및 상기 위치 정보를 서로 대응되게 기억하는 정보 처리 장치.
제20항에 있어서, 상기 추출 수단은 상기 식별 정보 데이터베이스 내에 등록된 주목 사용자 ID의 상기 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징을 검출하고, 이들 특징 중의 하나 이상과 유사한 특징이 검출되는 다른 사용자 ID를 유사 사용자 ID로서 추출하고, 상기 유사 사용자 ID에 대응하는 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징 중에서 상기 주목 사용자 ID에 기초하여 검출된 특징과 다른 특징을 상기 주목 사용자 ID에 대응하는 특징과 함께 상기 주목 사용자 ID에 대응되게 상기 통합 데이터베이스 내에 기억하고, 상기 기호 정보 작성 수단은 상기 통합 데이터베이스로부터 상기 주목 사용자 ID에 대응하는 상기 특징을 검색하여 상기 기호 정보를 작성하는 정보 처리 장치.
제20항에 있어서, 상기 추출 수단은 상기 식별 정보 데이터베이스 내에 등록된 주목 사용자 ID의 상기 위치 정보를 검출하고, 상기 식별 정보 데이터베이스 내에 등록된 다른 사용자 ID의 위치 정보 내의 상기 검출된 위치 정보 부근의 프레임을 지시하는 위치 정보에 대응하는 사용자 ID를 유사 사용자 ID로서 추출하고, 상기 유사 사용자 ID에 대응하는 위치 정보 내의 상기 주목 사용자 ID로부터 검출된위치 정보와 다른 위치 정보를 상기 주목 사용자 ID에 대응하는 위치 정보와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 데이터베이스 내에 기억하고, 상기 기호 정보 작성 수단은 상기 통합 데이터베이스로부터 상기 주목 사용자 ID에 대응하는 상기 위치 정보를 검색하여 상기 기호 정보를 작성하는 정보 처리 장치.
정보 처리 시스템에 있어서,

단말 장치; 및

상기 단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 장치를 포함하고,

상기 단말 장치는, 상기 정보 처리 장치로부터 송신된 컨텐츠 데이터의 일부를 지시하기 위한 포인팅 수단; 및 상기 컨텐츠 데이터를 수신하고 상기 포인팅 수단에 의해 지시된 입력 정보를 상기 정보 처리 장치에 송신하기 위한 제1 통신 수단을 포함하고,

상기 정보 처리 장치는, 복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터 기억 수단; 상기 컨텐츠 데이터 기억 수단에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하고 상기 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신하기 위한 제2 통신 수단; 각 사용자에 대해 상기 제2 통신 수단에 의해 수신된 상기 입력 정보를 기억하기 위한 입력 정보 기억 수단; 상기 입력 정보 기억 수단에 기억된, 주목 사용자의 입력 정보와 유사한, 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호를 해석하기 위한 해석 수단; 및 상기 해석 수단에 의한해석 결과에 따라서 상기 단말 장치에 전송해야 할 컨텐츠 데이터를 처리하기 위한 처리 수단을 포함하는

정보 처리 시스템.
정보 처리 장치에 있어서,

복수의 전자 서적 데이터를 사용자 단말에 송신하고 상기 사용자 단말로부터 송신된 사용자 ID 및 상기 복수의 전자 데이터 북 데이터 내의 하나의 전자 서적 데이터를 지정하는 전자 서적 식별 코드를 수신하기 위한 통신 수단;

상기 사용자 ID 및 상기 전자 서적 식별 코드를 서로 대응되게 기억하기 위한 기호 데이터베이스;

상기 통신 수단에 의해 수신된 상기 사용자 ID 및 상기 전자 서적 식별 코드를 상기 기호 데이터베이스 내에 등록하기 위한 등록 수단;

상기 기호 데이터베이스 내에 등록된, 복수의 사용자 ID의 상기 전자 서적 식별 코드를 통합하여 기억하기 위한 통합 기호 데이터베이스;

상기 기호 데이터베이스 내에 기억된 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드와 상기 기호 데이터베이스 내에 기억된 다른 사용자의 ID에 대응하는 상기 전자 서적 식별 코드 사이의 일치를 검출하고, 소정 수 이상의 전자 서적 식별 코드가 일치하는 사용자 ID를 상기 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자 ID로서 추출하고, 상기 추출된 유사 사용자 ID에 대응하는 상기 전자 서적의 전자 서적 식별 코드들 중에서 상기 주목 사용자 ID에 대응하는 상기 전자서적 식별 코드에 고유한 식별 코드를 상기 주목 사용자 ID에 대응하는 상기 전자 서적 식별 코드와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 기호 데이터베이스 내에 기억하고, 상기 주목 사용자 ID에 대응하는 각 전자 서적 식별 코드에 대해 상기 통합 기호 데이터베이스 내에 상기 유사 사용자 ID에 대응하는 상기 전자 서적 식별 코드와의 복제 수를 기억하기 위한 추출 수단;

상기 통합 기호 데이터베이스 내에 기억된 상기 주목 사용자 ID의 상기 전자 서적 식별 코드 중에서 다수의 복제를 갖는 전자 서적 식별 코드에 기초하여 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하기 위한 기호 정보 작성 수단;

상기 복수의 전자 서적 데이터를 기억하기 위한 전자 서적 데이터베이스; 및

상기 전자 서적 데이터베이스로부터 소정의 간격으로 상기 전자 서적 데이터베이스 내에 기억된 상기 전자 서적 데이터를 판독하고, 상기 기호 정보 내에 포함된 상기 전자 서적 식별 코드에 대응하는 전자 서적 데이터를 처리하고, 상기 처리된 전자 서적 데이터를 상기 통신 수단에 출력하기 위한 전자 서적 데이터 처리 수단

을 포함하는 정보 처리 장치.
정보 처리 장치에 있어서,

복수의 프레임으로 구성된 동화상 데이터를 사용자 단말에 송신하고, 상기 사용자 단말로부터 송신된, 복수의 프레임으로 구성된 동화상 데이터 내의 시공간 상의 위치를 지정하는 위치 정보 및 사용자 ID를 수신하기 위한 통신 수단;

상기 사용자 ID 및 상기 위치 정보를 서로 대응되게 기억하기 위한 클릭 위치 데이터베이스;

상기 통신 수단에 의해 수신된 상기 사용자 ID 및 상기 위치 정보를 상기 클릭 데이터베이스 내에 등록하기 위한 등록 수단;

상기 클릭 위치 데이터베이스 내에 등록된 복수의 사용자 ID의 상기 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징을 통합하여 기억하기 위한 통합 특징 데이터베이스;

상기 클릭 위치 데이터베이스 내에 등록된 주목 사용자 ID의 상기 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징을 검출하고, 이들 특징 중의 하나 이상과 유사한 특징이 검출되는 다른 사용자 ID를 유사 사용자 ID로서 추출하고, 상기 유사 사용자 ID에 대응하는 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징 중에서 상기 주목 사용자 ID에 기초하여 검출된 특징과 다른 특징을 상기 주목 사용자 ID에 대응하는 특징과 함께 상기 주목 사용자 ID에 대응되게 상기 통합 특징 데이터베이스 내에 기억하기 위한 추출 수단;

상기 통합 특징 데이터베이스로부터 상기 주목 사용자 ID에 대응하는 상기 특징을 검색하기 위한 검색 수단;

상기 복수의 프레임으로 구성된 동화상 데이터를 기억하기 위한 동화상 데이터베이스;

상기 동화상 데이터베이스로부터 소정의 간격으로 상기 동화상을 판독하고 상기 동화상 데이터베이스 내의 특징을 상기 블럭 단위로 검출하기 위한 특징 검출수단;

상기 검색 수단에 의해 검출된 상기 특징과 유사한 특징이 상기 특징 검출 수단에 의해 검출되는 블럭을 검출하기 위한 유사 특징 검출 수단; 및

상기 유사 특징 검출 수단에 의해 검출된, 상기 블럭 내의 화상 데이터를 고품질로 변환하기 위한 변환 수단

을 포함하는 정보 처리 장치.
정보 처리 장치에 있어서,

복수의 프레임으로 구성된 동화상 데이터를 사용자 단말에 송신하고, 상기 사용자 단말로부터 송신된, 복수의 프레임으로 구성된 동화상 데이터 내의 시공간 상의 위치를 지정하는 위치 정보 및 사용자 ID를 수신하기 위한 통신 수단;

상기 사용자 ID 및 상기 위치 정보를 서로 대응되게 기억하기 위한 클릭 위치 데이터베이스;

상기 통신 수단에 의해 수신된 상기 사용자 ID 및 상기 위치 정보를 상기 클릭 위치 데이터베이스 내에 등록하기 위한 등록 수단;

상기 클릭 위치 데이터베이스 내에 등록된 복수의 사용자 ID의 상기 위치 정보를 통합하여 기억하기 위한 통합 클릭 위치 데이터베이스;

상기 클릭 위치 데이터베이스 내에 등록된 주목 사용자 ID의 상기 위치 정보를 검출하고, 상기 클릭 위치 데이터베이스 내에 등록된 다른 사용자 ID의 위치 정보 내의, 상기 검출된 위치 정보 부근의 프레임을 지시하는 위치 정보에 대응하는사용자 ID를 유사 사용자 ID로서 추출하고, 상기 유사 사용자 ID에 대응하는 위치 정보 내의 상기 주목 사용자 ID에 기초하여 검출된 위치 정보와 다른 위치 정보를 상기 주목 사용자 ID에 대응하는 위치 정보와 함께 상기 주목 사용자 ID에 대응되게 상기 통합 클릭 위치 데이터베이스 내에 기억하기 위한 추출 수단;

상기 통합 클릭 위치 데이터베이스로부터 상기 주목 사용자 ID에 대응하는 상기 위치 정보를 검색하기 위한 검색 수단;

상기 복수의 프레임으로 구성된 동화상 데이터를 기억하기 위한 동화상 데이터베이스;

상기 동화상 데이터베이스로부터 소정의 간격으로 상기 동화상을 판독하고, 상기 검색 수단에 의해 검색된 상기 위치 정보에 기초하여 상기 동화상 데이터베이스로부터 오브젝트 화상 데이터를 추출하여, 상기 오브젝트 동화상 데이터를 상기 통신 수단에 출력하기 위한 오브젝트 화상 데이터 추출 수단;

상기 동화상 데이터로부터 상기 오브젝트 화상 데이터 추출 수단에 의해 추출된 오브젝트 화상 데이터를 공제함으로써 배경 화상 데이터를 추출하여 상기 배경 화상 데이터를 상기 통신 수단에 출력하기 위한 배경 화상 데이터 추출 수단; 및

상기 오브젝트 화상 데이터 및 상기 배경 화상 데이터에 기초하여 오브젝트 동작 벡터 및 배경 동작 벡터를 검출하여 상기 오브젝트 동작 벡터 및 상기 배경 동작 벡터를 상기 통신 수단에 출력하기 위한 동작 벡터 검출 수단

을 포함하는 정보 처리 장치.
제26항에 있어서, 상기 오브젝트 화상 데이터 추출 수단은,

상기 동화상 데이터베이스로부터 공급된, 복수의 프레임으로 구성된 상기 동화상 데이터를 임시 기억하기 위한 화상 메모리;

상기 검색 수단에 의해 검색된 상기 주목 사용자 ID에 대응하는 복수의 위치 정보를 임시 기억하기 위한 위치 정보 메모리;

상기 위치 정보 메모리로부터 상기 주목 사용자 ID에 대응하는 위치 정보를 판독하고, 상기 화상 메모리 내의 상기 판독된 위치 정보가 거의 중앙인 주목 프레임의 블럭 내의 화상 데이터와 상기 주목 프레임 이전의 상기 블럭의 위치와 동일 위치의 블럭의 화상 데이터와의 차이값이 소정의 임계치보다 클 때, 상기 위치 정보를 동작인 것으로 판정하고, 상기 차이값이 상기 소정의 임계치 이하일 때, 상기 위치 정보를 정지인 것으로 판정하여, 상기 정/동 판정 결과를 출력하기 위한 정/동 판정부; 및

상기 위치 정보 메모리로부터 상기 주목 사용자 ID의 상기 주목 프레임에 대응하는 위치 정보를 판독하고, 상기 주목 프레임 이전의 상기 프레임에 대응하는 위치 정보를 판독하여, 각 위치 정보의 시간 관련 차이값을 검출하고, 상기 시간 관련 차이값이 소정의 임계치보다 클 때 상기 위치 정보가 불연속 위치 정보인 것으로 판정하고 상기 시간 관련 차이값이 소정의 임계치 이하일 때 상기 위치 정보가 연속 위치 정보인 것으로 판정하여, 그 판정 결과를 출력하기 위한 연속성 판정부

를 포함하는 정보 처리 장치.
제27항에 있어서,

상기 정/동 판정부가 상기 정지의 판정 결과를 출력하고 상기 연속성 판정부가 상기 연속 위치 정보의 판정 결과를 출력할 때,

상기 주목 사용자 ID의 상기 주목 프레임에 대한 클릭 위치를 지시하는 주목 프레임 위치 정보와 상기 이전 프레임에 대한 클릭 위치를 지시하는 이전 프레임 위치 정보와의 공간적 거리를 검출하기 위한 처리 판정부;

상기 처리 판정부에 의해 상기 공간적 거리가 소정의 임계치보다 큰 것으로 판정될 때 상기 주목 프레임 위치 정보와 상기 이전 프레임 위치 정보에 의해 지시된 오브젝트들이 서로 다른 것으로 가정하여 상기 이전 프레임 위치 정보에 대응하는 오브젝트 번호와 다른 새로운 오브젝트 번호를 상기 주목 프레임 위치 정보에 할당하기 위한 오브젝트 번호 할당부; 및

상기 처리 판정부에 의해 상기 공간적 거리가 상기 소정의 임계치 이하인 것으로 판정될 때 상기 주목 프레임 위치 정보와 상기 이전 프레임 위치 정보에 의해 지시된 오브젝트들이 동일한 것으로 가정하여 상기 이전 프레임 위치 정보에 대응하는 오브젝트 번호와 동일한 오브젝트 번호를 상기 주목 프레임 위치 정보에 할당하기 위한 정지 오브젝트 연결 처리부

를 더 포함하는 정보 처리 장치.
제28항에 있어서, 상기 정/동 판정부가 상기 정지의 판정 결과를 출력하고 상기 연속성 판정부가 상기 연속 위치 정보의 판정 결과를 출력할 때, 상기 처리 판정부는 상기 주목 사용자 ID의 상기 주목 프레임에 대한 클릭 위치를 지시하는 주목 프레임 위치 정보가 거의 중앙인 블럭 내의 화상 데이터의 특징과 상기 이전 프레임에 대한 클릭 위치를 지시하는 상기 이전 위치 정보에 할당되는 오브젝트의 특징을 비교하고,

상기 오브젝트 번호 할당부는 상기 처리 판정부에 의해 상기 특징이 다른 것으로 판정될 때 상기 주목 프레임 위치 정보와 상기 이전 프레임 위치 정보에 의해 지시된 오브젝트들이 서로 다른 것으로 가정하여 상기 이전 프레임 위치 정보에 대응하는 오브젝트 번호와 다른 새로운 오브젝트 번호를 상기 주목 프레임 위치 정보에 할당하고,

상기 처리 판정부에 의해 상기 특징이 유사한 것으로 판정될 때 상기 주목 프레임 위치 정보와 상기 이전 프레임 위치 정보에 의해 지시된 오브젝트들이 동일한 것으로 가정하여 상기 이전 프레임 위치 정보에 대응하는 오브젝트 번호와 동일한 오브젝트 번호를 상기 주목 프레임 위치 정보에 할당하기 위한 동작 오브젝트 연결 처리부가 더 구비되는 정보 처리 장치.
제29항에 있어서, 상기 오브젝트 번호 할당부, 상기 정지 오브젝트 연결 처리부, 및 상기 동작 오브젝트 연결 처리부에 의해 출력된, 복수의 프레임에 대응하는 위치 정보 및 각 위치 정보에 대응하는 오브젝트 번호를 수신하고, 상기 복수의프레임 중, 정지인 것으로 판정되는 복수의 위치 정보를 상기 프레임과 동일한 사이즈를 갖는 메모리에 로딩하고, 상기 정/동 판정부에 의해 상기 주목 사용자 ID의 상기 주목 프레임에 대한 클릭 위치를 지시하는 상기 주목 프레임 위치 정보가 정지인 것으로 판정될 때 상기 메모리 내의 각 소정의 블럭에 대한 위치 정보의 밀도를 계산하고, 상기 밀도가 소정의 임계치 이상인 것으로 판정되는 상기 블럭 내의 복수의 위치 정보에 할당되는 오브젝트 번호들 내의 최대 번호를 갖는 오브젝트 번호가 할당되는 위치 정보의 분포에 기초하여 정지 오브젝트 형상을 작성하여, 정지 오브젝트 화상을 출력하기 위한 오브젝트 화상 추출부를 더 포함하는 정보 처리 장치.
제30항에 있어서, 상기 정/동 판정부에 의해 상기 주목 사용자 ID의 상기 주목 프레임에 대한 클릭 위치를 지시하는 상기 주목 프레임 위치 정보가 동작인 것으로 판정될 때, 상기 오브젝트 화상 추출부는 상기 주목 프레임 위치 정보에 할당되는 오브젝트 번호와 동일한 번호가 할당되는 복수의 위치 정보 부근의 화상들 사이의 프레임간 패턴 매칭에 의해 상기 복수의 프레임 중, 동작인 것으로 판정되는 복수의 위치 정보에 대한 동작 보상을 수행하고, 상기 프레임과 동일한 사이즈를 갖는 메모리에 그 정보를 로딩하고, 상기 메모리 내의 각 소정의 블럭에 대한 위치 정보의 밀도를 계산하고, 상기 밀도가 소정의 임계치 이상인 것으로 판정되는 상기 블럭 내의 복수의 위치 정보에 할당되는 오브젝트 번호들 내의 최대 번호를 갖는 오브젝트 번호가 할당되는 위치 정보의 분포에 기초하여 동작 오브젝트 형상을 작성하여, 동작 오브젝트 화상을 출력하는 정보 처리 장치.
제31항에 있어서, 상기 오브젝트 화상 추출부는 상기 밀도가 상기 소정의 임계치보다 작은 것으로 판정되는 상기 블럭에 대응하는 화상을 배경 화상으로서 출력하는 정보 처리 장치.
단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 방법에 있어서,

복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터 기억 수단에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하는 단계;

상기 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신하는 단계;

상기 수신된 각 사용자에 대한 입력 정보를 기억하는 단계;

상기 기억된 주목 사용자의 입력 정보와 유사한 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호를 해석하는 단계; 및

상기 해석 결과에 따라서 상기 단말 장치에 전송해야 할 컨텐츠 데이터를 처리하는 단계

를 포함하는 정보 처리 방법.
단말 장치에 컨텐츠 데이터를 제공하기 위한 정보 처리 방법을 실행하기 위한 프로그램이 기억된 기록 매체에 있어서,

상기 프로그램은,

복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터 기억 수단에 기억된 컨텐츠 데이터를 복수의 단말 장치에 송신하는 단계;

상기 송신된 컨텐츠 데이터에 대한 각 사용자의 입력 정보를 수신하는 단계;

상기 수신된 각 사용자에 대한 입력 정보를 기억하는 단계;

상기 기억된 주목 사용자의 입력 정보와 유사한 유사 사용자의 입력 정보에 기초하여 주목 사용자의 기호를 해석하는 단계; 및

상기 해석 결과에 따라서 상기 단말 장치에 전송해야 할 컨텐츠 데이터를 처리하는 단계

를 포함하는 기록 매체.
정보 처리 방법에 있어서,

컨텐츠 데이터를 사용자 단말에 송신하는 단계;

상기 사용자 단말로부터 송신된 사용자 ID 및 상기 컨텐츠 데이터의 일부를 지정하는 식별 정보를 수신하는 단계;

상기 수신된 사용자 ID 및 상기 수신된 식별 정보를 서로 대응되게 등록하는 단계;

상기 복수의 등록된 사용자 ID의 상기 식별 정보를 통합하여 기억하는 단계;

상기 기억된 주목 사용자 ID에 대응하는 상기 식별 정보와 상기 기억된 다른 사용자의 ID에 대응하는 상기 식별 정보를 비교함으로써 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자 ID를 추출하는 단계;

상기 추출된 유사 사용자 ID에 대응하는 상기 식별 정보 내의 상기 주목 사용자 ID에 대응하는 상기 식별 정보에 고유한 식별 정보를 상기 주목 사용자 ID에 대응하는 상기 식별 정보와 함께 기억하는 단계;

상기 기억된 주목 사용자 ID의 상기 식별 정보에 따라서 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하는 단계;

상기 복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터베이스로부터 소정의 간격으로 상기 컨텐츠 데이터베이스 내에 기억된 상기 컨텐츠 데이터를 판독하는 단계;

상기 기호 정보 내에 포함된 상기 식별 정보에 대응하는 컨텐츠 데이터를 처리하는 단계; 및

상기 가공 컨텐츠 데이터를 출력하는 단계

를 포함하는 정보 처리 방법.
정보 처리 방법을 실행하기 위한 프로그램이 기억된 기록 매체에 있어서,

상기 프로그램은,

컨텐츠 데이터를 사용자 단말에 송신하는 단계;

상기 사용자 단말로부터 송신된 사용자 ID 및 상기 컨텐츠 데이터의 일부를 지정하는 식별 정보를 수신하는 단계;

상기 수신된 사용자 ID 및 상기 수신된 식별 정보를 서로 대응되게 등록하는 단계;

상기 복수의 등록된 사용자 ID의 상기 식별 정보를 통합하여 기억하는 단계;

상기 기억된 주목 사용자 ID에 대응하는 상기 식별 정보와 상기 기억된 다른 사용자의 ID에 대응하는 상기 식별 정보를 비교함으로써 주목 사용자의 기호와 유사한 기호를 갖는 유사 사용자 ID를 추출하는 단계;

상기 추출된 유사 사용자 ID에 대응하는 상기 식별 정보 내의 상기 주목 사용자 ID에 대응하는 상기 식별 정보에 고유한 식별 정보를 상기 주목 사용자 ID에 대응하는 상기 식별 정보와 함께 기억하는 단계;

상기 기억된 주목 사용자 ID의 상기 식별 정보에 따라서 상기 주목 사용자 ID에 대응하는 기호 정보를 작성하는 단계;

상기 복수의 컨텐츠 데이터를 기억하기 위한 컨텐츠 데이터베이스로부터 소정의 간격으로 상기 컨텐츠 데이터베이스 내에 기억된 상기 컨텐츠 데이터를 판독하는 단계;

상기 기호 정보 내에 포함된 상기 식별 정보에 대응하는 컨텐츠 데이터를 처리하는 단계; 및

상기 가공 컨텐츠 데이터를 출력하는 단계

를 포함하는 기록 매체.