[go: up one dir, main page]

KR20160031002A - 다중-센서의 손 감지 - Google Patents

다중-센서의 손 감지 Download PDF

Info

Publication number
KR20160031002A
KR20160031002A KR1020167003686A KR20167003686A KR20160031002A KR 20160031002 A KR20160031002 A KR 20160031002A KR 1020167003686 A KR1020167003686 A KR 1020167003686A KR 20167003686 A KR20167003686 A KR 20167003686A KR 20160031002 A KR20160031002 A KR 20160031002A
Authority
KR
South Korea
Prior art keywords
computing device
sensor data
real
sensor
mobile computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020167003686A
Other languages
English (en)
Other versions
KR101696793B1 (ko
Inventor
찰스 제이 휴즈
야엘 지 맥과이어
샤피 시린파르
마이클 존 매켄지 토크스비
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160031002A publication Critical patent/KR20160031002A/ko
Application granted granted Critical
Publication of KR101696793B1 publication Critical patent/KR101696793B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. Transmission Power Control [TPC] or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. Transmission Power Control [TPC] or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0274—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
    • H04W52/028—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof switching on or off only a part of the equipment circuit blocks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

일실시예로, 방법은 컴퓨팅 장치상의 상이한 센서 타입의 센서로부터 실시간 센서 데이터를 수신하는 단계를 포함한다. 실시간 센서 데이터는 컴퓨팅 장치의 사용자에 의해 발생된 컴퓨팅 장치의 물리적 상태에서의 전환에 대응한다. 방법은 컴퓨팅 장치상의 상이한 센서 타입의 다수의 센서로부터의 실시간 센서 데이터를 상관시키는 단계; 상관관계에 기초하여 사용자에 의한 컴퓨팅 장치의 의도된 임박한 사용을 결정하는 단계; 및 결정에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 자동으로 시작하는 단계를 또한, 포함한다.

Description

다중-센서의 손 감지{MULTI-SENSOR HAND DETECTION}
본 명세서는 일반적으로 모바일 컴퓨팅 장치에 관한 것이다.
가령 스마트폰, 태블릿 컴퓨터 또는 랩톱 컴퓨터와 같은 모바일 컴퓨팅 장치는 가령 GPS 수신기, 나침반 또는 자이로스코프와 같이 그 위치, 방향 또는 방위를 결정하기 위한 기능을 포함할 수 있다. 또한, 이런 장치는 가령 BLUETOOTH 통신, NFC(near-field communication) 또는 적외선(IR) 통신이나 무선 근거리 네트워크(WLANs)나 셀룰러-전화 네트워크를 가진 통신과 같이 무선 통신을 위한 기능을 포함할 수 있다. 또한, 이런 장치는 하나 이상의 카메라, 스캐너, 터치스크린, 마이크로폰 또는 스피커를 포함할 수 있다. 또한, 모바일 컴퓨팅 장치는 가령 게임, 웹 브라우저 또는 소셜 네트워킹 애플리케이션과 같은 소프트웨어 애플리케이션을 실행할 수 있다. 소셜 네트워킹 애플리케이션으로 사용자는 그 소셜 네트워크의 다른 사용자들과 연결하고, 통신하며, 정보를 공유할 수 있다.
본 발명의 설명 중에 포함되어 있다.
특정 실시예로, 일정한 사용자 경험의 향상은, 사람의 손 또는 다른 사람의 신체 부분에 관한 물리적 상태(예컨대, 장치에 접근하는 것, 장치를 접촉하는 것, 장치를 파지(grasp)하는 것, 장치를 움직이는 것, 장치를 놓는 것, 장치로부터 멀리 이동하는 것) 간의 변환(transition)의 정확하고 빠른 감지에 의해 생성되는 센서 입력으로부터 사용자 의도를 추론함으로써 가능할 수 있다. 이러한 상태 사이의 변환의 감지의 정확도에서의 향상이, 거짓 긍정(false positive)을 제거하기 위해 다수의 센서 타입(예컨대, 전기장 센서, 광학 근접 센서(optical proximity sensor), 또는 가속도계)에 걸쳐 입력 데이터를 상관시킴으로써 용이해질 수 있다.
예컨대, 컴퓨팅 장치가 사용자의 손의 접근 및 손에 의한 파지를 감지할 수 있다면, 컴퓨팅 장치는 사용자에 의한 컴퓨팅 장치의 사용이 임박했다고 추론할 수 있으며, 따라서 컴퓨팅 장치에서 애플리케이션 및/또는 데이터를 가장 최근으로 불러오기 위해, 데이터를 다운로드 및/또는 업로드하는 임의의 프로세스를 개시할 수 있다. 장치가 전기장 센서만을 독자적으로 사용한다면, 모바일 장치는 바지의 주머니 속에 위치하고 사용자의 다리로부터 오로지 얇은 섬유 층만큼만 분리되어 있기 때문에, 거짓 긍정이 생성될 수 있다. 하지만, 거짓 긍정은, 전기장 센서로부터의 입력을 장치(예컨대, 광학 근접 센서 또는 가속도계)를 파지하려는 시도가 없다고 표시하는 다른 센서로부터의 입력에 대해 상관시킴으로써 감지될 수 있다. 다른 예로, 사람의 손의 파지에 대한 긍정의 감지(예컨대, 장치의 다른 측에서의 2개 이상의 손가락에 의한 동시의 감지와 함께 장치의 일측에서의 단일의 손가락 접촉을 감지하는 것)는 특정 패턴으로 장치의 가장자리 및 측면을 따라 분산된 다수의 전기장 센서를 트리거링하는 것을 요구할 수 있다.
다른 예로, 통신 장치가 책상에 정지하는 동안 사용자의 손가락에 의한 접촉을 감지할 수 있다면, 장치는 예컨대, 사용자가 상태 업데이트에 타이핑할 수 있는 윈도우를 자동으로 디스플레이하는 것과 같은 애플리케이션 기능을 트리거링할 수 있다. 특정 실시예는 가속도계의 기호(signature)를 전기장 센서 신호와 상관시킬 수 있다.
본 발명의 설명 중에 포함되어 있다.
도 1은 예시적인 모바일 컴퓨팅 장치를 도시한다.
도 2는 예시적인 모바일 컴퓨팅 장치의 예시적인 센서 구성을 도시한다.
도 3은 사용자의 추론된 의도에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 개시하기 위한 예시적인 방법을 도시한다.
도 4a-b는 예시적인 센서 데이터에서의 변환의 예시적인 감지를 도시한다.
도 5는 소셜 네트워킹 시스템과 연관된 예시적인 네트워크 환경을 도시한다.
도 6은 센서 데이터의 예시적인 분류(classification)를 도시한다.
도 7은 센서 데이터가 클라이언트 시스템의 미리-결정된 사용에 대응하는지를 결정하기 위한 예시적인 방법을 도시한다.
도 8은 예시적인 프로젝션의 계산을 통한 데이터의 컴포넌트들의 예시적인 분리(isolation)를 도시한다.
도 9는 센서 데이터의 컴포넌트를 분리시키는 예시적인 방법을 도시한다.
도 10은 예시적인 컴퓨팅 시스템을 도시한다.
도 1은 예시적인 모바일 컴퓨팅 장치를 도시한다. 특정 실시예로, 클라이언트 시스템은 전술한 모바일 컴퓨팅 장치(10)일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 모바일 컴퓨팅 장치(10)를 고려한다. 특정 실시예로, 모바일 컴퓨팅 장치(10)는 후술할 컴퓨팅 장치일 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치는 단일 보드 컴퓨터 시스템(single-board computer system; SBC)(가령, 예컨대, 컴퓨터-온-모듈(computer-on-module; COM) 또는 시스템-온-모듈(system-on-module; SOM)), 랩톱 또는 노트북 컴퓨터 시스템, 모바일 전화, 스마트폰, PDA(personal digital assistant), 태블릿 컴퓨터 시스템, 또는 둘 이상의 이들의 조합일 수 있다. 특정 실시예로, 모바일 컴퓨팅 장치(10)는 입력 컴포넌트로서 1차 터치 센서를 가질 수 있다. 용량성 터치 센서의 경우에 있어서, 3개의 타입: 송신용, 수신용, 및 로딩용 전극이 있을 수 있다. 이러한 전극은 전기 펄스로 송신용 전극을 구동하도록 설계된 컨트롤러에 연결될 수 있다. 도 1의 예에서, 터치 센서(12)는 모바일 컴퓨팅 장치(10)의 전면에 통합된다. 도 1의 예에서, 하나 이상의 2차 터치 센서(14A-D)가 모바일 컴퓨팅 장치(10)의 하나 이상의 표면에 통합될 수 있다. 특정 실시예로, 하나 이상의 2차 터치 센서(14A-D)는 가령 예컨대, 측면 또는 바닥면의 일부와 같은 모바일 컴퓨팅 장치(10)의 다수의 표면들의 일부에 대한 커버리지(coverage)를 가질 수 있다. 후술할 바와 같이, 모바일 컴퓨팅 장치(10)와 연관된 사용자의 의도는 하나 이상의 터치 센서(12, 14A-D) 또는 센서 타입들의 임의의 조합에 의해 감지된 센서 데이터에서의 변환을 통해 추론될 수 있다.
모바일 컴퓨팅 장치(10)는 Ethernet 또는 다른 유선-기반의 네트워크, 또는 무선 NIC(WNIC)와 통신하기 위한 통신 컴포넌트, 가령 예컨대, WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 어댑터, 또는 가령 3세대 이동 통신(3G) 또는 LTE(Long Term Evolution) 네트워크와 같은 셀룰러 네트워크와 통신하기 위한 모뎀을 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 네트워크를 위한 임의의 적절한 통신 컴포넌트를 고려한다. 예로서 제한 없이, 모바일 컴퓨팅 장치(10)는 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 거대 도시 통신망(MAN), 또는 인터넷의 하나 이상의 부분 또는 둘 이상의 이들의 조합과 통신할 수 있다. 하나 이상의 이러한 네트워크들의 하나 이상의 부분은 유선 또는 무선일 수 있다. 다른 예로, 모바일 컴퓨팅 장치(10)는 무선 PAN(WPAN)(가령, 예컨대, 블루투스 WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(가령, 예컨대, GSM(Global System for Mobile Communications), 3G, 또는 LTE 네트워크), 또는 다른 적절한 무선 네트워크 또는 둘 이상의 이들의 조합과 통신할 수 있다. 모바일 컴퓨팅 장치(10)는 적절한 경우 임의의 이러한 네트워크들에 대한 임의의 적절한 통신 컴포넌트를 포함할 수 있다.
특정 실시예로, 모바일 컴퓨팅 장치(10)는 다수의 연산 상태를 가질 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치(10)가 기간(예컨대, 수초)동안 사용자에 의해 사용되지 않았을 때, 모바일 컴퓨팅 장치(10)는 절전 상태로 들어갈 수 있다. 절전 상태에서, 모바일 컴퓨팅 장치(10)는 에너지를 절약하고 배터리 수명을 연장하기 위해 낮은 전력 레벨에서 동작할 수 있다. 모바일 컴퓨팅 장치(10)의 디스플레이는 희미해지거나 전력강하(power down)될 수 있다. 임의의 주어진 시간에, 모바일 컴퓨팅 장치(10)는 예컨대, 사용자가 현재 모바일 컴퓨팅 장치(10)를 현재 사용하고 있는지, 모바일 컴퓨팅 장치(10)의 가장 최근의 사용 이래로 경과된 시간의 양, 모바일 컴퓨팅 장치(10)의 물리적 환경(예컨대, 운반 케이스, 주머니 또는 서랍에 있는 것)에 따라, 임의의 적절한 동작 상태에 있을 수 있다.
특정 실시예로, 모바일 컴퓨팅 장치(10)의 애플리케이션 프로세서에 의해 실행되는 애플리케이션은 가령 예컨대, SVM(support vector machine), 뉴럴 네트워크, 신뢰 전파법, 또는 k-평균 알고리즘과 같은 기계 습득 알고리즘을 위한 트레이닝 데이터로 기능할 수 있는 센서 데이터를 제공하기 위해 미리-결정된 기간 내에 특정 행위를 사용자가 수행하도록 유도(prompt)할 수 있다. 예로서 제한 없이, 사용자는 가령 예컨대, 자전거를 타는 것, 모바일 컴퓨팅 장치(10)를 주머니에 넣고 앉아 있는 것, 또는 주머니로부터 모바일 컴퓨팅 장치(10)를 꺼내는 것과 같이 특정 행위가 수행되고 있다고 애플리케이션에 표시할 수 있고, 트레이닝 애플리케이션은 하나 이상의 타입의 센서들을 통해 특정 행위에 대응하는 센서 데이터를 기록할 수 있다. 특정 실시예로, 각각의 행위는 가령 예컨대, 모바일 컴퓨팅 장치(10)와 물리적 접촉을 생성하는 것과 연관된 행위 또는 모바일 컴퓨팅 장치(10)와의 물리적 접촉과 연관되지 않는 행위와 같이 모바일 컴퓨팅 장치(10)와 연관된 많은 수의 상태들 중 특정 상태로 분류될 수 있다.
예로서 제한 없이, 모바일 컴퓨팅 장치(10)는 측정값들의 어레이 및 각각의 행위와 연관된 특정 상태에 대응하는 상태값으로서 센서 데이터를 전송할 수 있다. 예컨대, 트레이닝 데이터는 모바일 컴퓨팅 장치(10)의 하나 이상의 터치 센서로부터의 커패시턴스 값들의 어레이일 수 있다. 다른 예로, 트레이닝 데이터는 특정 행위가 수행되는 동안 가속도계에 의해 측정된 가속도를 포함할 수 있다. 전술한 바와 같이, 트레이닝 데이터는 또한, 특정 행위를 가령 예컨대, 모바일 컴퓨팅 장치(10)와의 물리적 접촉과 같은 모바일 컴퓨팅 장치(10)의 특정 상태와 연관시키는 표시자 정보를 포함할 수 있다. 예로서 제한 없이, "O"은 가령 예컨대, 테이블과 같은 표면에 모바일 컴퓨팅 장치(10)를 정지시키는 것을 표현하는 상태에 할당될 수 있다. 다른 예로, "1"은 가령 예컨대, 테이블로부터 들어올리는 것과 같이 모바일 컴퓨팅 장치(10)에 가해지는 물리적 접촉을 표현하는 상태에 할당될 수 있다. 본 명세서는 모바일 컴퓨팅 장치와 연관된 특정 개수의 특정 상태들을 위한 트레이닝 데이터를 수집하는 것을 기술하지만, 본 명세서는 임의의 적절한 컴퓨팅 장치와 연관된 임의의 적절한 수의 상태들을 위해 트레이닝 데이터를 수집하는 것을 고려한다.
특정 실시예로, 실시간 센서 데이터는, 실시간 센서 데이터를 트레이닝 데이터와 비교하는 것에 적어도 부분적으로 기초하여 모바일 컴퓨팅 장치(10)의 하나 이상의 미리-결정된 의도된 사용에 대응하는 이벤트인 것으로 결정될 수 있다. 후술할 바와 같이, 트레이닝 데이터는 센서 데이터를 모바일 컴퓨팅 장치(10)의 다수의 미리-결정된 사용들로 분류하고, 센서 데이터를 모바일 컴퓨팅 장치(10)의 미리 결정된 사용들로 분리시키는 초평면(hyperplane)을 정의하는데 사용될 수 있다. 더욱이, 초평면을 정의하는 파라미터들은 모바일 컴퓨팅 장치(10)로 전송될 수 있고, 모바일 컴퓨팅 장치(10)의 프로세서(예컨대, 센서 허브)는, 후술할 초평면에 상대적인 실시간 센서 데이터의 비교에 적어도 부분적으로 기초하여 실시간 센서의 데이터가 모바일 컴퓨팅 장치(10)의 미리-결정된 의도된 사용들 중 하나에 대응하는 이벤트라고 결정할 수 있다.
특정 실시예로, 실시간 센서 데이터는, 실시간 센서 데이터의 벡터 맵핑의 프로젝션을 분석하는 것에 적어도 부분적으로 기초하여 모바일 컴퓨팅 장치(10)의 임박한 사용에 대응하는 것으로 결정될 수 있다. 후술할 바와 같이, 정상 상태(steady state) 조건에 대응하는 벡터 상의 실시간 센서 데이터에 대응하는 벡터의 프로젝션은 벡터들의 선형적 의존성을 감소시킬 수 있다. 더욱이, 프로세서(예컨대, 센서 허브)는 또한, 벡터들의 내적(dot product)의 계산을 통해 프로젝션을 계산할 수 있고, 후술할 모바일 컴퓨팅 장치(10)의 임박한 사용을 결정할 수 있다.
도 2는 예시적인 모바일 컴퓨팅 장치의 예시적인 센서 구성을 도시한다. 특정 실시예로, 모바일 컴퓨팅 장치(10)의 센서 어레이(20)는 하나 이상의 타입의 센서들을 포함할 수 있다. 하나 이상의 타입의 센서들은 터치 센서, 가속도계, 자이로스코프, 광학 근접 센서, 주변광 센서, 이미지 센서, 마이크, 또는 이들의 임의의 조합을 포함할 수 있다. 상이한 센서 타입의 센서 어레이(20)는 각각 상이한 타입의 데이터를 측정할 수 있다. 본 명세서는 특정 타입의 센서에 의한 모바일 컴퓨팅 장치와 연관된 환경적 데이터의 수집을 기술하지만, 본 명세서는 임의의 적절한 타입의 센서에 의한 모바일 컴퓨팅 장치와 연관된 센서 데이터의 수집을 고려한다. 센서 어레이(20)의 하나 이상의 센서들은 모바일 컴퓨팅 장치(10)의 센서 허브(40)에 연결될 수 있다. 예로서 제한 없이, 센서 허브(40)는 센서 어레이(20)의 하나 이상의 센서들을 제어하고, 센서들을 위한 전력을 관리하며, 센서 입력을 프로세싱하고, 센서 데이터를 집성하고, 일정 센서 기능을 수행하는 저전력-소비 프로세서일 수 있다. 특정 실시예로, 센서 어레이(20)의 하나 이상의 타입의 센서들은 컨트롤러(42)에 연결될 수 있다. 예로서 제한 없이, 센서 허브(40)는 결국 센서 어레이(20)로 연결되는 컨트롤러(42)에 연결될 수 있다. 특정 실시예로, 센서 모니터는 센서 어레이(20)를 관리할 수 있다. 특정 실시예로, 센서 허브(40) 또는 모바일 컴퓨팅 장치(10)의 애플리케이션 프로세서는 센서 어레이(20)의 하나 이상의 타입의 센서들에 의해 측정된 데이터에서의 변환을 감지하고, 후술할 모바일 컴퓨팅 장치(10)의 임박한 의도된 사용을 결정하도록 상이한 타입의 센서들로부터의 데이터에서 변환을 상관시킨다.
특정 실시예로, 전술한 바와 같이, 모바일 컴퓨팅 장치(10)의 센서 어레이(20)는 하나 이상의 다른 타입의 센서들에 추가로 가속도계를 포함할 수 있다. 가속도계에 의해 제공되는 센서 데이터는 사용자가 모바일 컴퓨팅 장치(10)를 사용할 의도가 있는지를 추론하는데 적어도 부분적으로 사용될 수 있다. 모바일 컴퓨팅 장치(10)가 사용자의 주머니에 저장되어 있을 때, 모바일 컴퓨팅 장치(10)는 사용자가 이동함에 따라 이동할 수 있다. 하지만, 이러한 이동은 상대적으로 긴 기간에 걸쳐 발생한다. 반면에, 사용자가 모바일 컴퓨팅 장치(10)와 물리적 접촉을 하고, 사용자의 얼굴 앞으로 가져오기 위해 모바일 컴퓨팅 장치(10)를 주머니로부터 꺼낼 때, 상대적으로 짧은 기간 내에 모바일 컴퓨팅 장치(10)의 이동 속도의 증가가 있을 수 있다. 모바일 컴퓨팅 장치(10)의 이동 속도의 이러한 변화는 가속도계에 의해 제공되는 센서 데이터에 기초하여 감지될 수 있다.
특정 실시예로, 전술한 바와 같이, 모바일 컴퓨팅 장치(10)의 센서 어레이(20)는 하나 이상의 다른 타입의 센서들에 추가로 자이로스코프를 포함할 수 있다. 자이로스코프는 하나 이상의 위치 축을 따르는 각 속도(angular velocity)를 측정하도록 구성되는 타입의 센서이다. 또한, 자이로스코프는 모바일 컴퓨팅 장치(10)의 배향을 측정하는데 사용될 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치(10)가 사용자의 주머니에 보관되어 있을 때, 모바일 컴퓨팅 장치(10)는 특정 배향을 따라 실질적으로 제 자리에 머물러 있을 수 있다. 하지만, 사용자가 모바일 컴퓨팅 장치(10)를 물리적으로 접촉하고, 사용자의 얼굴 앞으로 가져오기 위해 장치를 주머니에서 꺼낼 때, 상대적으로 짧은 기간에 발생하는 모바일 컴퓨팅 장치(10)의 배향의 변화가 있을 수 있다. 모바일 컴퓨팅 장치(10)의 배향의 변화는 자이로스코프에 의해 감지되고 측정될 수 있다. 모바일 컴퓨팅 장치(10)의 배향이 상당히 변화되었다면, 배향의 변화는, 가령 예컨대, 사용자가 모바일 컴퓨팅 장치(10)를 물리적으로 접촉했을 수 있는 터치 센서 또는 가속도계 데이터와 같은 다른 타입의 센서로부터의 데이터와 함께 확증적 표시자(corroborative indicator)가 될 수 있다.
특정 실시예로, 모바일 컴퓨팅 장치(10)의 센서 어레이(20)는 광학 근접 센서를 포함할 수 있다. 광학 근접 센서에 의해 제공되는 센서 데이터는 모바일 컴퓨팅 장치(10)가 가령 사용자의 손과 같은 특정 사물에 언제 가깝게 근접하는지를 감지하기 위해 분석될 수 있다. 특정 실시예로, 모바일 컴퓨팅 장치(10)는 후면에 배치된 적외선 발광 다이오드(IR LED)를 갖는 광학 근접 센서를 가질 수 있다. 예로서 제한 없이, 사용자가 모바일 컴퓨팅 장치(10)를 손으로 잡을 때, 사용자의 손의 손바닥은 IR LED를 덮을 수 있다. 결과적으로, IR LED는 언제 사물이 모바일 컴퓨팅 장치(10)에 근접하는지를 감지할 수 있다. 특정 실시예로, 사물이 모바일 컴퓨팅 장치(10)에 근접하는지의 결정은, 사용자가 모바일 컴퓨팅 장치(10)와 물리적 접촉을 만든 가령 예컨대, 터치 센서 또는 가속도계 데이터와 같은 다른 타입의 센서로부터의 데이터와 함께 확증적 표시자가 될 수 있다.
특정 실시예로, 개별 타입의 센서 데이터를 상관시키는 것은 모바일 컴퓨팅 장치(10)에 관한 사용자의 의도(예컨대, 사용자가 정말로 모바일 컴퓨팅 장치(10)를 파지하고 사용하려는 의도인지)를 추론하는데 사용될 수 있다. 후술할 것처럼, 조합으로 다수의 타입의 센서 데이터를 사용하는 것은, 분리하여 단일 타입의 센서로부터의 데이터를 사용하는 것에 비해 모바일 컴퓨팅 장치(10)에 관한 사용자의 의도에 대한 더 정확한 추론을 생성해낼 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치(10)의 사용은, 하나 이상의 터치 센서를 통한 모바일 컴퓨팅 장치(10)에 인접한 사용자의 신체 부분을 감지하는 것에 추가하여 가속도계를 통해 모바일 컴퓨팅 장치(10)의 이동 속도의 상당한 증가를 감지하는 것에 적어도 부분적으로 기초하여 추론될 수 있다. 다른 예로, 모바일 컴퓨팅 장치(10)의 사용은, 광학 근접 센서를 통해 모바일 컴퓨팅 장치(10)에 근접한 사용자의 신체 부분을 감지하는 것에 추가하여 자이로스코프를 통해 모바일 컴퓨팅 장치(10)의 배향의 변화를 감지하는 것에 적어도 부분적으로 기초하여 추론될 수 있다. 특정 실시예로, 모바일 컴퓨팅 장치(10)의 미리-결정된 기능은 후술할 모바일 컴퓨팅 장치(10)에 관한 사용자의 추론된 의도에 적어도 부분적으로 기초하여 시작될 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치(10)는 절전 상태에서 나와서 정상 동작 상태로 들어가게 되고(예컨대, 모바일 장치의 디스플레이를 켜고), 모바일 컴퓨팅 장치(10)의 입력 컴포넌트는, 사용자가 모바일 컴퓨팅 장치(10)를 사용하게 될 것이 임박함을 추론하는 것에 적어도 부분적으로 기초하여 자동으로 잠금해제될 수 있다.
도 3은 임박한 의도된 사용에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 시작하는 예시적인 방법을 도시한다. 방법은, 컴퓨팅 장치가 다수의 센서 타입의 컴퓨팅 장치들로부터 실시간 센서 데이터를 수신하는 단계(300)에서 시작할 수 있다. 후술할 것처럼, 컴퓨팅 장치는 센서 데이터에서의 변환을 결정하기 위해 센서 데이터의 도함수를 계산할 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치의 프로세서는 센서 데이터를 수신할 수 있고 가령 예컨대, 센서 데이터의 도함수를 시간의 함수로서 계산하는 것과 같은 연산을 수행할 수 있다. 특정 실시예로, 컴퓨팅 장치들 중 하나의 컴퓨팅 장치의 센서들은 가령 예컨대, 터치 센서, 가속도계, 자이로스코프, 광학 근접 센서, 또는 이들의 임의의 조합과 같은 상이한 센서 타입을 포함한다.
단계(302)는 컴퓨팅 장치에 의해, 상이한 센서 타입의 센서들로부터의 실시간 센서 데이터를 상관시킨다. 특정 실시예로, 프로세서는 데이터가 시간적으로 겹치는지를 결정하기 위해 센서 데이터에 컨볼루션 연산을 적용시킬 수 있다. 예시적인 컨볼루션 연산은 다음의 방적식에 의해 보여질 수 있다:
Figure pct00001
M은 다수의 타입의 센서들로부터의 데이터의 컨볼루션의 결과이며, f' 및 g'은, 가령 예컨대, f'가 가속도계에 의해 측정된 데이터의 도함수일 수 있고, g'은 터치 센서에 의해 측정된 데이터의 도함수일 수 있는 것처럼 센서로부터의 데이터의 도함수이다. 특정 실시예로, 컨볼루션 연산의 결과는 상이한 타입의 센서들로부터의 센서 데이터의 변환이 시간적으로 겹치는지를 결정할 수 있다. 다른 실시예로, 가령 예컨대, Heaviside 또는 sigmoid 함수와 같은 사전 함수(a priori function)가 도함수 연산자를 대체할 수 있다. 예로서 제한 없이, 프로세서는 가령 예컨대, 터치 센서와 같은 제1 타입의 센서로 측정된 데이터를 가령 예컨대, 가속도계와 같은 제2 타입의 센서로 측정된 데이터와 컨볼루션할 수 있다. 다른 예로, 애플리케이션 프로세서 또는 모바일 컴퓨팅 장치의 센서 허브는 가령 예컨대, 터치 센서와 같은 제1 타입의 센서로 측정된 데이터를 가령 예컨대, 광학 근접 센서와 같은 제2 타입의 센서로 측정된 데이터와 컨볼루션할 수 있다. 단계(304)는 컴퓨팅 장치에 의해, 상관관계에 기초하여 컴퓨팅 장치의 의도된 임박한 사용을 결정할 수 있다. 특정 실시예에서는, 시간적으로 겹치는 다수의 센서 타입의 데이터에서의 변환에 적어도 부분적으로 기초할 수 있다. 예로서 제한 없이, 컴퓨팅 장치는 실질적으로 동시에 발생하는 터치 센서 및 가속도계로부터의 실시간 센서 데이터에서의 변환에 적어도 부분적으로 기초하여 컴퓨팅 장치의 임박한 의도된 사용을 결정할 수 있다.
단계(306)에서, 컴퓨팅 장치는 컴퓨팅 장치의 의도된 임박한 사용의 결정에 적어도 부분적으로 기초하여 컴퓨팅 장치의 미리-결정된 기능을 자동으로 시작할 수 있고, 이 시점에서 방법은 종료될 수 있다. 예로서 제한 없이, 미리-결정된 기능은 방정식(1)으로 표현된 컨볼루션 연산자(M)의 결과가 미리-결정된 임계치보다 높다는 결과에 응답하여 시작될 수 있다. 특정 실시예로, 미리-결정된 기능은 컨볼루션 연산자의 결과가 미리-결정된 임계치보다 높다는 결과에 응답하여 센서와 연관된 컴퓨팅 장치를 전력강하시킬 수 있다. 본 명세서는 도 3의 방법의 특정 단계들이 특정 순서로 발생하는 것으로 기술하고 도시하지만, 본 명세서는 도 3의 방법의 임의의 적절한 단계들이 임의의 적절한 순서로 발생하는 것을 고려한다. 특정 실시예들은 적절한 경우 도 3의 방법의 하나 이상의 단계들을 반복할 수 있다. 더욱이, 본 명세서는 도 3의 방법의 특정 단계들을 수행하는 특정 컴포넌트들을 기술하고 도시하지만, 본 명세서는 가령 예컨대, 모바일 컴퓨팅 장치의 프로세서와 같이 도 3의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들의 임의의 적절한 조합을 고려한다.
도 4a-b는 예시적인 센서 데이터에서의 변환의 예시적인 감지를 도시한다. 본 명세서는 가령 예컨대, 도함수와 같이 센서 데이터를 특정 선형 함수를 통해 전-처리하는 것을 기술하지만, 본 명세서는 가령 예컨대, 본 명세서에서 Heaviside 또는 sigmoid 함수로 컨볼루션하는 것과 같은 임의의 적절한 선형 함수를 통해 센서 데이터를 전-처리하는 것을 고려한다. 특정 실시예로, 하나 이상의 센서로부터의 센서 데이터(52, 54)는 도 4a의 예에서 44 및 46에 의해 도시되는 것처럼 시간의 함수로 측정될 수 있고, 센서 데이터(52, 54)는 센서와 연관된 컴퓨팅 장치에 관한 사용자의 의도를 추론하기 위해 분석될 수 있다. 특정 실시예로, 특정 컴퓨팅 장치에 관한 사용자의 의도의 추론은 다수의 센서 타입으로부터의 센서 데이터(52, 54)에 의해 수행될 수 있다. 예로서 제한 없이, 센서 데이터(52)는 모바일 컴퓨팅 장치의 터치 센서에 의해 측정되는 데이터일 수 있고, 센서 데이터(54)는 가속도계에 의해 측정되는 데이터일 수 있다. 더욱이, 본 명세서는 가령 예컨대, 전류, 전압, 전하 또는 이들의 임의의 조합과 같은 임의의 적절한 형태의 센서 데이터(52, 54)를 고려한다.
특정 실시예로, 컴퓨팅 장치의 의도된 사용은 전술한 컴퓨팅 장치와 연관된 센서에 의해 측정되는 데이터에서의 하나의 상태에서 다른 상태로의 변환을 통해 결정될 수 있다. 예로서 제한 없이, 센서 데이터에서의 변환은 전술한 바와 같이 모바일 컴퓨팅 장치가 들어올려 지고 사용하기가 임박함을 표시할 수 있다. 특정 실시예로, 센서 데이터(52, 54)에서의 변환은 도 4b의 예에서 48 및 50에 의해 도시되는 것처럼, 센서 데이터(52, 54) 각각의 도함수(56, 58)를 계산하는 것에 적어도 부분적으로 기초하여 감지될 수 있다. 예로서 제한 없이, 센서 데이터(52, 54) 각각의 도함수(56, 58)의 변화는 센서 데이터(52, 54)에서의 변화가 상대적으로 작은 경우에서 기간(49) 동안에 감지가능할 수 있다. 다른 예로, 센서 데이터의 도함수(56, 58)는, 전술한 컴퓨팅 장치의 의도된 즉각적인 사용을 결정하기 위해 프로세서로 제공될 수 있다.
도 5는 소셜 네트킹 시스템과 연관 예시적인 네트워크 환경(100) 도시한다. 네트워크 환경(100)은 네트워크(110) 의해 서로 연결되는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 포함한다. 비록 도 5는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 특정 배열을 도시하고 있지만, 본 명세서는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 임의의 적절한 배열을 고려한다. 예로서 제한없이, 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170) 중 두 개 이상이 네트워크(110)를 바이패싱하여 서로 직접 연결될 수 있다. 또 다른 예로서, 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170) 중 두 개 이상이 전체적으로 또는 부분적으로 서로 물리적 또는 논리적으로 함께 위치할 수 있다. 게다가, 비록 도 5는 특정 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 도시하고 있지만, 본 명세서는 임의의 적절한 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크 환경(100)은 다수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 포함할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 서버를 포함할 수 있다. 각 서버는 일체형 서버(unitary server)일 수 있거나, 다수의 컴퓨터 또는 다수의 데이터센터에 걸쳐 있는 분산형 서버일 수 있다. 서버는 예로서 제한 없이, 웹 서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버, 프록시 서버, 본 명세서에 기술된 기능이나 프로세스를 수행하는데 적절한 다른 서버 또는 이들의 임의의 조합과 같이, 다양한 타입일 수 있다. 특정 실시예로, 각 서버는 서버에 의해 구현되거나 지원되는 적절한 기능을 수행하기 위한 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(164)은 하나 이상의 데이터 스토어를 포함할 수 있다. 데이터 스토어는 다양한 타입의 정보를 저장하는데 사용될 수 있다. 특정 실시예로, 데이터 스토어에 저장된 정보는 특정한 데이터 구조에 따라 조직화될 수 있다. 특정 실시예로, 각 데이터 스토어는 관계형, 컬럼형(columnar), 상관형(correlation) 또는 다른 적절한 데이터베이스일 수 있다. 본 명세서는 특정 타입의 데이터베이스를 기술하거나 도시하지만, 본 명세서는 임의의 적절한 타입의 데이터베이스를 고려한다. 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)이 데이터 스토어에 저장된 정보를 관리, 검색, 수정, 추가 또는 삭제할 수 있게 하는 인터페이스를 제공할 수 있다.
특정 실시예로, 전술한 바와 같이, 클라이언트 시스템(130)으로부터 수신된 센서 데이터는 가령 예컨대, SVM, k-평균, 베이지안 추론(Bayesian inference), 또는 뉴럴 네트워크와 같은 소셜 네트워킹 시스템(160)에서 실행되는 기계 습득 알고리즘을 위한 트레이닝 데이터로 기능할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)의 하나 이상의 서버는 하나 이상의 클라이언트 시스템(130)(예컨대, 모바일 컴퓨팅 장치)으로부터 트레이닝 데이터를 수신할 수 있고, 클라이언트 시스템(130)을 사용하는 특정 활동으로부터의 센서 데이터 값들을 클라이언트 시스템(130)의 하나 이상의 특정 상태와 상관시키기 위해 기계-습득 알고리즘을 사용할 수 있다. 예로서 제한 없이, 기계-습득 알고리즘을 실행하는 하나 이상의 서버는 가령 예컨대, 가속도계, 자이로스코프, 주변광 센서, 광학 근접성 센서, 또는 하나 이상의 클라이언트 시스템(130)의 다른 센서와 같은 클라이언트 시스템(130)의 센서로부터 센서 값들을 수신할 수 있다. 특정 실시예로, 트레이닝 데이터로부터 결정된 초평면(hyperplane)을 정의하는 데이터는 클라이언트 시스템(130)의 즉각적으로 의도된 사용을 결정하기 위해 클라이언트 시스템(130)으로 전송될 수 있다. 특정 실시예로, 후속 센서 데이터가 초평면을 재정의하도록 모바일 컴퓨팅 장치(10)에 의해 전송될 수 있다. 게다가, 초평면을 정의하는 업데이트된 데이터가 모바일 컴퓨팅 장치(10)에 의해 수신될 수 있다.
특정 실시예로, 사용자(101)는 소셜 네트워크 시스템(160)에서 또는 소셜 네트워킹 시스템(160)과 상호작용하거나 통신하는 개인(사람 사용자), 엔티티(예컨대, 기업, 사업체 또는 제3자 애플리케이션) 또는 (예컨대, 개인들 또는 엔티티의) 그룹일 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크를 호스팅하는 네트워크-주소화 컴퓨팅 시스템일 수 있다. 소셜 네트워킹 시스템(160)은 가령 예컨대, 사용자 프로필 데이터, 컨셉 프로필 데이터, 소셜 그래프 정보 또는 온라인 소셜 네트워크에 관한 다른 적절한 데이터와 같은 소셜 네트워킹 데이터를 생성, 저장, 수신 및 전송할 수 있다. 소셜 네트워킹 시스템(160)은 직접 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 컴포넌트들에 의해 액세스될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 의해 로그되거나, 예컨대 적절한 개인정보 설정을 설정하여 다른 시스템(예컨대, 제3자 시스템(170))과 공유되는 행위를 하는 사용자(101)가 참여할 수 있거나 참여하지 못하게 해주는 인증 서버(authorization server)(또는 다른 임의의 적절한 컴포넌트(들))를 포함할 수 있다. 사용자의 개인정보 설정은 사용자와 연관된 어떤 정보가 로그될지, 사용자와 연관된 정보가 어떻게 로그될지, 사용자와 연관된 정보가 언제 로그될지, 사용자와 연관된 정보를 누가 로그할 수 있는지, 사용자와 연관된 정보가 누구와 공유될 수 있는지, 및 사용자와 연관된 정보가 어떤 목적으로 로그되거나 공유될 수 있는지 결정할 수 있다. 인증 서버는 차단, 데이터 해싱, 익명화 또는 다른 적절한 방법에 의하여 소셜 네트워킹 시스템(160)의 사용자의 하나 이상의 개인정보 설정을 강제하는데 사용될 수 있다. 제3자 시스템(170)은 직접 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 컴포넌트들에 의해 액세스될 수 있다. 특정 실시예로, 하나 이상의 사용자(101)는 하나 이상의 클라이언트 시스템(130)을 사용하여 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)으로부터의 데이터를 액세스하고, 그 데이터를 송신하며, 그 데이터를 수신할 수 있다. 클라이언트 시스템(130)은 직접, 네트워크(110)를 통해 또는 제3자 시스템을 통해 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)에 액세스할 수 있다. 예로서 제한 없이, 클라이언트 시스템(130)은 소셜 네트워킹 시스템(160)을 통해 제3자 시스템(170)에 액세스할 수 있다. 클라이언트 시스템(130)은 가령 예컨대, 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 전화, 스마트폰 또는 태블릿 컴퓨터와 같은 임의의 적절한 컴퓨팅 장치일 수 있다.
본 명세서는 임의의 적절한 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크(110)의 하나 이상의 부분은 애드혹 네트워크, 인트라넷, 익스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷의 부분, PSTN(Public Switched Telephone Network)의 부분, 셀룰러 전화 네트워크 또는 이들 중 두 개 이상의 조합을 포함할 수 있다. 네트워크(110)는 하나 이상의 네트워크(110)를 포함할 수 있다.
링크(150)는 통신 네트워크(110)에 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 연결하거나 서로 연결할 수 있다. 본 명세서는 임의의 적절한 링크(150)를 고려한다. 특정 실시예에서, 하나 이상의 링크(150)는 하나 이상의 유선(가령, DSL(Digital Subscriber Line) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선(가령, Wi-Fi 또는 WiMax(Worldwide Interoperability for Microwave Access)), 광학(가령, SONET(Synchronous Optical Network) 또는 SDH(Synchronous Digital Hierarchy)) 링크를 포함한다. 특정 실시예에서, 하나 이상의 링크(150) 각각은 애드혹 네트워크, 인트라넷, 익스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 부분, PSTN의 부분, 셀룰러 기술-기반 네트워크, 위성 통신 기술-기반 네트워크, 다른 링크(150) 또는 이런 링크(150)의 둘 이상의 조합을 포함한다. 링크(150)는 네트워크 환경(100) 전체에 걸쳐 반드시 동일할 필요는 없다. 하나 이상의 제1 링크(150)는 하나 이상의 면에서, 하나 이상의 제2 링크(150)와 다를 수 있다.
도 6은 예시적인 기계 습득 알고리즘을 사용하는 센서 데이터의 예시적인 분류를 도시한다. 전술한 바와 같이, 클라이언트 시스템 예컨대, 모바일 컴퓨팅 장치의 하나 이상의 센서들로부터의 트레이닝 데이터는 특정 활동의 수행 동안에 캡쳐된 각각의 센서로부터의 센서 데이터 및 특정 활동과 연관된 클라이언트 시스템의 특정 상태에 대응하는 표시자 정보를 포함할 수 있다. 예로서 제한 없이, 센서 데이터는 센서로부터의 미가공 측정 데이터, 또는 가령 예컨대, 전술한 미가공 센서 데이터의 도함수를 계산하기 위해 사전-프로세싱된 센서 데이터일 수 있다. 게다가, 센서 데이터는 클라이언트 시스템의 물리적 상태(예컨대, 이동)에서의 변환에 대응할 수 있다. 특정 실시예로, 센서 데이터는 가령 예컨대, 필터링 또는 컨볼루션 연산을 통해 더 프로세싱될 수 있다. 예로서 제한 없이, 각각의 특정 활동으로부터의 트레이닝 데이터는 전술한 센서 데이터의 각각의 세트와 연관된 표시자 정보에 적어도 부분적으로 기초하여 클라이언트 장치와 연관된 2개의 특정 상태들 중 하나의 상태로 분류될 수 있다. 예컨대, 하나 이상의 센서 데이터의 세트는 예컨대, 모바일 컴퓨팅 장치를 잡는 것과 같은 모바일 컴퓨팅 장치와의 물리적 접촉과 연관된 활동에 대응할 수 있고, 하나 이상의 센서 데이터의 세트는 예컨대, 모바일 컴퓨팅 장치를 테이블에 정지시키는 것과 같은 모바일 컴퓨팅 장치와의 물리적 접촉과 연관되지 않는 활동에 대응할 수 있다.
도 6의 예에 도시되는 것처럼, 각각의 특정 행위에 대한 트레이닝 데이터는 N-차원 공간(200)에서 벡터(202A-B)로 표현될 수 있고, 여기서 N은 클라이언트 시스템의 센서들의 개수와 동일할 수 있다. 예로서 제한 없이, 각각의 벡터(202A-B)는 커널 함수를 통해 N-차원 공간(200)으로 맵핑될 수 있다. 게다가, 각각의 벡터(202A-B)는 센서 데이터의 도함수의 N-튜플(tuple)에 적어도 부분적으로 기초할 수 있다. 도 6의 예에 도시되는 것처럼, 벡터(202A-B)는 초평면(206) 또는 N-차원 공간(200)에서의 비선형 표면에 의해 분리되는 클라이언트 시스템과 연관된 2개의 특정 상태 중 하나의 상태로 분류될 수 있다. 특정 실시예로, 초평면(206)은 N-1의 차원을 가질 수 있고, 각각의 상태의 하나 이상의 서포트 벡터로 일정한 내적을 갖는 점들의 세트에 의해 정의될 수 있다. 예로서 제한 없이, 서포트 벡터는 최대의 도함수를 갖는 각각의 특정 상태를 위한 벡터로 정의될 수 있고, 초평면(206)과 각각의 서포트 벡터 사이의 거리가 최대화될 수 있다. 특정 실시예로, 초평면(206)을 정의하는 데이터는 클라이언트 시스템으로 전송될 수 있다. 특정 실시예로, 초평면(206)은 클라이언트 시스템으로부터 수신된 후속 센서 데이터로부터 결정되는 후속 벡터에 기초하여 수정될 수 있다. 게다가, 초평면(206)을 재정의하는 업데이트된 데이터는 클라이언트 시스템으로 전송될 수 있다.
특정 실시예로, 클라이언트 시스템의 임박한 사용이 클라이언트 시스템의 특정 상태를 갖는 클라이언트 시스템으로부터의 후속 센서 데이터에 대응하는 벡터의 분류에 적어도 부분적으로 기초하여 클라이언트 시스템에 의해 결정될 수 있다. 특정 실시예로, 후속 센서 데이터에 대응하는 벡터의 분류는 초평면(206)에 상대적인 벡터의 위치에 적어도 부분적으로 기초할 수 있다. 예로서 제한 없이, 가령 예컨대, 벡터(202A)에 의해 정의되는 클라이언트 시스템과의 물리적 접촉에 대응하는 상태로 분류되는 후속 센서 데이터에 대응하는 벡터에 적어도 부분적으로 기초하여 클라이언트 시스템의 사용자가 클라이언트 시스템을 사용할 의도가 있다고 추론될 수 있다. 게다가, 클라이언트 시스템의 임박한 사용은, 벡터가 벡터(202A)와 초평면(206)의 동일한 측에 있을 때에 클라이언트 시스템과의 물리적 접촉에 대응하는 것으로 결정될 수 있다. 그렇지 않다면, 후속 벡터가 벡터(202B)와 초평면(206)의 동일한 측에 위치한다면, 클라이언트 시스템이 실질적으로 정지되어 있다고 결정될 수 있다. 특정 실시예로, 클라이언트 시스템의 프로세서는 클라이언트 시스템의 특정 상태로 후속 벡터를 분류하는 것에 적어도 부분적으로 기초하여 클라이언트 시스템의 미리-결정된 기능을 시작할 수 있다.
도 7은 센서 데이터가 클라이언트 시스템의 미리-결정된 사용에 대응하는지를 결정하는 예시적인 방법을 도시한다. 방법은 컴퓨팅 장치가 컴퓨팅 장치상의 센서로부터 실시간 센서 데이터를 수신하는 단계(310)에서 시작할 수 있다. 특정 실시예로, 실시간 센서 데이터는 컴퓨팅 장치의 사용자에 의해 발생된 컴퓨팅 장치의 물리적 상태에서의 변환에 대응할 수 있다. 단계(312)는 컴퓨팅 장치에 의해, 각각의 센서로부터의 실시간 센서 데이터에 선형 함수를 적용시킨다. 예로서 제한 없이, 선형 함수는 필터링 함수, 도함수, Heaviside 또는 sigmoid 함수의 컨볼루션, 또는 이들의 임의의 조합을 포함할 수 있다. 게다가, 모바일 컴퓨팅 장치의 프로세서는 센서 데이터를 수신할 수 있고, 가령 예컨대, 센서 데이터의 도함수를 시간의 함수로 계산하는 연산을 수행할 수 있다. 단계(314)는 컴퓨팅 장치에 의해, 도함수들의 튜플에 기초하여 벡터를 결정한다. 특정 실시예로, 튜플은 센서들의 개수와 동일한 차원을 가질 수 있다. 단계(316)에서, 컴퓨팅 장치는 벡터를 미리-결정된 초평면과 비교할 수 있다. 전술한 것처럼, 초평면은 컴퓨팅 장치의 센서들의 개수보다 1이 작은 차원을 가질 수 있다.
단계(318)에서, 컴퓨팅 장치는 비교에 기초하여 변환이 컴퓨팅 장치의 임의의 미리-결정된 임박한 사용에 대응하는 이벤트인지를 결정할 수 있고, 이 지점에서 방법이 종료될 수 있다. 특정 실시예로, 결정은 미리-결정된 초평면에 상대적인 벡터의 위치를 결정함으로써 이루어질 수 있다. 본 명세서는 도 7의 방법의 특정 단계들이 특정 순서로 발생하는 것으로 기술하고 도시하지만, 본 명세서는 도 7의 방법의 임의의 적절한 단계들이 임의의 적절한 순서로 발생하는 것을 고려한다. 특정 실시예들은 적절한 경우 도 7의 방법의 하나 이상의 단계들을 반복할 수 있다. 더욱이, 본 명세서는 도 7의 방법의 특정 단계들을 수행하는 특정 컴포넌트들을 기술하고 도시하지만, 본 명세서는 가령 예컨대, 모바일 컴퓨팅 장치의 프로세서와 같은 도 7의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들의 임의의 적절한 조합을 고려한다.
도 8은 예시적인 프로젝션의 계산을 통한 센서 데이터의 컴포넌트들의 예시적인 분리를 도시한다. 특정 실시예로, 센서 데이터를 N-차원 공간(200)으로 맵핑하는 것이 센서 데이터의 특정 컴포넌트들을 분리시키는데 사용될 수 있다. 예로서 제한 없이, 공간적 중복도(degree of spatial overlap)를 갖는 다른 센서에 대한 하나의 센서의 선형 종속도(linear dependence)는 후술할 다른 센서에 대한 하나의 센서의 데이터의 프로젝션(84A)의 결정을 통해 감소될 수 있다. 특정 실시예로, 모바일 컴퓨팅 장치는 도 1의 예에 도시되는 것처럼 모바일 컴퓨팅 장치의 다수의 위치에서의 다수의 터치 센서들을 포함할 수 있다. 예로서 제한 없이, 모바일 컴퓨팅 장치는 모바일 컴퓨팅 장치의 일측을 따르는 커버리지를 갖는 터치-민감 영역을 갖는 제1 터치 센서 및 2개 이상의 표면(예컨대, 측면 및 바닥면)의 적어도 일부를 포함할 수 있는 터치-민감 영역을 갖는 제2 터치 센서를 포함할 수 있다. 다른 예로, 시간적 이격도(degree of temporal separation)를 갖는 센서 데이터의 선형 종속도는 센서 데이터의 프로젝션의 결정을 통해 감소될 수 있다. 예컨대, 이전의 안전 상태 조건(prior steady state condition)에 대응하는 벡터에서 현재 센서 데이터에 대응하는 벡터의 프로젝션을 결정하는 것에 적어도 부분적으로 기초하여 현재 센서 데이터의 일부가 분리될 수 있다.
또한, 클라이언트 시스템의 임박한 사용이 프로젝션(84A) 또는 프로젝션(84B)을 분석함으로써 결정될 수 있다. 예로서 제한 없이, 클라이언트 시스템으로부터의 센서 데이터는 하나 이상의 공간적으로 겹치는 센서들로부터의 시간적으로 분리된 데이터일 수 있고, 클라이언트 시스템의 정상-상태 조건으로부터의 변환에 대응할 수 있다. 특정 실시예로, 프로젝션은 비가공 측정 데이터 또는 가령 예컨대, 전술한 비가공 센서 데이터의 도함수를 계산함으로써 사전-프로세싱된 센서 데이터를 사용하여 계산될 수 있다. 더욱이, 센서 데이터는 가령 예컨대, 필터링 또는 컨볼루션 연산을 통해 추가로 프로세싱될 수 있다. 특정 실시예로, 특정 시각에 캡쳐된 센서 데이터는 각각 N-차원 공간(200)에서 벡터(80, 82)로 표현될 수 있고, 여기서 N은 클라이언트 시스템의 센서들의 개수와 동일할 수 있다. 예로서 제한 없이, 각각의 벡터(80, 82)는 커널 함수를 통해 N-차원 공간(200)으로 맵핑될 수 있다. 또한, 각각의 벡터(80, 82)는 센서 데이터의 도함수의 N-튜플에 적어도 부분적으로 기초할 수 있다.
특정 실시예로, 실시간 센서 데이터에 대응하는 벡터(82)에 대한 정상-상태 조건에 대응하는 벡터(80)의 프로젝션(84A)은 벡터들(80, 82)의 내적에 적어도 부분적으로 기초하여 결정될 수 있다. 도 4의 예에 도시되는 것처럼, 벡터(80, 82)는 클라이언트 시스템의 센서 데이터의 도함수일 수 있다. 특정 실시예로, 시간적으로 분리된 측정으로부터의 벡터(80)와 상이한 벡터(82)의 하나 이상의 컴포넌트들은 벡터(80)에 대한 벡터(82)의 프로젝션(84A)에 의해 분리될 수 있다. 벡터(80)에 대한 벡터(82)의 프로젝션(84A)의 예시적인 계산이 다음의 방적식에 의해 보여질 수 있다:
Figure pct00002
그리고, 원점으로 변환(translate)된 벡터(80)에 대한 벡터(82)의 프로젝션(84B)의 예시적인 계산이 다음의 방정식에 의해 보여질 수 있다:
Figure pct00003
80은 정상-상태 조건과 연관된 벡터이며, |80|은 벡터(80)의 크기이며, Q은 벡터(80, 82)에 의해 형성된 각도이다.
예로서 제한 없이, 정상-상태 조건(즉, 공간(200)의 벡터(80))은 표면(예컨대, 테이블) 상에 정지되어 있을 수 있는 모바일 컴퓨팅 장치에 대응할 수 있고, 실시간 데이터(즉, 벡터(82))는 모바일 컴퓨팅 장치를 들어올리는 것과 연관된 물리적 접촉에 대응할 수 있다. 더욱이, 벡터(80)에 대한 프로젝션(84A)은 방정식(2)에 의해 도시되는 내적을 통해 계산될 수 있다. 특정 실시예로, 도 8의 예의 84B에 의해 도시되는 것처럼, 프로젝션(84A)은 후술할 클라이언트 시스템에 관한 사용자의 의도를 추론하기 위해 N-차원 공간(200)의 원점으로 변환(translate)될 수 있다.
또한, 클라이언트 시스템에 관한 사용자의 의도는 프로젝션(84B)의 분석에 적어도 부분적으로 기초하여 추론될 수 있다. 특정 실시예로, 프로젝션(84B)은 전술한 클라이언트 시스템의 미리-정의된 임박한 사용으로 분류될 수 있다. 특정 실시예로, 프로젝션(84B)은 클라이언트 시스템의 임박한 사용에 대응하는 미리-정의된 프로젝션과 비교될 수 있다. 예로서 제한 없이, 클라이언트 시스템과의 물리적 접촉에 대응하는 상태로 분류된 프로젝션(84B)에 적어도 부분적으로 기초하여 특정 클라이언트 시스템의 사용자가 클라이언트 시스템을 사용할 의도가 있다고 결정될 수 있다. 전술한 바와 같이, 클라이언트 시스템의 프로세서는 프로젝션(84B)의 분석에 적어도 부분적으로 기초하여 사용자의 의도를 추론하는 것에 적어도 부분적으로 기초하여 클라이언트 시스템의 미리-결정된 기능을 시작할 수 있다.
도 9는 센서 데이터의 컴포넌트를 분리시키는 예시적인 방법을 도시한다. 방법은, 컴퓨팅 장치가 컴퓨팅 장치상의 센서들로부터 실시간 센서 데이터를 수신하는 단계(320)에서 시작할 수 있다. 특정 실시예로, 센서들은 컴퓨팅 장치의 다수의 표면들에 위치할 수 있다. 단계(322)는 컴퓨팅 장치에 의해, 정상 상태로부터 실시간 센서 데이터에서의 변환을 감지한다. 예로서 제한 없이, 모바일 컴퓨팅 장치의 프로세서는 센서 데이터를 수신할 수 있고, 가령 예컨대, 센서 데이터의 도함수를 시간의 함수로서 계산하는 것과 같은 연산을 수행할 수 있다. 단계(324)에서, 컴퓨팅 장치는 감지에 기초하여, 컴퓨팅 장치의 임박한 사용을 결정할 수 있고, 이 지점에서 방법이 종료될 수 있다. 특정 실시예로, 컴퓨팅 장치는, 도함수의 튜플에 기초하여 벡터를 결정하는 단계와 컴퓨팅 장치의 정상-상태의 벡터에 대한 실시간 센서 데이터의 벡터의 프로젝션을 계산하는 단계를 포함할 수 있다. 특정 실시예로, 결정은 프로젝션을 하나 이상의 임박한 사용에 대응하는 미리-결정된 프로젝션에 비교하는 것을 통해 이루어질 수 있다. 본 명세서는 도 9의 방법의 특정 단계들이 특정 순서로 발생하는 것을 기술하고 도시하지만, 본 명세서는 도 9의 방법의 임의의 적절한 단계들이 임의의 적절한 순서로 발생하는 것을 고려한다. 특정 실시예들은 적절한 경우 도 9의 방법의 하나 이상의 단계들을 반복할 수 있다. 더욱이, 본 명세서는 도 9의 방법의 특정 단계들을 수행하는 특정 컴포넌트들을 기술하고 도시하지만, 본 명세서는 가령 예컨대, 모바일 컴퓨팅 장치의 프로세서와 같은 도 9의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들의 임의의 적절한 조합을 고려한다.
도 10은 예시적인 컴퓨팅 시스템을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(60)은 본 명세서에 기술되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(60)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(60)에서 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(60)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 컴퓨터 시스템에 대한 언급은 적절한 경우 컴퓨팅 장치를 포괄할 수 있다. 게다가, 컴퓨터 시스템에 대한 언급은 적절한 경우 하나 이상의 컴퓨터 시스템을 포괄할 수 있다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(60)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(60)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(60)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 컴퓨팅 시스템(10), 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(60)은 하나 이상의 컴퓨터 시스템(60)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나, 다수의 기계에 걸쳐 있거나; 다수의 데이터 센터에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 컴포넌트를 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(60)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 수행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(60)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 수행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(60)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 상이한 시기에 또는 상이한 위치에서 수행할 수 있다.
특정 실시예로, 컴퓨터 시스템(60)은 프로세서(62), 메모리(64), 저장소(66), 입력/출력(I/O) 인터페이스(68), 통신 인터페이스(70) 및 버스(72)를 포함한다. 비록 본 명세서는 특정 배치로 특정 수의 특정 컴포넌트를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 배치로 임의의 적절한 수의 임의의 적절한 컴포넌트를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(62)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(62)는 내부 레지스터, 내부 캐시, 메모리(64) 또는 저장소(66)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(64) 또는 저장소(66)에 기록할 수 있다. 특정 실시예로, 프로세서(62)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 프로세서(62)가 임의의 적절한 수의 임의의 적절한 내부 캐시를 포함하는 것을 고려한다. 예로서 제한 없이, 프로세서(62)는 하나 이상의 명령어 캐시, 하나 이상의 데이터 캐시 및 하나 이상의 변환 색인 버퍼(translation lookaside buffer; TLB)를 포함할 수 있다. 명령어 캐시의 명령어는 메모리(64) 또는 저장소(66)의 명령어의 복제(copy)일 수 있고, 명령어 캐시는 프로세서(62)에 의한 이들 명령어의 검색을 가속화할 수 있다. 데이터 캐시의 데이터는 프로세서(62)에서 실행되어 운영하기 위한 명령어에 대한 것, 프로세서(62)에서 실행되는 다음 명령어들에 의한 접근을 위해 프로세서(62)에서 실행되는 이전 명령어들의 결과 또는 메모리(64)나 저장소(64)에 기록하기 위한 메모리(64) 또는 저장소(66)의 데이터 또는 다른 적절한 데이터의 복사일 수 있다. 데이터 캐시는 프로세서(62)에 의한 읽기 또는 기록 연산을 가속화할 수 있다. 변환 색인 버퍼(TLB)는 프로세서(62)를 위한 가상-주소 변환을 가속화할 수 있다. 특정 실시예로, 프로세서(62)는 데이터, 명령어 또는 주소를 위한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 프로세서(62)가 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터를 포함하는 것을 고려한다. 적절한 경우, 프로세서(62)는 하나 이상의 산술 논리 유닛(arithmetic logic unit; ALU)을 포함하거나, 다중-코어 프로세서이거나 하나 이상의 프로세서(62)를 포함할 수 있다. 비록 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(64)는 프로세서(62)가 실행하는 명령어 또는 프로세서(62)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(60)은 저장소(66)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(60))에서 메모리(64)로 명령어를 로딩할 수 있다. 이후, 프로세서(62)는 메모리(64)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(62)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(62)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(62)는 하나 이상의 이런 결과를 메모리(64)에 기록할 수 있다. 특정 실시예로, 프로세서(62)는 (저장소(66) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(64)에서 오로지 명령어만을 실행하며, (저장소(66) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(64)에서 오로지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(62)를 메모리(64)로 결합할 수 있다. 후술할 바와 같이, 버스(72)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(62)와 메모리(64) 사이에 상주하며, 프로세서(62)에 의해 요청되는 메모리(64)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(64)는 랜덤 액세스 메모리(RAM)를 포함한다. 이러한 랜덤 액세스 메모리(RAM)는 적절한 경우 휘발성 메모리 일 수 있다. 적절한 경우, 이 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이 RAM은 단일-포트되거나 다중-포트된 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 메모리(64)는 적절한 경우 하나 이상의 메모리(64)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장소(66)는 데이터 또는 명령어를 위한 대용량 저장소를 포함한다. 예로서 제한 없이, 저장소(66)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 자기-광학 디스크, 자기 테이프 또는 범용 시리얼 버스(USB) 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(66)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(66)는 컴퓨터 시스템(60)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(66)는 비-휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(66)는 읽기 전용 메모리(read-only memory; ROM)를 포함한다. 적절한 경우, 이 ROM은 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM) 또는 플래시 메모리나 이들의 둘 이상의 조합일 수 있다. 본 명세서는 대용량 저장소(66)가 임의의 적절한 물리적 형태를 취하는 것을 고려한다. 저장소(66)는 적절한 경우, 프로세서(62)와 저장소(66) 사이의 통신을 용이하게 하는 하나 이상의 저장 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(66)는 하나 이상의 저장소(66)를 포함할 수 있다. 비록 본 명세서는 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예로, I/O 인터페이스(68)는 컴퓨터 시스템(60)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(60)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(60) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 또 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이를 위한 임의의 적절한 I/O 인터페이스(68)를 고려한다. 적절한 경우, I/O 인터페이스(68)는 프로세서(62)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(68)는 하나 이상의 I/O 인터페이스(68)를 포함할 수 있다. 비록 본 명세서는 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(70)는 컴퓨터 시스템(60)과 하나 이상의 다른 컴퓨터 시스템(60)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(70)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(70)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(60)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(60)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(60)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(70)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(70)는 하나 이상의 통신 인터페이스(70)를 포함할 수 있다. 비록 본 명세서는 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(72)는 컴퓨터 시스템(60)의 컴포넌트를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(72)는 AGP(Accelerated Graphics Port)나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(72)는 하나 이상의 버스(72)를 포함할 수 있다. 비록 본 명세서는 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터 판독가능한 비일시적 저장매체는 반도체 기반 또는 다른 집적회로(IC)(가령, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브(HHD), 광학 디스크, 광학 디스크 드라이브(ODD), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDD), 자기 테이프, 홀로그래픽 저장매체, 고체-상태 드라이브(SSD), RAM-드라이브, SECURE DIGITAL(SD) 카드, SD 드라이브, 임의의 다른 적절한 컴퓨터-판독가능한 비일시적 저장매체 또는, 적절한 경우, 2 이상의 이들의 조합을 포함할 수 있다. 적절한 경우, 컴퓨터 판독가능한 비일시적 저장매체는 휘발성, 비-휘발성 또는 휘발성과 비-휘발성의 조합일 수 있다.
본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.
본 명세서의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 본 명세서의 범위는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 국한되지 않는다. 게다가, 비록 본 명세서는 특정 컴포넌트, 구성요소, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (20)

  1. 컴퓨팅 장치에 의해, 컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 수신하는 단계;
    컴퓨팅 장치에 의해, 컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 상관(correlate)시키는 단계;
    컴퓨팅 장치에 의해, 상관관계(correlation)에 기초하여 사용자에 의한 컴퓨팅 장치의 의도된 임박한 사용을 결정하는 단계; 및
    컴퓨팅 장치에 의해, 결정에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 자동으로 시작하는 단계를 포함하고,
    상기 복수의 실시간 센서 데이터는 컴퓨팅 장치의 사용자에 의해 발생된 컴퓨팅 장치의 물리적 상태에서의 변환(transition)에 대응하는 방법.
  2. 제 1 항에 있어서,
    복수의 센서는 터치 센서, 가속도계, 자이로스코프, 광학 근접 센서(optical proximity sensor), 주변광 센서, 이미지 센서, 또는 이들의 임의의 조합을 포함하는 방법.
  3. 제 2 항에 있어서,
    복수의 실시간 센서 데이터는 터치 센서 및 가속도계로부터의 센서 데이터를 포함하는 방법.
  4. 제 1 항에 있어서,
    상관시키는 단계는 컴퓨팅 장치에 의해, 복수의 실시간 센서 데이터가 시간적으로 겹치는지를 결정하기 위해 복수의 실시간 센서 데이터에 컨볼루션(convolution) 연산을 적용하는 단계를 포함하는 방법.
  5. 제 4 항에 있어서,
    시작하는 단계는 컨볼루션 연산이 미리-결정된 임계치보다 높다는 결과에 응답하여 컴퓨팅 장치를 전력강하시키는 단계를 포함하는 방법.
  6. 제 4 항에 있어서,
    컴퓨팅 장치에 의해, 컨볼루션 연산이 미리-결정된 임계치보다 낮다는 결과에 적어도 부분적으로 기반하여 현재 상태에 머무르는 단계를 더 포함하는 방법.
  7. 제 1 항에 있어서,
    컴퓨팅 장치에 의해, 복수의 실시간 센서 데이터의 도함수를 계산하는 단계를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    컴퓨팅 장치는 모바일 컴퓨팅 장치이며;
    의도된 임박한 사용은 사용자가 모바일 컴퓨팅 장치를 접촉하는 것에 대응하는 방법.
  9. 하나 이상의 컴퓨터-판독가능한 비-일시적 저장 매체로서,
    컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 수신하고;
    컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 상관시키며;
    상관관계에 기초하여 사용자에 의한 컴퓨팅 장치의 의도된 임박한 사용을 결정하고;
    결정에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 자동으로 시작하도록 실행시 구성되는 소프트웨어를 포함하며,
    상기 복수의 실시간 센서 데이터는 컴퓨팅 장치의 사용자에 의해 발생된 컴퓨팅 장치의 물리적 상태에서의 변환에 대응하는 컴퓨터-판독가능한 비-일시적 저장 매체.
  10. 제 9 항에 있어서,
    복수의 센서는 터치 센서, 가속도계, 자이로스코프, 광학 근접 센서, 주변광 센서, 이미지 센서, 또는 이들의 임의의 조합을 포함하는 컴퓨터-판독가능한 비-일시적 저장 매체.
  11. 제 10 항에 있어서,
    복수의 실시간 센서 데이터는 터치 센서 및 가속도계로부터의 센서 데이터를 포함하는 컴퓨터-판독가능한 비-일시적 저장 매체.
  12. 제 9 항에 있어서,
    소프트웨어는 복수의 실시간 센서 데이터가 시간적으로 겹치는지를 결정하기 위해 복수의 실시간 센서 데이터에 컨볼루션 연산을 적용하도록 또한, 구성되는 컴퓨터-판독가능한 비-일시적 저장 매체.
  13. 제 12 항에 있어서,
    소프트웨어는 컨볼루션 연산이 미리-결정된 임계치보다 높다는 결과에 응답하여 컴퓨팅 장치를 전력강하시키도록 또한, 구성되는 컴퓨터-판독가능한 비-일시적 저장 매체.
  14. 제 12 항에 있어서,
    소프트웨어는 컨볼루션 연산이 미리-결정된 임계치보다 낮다는 결과에 적어도 부분적으로 기반하여 현재 상태에 머무르도록 또한, 구성되는 컴퓨터-판독가능한 비-일시적 저장 매체.
  15. 제 9 항에 있어서,
    소프트웨어는 복수의 실시간 센서 데이터의 도함수를 계산하도록 또한, 구성되는 컴퓨터-판독가능한 비-일시적 저장 매체.
  16. 제 9 항에 있어서,
    컴퓨팅 장치는 모바일 컴퓨팅 장치이며;
    의도된 임박한 사용은 사용자가 모바일 컴퓨팅 장치를 접촉하는 것에 대응하는 컴퓨터-판독가능한 비-일시적 저장 매체.
  17. 프로세서; 및
    컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 수신하고;
    컴퓨팅 장치상의 상이한 센서 타입의 복수의 센서로부터 복수의 실시간 센서 데이터를 상관시키며;
    상관관계에 기초하여 사용자에 의한 컴퓨팅 장치의 의도된 임박한 사용을 결정하고;
    결정에 기초하여 컴퓨팅 장치의 미리-결정된 기능을 자동으로 시작하도록 실행시 구성되는 소프트웨어를 포함하고 프로세서에 연결된 하나 이상의 컴퓨터-판독가능한 비-일시적 저장 매체를 포함하며,
    상기 복수의 실시간 센서 데이터는 컴퓨팅 장치의 사용자에 의해 발생된 컴퓨팅 장치의 물리적 상태에서의 변환에 대응하는 장치.
  18. 제 17 항에 있어서,
    복수의 센서는 터치 센서, 가속도계, 자이로스코프, 광학 근접 센서, 주변광 센서, 이미지 센서, 또는 이들의 임의의 조합을 포함하는 장치.
  19. 제 18 항에 있어서,
    복수의 실시간 센서 데이터는 터치 센서 및 가속도계로부터의 센서 데이터를 포함하는 장치.
  20. 제 17 항에 있어서,
    소프트웨어는 복수의 실시간 센서 데이터가 시간적으로 겹치는지를 결정하기 위해 복수의 실시간 센서 데이터에 컨볼루션 연산을 적용하도록 또한, 구성되는 장치.
KR1020167003686A 2013-07-12 2014-07-10 다중-센서의 손 감지 Active KR101696793B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/941,193 2013-07-12
US13/941,193 US9354727B2 (en) 2013-07-12 2013-07-12 Multi-sensor hand detection
PCT/US2014/046076 WO2015006525A1 (en) 2013-07-12 2014-07-10 Multi-sensor hand detection

Publications (2)

Publication Number Publication Date
KR20160031002A true KR20160031002A (ko) 2016-03-21
KR101696793B1 KR101696793B1 (ko) 2017-01-16

Family

ID=52276697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003686A Active KR101696793B1 (ko) 2013-07-12 2014-07-10 다중-센서의 손 감지

Country Status (10)

Country Link
US (1) US9354727B2 (ko)
EP (1) EP3020251B1 (ko)
JP (1) JP6097886B2 (ko)
KR (1) KR101696793B1 (ko)
CN (1) CN105532071A (ko)
AU (1) AU2014287242B2 (ko)
CA (1) CA2917974C (ko)
IL (1) IL243497A (ko)
MX (1) MX348712B (ko)
WO (1) WO2015006525A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201516635A (zh) * 2013-10-18 2015-05-01 Qisda Corp 充電方法及行動電子裝置
US9891696B2 (en) * 2014-10-03 2018-02-13 Google Llc Intelligent device wakeup
KR102251964B1 (ko) 2014-11-04 2021-05-14 삼성전자 주식회사 센서 데이터를 이용한 기능 수행 방법 및 이를 제공하는 전자 장치
US9552097B2 (en) * 2015-01-28 2017-01-24 Qualcomm Incorporated Techniques for discerning between intended and unintended gestures on wearable touch-sensitive fabric
KR20170138667A (ko) * 2016-06-08 2017-12-18 삼성전자주식회사 어플리케이션을 활성화하는 방법 및 이를 제공하는 전자 장치
US10423212B2 (en) 2017-06-02 2019-09-24 Apple Inc. Techniques for adjusting computing device sleep states using onboard sensors and learned user behaviors
US20230132977A1 (en) * 2021-10-28 2023-05-04 Apple Inc. Systems and methods for configuring transmission power level based on body proximity

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900017013A (ko) * 1989-04-27 1990-11-15 하워드 지.피거로아 에라 교정용 데이타 포맷 및 머신
US20130057489A1 (en) * 2011-09-01 2013-03-07 Google Inc. Receiving input at a computing device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7016705B2 (en) 2002-04-17 2006-03-21 Microsoft Corporation Reducing power consumption in a networked battery-operated device using sensors
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
US9398536B2 (en) * 2009-05-29 2016-07-19 Qualcomm Incorporated Method and apparatus for movement detection by evaluating elementary movement patterns
US8179376B2 (en) 2009-08-27 2012-05-15 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
WO2011092549A1 (en) * 2010-01-27 2011-08-04 Nokia Corporation Method and apparatus for assigning a feature class value
US20130002565A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation Detecting portable device orientation and user posture via touch sensors
US20130033418A1 (en) 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
EP2581816A1 (en) 2011-10-12 2013-04-17 Research In Motion Limited Apparatus and associated method for modifying media data entered pursuant to a media function
US8743055B2 (en) * 2011-10-13 2014-06-03 Panasonic Corporation Hybrid pointing system and method
US20130265258A1 (en) * 2012-04-08 2013-10-10 N-Trig Ltd. Method for identifying touch on a touch screen
US20140168057A1 (en) * 2012-12-13 2014-06-19 Qualcomm Incorporated Gyro aided tap gesture detection
US9292045B2 (en) * 2013-02-15 2016-03-22 Apple Inc. Apparatus and method for automatically activating a camera application based on detecting an intent to capture a photograph or a video
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900017013A (ko) * 1989-04-27 1990-11-15 하워드 지.피거로아 에라 교정용 데이타 포맷 및 머신
US20130057489A1 (en) * 2011-09-01 2013-03-07 Google Inc. Receiving input at a computing device

Also Published As

Publication number Publication date
EP3020251B1 (en) 2020-10-07
JP6097886B2 (ja) 2017-03-15
IL243497A (en) 2016-12-29
AU2014287242B2 (en) 2017-03-09
CA2917974A1 (en) 2015-01-15
WO2015006525A1 (en) 2015-01-15
AU2014287242A1 (en) 2016-03-03
CN105532071A (zh) 2016-04-27
CA2917974C (en) 2017-01-17
MX348712B (es) 2017-06-26
KR101696793B1 (ko) 2017-01-16
US9354727B2 (en) 2016-05-31
JP2016529780A (ja) 2016-09-23
MX2016000426A (es) 2016-09-08
EP3020251A4 (en) 2017-02-22
EP3020251A1 (en) 2016-05-18
US20150015477A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
KR101696793B1 (ko) 다중-센서의 손 감지
US10742798B1 (en) Calibration of grab detection
KR101634700B1 (ko) 모바일 장치 전극의 분리

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20160212

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160729

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20160729

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160823

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161213

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170110

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170111

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201201

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221216

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20231207

Start annual number: 8

End annual number: 8