[go: up one dir, main page]

WO2018225974A1 - 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법 - Google Patents

터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2018225974A1
WO2018225974A1 PCT/KR2018/006082 KR2018006082W WO2018225974A1 WO 2018225974 A1 WO2018225974 A1 WO 2018225974A1 KR 2018006082 W KR2018006082 W KR 2018006082W WO 2018225974 A1 WO2018225974 A1 WO 2018225974A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
electronic device
display
data
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/006082
Other languages
English (en)
French (fr)
Inventor
최미령
이근식
임혜원
김무영
이기혁
차승원
황호철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/620,586 priority Critical patent/US11003293B2/en
Publication of WO2018225974A1 publication Critical patent/WO2018225974A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • Embodiments disclosed in this document relate to a description of an electronic device and a method for performing a specified operation in response to a pressure of a touch.
  • the user may control the electronic device to perform various operations through a plurality of touch inputs.
  • a plurality of repetitive inputs are required for a specific function, and the user may feel inconvenient. Accordingly, in recent years, the pressure of the touch has been utilized as a new input means of the electronic device, but the operation that can be realized by a single pressure touch is very limited.
  • intuitive and various operations may be implemented by using a plurality of pressure touches.
  • An electronic device may include a memory, a display, a touch sensor included in or coupled to the display, a touch sensor detecting a touch, a pressure sensor detecting a pressure value of the touch, and the memory. And a processor electrically connected to the display, the touch sensor, and the pressure sensor, wherein the processor senses a first touch having a pressure value greater than or equal to a predetermined threshold using the touch sensor and the pressure sensor. And storing the first position data of the first touch in the memory, and using the touch sensor and the pressure sensor, a second touch made after the detection of the first touch and having a pressure value greater than or equal to the specified threshold value. Detects the second touch; and in response to detecting the second touch, the first position data and the second position of the second touch It may be characterized in that it is set to perform a specified operation utilizing the data as an input.
  • the method may further include detecting a first touch having a pressure value equal to or greater than a predetermined threshold value, storing first position data of the first touch in a memory, and operating the first touch. Sensing a second touch after a touch and having a pressure value equal to or greater than the specified threshold value, and in response to detecting the second touch, the first position data and the second position data of the second touch It may be characterized in that it comprises an operation to perform a specified operation utilizing as an input.
  • the user may implement various functions in the electronic device through fewer operations.
  • the user is required only simpler and more intuitive operation.
  • the functions can be used more conveniently.
  • various effects may be provided that are directly or indirectly identified through this document.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 2 illustrates a stacked structure of a display according to an embodiment.
  • FIG 3 illustrates a pressure sensor, according to an embodiment.
  • FIG. 4 is a block diagram illustrating a hardware of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 illustrates a software block diagram of an electronic device according to an embodiment.
  • FIG. 6 is a flowchart illustrating an example of an electronic device performing a specified operation using a plurality of touches, according to an embodiment.
  • FIG. 7 is a flowchart of an operation of performing, by an electronic device, a specified operation based on a type of content output at a location where a first touch is made, according to an exemplary embodiment.
  • FIG 8 illustrates an example in which the content output at the location where the first touch is made in the electronic device is an image file.
  • FIG. 9 illustrates an example in which a content output at a location where a first touch is made in an electronic device is a text file.
  • FIG. 10 illustrates an example in which a touch involves a gesture in an electronic device and a content output at a location where a first touch is made is a text file, according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart of an operation of performing, by an electronic device, a specified operation based on an application executed at a location where a first touch is made, according to an exemplary embodiment.
  • FIG. 12 illustrates an example of a case where an application executed at a location where a first touch is made in an electronic device is a map application.
  • the electronic device may be, for example, a portable communication device (such as a smartphone), a computer device (such as a personal digital assistant (PDA), a tablet PC (tablet PC), a laptop PC (, desktop PC, workstation, or server). , A portable multimedia device (eg, e-book reader or MP3 player), a portable medical device (eg, heart rate, blood sugar, blood pressure, or body temperature meter), a camera, or a wearable device.
  • a portable communication device such as a smartphone
  • PDA personal digital assistant
  • tablet PC tablet PC
  • laptop PC desktop PC, workstation, or server
  • a portable multimedia device eg, e-book reader or MP3 player
  • a portable medical device eg, heart rate, blood sugar, blood pressure, or body temperature meter
  • a camera e.g.
  • the electronic device is, for example, a television, a digital video disk (DVD) player, an audio device, an audio accessory.
  • Device e.g. spigot , Headphone, or headset
  • refrigerator air conditioner, cleaner, oven, microwave, washing machine, air purifier, set top box, home automation control panel, security control panel, game console, electronic dictionary, electronic key, camcorder, or electronic picture frame It may include at least one of.
  • the electronic device may be a navigation device, a global navigation satellite system (GNSS), an event data recorder (EDR) (eg, a black box for a vehicle / vessel / airplane), an automotive infotainment device.
  • GNSS global navigation satellite system
  • EDR event data recorder
  • automotive infotainment device e.g. automotive head-up displays
  • industrial or home robots drones, automated teller machines (ATMs), point of sales (POS) devices
  • metrology devices e.g. water, electricity, or gas measurement devices
  • an Internet of Things device eg, a light bulb, a sprinkler device, a fire alarm, a temperature controller, or a street light.
  • the electronic device is not limited to the above-described devices, and, for example, as in the case of a smartphone equipped with a measurement function of biometric information (for example, heart rate or blood sugar) of a person,
  • biometric information for example, heart rate or blood sugar
  • the functions of the devices may be provided in combination.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • the electronic device 101 (eg, the electronic device 401) communicates with the electronic device 102 through a short range wireless communication 198, or connects the network 199 to the network device 199.
  • Communication with the electronic device 104 or the server 108 may be performed through the electronic device 104 or the server 108.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 may include a bus 110, a processor 120 (eg, the processor 480), a memory 130, an input device 150 (eg, a microphone or a mouse), a display device. 160, audio module 170, sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, and battery 189, communication module 190 ), And a subscriber identification module 196.
  • the electronic device 101 may omit at least one of the components (for example, the display device 160 or the camera module 180) or may further include other components.
  • the bus 110 may include circuits that connect the components 120-190 to each other and transfer signals (eg, control messages or data) between the components.
  • the processor 120 may be one of a central processing unit (CPU), an application processor (AP), a graphics processing unit (GPU), an image signal processor (ISP) of a camera, or a communication processor (CP). Or more. According to an embodiment of the present disclosure, the processor 120 may be implemented as a system on chip (SoC) or a system in package (SiP). The processor 120 may, for example, run an operating system or an application program to control at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. Various data processing and operations can be performed. The processor 120 loads and processes instructions or data received from at least one of the other components (eg, the communication module 190) into the volatile memory 132, and stores the result data in the nonvolatile memory 134. Can be.
  • SoC system on chip
  • SiP system in package
  • the processor 120 may, for example, run an operating system or an application program to control at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • Volatile memory 132 may be configured, for example, with random access memory (RAM) (eg, DRAM, SRAM, or SDRAM).
  • RAM random access memory
  • the nonvolatile memory 134 may include, for example, programmable read-only memory (PROM), one time PROM (OTPROM), erasable PROM (EPROM), electrically EPROM (EPROM), mask ROM, flash ROM, flash memory, HDD (hard disk drive), or solid state drive (SSD).
  • the nonvolatile memory 134 may include an internal memory 136 disposed therein or a stand-alone type external device that can be connected and used only when necessary according to a connection type with the electronic device 101. Memory 138.
  • the external memory 138 may be a flash drive, for example, compact flash (CF), secure digital (SD), Micro-SD, Mini-SD, extreme digital (XD), or multi-media card (MMC). Or a memory stick.
  • the external memory 138 may be functionally or physically connected to the electronic device 101 through a wire (for example, a cable or universal serial bus (USB)) or wireless (for example, Bluetooth).
  • the memory 130 may store, for example, instructions or data related to at least one other software component of the electronic device 101, for example, the program 140.
  • the program 140 may include, for example, a kernel 141, a library 143, an application framework 145, or an application program (interchangeably “application”) 147.
  • the input device 150 may include a microphone, a mouse, or a keyboard. According to an embodiment of the present disclosure, the keyboard may be connected to a physical keyboard or displayed as a virtual keyboard through the display device 160.
  • the display device 160 may include a display, a hologram device, a projector, and a control circuit for controlling the device.
  • the display may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a microelectromechanical system (MEMS) display, or an electronic paper display.
  • the display may be implemented to be flexible, transparent, or wearable.
  • the display may include touch circuitry or an interchangeably “force sensor” capable of measuring the strength of the pressure on the touch, which may sense a user's touch, gesture, proximity, or hovering input. Can be.
  • the touch circuit or pressure sensor may be implemented integrally with the display or with one or more sensors separate from the display.
  • the hologram device may show a stereoscopic image in the air by using interference of light.
  • the projector may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 101.
  • the audio module 170 may bidirectionally convert, for example, a sound and an electrical signal. According to an embodiment of the present disclosure, the audio module 170 may acquire sound through the input device 150 (eg, a microphone), or an output device (not shown) (eg, a speaker or the like) included in the electronic device 101. Receiver) or through an external electronic device (e.g., electronic device 102 (e.g., wireless speakers or wireless headphones) or electronic device 106 (e.g., wired speakers or wired headphones) connected to the electronic device 101). You can output the input device 150 (eg, a microphone), or an output device (not shown) (eg, a speaker or the like) included in the electronic device 101. Receiver) or through an external electronic device (e.g., electronic device 102 (e.g., wireless speakers or wireless headphones) or electronic device 106 (e.g., wired speakers or wired headphones) connected to the electronic device 101). You can output
  • the sensor module 176 may measure or detect, for example, an operating state (eg, power or temperature) inside the electronic device 101, or an external environmental state (eg, altitude, humidity, or brightness). An electrical signal or data value corresponding to the measured or detected state information can be generated.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, and a color sensor (eg, RGB (red, green, blue) sensor).
  • the sensor module 176 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 101 may control the sensor module 176 by using the processor 120 or a processor (eg, a sensor hub) separate from the processor 120.
  • the electronic device 101 can operate the sensor module by operating the separate processor without waking the processor 120 while the processor 120 is in the sleep state. At least a portion of the operation or state of 176 may be controlled.
  • the interface 177 is, according to an embodiment, high definition multimedia interface (HDMI), USB, optical interface (recommended standard 232), RS-232 (D-subminiature), MHL (mobile) It may include a high-definition link (SD) interface, an SD card / multi-media card (MMC) interface, or an audio interface.
  • the connection terminal 178 may physically connect the electronic device 101 and the electronic device 106.
  • the connection terminal 178 may include, for example, a USB connector, an SD card / MMC connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus.
  • the haptic module 179 may provide a user with stimuli associated with tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may photograph, for example, a still image and a video.
  • the camera module 180 may, according to one embodiment, include one or more lenses (eg, wide-angle and telephoto lenses, or front and rear lenses), image sensors, image signal processors, or flashes (eg, light emitting diodes or xenon lamps). (xenon lamp) and the like).
  • lenses eg, wide-angle and telephoto lenses, or front and rear lenses
  • image sensors eg, image signal processors, or flashes (eg, light emitting diodes or xenon lamps). (xenon lamp) and the like).
  • the power management module 188 is a module for managing power of the electronic device 101, and may be configured, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may be recharged by an external power source, including, for example, a primary cell, a secondary cell, or a fuel cell to supply power to at least one component of the electronic device 101.
  • an external power source including, for example, a primary cell, a secondary cell, or a fuel cell to supply power to at least one component of the electronic device 101.
  • the communication module 190 may establish, for example, a communication channel between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 108). And performing wired or wireless communication through the established communication channel.
  • the communication module 190 includes a wireless communication module 192 or a wired communication module 194, and the first network 198 (eg, Bluetooth or IrDA) using a corresponding communication module. or a local area network such as an infrared data association) or a second network 199 (eg, a local area network such as a cellular network).
  • the wireless communication module 192 may support, for example, cellular communication, short range wireless communication, or GNSS communication.
  • Cellular communication includes, for example, long-term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), and wireless broadband (WiBro). ), Or Global System for Mobile Communications (GSM).
  • Short-range wireless communication is, for example, wireless fidelity (Wi-Fi), Wi-Fi Direct, light fidelity (L-Fi), Bluetooth, Bluetooth low energy (BLE), Zigbee, near field communication (NFC), MST ( magnetic secure transmission (RF), radio frequency (RF), or body area network (BAN).
  • the GNSS may include, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter, "Beidou”), or the Galileo (the European global satellite-based navigation system).
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system
  • the wireless communication module 192 when supporting the cellular communication, performs identification and authentication of the electronic device 101 in the communication network using, for example, the subscriber identification module 196. can do.
  • the wireless communication module 192 may include a CP separate from the processor 120 (eg, an AP). In such a case, the CP may, for example, replace the processor 120 while the processor 120 is in an inactive (eg, sleep) state or with the processor 120 while the processor 120 is in the active state. Together, at least some of the functions related to at least one of the elements 110-196 of the electronic device 101 may be performed.
  • the wireless communication module 192 may be configured with a plurality of communication modules supporting only a corresponding communication method among a cellular communication module, a short range wireless communication module, or a GNSS communication module.
  • the wired communication module 194 may include, for example, a local area network (LAN), power line communication, or plain old telephone service (POTS).
  • LAN local area network
  • POTS plain old telephone service
  • the first network 198 may use, for example, Wi-Fi Direct or Bluetooth that may transmit or receive commands or data through a wireless direct connection between the electronic device 101 and the first external electronic device 102. It may include.
  • the second network 199 may be, for example, a telecommunication network (for example, a local area network (LAN) or the like) capable of transmitting or receiving commands or data between the electronic device 101 and the second external electronic device 104.
  • Computer networks such as wide area networks, the Internet, or telephony networks.
  • the command or the data may be transmitted or received between the electronic device 101 and the second external electronic device 104 through the server 108 connected to the second network.
  • Each of the first and second external electronic devices 102 and 104 may be a device that is the same as or different from the electronic device 101.
  • all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 108).
  • the electronic device 101 when the electronic device 101 is to perform a function or service automatically or by request, the electronic device 101 may at least be associated with or instead of executing the function or service by itself.
  • Some functions may be requested to other devices (eg, the electronic devices 102 and 104, or the server 108) Other electronic devices (eg, the electronic devices 102 and 104 or the server 108) may be requested.
  • a function or an additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Example , Cloud computing and distributed computing or client-server computing techniques can be used.
  • FIG. 2 illustrates a stacked structure of a display according to an embodiment.
  • the display 200 may correspond to the display device 160 illustrated in FIG. 1.
  • the cover glass 210 may transmit light generated by the display panel 230.
  • a user may touch part of the body (eg, a finger) to the cover glass 210 to perform a “touch” (including a touch using an electronic pen).
  • the cover glass 210 may be formed of, for example, tempered glass, tempered plastic, a flexible polymer material, and the like to protect the display and the electronic device on which the display is mounted from external impact. According to various embodiments of the present disclosure, the cover glass 210 may also be referred to as a glass window or a cover window.
  • a specified physical quantity (eg, voltage, quantity of light, resistance, amount of charge, capacitance, etc.) may be changed by contact of an external object (eg, a user's finger or an electronic pen).
  • the touch sensor 220 may detect at least one position of a touch by the external object on the display (eg, on the surface of the cover glass 210) based on the change of the specified physical quantity.
  • the touch sensor 220 may include, for example, a capacitive touch sensor, a pressure sensitive touch sensor, an infrared touch sensor, a resistive touch sensor, or a piezo touch sensor.
  • the touch sensor 220 may be referred to by various names such as a touch panel according to an implementation form.
  • the display panel 230 may output at least one content or item (eg, text, an image, a video, an icon, a widget, or a symbol).
  • the display panel 230 may be, for example, a liquid crystal display (LCD) panel, a light emitting diode (LED) display panel, an organic light emitting diode (OLED) display panel, or a microelectromechanical system (MEMS) display panel, or an electronic paper. It may include a display panel.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • MEMS microelectromechanical system
  • the display panel 230 may be integrally implemented with the touch sensor (or touch panel) 220.
  • the display panel 230 may also be referred to as a touch screen panel (TSP) or a touch screen display panel.
  • the pressure sensor 240 may detect pressure (or force) by an external object (eg, a user's finger or an electronic pen) with respect to the display (eg, the surface of the cover glass 210).
  • the pressure sensor 240 may include a first electrode 241, a second electrode 242, and / or a dielectric layer 243.
  • the pressure sensor 240 may detect the pressure of the touch based on the capacitance between the first electrode 241 and the second electrode 242 that is changed by the pressure of the touch.
  • the configuration of the pressure sensor 240 will be described in more detail with reference to FIG. 3.
  • the haptic actuator 250 is a haptic feedback to the user when a touch (including hovering, "force touch") by an external object (eg, a user's finger, an electronic pen) is received. feedback (eg vibration).
  • the haptic actuator 260 may include a piezoelectric member and / or a diaphragm.
  • the touch sensor 220 may be directly formed on the rear surface of the cover glass 210 (so-called touch glass integrated touch panel) or separately manufactured and inserted between the cover glass 210 and the display panel 230 ( So-called add-on touch panels, directly formed on the display panel 230 (so-called on-cell touch panels), or included within the display panel 230 (so-called In-cell touch panel).
  • the area structure fingerprint sensor may be additionally provided in the laminated structure.
  • FIG 3 illustrates a pressure sensor, according to an embodiment.
  • the pressure sensor 340 may include a first electrode 341, a second electrode 342, and a dielectric layer 343.
  • the pressure sensor 340 may correspond to the pressure sensor 240 illustrated in FIG. 2.
  • the configuration of the pressure sensor 240 is not limited to the example shown in FIG.
  • the first electrode 341 and / or the second electrode 342 may be implemented to be transparent or opaque.
  • the conductive member (eg, conductive patch, conductive wire) of the first electrode 341 and / or the second electrode 342 may be copper (Cu), silver (Ag), or magnesium. (Mg), titanium (Ti), opaque graphene (graphene) can be implemented.
  • the first electrode 341 and / or the second electrode 342 may be formed of indium tin oxide (ITO), indium zinc oxide (IZO), silver nanowires, or metal meshes. metal mesh), transparent polymer conductor, and transparent graphene.
  • one of the first electrode 341 and / or the second electrode 342 may be implemented with one metal plate serving as a ground (GND), and the other may be formed using the aforementioned material. It may be formed in a repeated polygonal pattern (so-called self-capacitance method).
  • the first electrode 341 is implemented as a rectangular conductive patch arranged in an array pattern, but is not limited thereto.
  • one of the first electrode 341 and the second electrode 342 may be formed in a pattern extending in the first direction, and the other (eg, the receiving end ( Rx)) may be formed in a pattern extending in a second direction intersecting the first direction at a predetermined angle (for example, a right angle) (so-called mutual-capacitance method).
  • the first electrode 341 and / or the second electrode 342 may be implemented with a conductive wire bent in a strain gage pattern.
  • the first electrode 341 may be directly formed on the rear surface of the display panel (eg, 230 of FIG. 2).
  • the first electrode 341 may be printed on a flexible printed circuit board (FPCB), and the FPCB may be attached to one surface of the display panel.
  • FPCB flexible printed circuit board
  • the dielectric layer 343 may be a dielectric material having a specified capacitance, for example, a silicone foam, a silicone membrane, an optical clean adhesive (OCA), a sponge, a rubber, a polymer (eg, a polycabonate), a PET ( polyethylene terephthalate), and the like.
  • a dielectric material having a specified capacitance for example, a silicone foam, a silicone membrane, an optical clean adhesive (OCA), a sponge, a rubber, a polymer (eg, a polycabonate), a PET ( polyethylene terephthalate), and the like.
  • FIG. 4 is a block diagram illustrating a hardware of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 401 includes a display panel 410, a display driving circuit 420, a touch sensor 430, a touch sensor IC 440, a pressure sensor 450, and a pressure sensor IC 460. , Memory 470, and processor 480.
  • the display panel 410 may receive an image driving signal transmitted from the display driving circuit 420.
  • the display panel 410 may display various contents (eg, text, an image, a video, an icon, a GUI, or a symbol) based on the image signal.
  • contents eg, text, an image, a video, an icon, a GUI, or a symbol
  • output to a display may be understood to have the same meaning as “output to a display panel”.
  • the display driving circuit 420 may receive image data from the processor 480 and output the image data to the display panel 410. For example, the display driving circuit 420 may supply an image signal corresponding to the image data received from the processor 480 to the display panel 410 at a preset frame rate.
  • the touch sensor 430 may detect a user's touch in the entire output area of the display.
  • the user's touch may include a direct touch or a proximity touch (eg, hovering).
  • the direct touch may be made by a user or various tools (eg, an electronic pen).
  • the touch sensor 430 may change a specified physical quantity (eg, voltage, light amount, resistance, charge amount, capacitance, etc.).
  • the touch sensor IC 440 may detect the change in the physical quantity and calculate position data of the touch.
  • the touch sensor IC 440 is electrically connected to the touch sensor 430 and based on the change in the physical quantity detected from the touch sensor 430, position data regarding the touch (for example, coordinates of the touched position (X, Y) )) Can be calculated.
  • the touch sensor IC 440 may include a buffer or a memory, and store the calculated position data in the buffer or the memory.
  • the processor 480 may read position data written in the buffer or memory in response to an interrupt generated from the touch sensor IC 440.
  • the pressure sensor 450 may sense external pressure (or force) from all or a portion of the display. For example, the pressure sensor 450 may detect the pressure applied by the user's finger to the display. According to an embodiment of the present disclosure, when a user's touch occurs, the pressure sensor 450 generates an inductor for forming a capacitance, a capacitance formed between the electrodes of the pressure sensor 450, and a pressure sensor 450 specified by the touch. The amount of current induced in the, the resistance of the conductor forming the pressure sensor 450, the current or voltage difference generated by the piezoelectric material forming the pressure sensor 450, and the like may vary. The pressure sensor IC 460 may detect the change in the physical quantity and calculate a pressure value of the touch.
  • the pressure sensor IC 460 may be electrically connected to the pressure sensor 450 and calculate a pressure value for the touch based on the change in the physical quantity detected from the pressure sensor 450.
  • the pressure sensor IC 460 may include a buffer or a memory, and store the calculated pressure value in the buffer or the memory.
  • the processor 480 may read a pressure value written in the buffer or memory in response to an interrupt generated from the pressure sensor IC 460.
  • the memory 470 may be electrically connected to the processor 480 and store instructions or data related to an operation of a component included in the electronic device 401.
  • the memory 470 may include data (eg, position data and / or pressure values) for a user's touch, an algorithm for an operation corresponding to the touch, or an instruction for the operation. ) And so on.
  • the processor 480 may be electrically connected to the components included in the electronic device 401 to execute operations or data processing related to the control and / or communication of the components included in the electronic device 401.
  • the processor 480 may receive position data of the touch from the touch sensor IC 440, and receive a pressure value of the touch from the pressure sensor IC 460. Can be.
  • the received position data and / or pressure values may be stored in memory 470.
  • the processor 480 may determine whether the strength of the pressure value is greater than or equal to a predetermined threshold value. As a result of the determination, when the strength of the pressure value is equal to or greater than the predetermined threshold value, the processor 480 may recognize the touch as a pressure touch (or a force touch). In the present specification, the first touch and the second touch may correspond to the pressure touch.
  • an operation corresponding to a single pressure touch may be set in the electronic device 401.
  • the processor 480 displays a graphic user interface (GUI) (eg, a pop-up window) implemented to select an operation corresponding to the pressure touch.
  • GUI graphic user interface
  • the operation corresponding to the single pressure touch may include a plurality of operations.
  • the processor 480 may perform the selected operation and end the processing for the pressure touch.
  • At least one content may be output to the display panel 410, and a single pressure touch may be made to an area where the content is output.
  • the processor 480 may perform the pressure touch. It may be recognized as a first touch according to an embodiment of the present invention.
  • the processor 480 may determine the first position data of the first touch calculated by the touch sensor IC 440 and / or the pressure sensor IC 460 and / or Alternatively, the first pressure value of the first touch may be stored in the memory 470 and wait for the input of the second touch. According to an embodiment of the present disclosure, after the detection of the first touch, the processor 480 may acquire position data and / or pressure value of a subsequent touch using the touch sensor 430 and the pressure sensor 450. have.
  • the processor 480 may recognize the pressure touch detected after the detection of the first touch as a second touch according to an embodiment of the present disclosure.
  • the first touch and the second touch may correspond to a pressure touch made in a region where the same content is output.
  • the processor 480 uses the first position data of the first touch and the second position data of the second touch as inputs. Can be performed.
  • the processor 480 may perform a designated operation on an area defined by the first position data and the second position data.
  • the designated operation may be performed in the background in response to the detection of the first touch and in the foreground in response to the detection of the second touch.
  • the designated operation may use data of the content corresponding to the first location data as a first input and data of the content corresponding to the second location data as a second input.
  • data of the content corresponding to the second location data may be used as a second input.
  • geographical objects eg, Hannam Station, Gangnam Station
  • Each of the geographical locations linked to the object may be used as a first input and a second input to find an optimal path between the geographical locations.
  • a third touch (eg, a tap or a touch move) having a pressure value smaller than the specified threshold value may be performed.
  • the processor 480 may perform an operation corresponding to the third touch.
  • the third touch may correspond to an operation of tapping a specific object with a pressure value smaller than a specified threshold value.
  • the processor 480 may perform an operation of selecting the specific object in response to the detection of the third touch.
  • the operation corresponding to the third touch may be performed independently of a designated operation using the first position data and the second position data as inputs.
  • the designated operation may vary according to the type of content output at the position where the first touch is made.
  • the processor 480 may analyze the type of content output at the location where the first touch is made.
  • various operations according to the type of content may be stored in the memory 470, and the processor may determine any one designated operation based on the analysis result.
  • the designated operation may vary based on the type of text, image, or video to which the content corresponds.
  • the designated operation when the first touch is recognized and a designated operation is determined based on the type of the content, the designated operation may be performed in the background until the second touch is recognized.
  • the specified operation may be performed separately (or independently) from the application currently running in the foreground or the operation being performed.
  • the designated operation may utilize first position data of the first touch as a first input.
  • the processor 480 may perform a specified operation performed in the background in the foreground.
  • the second position data of the second touch may be utilized as a second input of the designated operation.
  • the type of content output at the location where the first touch is made may correspond to an image.
  • the designated operation may be, for example, capturing a specific area of the image, selecting a specific area of the image, or displaying a specific area of the image in the entire area. This may correspond to an enlargement operation.
  • a capture application may be executed for the operation.
  • the capture application may perform an operation of capturing a specific area of the screen and storing it in the memory 470.
  • the capture application may be executed in the background separately from the execution of the image viewer application after the first touch and before the second touch is recognized.
  • the first location data of the first touch may be utilized as a first input of the capture application.
  • the processor 480 may execute the capture application in the foreground and use the second position data of the second touch as the second input of the capture application.
  • the processor 480 may capture an image of an area specified by the first location data and the second location data.
  • the specified region may have a rectangular shape, for example.
  • the first position data and the second position data may correspond to vertices of the rectangle that are not adjacent to each other.
  • the type of content output at the location where the first touch is made may correspond to text.
  • the designated operation may correspond to, for example, selecting a specific area of the text.
  • the selecting of the text may be performed in the background separately from outputting the text to the display.
  • the first location data of the first touch may be used as a first input of an operation of selecting the text.
  • the processor 480 may use the second position data of the second touch as a second input of the operation of selecting the text, and perform the operation in the foreground.
  • the processor 480 may display a specific area of the selected text on the screen.
  • the processor 480 may select text from letters corresponding to the first location data to letters corresponding to the second location data.
  • the designated operation may vary according to an application executed at a location where the first touch is made.
  • the processor 480 may identify an application running at the position where the first touch is made.
  • various operations according to the application may be stored in the memory 470, and the specified operation may be determined based on the identified application.
  • the designated operation may be changed based on a map related application (eg, a map application, a subway map application, a navigation application, etc.), an application for reproducing a sound source, or a type of an application among a message application. .
  • the application executed at the location where the first touch is made may correspond to an application related to a map, for example, a map application.
  • the designated operation corresponding to the map application may correspond to, for example, an operation of finding an optimal route.
  • the first location data of the first touch and the second location data of the second touch may be used as an input of an operation for finding the optimal path.
  • the processor 480 may use a geographic location corresponding to the first location data as a first input, and use a geographic location corresponding to the second location data as a second input.
  • the processor 480 may perform an operation of finding an optimal path between the geographic location corresponding to the first location data and the geographic location corresponding to the second location data.
  • the application executed at the location where the first touch is made may correspond to an application for reproducing a sound source.
  • the designated operation corresponding to the sound source reproducing application may correspond to, for example, repeatedly playing a list of sound sources in a specified range or repeatedly playing a specific section of the sound source.
  • the first position data of the first touch and the second position data of the second touch may be utilized as an input of the operation.
  • the processor 480 uses an object corresponding to the first position data (for example, an object of a first sound source) as a first input and an object corresponding to the second position data (for example, of a second sound source). Object) as a second input.
  • the processor 480 may perform an operation of repeatedly playing a sound source list between a first sound source corresponding to the first object and a second sound source corresponding to the second object.
  • the specified operation is an operation of repeatedly playing a specific section of a sound source
  • the first playback time corresponding to the first position data and the second playback time corresponding to the second position data in the sound source This may exist.
  • the processor 480 may perform an operation of repeatedly playing the sound source in a section between the first point and the second point.
  • the designated operation may be changed based on an application executed at a position or a point where a first touch is made and an application executed at a position or a point where a second touch is made.
  • the processor 480 may analyze the types of the applications and determine a designated operation that may be interrelated between the applications. Can be.
  • the first touch may be made in the region where the map application is executed, and the second touch may be made at the position of the search input window of the web browser application.
  • the processor 480 may determine an operation that may be interrelated between the applications as the designated operation.
  • the processor 480 may determine, as the designated operation, a search for a geographic location corresponding to the first location data of the first touch in the web browser application in which the second touch is made.
  • the processor 480 may simultaneously output the execution screen of the applications to the display panel 410 by the multi-window function.
  • the multi-window function may correspond to a function of the processor 480 dividing a screen output area of the display panel 410 to output a plurality of applications.
  • the specified operation may include a plurality of operations.
  • the processor 480 may output a graphic user interface (GUI) implemented to select one of the plurality of operations to the display panel 410.
  • GUI graphic user interface
  • the designated operation may include an operation such as finding an optimal route or calculating a required time.
  • the processor 480 may output a GUI implemented to select one of the plurality of operations to the display panel 410.
  • an additional operation associated with a designated operation using the first touch and the second touch as input.
  • the designated operation is an operation of selecting text from a letter corresponding to a position where the first touch is made to a character corresponding to a position where the second touch is made, copying, sharing, or copying the selected text.
  • An association operation such as an operation of searching through may be additionally performed.
  • the processor 480 may output a GUI implemented to select one of the associated additional operations on the display.
  • the processor 480 may recognize only a touch made in a designated area of the display panel 410 as a first touch or a second touch according to an embodiment of the present invention.
  • An area corresponding to a system key (eg, a home key, a menu key, a previous key, etc.) may exist in an area of the display panel 410, except for an area corresponding to the system key among the areas of the display panel 410.
  • the remaining area may correspond to an application execution area.
  • the designated area may correspond to the application execution area.
  • the processor 480 may perform an operation (for example, moving a home screen) corresponding to the pressure touch.
  • FIG. 5 illustrates a software block diagram of an electronic device according to an embodiment.
  • the electronic device 500 may include a processor 501, a touch sensor IC 502, and a pressure sensor IC 503.
  • the processor 501, the touch sensor IC 502, and the pressure sensor IC 503 may correspond to the processor 480, the touch sensor IC 440, and the pressure sensor IC 460 illustrated in FIG. 4, respectively. .
  • the touch sensor driver 510, the pressure sensor driver 520, the system area input framework 530, the system application 540, the application area input framework 550, and the application 560 are memory (eg, memory ( 470) is a set of instructions or code, corresponding to a software module that can be executed by the operation of the processor 501. Accordingly, the operation of the software modules 510, 520, 530, 540, 550, and 560 described below may be understood as the operation of the processor 501.
  • the touch sensor IC 502 may generate an interrupt informing the touch sensor driver 510 that the touch is detected.
  • the touch sensor driver 510 may read the position data of the touch from the touch sensor IC 502 in response to the interrupt.
  • the location data may be transmitted from the touch sensor driver 510 to the system area input framework 530.
  • the pressure sensor IC 503 may generate an interrupt notifying the pressure sensor driver 520 that the pressure value of the touch is detected.
  • the pressure sensor driver 520 may read the pressure value of the touch from the pressure sensor IC 503 in response to the interrupt.
  • the pressure value may be transmitted from the pressure sensor driver 520 to the system area input framework 530.
  • the position data and the pressure value may be synchronized to the value generated by the same touch.
  • the processor 501 may read the position data and the pressure value in response to any one of interrupts generated from the touch sensor IC 502 or the pressure sensor IC 503. For example, the processor 501 may ignore the interrupt signal generated from the pressure sensor IC 503 and read the position data and the pressure value in response to the interrupt signal generated from the touch sensor IC 502.
  • the touch sensor driver 510 reads position data from the touch sensor IC 502 in response to receiving an interrupt, while the pressure sensor driver 520 reads the pressure value from the pressure sensor IC 503. Can cause.
  • the processor 501 may obtain the position data and the pressure value at the same time, and may synchronize the position data and the pressure value with values for the same touch.
  • the processor 501 may configure the synchronized position data and the pressure value as one combined data.
  • the pressure sensor driver 520 may transmit the pressure value to the touch sensor driver 510, and the touch sensor driver 510 may combine the position data and the pressure value into one data.
  • the combined data may be transmitted to the system area input framework 530.
  • the system area input framework 530 may process a touch detected in an area corresponding to a system key (eg, a home key, a menu key, a previous key, and the like) of the display area.
  • a system key eg, a home key, a menu key, a previous key, and the like
  • data about a screen layout of the system key may be provided to the system area input framework 530.
  • the screen layout of the system key may be reduced or expanded according to an executed application.
  • some functions of the system key may be activated or deactivated, and some system keys may be added or deleted.
  • the system area input framework 530 may compare position data and pressure values transmitted from the touch sensor driver 510 and / or the pressure sensor driver 520 with data on the screen layout of the system key. Can be.
  • the system area input framework 530 may recognize that the touch is detected in an area corresponding to the system key. have.
  • the system area input framework 530 may determine whether the touch meets a condition for the operation of a system key based on the position data and / or the pressure value. If the touch meets the condition, the system area input framework 530 may determine an operation corresponding to the touch and transmit data about the determined operation to the system application 540. In an embodiment, the system application 540 may perform the determined operation in response to receiving the data, and the processor 501 may terminate the processing of the position data and the pressure value.
  • the processor 501 detects that the touch is detected in an application execution region, not an area corresponding to the system key. You can judge.
  • System region input framework 530 may transmit the position data and the pressure value to application region input framework 550.
  • the application area input framework 550 may process the touch detected in the application execution area instead of the area corresponding to the system key in the display area.
  • the application area input framework 550 may determine whether the touch meets a condition for a specified operation based on the position data and / or the pressure value. For example, the application area input framework 550 may determine whether the pressure value of the touch is greater than or equal to a specified threshold value. If the touch satisfies the condition, the application area input framework 550 may determine an operation corresponding to the touch and transmit data about the determined operation to the application 560.
  • the application 560 may perform the determined operation in response to receiving data about the determined operation, and the processor 501 may terminate the processing of the position data and the pressure value.
  • the processor 501 may terminate the processing of the position data and the pressure value.
  • a designated operation of storing the first position data of the first touch in a memory and using the first position data as a first input may be performed in the background. have.
  • FIG. 6 is a flowchart illustrating an example of an electronic device performing a specified operation using a plurality of touches, according to an embodiment.
  • a method of performing a specified operation using a plurality of touches may include operations 601 to 623.
  • the operations 601 to 623 may be performed by, for example, the processor 480 illustrated in FIG. 4.
  • an electronic device may detect a touch.
  • the touch may include a direct touch by a user or an indirect touch by various tools (eg, an electronic pen).
  • the electronic device may determine whether the pressure value of the touch is equal to or greater than a specified threshold value. According to the determination result, the electronic device may determine whether the touch corresponds to a pressure touch. If the pressure value is smaller than the specified threshold value, the touch does not correspond to the pressure touch, and the electronic device may perform operation 605. If the pressure value is greater than or equal to a specified threshold value, the touch corresponds to a pressure touch, and the electronic device may perform operation 606.
  • the electronic device since the touch is not recognized as a pressure touch, the electronic device according to an embodiment may recognize the touch as an independent single touch and perform a corresponding operation. When the electronic device performs the operation, the electronic device may end the process for the touch.
  • the touch may be recognized as a pressure touch.
  • An electronic device may recognize the pressure touch as a single pressure touch or a first pressure touch according to an embodiment of the present disclosure.
  • the electronic device may determine whether an operation corresponding to a single pressure touch is set and perform operation 607 or operation 613.
  • the electronic device may provide a GUI implemented to select an operation corresponding to the single pressure touch.
  • the electronic device may determine whether an operation corresponding to the single pressure touch is selected in the GUI. If the operation is selected, the electronic device may perform operation 611, and if not, the electronic device may perform operation 613.
  • the electronic device may perform the selected operation and end the processing of the pressure touch.
  • the electronic device may recognize the pressure touch as a first touch according to an embodiment of the present disclosure.
  • the electronic device may store the position data of the first touch in a memory.
  • the electronic device may perform a specified operation on the first touch in the background.
  • the electronic device may detect a touch different from the first touch.
  • the touch may be made by a direct touch by a user or an indirect touch by various tools.
  • the electronic device may determine whether the pressure value of the touch is greater than or equal to a specified threshold value. According to the determination result, the electronic device may determine whether the touch corresponds to a pressure touch. If the pressure value is smaller than the specified threshold value, the touch does not correspond to the pressure touch, and the electronic device may perform operation 619. If the pressure value is equal to or greater than a specified threshold value, the touch corresponds to a pressure touch, and the electronic device may perform operation 621.
  • the electronic device since the touch is not recognized as a pressure touch, the electronic device according to an embodiment may recognize the touch as an independent single touch and perform a corresponding operation. When performing the operation, the electronic device may terminate the processing for the touch, maintain a standby state for the second touch according to an embodiment of the present disclosure, and perform operation 615.
  • the electronic device since the touch is recognized as a pressure touch, the electronic device according to an embodiment may recognize the touch as the second touch according to an embodiment of the present disclosure.
  • the electronic device may perform a designated operation using location data of the first touch and the second touch as input.
  • the electronic device may perform a designated operation corresponding to a plurality of pressure touches.
  • FIG. 7 is a flowchart of an operation of performing, by an electronic device, a specified operation based on a type of content output at a location where a first touch is made, according to an exemplary embodiment.
  • a method of performing a specified operation based on the type of content output at a position where a first touch is made may include operations 701 to 709.
  • the operations 701 to 709 may be performed by, for example, the processor 480 illustrated in FIG. 4.
  • the electronic device may detect a first touch having a pressure value equal to or greater than a specified threshold value.
  • the first touch may correspond to a pressure touch that is not recognized as a single pressure touch.
  • the electronic device may analyze the type of content output at the location where the first touch is made.
  • the type of content may include, for example, an image, text, video, and the like.
  • the electronic device may determine a specified operation corresponding to the type of the content. For example, when the type of content corresponds to an image, the designated operation may correspond to an operation of capturing a screen. For another example, when the type of the content corresponds to text, the designated operation may correspond to selecting a text in a range specified by the user.
  • the electronic device may detect a second touch different from the first touch and having a pressure value greater than or equal to a predetermined threshold value.
  • the electronic device may detect a third touch having a pressure value smaller than the specified threshold.
  • the electronic device may perform an operation corresponding to the third touch, and the operation may be independent of a designated operation corresponding to the first touch and the second touch.
  • the operation corresponding to the third touch may correspond to, for example, scrolling a screen on which text is output or zooming in or out of an image.
  • the electronic device may use the first touch and the second touch as inputs to perform the operation determined in operation 705.
  • the operation determined in operation 705 may be performed in the background before the second touch is detected, or may be performed in the foreground in response to the detection of the second touch.
  • the electronic device may perform a specified operation corresponding to the plurality of pressure touches based on the type of the content output at the position where the first touch is made.
  • FIG. 8 illustrates an example in which a content output at a location where a first touch is made is an image file, according to an exemplary embodiment.
  • screens 810, 820, 830, and 840 including images 811, 821, 831, and 841 are output on the display 802 of the electronic device 801.
  • all or some of the screens 810, 820, 830, and 840 may include arbitrary images 811, 821, 831, and 841.
  • a first touch 8a may be made on the screen 810 of the electronic device 801.
  • the electronic device 801 may analyze the type of content output at the position 812 at which the first touch 8a is made.
  • an image 811 is output at a position 812 where the first touch 8a is made, so that the electronic device 801 uses the type of the content as an image. You can judge.
  • the electronic device 801 may perform an operation of capturing a specific area of the image by using a specified operation (an embodiment of the designated operation).
  • the electronic device executes a capture application for background capturing a specific area of the image 811 in the background.
  • the electronic device 801 may utilize first position data of the first touch 8a as a first input.
  • the electronic device 801 may use the coordinates on the image 811 corresponding to the position 812 at which the first touch 8a is made as the first input of the capture application.
  • the electronic device 801 may detect at least one or more touches having a pressure value smaller than a specified threshold value after the first touch 8a is made.
  • a touch 8b for example, pinch-in
  • a touch 8b having a pressure value smaller than a threshold value specified on the screen 820 of the electronic device 801 and contacting at one location 822 and moving in opposite directions to each other pinch in
  • an operation corresponding to the touch 8b may correspond to an operation of enlarging the image 821.
  • Magnifying the image 821 may be independent of capturing a specific area of the image.
  • the touch 8b may be omitted.
  • an image 831 enlarged by the touch 8b having a pressure value smaller than the specified threshold value may be output to the display 802, and the screen on which the enlarged image 831 is outputted.
  • the second touch 8c may be made at 830.
  • the electronic device 801 captures an area specified by the first position data and the second position data of the second touch 8c. To perform the operation. For example, an image specified by coordinates of the image corresponding to the position 812 at which the first touch 8a is made and coordinates of the image corresponding to the position 832 at which the second touch 8c is made ( 841) can be captured. After the second touch 8c is detected, the capture application for the operation of capturing the image 841 may be executed in the foreground instead of the background, and the capture is performed on the screen 840 of the electronic device 801. Image 841 may be output.
  • FIG 9 illustrates an example in which a content output at a location where a first touch is made is a text file, according to an exemplary embodiment.
  • an electronic device 901 in which screens 910, 920, 930, and 940 on which text is displayed is output on the display 902 is illustrated.
  • an arbitrary text file may be output on all or part of the screens 910, 920, 930, and 940 of the electronic device 901.
  • the first touch 9a may be made on the screen 910 of the electronic device 901.
  • the electronic device 901 may analyze the type of content output at the location 911 where the first touch 9a is made. Since a text file is output at the location 911 where the first touch 9a is made on the screen 910 of the electronic device 901, the electronic device 901 may determine the type of the content as text. have.
  • the electronic device 901 may perform an operation of selecting a specific range of the text with a specified operation (an embodiment of the designated operation).
  • the electronic device 901 may read first position data of the first touch 9a of the text. It may be used as a first input of an operation of selecting a specific range. For example, the electronic device 901 may use a character corresponding to the position 911 at which the first touch 9a is formed as the first input of the designated operation. According to an embodiment of the present disclosure, the electronic device may perform an operation of selecting a specific range of the text in the background.
  • the electronic device 901 may detect at least one touch 9b having a pressure value smaller than a specified threshold after the first touch 9a is made.
  • a touch 9b that has a pressure value smaller than a threshold value specified on the screen 920 of the electronic device 901 and is touched at one location 921 and moved from bottom to top may be sensed.
  • the operation corresponding to the touch 9b may correspond to scrolling the screen 920 on which the text is output.
  • the scrolling operation may be independent of the operation of selecting a specific range of the text.
  • the touch 9b may be omitted.
  • a new text portion may be output to the display 902 by the touch 9b having a pressure value smaller than the specified threshold value, and the specific position 931 of the screen 930 on which the text is output may be output. ) May be a second touch 9c.
  • the electronic device may use second position data of the second touch 9c as a second input of the designated operation. For example, the text 943 from the letter 941 corresponding to the first location data to the letter 942 corresponding to the second location data may be selected. After the second touch 9c is detected, the text selection may be performed in the foreground instead of the background.
  • FIG. 10 illustrates an example in which a touch involves a gesture and a content output at a location where a first touch is made is a text file.
  • FIG. 10 an electronic device 1001 in which screens 1010, 1020, and 1030 on which text is displayed is output to the display 1002 is illustrated.
  • an arbitrary text file may be output on all or part of the screen 1010 of the electronic device 1001.
  • a first touch 10a according to an embodiment of the present disclosure may have a pressure value greater than or equal to a threshold value specified on the screen 1010 of the electronic device 1001.
  • the first touch 10a may be accompanied by a gesture of moving while maintaining a pressure value equal to or greater than the specified threshold value.
  • the first position data of the first touch 10a may include data of a position 1011 where the first touch 10a starts and an end position 1012.
  • the text 1013 may be selected from a position 1011 where the first touch 10a starts to a position 1012 where the touch ends. Can be.
  • the electronic device 1001 may analyze the type of content output at the positions 1011 and 1012 where the first touch 10a is made. Since a text file is output at positions 1011 and 1012 where the first touch 10a is made on the screen 1010 of the electronic device 1001, the electronic device 1001 determines the type of the content as text. can do.
  • the electronic device 1001 may perform an operation of selecting a specific range of the text with a specified operation (an embodiment of the designated operation).
  • the specific range of text may include a continuous text range or a non-contiguous text range.
  • the electronic device 1001 when the first touch 10a is made on the screen 1010 of the electronic device 1001, the electronic device 1001 inputs first position data of the first touch 10a as a first input. Can be used as According to an embodiment of the present disclosure, the electronic device 1001 may perform an operation of selecting a specific range of the text in the background.
  • the electronic device 1001 may detect at least one or more touches having a pressure value smaller than a specified threshold after the first touch 10a is made.
  • a touch 10b that has a pressure value smaller than a threshold value specified on the screen 1020 of the electronic device 1001 and contacts at one location 1021 and moves from the bottom to the top may be sensed.
  • an operation corresponding to the touch 10b may correspond to an operation of scrolling the screen 1020 on which the text is output.
  • the scrolling operation may be independent of the operation of selecting a specific range of the text.
  • the touch 10b may be omitted.
  • a new text portion may be output by the touch 10b having a pressure value smaller than the specified threshold value, and a second touch 10c may be made on the screen 1030 on which the text is output. have.
  • the second touch 10c may be accompanied by a gesture of moving while maintaining a pressure value equal to or greater than the specified threshold value.
  • the second position data of the second touch 10c may include data of a position 1034 where the second touch 10c starts and an end position 1035.
  • the text 1036 may be selected from a position 1034 where the second touch 10c starts to a position 1035 where the touch ends. Can be.
  • the second touch 10c when the second touch 10c is made, an operation of selecting the text 1033 specified by the first position data and the text 1036 specified by the second position data is performed. Can be. After the second touch 10c is detected, the text selection may be performed in the foreground instead of the background.
  • FIG. 11 is a flowchart of an operation of performing, by an electronic device, a specified operation based on an application executed at a location or a time point at which a first touch is made, according to an exemplary embodiment.
  • a method of performing a specified operation based on an application executed at a location or a time point at which a first touch is made may include operations 1101 to 1109.
  • the operations 1101 to 1109 may be performed by, for example, the processor 480 illustrated in FIG. 4.
  • the electronic device may detect a first touch having a pressure value equal to or greater than a specified threshold value.
  • the first touch may correspond to a pressure touch that is not recognized as a single pressure touch.
  • the electronic device may analyze an application running at a location where the first touch is made.
  • the application may include, for example, a map application, a navigation application, a message application, a sound source reproduction application, and the like.
  • the electronic device may determine a specified operation corresponding to the application.
  • the designated operation may correspond to an operation for finding an optimal route.
  • the designated operation may correspond to an operation of repeatedly playing a sound source list in a range specified by a user.
  • the electronic device may detect a second touch different from the first touch and having a pressure value greater than or equal to a predetermined threshold value.
  • the electronic device may detect a third touch having a pressure value smaller than the specified threshold.
  • the electronic device may perform an operation corresponding to the third touch, and the operation may be independent of a designated operation corresponding to the first touch and the second touch.
  • the operation corresponding to the third touch may correspond to, for example, an operation of moving, enlarging or reducing the map displayed on the display screen.
  • the electronic device may perform the operation determined in operation 1105 by using the first touch and the second touch as inputs.
  • the operation determined in operation 1105 may be performed in the background before the second touch is detected, or may be performed in the foreground in response to the detection of the second touch.
  • the electronic device may perform a specified operation corresponding to the plurality of pressure touches based on the application executed at the position where the first touch is made.
  • FIG. 12 illustrates an example of a case where an application executed at a location where a first touch is made is a map application, according to an exemplary embodiment.
  • FIG. 12 an electronic device 1201 in which a map application is executed is shown.
  • execution screens 1210, 1220, 1230, and 1240 of a map application may be output to all or part of the display of the electronic device 1201.
  • the first touch 12a may be made on the screen 1210 of the electronic device 1201.
  • the electronic device 1201 may identify an application running at the position 1211 where the first touch 12a is made. Since a map application is executed at a location 1211 where the first touch 12a is made on the screen 1210 of the electronic device 1201, the electronic device 1201 may recognize the application as a map application. .
  • the electronic device 1201 may include an operation of finding an optimal route or calculating a time required by the designated operation.
  • the electronic device 1201 uses the first position data of the first touch 12a as a first input. It can be utilized. According to an embodiment of the present disclosure, the electronic device 1201 may use, as a first input, a geographic location (eg, times square) corresponding to the location 1211 where the first touch 12a is formed.
  • the electronic device 1201 may detect at least one touch having a pressure value smaller than a specified threshold value after the first touch 12a is made.
  • a touch 12b that is touched at one location 1221 and moved to any other location with a pressure value smaller than a specified threshold value may be detected.
  • an operation corresponding to the touch 12b may correspond to an operation of changing a geographic area on a map output to the display 1202 based on a movement direction of the touch. have.
  • the operation corresponding to the touch may be independent of the operation of finding the optimal path or calculating the required time.
  • the touch 12b may be omitted.
  • a new geographic area may be output to the display 1202 by the touch 12b having a pressure value smaller than the specified threshold value, and the specific location of the screen 1230 on which the new geographic area is output.
  • the second touch 12c may be made at 1231.
  • the electronic device 1201 uses the first position data and the second position data of the second touch 12c as inputs. Can be performed.
  • a first object (eg, times square) is output at a position 1211 indicated by the first position data
  • a second object eg, rockefeller center
  • the designated operation utilizes data linked to the first object (eg, a geographical location of times square) as a first input
  • uses data linked to the second object eg, a geographic location of a rockefeller center. It can be used as a second input.
  • the designated operation may include a plurality of operations.
  • the electronic device 1201 may be connected to the first object (eg, times square) 1241 and the second object (eg, rockefeller center) 1242 output on the screen 1240 of the display 1202.
  • the first operation may include a first operation (eg, finding an optimal path) or a second operation (eg, calculating a required time).
  • the electronic device 1201 may output a GUI 1243 implemented to select one of the plurality of operations on the screen 1240.
  • one of the first operation and the second operation may be selected.
  • the electronic device 1201 performs a specified operation (eg, finding an optimal path) for the first object (eg, times square) 1251 and the second object (eg, rockefeller center) 1252. ) May be output and the result 1253 of the operation may be output to the display screen 1250.
  • An electronic device may implement functions that can be implemented as a plurality of general touches by using two or more pressure touches, using fewer operations. As a result, the user may feel more convenient in utilizing the corresponding functions, and more actively use the corresponding functions.
  • An electronic device may implement functions, which have been implemented by complex operations, with more intuitive and simple operations. As a result, various types of functions can be implemented, and a user can utilize the electronic device more widely.
  • An electronic device may include a memory, a display, a touch sensor that is included in or coupled to the display to sense a touch, a pressure sensor that detects a pressure value of the touch, and the memory, the display, and the touch.
  • first position data in the memory and using the touch sensor and the pressure sensor, detecting a second touch made after the detection of the first touch and having a pressure value equal to or greater than the specified threshold value; In response to detecting the touch, the first position data and the second position data of the second touch are used as inputs. It may be characterized in that it is set to perform a specified operation.
  • the processor touches the third touch.
  • the operation corresponding to the second touch may be performed, and the operation corresponding to the third touch may be independent of the designated operation.
  • the electronic device outputs a first object at a position indicated by the first position data, a second object is output at a position indicated by the second position data, and the specified operation is performed.
  • the data linked to the first object may be used as a first input, and the data linked to the second object may be used as a second input.
  • the designated operation may be determined based on a type of content output at a position where the first touch is made in the display.
  • the designated operation may include capturing an area specified by the first position data and the second position data.
  • the designated operation may include selecting text from a character corresponding to the first position data to a character corresponding to the second position data. Can be.
  • the type of content corresponds to text
  • the first touch and the second touch involve a gesture that moves while maintaining a pressure value above the specified threshold
  • the first location The data may include data of a position where the first touch is started and an ended position
  • the second position data may include data of a position where the second touch is started and ended
  • the designated operation may include the first position.
  • the specified operation may be determined based on an application executed at a location where the first touch is made in the display.
  • the application corresponds to a map application or a navigation application
  • the designated operation includes finding a path between a geographical location corresponding to the first location data and a geographical location corresponding to the second location data. can do.
  • the electronic device may be configured to perform the first touch and the second touch within a designated area of the display.
  • the designated area may correspond to an application execution area.
  • the specified operation includes a plurality of operations
  • the processor may output a graphical user interface (GUI) implemented to select one of the plurality of operations to the display.
  • GUI graphical user interface
  • the processor may output a GUI implemented to the display so that an additional operation associated with the designated operation may be selected.
  • the processor may receive a pressure value of the touch detected from the pressure sensor in response to receiving the position data of the touch detected from the touch sensor.
  • adapted to or configured to is modified to have the ability to "adapt,” “to,” depending on the circumstances, for example, hardware or software, It can be used interchangeably with “made to,” “doable,” or “designed to.”
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be a dedicated processor (eg, embedded processor) or one stored in a memory device (eg, memory 130) for performing the corresponding operations.
  • a general-purpose processor eg, a CPU or an AP capable of performing the corresponding operations.
  • module includes a unit composed of hardware, software, or firmware, and is used interchangeably with terms such as logic, logic blocks, components, or circuits. Can be.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be stored on a computer-readable storage medium (eg, memory 130) in the form of a program module. It can be implemented as.
  • a processor eg, the processor 120
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (such as magnetic tape), optical recording media (such as CD-ROM, DVD, magnetic-optical media (such as floppy disks), internal memory, and the like. Instructions may include code generated by a compiler or code that may be executed by an interpreter.
  • Each component may be composed of a singular or a plurality of entities, and some of the above-described subcomponents may be omitted, or other subcomponents may be omitted. It may further include. Alternatively or additionally, some components (eg modules or program modules) may be integrated into one entity to perform the same or similar functions performed by each corresponding component prior to integration. Operations performed by a module, program module, or other component according to various embodiments may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some operations may be executed in a different order, omitted, or otherwise. Can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시 예에 따르면, 메모리, 디스플레이, 상기 디스플레이에 포함되거나 상기 디스플레이에 결합되어, 터치를 감지하는 터치 센서, 상기 터치의 압력값을 검출하는 압력 센서, 및 상기 메모리, 상기 디스플레이, 상기 터치 센서, 및 상기 압력 센서와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 터치 센서 및 상기 압력 센서를 이용하여, 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하고, 상기 제1 터치의 제1 위치 데이터를 상기 메모리에 저장하고, 상기 터치 센서 및 상기 압력 센서를 이용하여, 상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하고, 상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하도록 설정되는 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
본 문서에서 개시되는 실시 예들은, 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법에 대한 기술과 관련된다.
전자 기술의 발달에 따라, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 웨어러블(wearable) 기기 등 다양한 유형의 전자 장치들이 광범위하게 보급되고 있다.
사용자는 복수의 터치 입력을 통해 전자 장치가 다양한 동작을 수행하도록 제어할 수 있다. 그러나, 단순한 터치 입력만으로 전자 장치를 제어하면 특정 기능을 위하여 다수의 반복적인 입력이 필요하게 되고, 사용자는 불편함을 느낄 수 있다. 이에 따라, 최근에는 터치의 압력이 전자 장치의 새로운 입력 수단으로 활용되고 있으나, 단일의 압력 터치로 구현될 수 있는 동작은 매우 제한적이다.
본 발명의 다양한 실시 예에 따르면, 복수의 압력 터치를 활용하여 직관적이고 다양한 동작이 구현될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 메모리, 디스플레이, 상기 디스플레이에 포함되거나 상기 디스플레이에 결합되어, 터치를 감지하는 터치 센서, 상기 터치의 압력값을 검출하는 압력 센서, 및 상기 메모리, 상기 디스플레이, 상기 터치 센서, 및 상기 압력 센서와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 터치 센서 및 상기 압력 센서를 이용하여, 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하고, 상기 제1 터치의 제1 위치 데이터를 상기 메모리에 저장하고, 상기 터치 센서 및 상기 압력 센서를 이용하여, 상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하고, 상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하도록 설정되는 것을 특징으로 할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하는 동작, 상기 제1 터치의 제1 위치 데이터를 메모리에 저장하는 동작, 상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하는 동작, 및 상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하는 동작을 포함하는 것을 특징으로 할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자는 보다 적은 횟수의 조작을 통해 전자 장치에서 다양한 기능들을 구현할 수 있다.상기 기능들의 구현에 있어, 사용자에게 더 단순하고 직관적인 조작만이 요구되므로 사용자는 상기 기능들을 보다 편리하게 이용할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도를 나타낸다.
도 2는 일 실시 예에 따른, 디스플레이의 적층 구조를 나타낸다.
도 3은 일 실시 예에 따른, 압력 센서를 나타낸다.
도 4는 일 실시 예에 따른, 전자 장치의 하드웨어(hardware) 블록도를 나타낸다.
도 5는 일 실시 예에 따른, 전자 장치의 소프트웨어(software) 블록도를 나타낸다.
도 6은 일 실시 예에 따른, 전자 장치가 복수의 터치를 활용하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 7은 일 실시 예에 따른, 전자 장치가 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 8은 일 실시 예에 따른, 전자 장치에서 제1 터치가 이루어진 위치에 출력된 콘텐트가 이미지 파일인 경우에 대한 실시 예를 나타낸다.
도 9는 일 실시 예에 따른, 전자 장치에서 제1 터치가 이루어진 위치에 출력된 콘텐트가 텍스트 파일인 경우에 대한 실시 예를 나타낸다.
도 10은 일 실시 예에 따른, 전자 장치에서 터치가 제스처(gesture)를 수반(involve)하고, 제1 터치가 이루어진 위치에 출력된 콘텐트가 텍스트 파일인 경우에 대한 실시 예를 나타낸다.
도 11은 일 실시 예에 따른, 전자 장치가 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션에 기초하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 12는 일 실시 예에 따른, 전자 장치에서 제1 터치가 이루어진 위치에서 실행되는 어플리케이션이 지도 어플리케이션인 경우에 대한 실시 예를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도 이다. 본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치(예: PDA(personal digital assistant), 태블릿 PC(tablet PC), 랩탑 PC(, 데스크톱 PC, 워크스테이션, 또는 서버), 휴대용 멀티미디어 장치(예: 전자 책 리더기 또는 MP3 플레이어), 휴대용 의료 기기(예: 심박, 혈당, 혈압, 또는 체온 측정기), 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용 형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착 형(예: 스킨 패드 또는 문신), 또는 생체 이식 형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오 장치, 오디오 액세서리 장치(예: 스피커, 헤드폰, 또는 헤드 셋), 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토메이션 컨트롤 패널, 보안 컨트롤 패널, 게임 콘솔, 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder)(예: 차량/선박/비행기 용 블랙박스(black box)), 자동차 인포테인먼트 장치(예: 차량용 헤드-업 디스플레이), 산업용 또는 가정용 로봇, 드론(drone), ATM(automated teller machine), POS(point of sales) 기기, 계측 기기(예: 수도, 전기, 또는 가스 계측 기기), 또는 사물 인터넷 장치(예: 전구, 스프링클러 장치, 화재 경보기, 온도 조절기, 또는 가로등) 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 또한, 예를 들면, 개인의 생체 정보(예: 심박 또는 혈당)의 측정 기능이 구비된 스마트폰의 경우처럼, 복수의 장치들의 기능들을 복합적으로 제공할 수 있다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 네트워크 환경(100)에서 전자 장치(101)(예: 전자 장치(401))는 근거리 무선 통신(198)을 통하여 전자 장치(102)와 통신하거나, 또는 네트워크(199)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)을 통하여 전자 장치(104)와 통신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 버스(110), 프로세서(120)(예: 프로세서(480)), 메모리(130), 입력 장치(150)(예: 마이크 또는 마우스), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 및 배터리(189), 통신 모듈(190), 및 가입자 식별 모듈(196)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는, 구성요소들(120-190)을 서로 연결하고, 구성요소들 간의 신호(예: 제어 메시지 또는 데이터)를 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(central processing unit, CPU), 어플리케이션 프로세서(application processor, AP), GPU(graphics processing unit), 카메라의 ISP(image signal processor), 또는 CP(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 SoC(system on chip) 또는 SiP(system in package)로 구현될 수 있다. 프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소들(예: 통신 모듈(190)) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드 하여 처리하고, 결과 데이터를 비 휘발성 메모리(134)에 저장할 수 있다.
메모리(130)는, 휘발성 메모리(132) 또는 비 휘발성 메모리(134)를 포함할 수 있다. 휘발성 메모리(132)는, 예를 들면, RAM(random access memory)(예: DRAM, SRAM, 또는 SDRAM)로 구성될 수 있다. 비 휘발성 메모리(134)는, 예를 들면, PROM(programmable read-only memory), OTPROM(one time PROM), EPROM(erasable PROM), EEPROM(electrically EPROM), mask ROM, flash ROM, 플래시 메모리, HDD(hard disk drive), 또는 SSD(solid state drive)로 구성될 수 있다. 또한, 비 휘발성 메모리(134)는, 전자 장치(101)와의 연결 형태에 따라, 그 안에 배치된 내장 메모리(136), 또는 필요 시에만 연결하여 사용 가능한 스탠드-얼론(stand-alone) 형태의 외장 메모리(138)로 구성될 수 있다. 외장 메모리(138)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card), 또는 메모리 스틱을 포함할 수 있다. 외장 메모리(138)는 유선(예: 케이블 또는 USB(universal serial bus)) 또는 무선(예: Bluetooth)을 통하여 전자 장치(101)와 기능적으로 또는 물리적으로 연결될 수 있다.
메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 소프트웨어 구성요소, 예를 들어, 프로그램(140)에 관계된 명령 또는 데이터를 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 라이브러리(143), 어플리케이션 프레임워크(145), 또는 어플리케이션 프로그램(interchangeably "어플리케이션")(147)을 포함할 수 있다.
입력 장치(150)는, 마이크, 마우스, 또는 키보드를 포함할 수 있다. 일 실시 예에 따르면, 키보드는 물리적인 키보드로 연결되거나, 표시 장치(160)를 통해 가상 키보드로 표시될 수 있다.
표시 장치(160)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이는, 일 실시 예에 따르면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 디스플레이는 사용자의 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 감지할 수 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(interchangeably "force sensor")를 포함할 수 있다. 상기 터치 회로 또는 압력 센서는 디스플레이와 일체형으로 구현되거나, 또는 디스플레이와는 별도의 하나 이상의 센서들로 구현될 수 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(101)의 내부 또는 외부에 위치할 수 있다.
오디오 모듈(170)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)(예: 마이크)를 통해 소리를 획득하거나, 또는 전자 장치(101)에 포함된 출력 장치(미 도시)(예: 스피커 또는 리시버), 또는 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102)(예: 무선 스피커 또는 무선 헤드폰) 또는 전자 장치(106)(예: 유선 스피커 또는 유선 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은, 예를 들면, 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 고도, 습도, 또는 밝기)를 계측 또는 감지하여, 그 계측 또는 감지된 상태 정보에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(예: 홍채 센서, 지문 센서, 또는 HRM(heartbeat rate monitoring) 센서, 후각(electronic nose) 센서, EMG(electromyography) 센서, EEG(Electroencephalogram) 센서, ECG(Electrocardiogram) 센서), 온도 센서, 습도 센서, 조도 센서, 또는 UV(ultra violet) 센서를 포함할 수 있다. 센서 모듈(176)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는 프로세서(120) 또는 프로세서(120)와는 별도의 프로세서(예: 센서 허브)를 이용하여, 센서 모듈(176)을 제어할 수 있다. 별도의 프로세서(예: 센서 허브)를 이용하는 경우에, 전자 장치(101)는 프로세서(120)가 슬립(sleep) 상태에 있는 동안, 프로세서(120)를 깨우지 않고 별도의 프로세서의 작동에 의하여 센서 모듈(176)의 동작 또는 상태의 적어도 일부를 제어할 수 있다.
인터페이스(177)는, 일 실시 예에 따르면, HDMI(high definition multimedia interface), USB, 광 인터페이스(optical interface), RS-232(recommended standard 232), D-sub(D-subminiature), MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다. 연결 단자(178)는 전자 장치(101)와 전자 장치(106)를 물리적으로 연결시킬 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 예를 들면, 햅틱 모듈(179)은 사용자에게 촉각 또는 운동 감각과 관련된 자극을 제공할 수 있다. 햅틱 모듈(179)은 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(180)는, 일 실시 예에 따르면, 하나 이상의 렌즈(예: 광각 렌즈 및 망원 렌즈, 또는 전면 렌즈 및 후면 렌즈), 이미지 센서, 이미지 시그널 프로세서, 또는 플래시(예: 발광 다이오드 또는 제논 램프(xenon lamp) 등)를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)의 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는, 예를 들면, 1차 전지, 2차 전지, 또는 연료 전지를 포함하여 외부 전원에 의해 재충전되어, 상기 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다.
통신 모듈(190)은, 예를 들면, 전자 장치(101)와 외부 장치(예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(108)) 간의 통신 채널 수립 및 수립된 통신 채널을 통한 유선 또는 무선 통신의 수행을 지원할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192) 또는 유선 통신 모듈(194)을포함하고, 그 중 해당하는 통신 모듈을 이용하여 제1 네트워크(198)(예: Bluetooth 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크와 같은 원거리 통신 네트워크)를 통하여 외부 장치와 통신할 수 있다.
무선 통신 모듈(192)은, 예를 들면, 셀룰러 통신, 근거리 무선 통신, 또는 GNSS 통신을 지원할 수 있다. 셀룰러 통신은, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications)을 포함할 수 있다. 근거리 무선 통신은, 예를 들면, Wi-Fi(wireless fidelity), Wi-Fi Direct, Li-Fi(light fidelity), Bluetooth, BLE(Bluetooth low energy), Zigbee, NFC(near field communication), MST(magnetic secure transmission), RF(radio frequency), 또는 BAN(body area network)을 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo(the European global satellite-based navigation system)을 포함할 수 있다. 본 문서에서 "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다.
일 실시 예에 따르면, 상기 무선 통신 모듈(192)은, 셀룰러 통신을 지원하는 경우, 예를 들면, 가입자 식별 모듈(196)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 프로세서(120)(예: AP)와 별개인 CP를 포함할 수 있다. 이런 경우, CP는, 예를 들면, 프로세서(120)가 인액티브(예: 슬립) 상태에 있는 동안 프로세서(120)를 대신하여, 또는 프로세서(120)가 액티브 상태에 있는 동안 프로세서(120)과 함께, 전자 장치(101)의 구성요소들(110-196) 중 적어도 하나의 구성 요소와 관련된 기능들의 적어도 일부 기능을 수행할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS 통신 모듈 중 해당하는 통신 방식만을 지원하는 복수의 통신 모듈들로 구성될 수 있다.
유선 통신 모듈(194)은, 예를 들면, LAN(local area network), 전력선 통신 또는 POTS(plain old telephone service)를 포함할 수 있다.
제1 네트워크(198)는, 예를 들어, 전자 장치(101)와 제1 외부 전자 장치(102)간의 무선으로 직접 연결을 통해 명령 또는 데이터를 송신 또는 수신 할 수 있는 Wi-Fi 다이렉트 또는 Bluetooth를 포함할 수 있다. 제2 네트워크(199)는, 예를 들어, 전자 장치(101)와 제2 외부 전자 장치(104)간의 명령 또는 데이터를 송신 또는 수신할 수 있는 텔레커뮤니케이션 네트워크(예: LAN(local area network)나 WAN(wide area network)와 같은 컴퓨터 네트워크, 인터넷(internet), 또는 텔레폰(telephone) 네트워크)를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 명령 또는 상기 데이터는 제2 네트워크에 연결된 서버(108)를 통해서 전자 장치(101)와 제2 외부 전자 장치(104)간에 송신 또는 수신될 수 있다. 제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102, 104), 또는 서버(108)에서 실행될 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(108))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(108))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 일 실시 예에 따른, 디스플레이의 적층 구조를 나타낸다.
도 2를 참조하면, 일 실시 예에 따른 디스플레이의 적층 구조가 도시되어 있다. 디스플레이(200)는 도 1에 도시된 표시장치(160)에 해당할 수 있다.
일 실시 예에 따른 디스플레이의 적층 구조에 있어서, 커버 글래스(210)는 디스플레이 패널(230)에 의해 생성된 빛을 투과시킬 수 있다. 상기 커버 글래스(210) 상에서 사용자는 신체의 일부(예: 손가락)를 상기 커버 글래스(210)에 접촉하여 "터치"(전자 펜을 이용한 접촉을 포함함)을 수행할 수 있다. 상기 커버 글래스(210)는, 예컨대, 강화 유리, 강화 플라스틱, 구부러질 수 있는(flexible) 고분자 소재 등으로 형성되어, 디스플레이 및 상기 디스플레이가 탑재된 전자 장치를 외부 충격으로부터 보호할 수 있다. 다양한 실시 예에 따르면, 상기 커버 글래스(210)는 글래스 윈도우(glass window) 또는 커버 윈도우(cover window)로도 참조될 수 있다.
터치 센서(220)에서는, 외부 물체(예: 사용자의 손가락, 전자 펜)의 접촉에 의하여 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 상기 터치 센서(220)는 상기 지정된 물리량의 변화에 기반하여 디스플레이 상(예: 커버 글래스(210)의 표면 상)의 상기 외부 물체에 의한 터치의 적어도 하나의 위치를 검출할 수 있다. 예를 들어, 상기 터치 센서(220)는, 예컨대, 정전식 터치 센서, 감압식 터치 센서, 적외선 방식 터치 센서, 저항막 방식 터치 센서, 또는 피에조(piezo) 터치 센서 등을 포함할 수 있다. 다양한 실시 예에 따르면, 상기 터치 센서(220)는 구현 형태에 따라서 터치 패널 등 다양한 명칭으로 참조될 수 있다.
디스플레이 패널(230)은 적어도 하나의 콘텐트 혹은 아이템(item)(예: 텍스트, 이미지, 비디오, 아이콘, 위젯, 또는 심볼 등)를 출력할 수 있다. 상기 디스플레이 패널(230)은, 예를 들어, 액정 디스플레이(LCD) 패널, 발광 다이오드(LED) 디스플레이 패널, 유기 발광 다이오드(OLED) 디스플레이 패널, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이 패널, 또는 전자 종이 디스플레이 패널을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 상기 디스플레이 패널(230)은 터치 센서(또는 터치 패널)(220)와 일체로 구현될 수 있다. 이 경우, 상기 디스플레이 패널(230)은 터치스크린 패널(TSP: touch screen panel), 혹은 터치스크린 디스플레이 패널로도 참조될 수 있다.
압력 센서(240)는, 디스플레이(예: 커버 글래스(210)의 표면)에 대한 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 압력(혹은, 힘)을 검출할 수 있다. 일 실시 예에 따르면, 상기 압력 센서(240)는 제1 전극(241), 제2 전극(242), 및/또는 유전층(dielectric layer)(243)을 포함할 수 있다. 예컨대, 상기 압력 센서(240)는 상기 터치의 압력에 의해 변화하는 상기 제1 전극(241) 및 상기 제2 전극(242) 사이의 정전용량에 기초하여 상기 터치의 압력을 감지할 수 있다. 상기 압력 센서(240)의 구성에 대하여는 도 3을 참조하여 더욱 상세히 설명된다.
햅틱 액추에이터(haptic actuator)(250)는 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 터치(호버링(hovering), "포스 터치" 포함)가 수신될 때, 상기 사용자에게 촉각적 피드백(haptic feedback)(예: 진동)을 제공할 수 있다. 이를 위해 상기 햅틱 액추에이터(260)는 압전부재(Piezoelectric member) 및/또는 진동판 등을 포함할 수 있다.
앞서 설명한 도 2의 디스플레이의 적층 구조는 일례로서, 다양한 변형이 가능하다. 예를 들면, 터치 센서(220)는 커버 글래스(210)의 배면에 직접 형성되거나(이른바, 커버 글래스 일체형 터치 패널), 별도로 제작되어 커버 글래스(210)와 디스플레이 패널(230) 사이에 삽입되거나(이른바 애드 온(add-on) 터치 패널), 디스플레이 패널(230) 위에 직접 형성되거나(이른바, 온-셀(on-cell) 터치 패널), 디스플레이 패널(230) 내부에 포함될 수 있다(이른바, 인-셀(in-cell) 터치 패널). 또한, 다양한 실시 예에 따르면, 상기 적층 구조에는 불투명 또는 투명하게 구현된 에어리어(area) 방식 지문 센서가 추가로 구비될 수도 있다.
도 3은 일 실시 예에 따른, 압력 센서를 나타낸다.
도 3을 참조하면, 일 실시 예에 따른 압력 센서(340)는 제1 전극(341), 제2 전극(342), 및 유전층(343)을 포함할 수 있다. 예컨대, 압력 센서(340)는, 도 2에 도시된 압력 센서(240)에 대응될 수 있다. 다만, 압력 센서(240)의 구성은 도 3에 도시된 예에 제한되지 않는다.
일 실시 예에 따르면, 상기 제1 전극(341) 및/또는 상기 제2 전극(342)은 투명 또는 불투명하게 구현될 수 있다. 예를 들어, 불투명하게 구현되는 경우, 상기 제1 전극(341) 및/또는 제2 전극(342)의 도전 부재(예: 도전 패치, 도전 와이어)은 구리(Cu), 은(Ag), 마그네슘(Mg), 티타늄(Ti), 불투명한 그래핀(graphene)으로 구현될 수 있다. 또한, 투명하게 구현되는 경우, 상기 제1 전극(341) 및/또는 제2 전극(342)은 ITO(Indium Tin Oxide), IZO(Indium zinc oxide), 은 나노 와이어(Ag nanowire), 메탈 메쉬(metal mesh), 투명 고분자 전도체, 투명 그래핀으로 구현될 수 있다.
일 실시 예에 따르면, 제1 전극(341) 및/또는 제2 전극(342) 중 하나는 접지(GND) 역할을 수행하는 하나의 금속판으로 구현될 수 있고, 다른 하나는 전술한 소재를 이용하여 반복된 다각형 패턴으로 형성될 수 있다(이른바, self-capacitance 방식). 도 3에서 상기 제1 전극(341)은 어레이(array) 패턴으로 배열된(arrange) 사각형 도전 패치로 구현되어 있으나, 이에 제한되는 것은 아니다.
또 다른 예를 들면, 제1 전극(341) 및 제2 전극(342) 중 하나(예: 송신단(Tx))는 제1 방향으로 연장된 패턴으로 형성될 수 있고, 다른 하나(예: 수신단(Rx))는 상기 제1 방향과 지정된 각도(예: 직각)으로 교차하는 제2 방향으로 연장된 패턴으로 형성될 수도 있다(이른바, mutual-capacitance 방식). 다양한 실시 예에 따르면, 상기 제1 전극(341) 및/또는 상기 제2 전극(342)은 Strain gage pattern으로 구부러진 도전 와이어로 구현될 수도 있다. 예를 들면, 제1 전극(341)은 디스플레이 패널(예: 도 2의 230)의 배면에 직접 형성될 수 있다. 또는, 제1 전극(341)은 FPCB(flexible printed circuit board) 상에 인쇄될 수 있으며, 상기 FPCB는 디스플레이 패널의 일 면에 부착될 수 있다.
유전층(343)은 지정된 커패시턴스를 가진 유전물질, 예를 들어, 실리콘 폼(foam), 실리콘 멤브레인(membrane), OCA(optical clean adhesive), 스폰지, 고무, 폴리머(예: PC(polycabonate), PET(polyethylene terephthalate) 등)으로 구현될 수 있다.
도 4는 일 실시 예에 따른, 전자 장치의 하드웨어(hardware) 블록도를 나타낸다.
도 4를 참조하면, 전자 장치(401)는 디스플레이 패널(410), 디스플레이 구동 회로(420), 터치 센서(430), 터치 센서 IC(440), 압력 센서(450), 압력 센서 IC(460), 메모리(470), 및 프로세서(480)를 포함할 수 있다.
디스플레이 패널(410)은 디스플레이 구동 회로(420)로부터 전송된 영상 구동 신호를 수신할 수 있다. 예를 들어, 디스플레이 패널(410)은 상기 이미지 신호에 기반하여 다양한 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, GUI, 또는 심볼 등)를 표시할 수 있다. 본 명세서에서 "디스플레이에 출력한다"는 "디스플레이 패널에 출력한다"와 동일한 의미로 이해될 수 있다.
디스플레이 구동 회로(420)는 프로세서(480)로부터 이미지 데이터를 수신하여 디스플레이 패널(410)에 상기 이미지 데이터를 출력할 수 있다. 예를 들어, 상기 디스플레이 구동 회로(420)는 프로세서(480)로부터 수신한 이미지 데이터에 대응하는 이미지 신호를 미리 설정된 프레임 수로 디스플레이 패널(410)에 공급할 수 있다.
터치 센서(430)는 디스플레이의 전체 출력 영역에서 사용자의 터치를 감지할 수 있다. 다양한 실시 예에서, 상기 사용자의 터치는 직접 터치 또는 근접 터치(예: 호버링)를 포함할 수 있다. 다양한 실시 예에서, 상기 직접 터치는 사용자 또는 다양한 도구(예: 전자 펜)에 의해 이루어질 수 있다. 사용자의 터치가 발생하면 터치 센서(430)에서는 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 터치 센서 IC(440)는 상기 물리량의 변화를 감지하고 터치의 위치 데이터를 산출할 수 있다.
터치 센서 IC(440)는 터치 센서(430)와 전기적으로 연결되고 터치 센서(430)로부터 검출된 물리량의 변화에 기반하여 상기 터치에 관한 위치 데이터(예: 터치가 이루어진 위치의 좌표(X, Y))를 산출할 수 있다. 일 실시 예에서, 터치 센서 IC(440)는 버퍼 또는 메모리를 포함할 수 있고, 상기 산출된 위치 데이터를 상기 버퍼 또는 상기 메모리에 저장할 수 있다. 프로세서(480)는 터치 센서 IC(440)로부터 발생한 인터럽트에 응답하여 상기 버퍼 또는 메모리에 기입된 위치 데이터를 읽어낼 수 있다.
압력 센서(450)는 디스플레이의 전체 또는 일부 영역으로부터 외부 압력(혹은, 힘)을 감지할 수 있다. 예컨대, 압력 센서(450)에서는 사용자의 손가락이 디스플레이에 가한 압력을 감지할 수 있다. 일 실시 예에 따르면, 사용자의 터치가 발생하면 상기 압력 센서(450)에서는 상기 터치에 의해 지정된 물리량(예: 압력 센서(450)의 전극 사이에 형성된 정전 용량, 압력 센서(450)를 형성하는 인덕터에 유도된 전류량, 압력 센서(450)를 형성하는 도전체의 저항, 압력 센서(450)를 형성하는 피에조 물질에 의해 발생된 전류 또는 전압차 등)이 변화할 수 있다. 압력 센서 IC(460)는 상기 물리량의 변화를 감지하고 터치의 압력값을 산출할 수 있다.
압력 센서 IC(460)는 압력 센서(450)와 전기적으로 연결되고 압력 센서(450)로부터 검출된 물리량의 변화에 기반하여 상기 터치에 관한 압력값을 산출할 수 있다. 일 실시 예에서, 압력 센서 IC(460)는 버퍼 또는 메모리를 포함할 수 있고, 상기 산출된 압력값을 상기 버퍼 또는 상기 메모리에 저장할 수 있다. 프로세서(480)는 압력 센서 IC(460)로부터 발생한 인터럽트에 응답하여 상기 버퍼 또는 메모리에 기입된 압력값을 읽어낼 수 있다.
메모리(470)는 프로세서(480)와 전기적으로 연결되고 전자 장치(401)에 포함된 구성 요소의 동작과 관련된 명령 또는 데이터를 저장할 수 있다. 다양한 실시 예에 따르면, 메모리(470)는 사용자의 터치에 대한 데이터(예: 위치 데이터 및/또는 압력값), 상기 터치에 대응하는 동작에 대한 알고리즘(algorithm), 또는 상기 동작에 대한 인스트럭션(instruction) 등을 저장할 수 있다.
프로세서(480)는 전자 장치(401)에 포함된 구성 요소들과 전기적으로 연결되어, 전자 장치(401)에 포함된 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
일 실시 예에 따르면, 프로세서(480)는, 터치가 이루어지면, 상기 터치의 위치 데이터를 터치 센서 IC(440)로부터 수신할 수 있고, 상기 터치의 압력값을 압력 센서 IC(460)로부터 수신할 수 있다. 상기 수신된 위치 데이터 및/또는 압력값은 메모리(470)에 저장될 수 있다.
일 실시 예에 따르면, 프로세서(480)는 상기 압력값의 세기가 지정된 임계값 이상인지 여부를 판단할 수 있다. 상기 판단 결과 상기 압력값의 세기가 상기 지정된 임계값 이상이면, 프로세서(480)는 상기 터치를 압력 터치(또는 포스 터치(forced touch))로 인식할 수 있다. 본 명세서에 있어서, 제1 터치 및 제2 터치는 상기 압력 터치에 해당할 수 있다.
일 실시 예에 따르면, 전자 장치(401)에는 단일의 압력 터치에 대응하는 동작이 설정되어 있을 수 있다. 이 경우 압력 터치가 감지되면, 프로세서(480)는 상기 압력 터치에 대응하는 동작을 선택할 수 있도록 구현된 GUI(graphic user interface)(예: 팝업 창(pop-up window))를 디스플레이 패널(410)에 출력할 수 있다. 상기 단일의 압력 터치에 대응하는 동작은 복수의 동작을 포함할 수 있다. 일 실시 예에서, 상기 GUI를 통해 상기 복수의 동작 중 어느 하나의 동작이 선택되면, 프로세서(480)는 상기 선택된 동작을 수행하고 상기 압력 터치에 대한 처리를 종료할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 패널(410)에 적어도 하나의 콘텐트가 출력될 수 있고, 상기 콘텐트가 출력되는 영역에 단일의 압력 터치가 이루어질 수 있다. 일 실시 예에서, 상기 단일의 압력 터치에 대응하는 동작이 설정되지 않았거나, 상기 GUI를 통해 상기 동작이 선택되지 않으면(예: 이전 키를 터치하는 경우), 프로세서(480)는 상기 압력 터치를 본 발명의 일 실시 예에 따른 제1 터치로 인식할 수 있다.
일 실시 예에서, 상기 압력 터치가 제1 터치로 인식되면, 프로세서(480)는 터치 센서 IC(440) 및/또는 압력 센서 IC(460)에서 산출된 상기 제1 터치의 제1 위치 데이터 및/또는 상기 제1 터치의 제1 압력값을 메모리(470)에 저장하고 제2 터치의 입력을 기다릴 수 있다. 일 실시 예에 따르면, 프로세서(480)는 상기 제1 터치의 감지 이후에, 상기 터치 센서(430) 및 상기 압력 센서(450)를 이용하여 후속 터치의 위치 데이터 및/또는 압력값을 획득할 수 있다.
일 실시 예에서, 프로세서(480)는 상기 제1 터치의 감지 이후에 감지되는 압력 터치를 본 발명의 일 실시 예에 따른 제2 터치로 인식할 수 있다. 일 실시 예에서, 상기 제1 터치 및 상기 제2 터치는 동일한 콘텐트가 출력되는 영역에서 이루어진 압력 터치에 해당할 수 있다.
일 실시 예에 따르면, 상기 제1 터치에 뒤이어 제2 터치가 인식되면, 프로세서(480)는 상기 제1 터치의 제1 위치 데이터 및 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행할 수 있다. 예를 들면, 프로세서(480)는 상기 제1 위치 데이터 및 상기 제2 위치 데이터로 정의되는 영역에 대한 지정된 동작을 수행할 수 있다. 또 다른 실시 예에서, 상기 지정된 동작은 상기 제1 터치의 감지에 응답하여 백그라운드(background)로 수행되고 상기 제2 터치의 감지에 응답하여 포그라운드(foreground)로 수행될 수도 있다.
일 실시 예에 따르면, 상기 지정된 동작은 상기 제1 위치 데이터에 대응되는 상기 콘텐트의 데이터를 제1 입력으로 활용하고, 상기 제2 위치 데이터에 대응되는 상기 콘텐트의 데이터를 제2 입력으로 활용할 수 있다. 예를 들면, 디스플레이의 출력 영역 중 상기 제1 위치 데이터 및 상기 제2 위치 데이터가 나타내는 위치에 지도 상의 지리적 객체(geographical object)(예: 한남역, 강남역)들이 출력되어 있다면, 상기 지정된 동작은 상기 지리적 객체에 링크된 각각의 지리적 위치들을 제1 입력 및 제2 입력으로 활용하여 상기 지리적 위치들 사이의 최적 경로를 찾는 동작에 해당할 수 있다.
일 실시 예에서, 제1 터치의 감지 이후에 지정된 임계값보다 작은 압력값을 가지는 제3 터치(예: 탭(tap), 터치 무브(touch move))가 이루어질 수도 있다. 일 실시 예에서, 상기 제3 터치가 이루어지면, 프로세서(480)는 상기 제3 터치에 대응하는 동작을 수행할 수 있다. 예를 들어, 상기 제3 터치는 지정된 임계값보다 작은 압력값으로 특정 객체를 탭하는 동작에 해당할 수 있다. 프로세서(480)는 상기 제3 터치의 감지에 응답하여 상기 특정 객체를 선택하는 동작을 수행할 수 있다. 일 실시 예에 따르면, 상기 제3 터치에 대응하는 동작은 상기 제1 위치 데이터 및 상기 제2 위치 데이터를 입력으로 활용하는 지정된 동작과 독립적으로 수행될 수 있다.
일 실시 예에 따르면, 지정된 동작은 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 대응하여 달라질 수 있다. 일 실시 예에서, 제1 터치가 인식되면, 프로세서(480)는 상기 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형을 분석할 수 있다. 일 실시 예에 따르면, 상기 콘텐트의 유형에 따른 다양한 동작들은 메모리(470)에 저장되어 있을 수 있고, 프로세서는 상기 분석 결과에 기초하여 어느 하나의 지정된 동작을 결정할 수 있다. 예를 들면, 텍스트, 이미지, 비디오 중 상기 콘텐트가 해당되는 유형에 기초하여 상기 지정된 동작이 달라질 수 있다.
일 실시 예에 따르면, 상기 제1 터치가 인식되고 상기 콘텐트의 유형에 기초하여 지정된 동작이 결정되면, 상기 지정된 동작은 제2 터치가 인식되기 전까지, 백그라운드로 수행될 수 있다. 상기 지정된 동작은 현재 포그라운드로 실행되고 있는 어플리케이션 또는 수행되고 있는 동작과 별도로(또는 독립적으로) 수행될 수 있다. 일 실시 예에서, 상기 지정된 동작은 상기 제1 터치의 제1 위치 데이터를 제1 입력으로 활용할 수 있다.
일 실시 예에 따르면, 상기 제1 터치에 뒤이어 상기 제2 터치가 인식되는 경우, 프로세서(480)는 상기 백그라운드로 수행되고 있는 지정된 동작을 포그라운드로 수행할 수 있다. 일 실시 예에서, 상기 제2 터치의 제2 위치 데이터는 상기 지정된 동작의 제2 입력으로 활용될 수 있다.
일 예를 들어, 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형은 이미지에 해당할 수 있다. 예를 들어 제1 터치가 이미지 뷰어 어플리케이션에 의해 출력된 이미지 상에서 이루어지는 경우, 지정된 동작은 예컨대, 이미지의 특정 영역을 캡쳐하는 동작, 이미지의 특정 영역을 선택하는 동작 또는 이미지의 특정 영역을 디스플레이 전체 영역으로 확대시키는 동작 등에 해당할 수 있다.
일 실시 예에서, 상기 지정된 동작이 이미지의 특정 영역을 캡쳐하는 동작에 해당하면, 상기 동작을 위해 캡쳐 어플리케이션이 실행될 수 있다. 상기 캡쳐 어플리케이션은 화면의 특정 영역을 캡쳐하여 메모리(470)에 저장하는 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 제1 터치가 인식된 이후 및 제2 터치가 인식되기 전까지 상기 캡쳐 어플리케이션은 이미지 뷰어 어플리케이션의 실행과 별도로 백그라운드로 실행될 수 있다. 상기 제1 터치의 제1 위치 데이터는 상기 캡쳐 어플리케이션의 제1 입력으로 활용될 수 있다. 이후 제2 터치가 인식되면, 프로세서(480)는 상기 캡쳐 어플리케이션을 포그라운드로 실행할 수 있고 상기 제2 터치의 제2 위치 데이터를 상기 캡쳐 어플리케이션의 제2 입력으로 활용할 수 있다.
일 실시 예에서, 프로세서(480)는 상기 제1 위치 데이터 및 상기 제2 위치 데이터에 의해 특정되는 영역의 이미지를 캡쳐할 수 있다. 상기 특정되는 영역은, 예컨대, 사각형 형상을 가질 수 있다. 이 경우, 상기 제1 위치 데이터 및 상기 제2 위치 데이터는 상기 사각형의 서로 이웃하지 않는(do not adjacent) 꼭지점에 해당할 수 있다.
또 다른 예를 들어, 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형은 텍스트에 해당할 수 있다. 일 실시 예에서, 상기 콘텐트의 유형이 텍스트인 경우에 지정된 동작은 예컨대, 텍스트의 특정 영역을 선택하는 동작에 해당할 수 있다.
일 실시 예에서, 상기 제1 터치가 인식된 이후 및 제2 터치가 인식되기 전까지, 상기 텍스트를 선택하는 동작은 상기 텍스트를 디스플레이에 출력하는 동작과 별도로 백그라운드로 수행될 수 있다. 상기 제1 터치의 제1 위치 데이터는 상기 텍스트를 선택하는 동작의 제1 입력으로 활용될 수 있다. 이후 제2 터치가 인식되면, 프로세서(480)는 상기 제2 터치의 제2 위치 데이터를 상기 텍스트를 선택하는 동작의 제2 입력으로 활용할 수 있고, 상기 동작을 포그라운드로 수행할 수 있다. 상기 동작이 포그라운드로 수행됨으로써, 프로세서(480)는 상기 선택된 텍스트의 특정 영역을 화면에 표시할 수 있다. 일 실시 예에서, 프로세서(480)는 상기 제1 위치 데이터에 대응하는 글자부터 상기 제2 위치 데이터에 대응하는 글자까지의 텍스트를 선택할 수 있다.
일 실시 예에 따르면, 지정된 동작은 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션에 대응하여 달라질 수 있다. 일 실시 예에서, 제1 터치가 인식되는 경우 프로세서(480)는 상기 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션을 확인할 수 있다. 일 실시 예에 따르면, 상기 어플리케이션에 따른 다양한 동작들이 메모리(470)에 저장되어 있을 수 있고, 상기 확인된 어플리케이션에 기초하여 상기 지정된 동작이 결정될 수 있다. 예를 들면, 지도와 관련된 어플리케이션(예: 지도 어플리케이션, 지하철 노선도 어플리케이션, 네비게이션(navigation) 어플리케이션 등), 음원을 재생하는 어플리케이션, 메시지 어플리케이션 중 어플리케이션이 해당되는 유형에 기초하여 상기 지정된 동작이 달라질 수 있다.
일 실시 예에 따르면, 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션은 지도와 관련된 어플리케이션, 예컨대, 지도 어플리케이션에 해당할 수 있다. 일 실시 예에서, 지도 어플리케이션에 대응하는 지정된 동작은 예컨대, 최적 경로를 찾는 동작에 해당할 수 있다.
일 실시 예에서, 상기 제1 터치의 제1 위치 데이터 및 상기 제2 터치의 제2 위치 데이터는 상기 최적 경로를 찾는 동작의 입력으로 활용될 수 있다. 예를 들면, 프로세서(480)는 상기 제1 위치 데이터에 대응하는 지리적 위치를 제1 입력으로 하고, 상기 제2 위치 데이터에 대응하는 지리적 위치를 제2 입력으로 활용할 수 있다. 프로세서(480)는 상기 제1 위치 데이터에 대응하는 지리적 위치 및 상기 제2 위치 데이터에 대응하는 지리적 위치 사이의 최적 경로를 찾는 동작을 수행할 수 있다.
일 실시 예에 따르면, 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션은 음원을 재생하는 어플리케이션에 해당할 수 있다. 일 실시 예에서, 상기 음원 재생 어플리케이션에 대응하는 지정된 동작은 예컨대, 지정된 범위의 음원 리스트를 반복 재생하는 동작 또는 음원의 특정 구간을 반복 재생하는 동작에 해당할 수 있다.
일 실시 예에서, 상기 지정된 동작이 지정된 범위의 음원 리스트를 반복 재생하는 동작인 경우, 상기 제1 터치의 제1 위치 데이터 및 상기 제2 터치의 제2 위치 데이터는 상기 동작의 입력으로 활용될 수 있다. 예를 들면, 프로세서(480)는 상기 제1 위치 데이터에 대응하는 객체(예: 제1 음원의 객체)를 제1 입력으로 하고, 상기 제2 위치 데이터에 대응하는 객체(예: 제2 음원의 객체)를 제2 입력으로 활용할 수 있다. 프로세서(480)는 상기 제1 객체에 대응하는 제1 음원 및 상기 제2 객체에 대응하는 제2 음원 사이의 음원 리스트를 반복 재생하는 동작을 수행할 수 있다.
또 다른 일 실시 예에서, 상기 지정된 동작이 음원의 특정 구간을 반복 재생하는 동작인 경우 상기 음원에 있어서, 제1 위치 데이터에 대응하는 제1 재생 시점 및 제2 위치 데이터에 대응하는 제2 재생 시점이 존재할 수 있다. 프로세서(480)는 상기 음원을 상기 제1 지점 및 상기 제2 지점 사이의 구간에서 반복 재생하는 동작을 수행할 수 있다.
일 실시 예에 따르면, 지정된 동작은 제1 터치가 이루어진 위치 혹은 시점에서 실행되고 있는 어플리케이션 및 제2 터치가 이루어진 위치 혹은 시점에서 실행되고 있는 어플리케이션에 기초하여 달라질 수도 있다. 일 실시 예에 따르면, 서로 상이한 어플리케이션이 실행되는 영역에서 각각 제1 터치 및 제2 터치가 이루어진 경우 프로세서(480)는 상기 어플리케이션들의 유형을 분석하고 상기 어플리케이션 사이에 상호 연계될 수 있는 지정된 동작을 결정할 수 있다. 예를 들면, 제1 터치는 지도 어플리케이션이 실행되는 영역에서 이루어지고, 제2 터치는 웹브라우저 어플리케이션의 검색 입력 창 위치에 이루어질 수 있다. 이 경우, 프로세서(480)는 상기 어플리케이션들 사이에 상호 연계될 수 있는 동작을 상기 지정된 동작으로 결정할 수 있다. 예를 들면, 프로세서(480)는 상기 제1 터치의 제1 위치 데이터에 대응하는 지리적 위치를 제2 터치가 이루어진 웹브라우저 어플리케이션에서 검색하는 동작을 상기 지정된 동작으로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(480)는 상기 어플리케이션들 간의 상호 연계될 수 있는 지정된 동작을 결정할 수 없는 경우, 상기 어플리케이션들의 실행 화면을 멀티 윈도우 기능에 의해 동시에 디스플레이 패널(410)에 출력할 수 있다. 일 실시 예에서, 상기 멀티 윈도우 기능은 프로세서(480)가 디스플레이 패널(410)의 화면 출력 영역을 분할하여 복수의 어플리케이션을 출력하는 기능에 해당할 수 있다.
일 실시 예에 따르면, 지정된 동작은 복수의 동작을 포함할 수 있다. 일 실시 예에서, 상기 제1 터치에 뒤이어, 제2 터치가 이루어지면 프로세서(480)는 상기 복수의 동작 중 하나를 선택할 수 있도록 구현된 GUI(graphic user interface)를 디스플레이 패널(410)에 출력할 수 있다. 예를 들면, 상기 제1 터치 및 상기 제2 터치가 지도 어플리케이션의 실행 화면 상에서 이루어지는 경우, 상기 지정된 동작은 최적 경로 찾기 또는 소요 시간 산출 등의 동작을 포함할 수 있다. 이 경우, 프로세서(480)는 상기 복수의 동작 중 어느 하나의 동작을 선택할 수 있도록 구현된 GUI를 디스플레이 패널(410)에 출력할 수 있다.
일 실시 예에 따르면, 제1 터치 및 제2 터치를 입력으로 활용하는 지정된 동작과 연계된 추가 동작이 존재할 수 있다. 예를 들면, 상기 지정된 동작이 제1 터치가 이루어진 위치에 대응하는 글자부터 제2 터치가 이루어진 위치에 대응하는 글자까지의 텍스트를 선택하는 동작인 경우, 상기 선택된 텍스트를 복사, 공유, 또는 웹을 통해 검색하는 동작과 같은 연계 동작이 추가로 수행될 수 있다. 일 실시 예에서, 상기 연계된 추가 동작이 복수의 동작을 포함하는 경우, 프로세서(480)는 상기 연계된 추가 동작들 중 하나를 선택할 수 있도록 구현된 GUI를 디스플레이에 출력할 수도 있다.
일 실시 예에 따르면, 프로세서(480)는 디스플레이 패널(410)의 지정된 영역내에서 이루어지는 터치만을 본 발명의 일 실시 예에 따른 제1 터치 또는 제2 터치로 인식할 수 있다. 디스플레이 패널(410)의 영역에는 시스템 키(예: 홈 키, 메뉴 키, 이전 키 등)에 해당하는 영역이 존재할 수 있고, 상기 디스플레이 패널(410)의 영역 중 상기 시스템 키에 해당하는 영역을 제외한 나머지 영역은 어플리케이션 실행 영역에 해당할 수 있다. 일 실시 예에서, 상기 지정된 영역은 상기 어플리케이션 실행 영역에 해당할 수 있다. 상기 지정된 영역 외부(예: 시스템 키 영역)에서 압력 터치가 발생한 경우, 프로세서(480)는 상기 압력 터치에 대응하는 동작(예: 홈 화면 이동)을 수행할 수 있다.
도 5는 일 실시 예에 따른, 전자 장치의 소프트웨어(software) 블록도를 나타낸다.
도 5를 참조하면, 전자 장치(500)는 프로세서(501), 터치 센서 IC(502), 및 압력 센서 IC(503)를 포함할 수 있다. 프로세서(501), 터치 센서 IC(502), 및 압력 센서 IC(503)는 도 4에 도시된 프로세서(480), 터치 센서 IC(440), 및 압력 센서 IC(460)에 각각 해당할 수 있다.
터치 센서 드라이버(510), 압력 센서 드라이버(520), 시스템 영역 입력 프레임워크(530), 시스템 어플리케이션(540), 어플리케이션 영역 입력 프레임워크(550), 및 어플리케이션(560)은 메모리(예:메모리(470))에 저장된 명령어 집합 또는 코드로서, 프로세서(501)의 동작에 의해 실행될 수 있는 소프트웨어 모듈에 해당한다. 따라서, 이하 설명되는 상기 소프트웨어 모듈들(510, 520, 530, 540, 550, 560)의 동작은 프로세서(501)의 동작으로 이해될 수 있다.
일 실시 예에 따르면, 터치 센서 IC(502)는 사용자의 터치가 감지되면, 터치 센서 드라이버(510)에 상기 터치가 감지되었음을 알리는 인터럽트를 발생시킬 수 있다. 터치 센서 드라이버(510)는 상기 인터럽트에 응답하여 상기 터치의 위치 데이터를 터치 센서 IC(502)로부터 읽을 수 있다. 일 실시 예에 따르면, 상기 위치 데이터는 터치 센서 드라이버(510)로부터 시스템 영역 입력 프레임워크(530)로 전송될 수 있다.
일 실시 예에 따르면, 압력 센서 IC(503)는 사용자의 터치가 감지되면, 압력 센서 드라이버(520)에 상기 터치의 압력값이 검출되었음을 알리는 인터럽트를 발생시킬 수 있다. 압력 센서 드라이버(520)는 상기 인터럽트에 응답하여 상기 터치의 압력값을 압력 센서 IC(503)로부터 읽을 수 있다. 일 실시 예에 따르면, 상기 압력값은 압력 센서 드라이버(520)로부터 시스템 영역 입력 프레임워크(530)로 전송될 수 있다.
일 실시 예에 따르면, 위치 데이터 및 압력값은 동일한 터치에 의해 발생한 값으로 동기화될 수 있다. 일 실시 예에 따르면, 프로세서(501)는 터치 센서 IC(502) 또는 압력 센서 IC(503)로부터 발생하는 인터럽트 중 어느 하나의 인터럽트에 응답하여 상기 위치 데이터 및 상기 압력값을 읽을 수 있다. 예를 들면, 프로세서(501)는 압력 센서 IC(503)로부터 발생하는 인터럽트 신호를 무시하고, 터치 센서 IC(502)로부터 발생하는 인터럽트 신호에 응답하여 상기 위치 데이터와 압력값을 읽을 수 있다.
일 실시 예에 따르면, 터치 센서 드라이버(510)는 인터럽트 수신에 응답하여 터치 센서 IC(502)로부터 위치 데이터를 읽는 동시에, 압력 센서 드라이버(520)가 압력 센서 IC(503)로부터 압력값을 읽도록 야기할 수 있다. 상기 과정을 통해 프로세서(501)는 상기 위치 데이터 및 상기 압력값을 동일한 시점에 획득할 수 있고, 상기 위치 데이터 및 상기 압력값을 동일한 터치에 대한 값으로 동기화할 수 있다.
일 실시 예에 따르면, 프로세서(501)는 상기 동기화된 위치 데이터 및 상기 압력값을 하나의 결합된 데이터로 구성할 수 있다. 예를 들면, 압력 센서 드라이버(520)가 터치 센서 드라이버(510)로 상기 압력값을 전송할 수 있고, 터치 센서 드라이버(510)는 상기 위치데이터 및 상기 압력값을 하나의 데이터로 결합할 수 있다. 일 실시 예에서, 상기 결합된 데이터는 시스템 영역 입력 프레임워크(530)로 전송될 수 있다.
시스템 영역 입력 프레임워크(530)는 디스플레이 영역 중 시스템 키(예: 홈 키, 메뉴 키, 이전 키 등)에 해당하는 영역에서 감지된 터치를 처리할 수 있다. 일 실시 예에 따르면, 상기 시스템 키의 화면 레이아웃(layout)에 대한 데이터는 시스템 영역 입력 프레임워크(530)에 제공될 수 있다. 일 실시 예에 따르면, 상기 시스템 키의 화면 레이아웃은 실행되는 어플리케이션에 따라 축소 또는 확장될 수 있다. 일 실시 예에서, 상기 시스템 키의 일부 기능은 활성 또는 비활성화될 수 있으며, 일부 시스템 키가 추가 또는 삭제될 수도 있다.
일 실시 예에 따르면, 시스템 영역 입력 프레임워크(530)는 터치 센서 드라이버(510) 및/또는 압력 센서 드라이버(520)로부터 전송된 위치 데이터 및 압력값을 상기 시스템 키의 화면 레이아웃에 대한 데이터와 비교할 수 있다.
일 실시 예에 따르면, 상기 위치 데이터 및 상기 압력값이 상기 시스템 키의 화면 레이아웃에 대응하는 경우, 시스템 영역 입력 프레임워크(530)는 상기 터치가 시스템 키에 해당하는 영역에서 감지된 것으로 인식할 수 있다.
일 실시 예에서, 시스템 영역 입력 프레임워크(530)는 상기 위치 데이터 및/또는 상기 압력값을 기반으로 상기 터치가 시스템 키의 동작을 위한 조건에 부합하는지 판단할 수 있다. 상기 터치가 상기 조건에 부합하는 경우, 시스템 영역 입력 프레임워크(530)는 상기 터치에 대응하는 동작을 결정하고 상기 결정된 동작에 대한 데이터를 시스템 어플리케이션(540)에 전송할 수 있다. 일 실시 예에서, 시스템 어플리케이션(540)은 상기 데이터를 수신함에 응답하여 상기 결정된 동작을 수행할 수 있고, 프로세서(501)는 상기 위치 데이터 및 상기 압력값에 대한 처리를 종료할 수 있다.
일 실시 예에 따르면, 상기 위치 데이터 및 상기 압력값이 상기 시스템 키의 화면 레이아웃에 대응하지 않는 경우, 프로세서(501)는 상기 터치가 시스템 키에 해당하는 영역이 아닌, 어플리케이션 실행 영역에서 감지된 것으로 판단할 수 있다. 시스템 영역 입력 프레임워크(530)는 상기 위치 데이터 및 상기 압력값을 어플리케이션 영역 입력 프레임워크(550)로 전송할 수 있다.
어플리케이션 영역 입력 프레임워크(550)는 디스플레이 영역 중 시스템 키에 해당하는 영역이 아닌 어플리케이션 실행 영역에서 감지된 터치를 처리할 수 있다.
일 실시 예에서, 어플리케이션 영역 입력 프레임워크(550)는 상기 위치 데이터 및/또는 상기 압력값을 기반으로 상기 터치가 지정된 동작을 위한 조건에 부합하는지 판단할 수 있다. 예를 들면, 어플리케이션 영역 입력 프레임워크(550)는 상기 터치의 압력값이 지정된 임계값 이상인지 여부를 판단할 수 있다. 상기 터치가 상기 조건에 부합하는 경우, 어플리케이션 영역 입력 프레임워크(550)는 상기 터치에 대응하는 동작을 결정하고 상기 결정된 동작에 대한 데이터를 어플리케이션(560)에 전송할 수 있다.
일 실시 예에서, 어플리케이션(560)은 상기 결정된 동작에 대한 데이터를 수신함에 응답하여 상기 결정된 동작을 수행할 수 있고, 프로세서(501)는 상기 위치 데이터 및 상기 압력값에 대한 처리를 종료할 수 있다. 예를 들면, 상기 터치가 제1 터치에 해당하는 경우, 상기 제1 터치의 제1 위치 데이터를 메모리에 저장하고, 상기 제1 위치 데이터를 제1 입력으로 활용하는 지정된 동작을 백그라운드로 수행할 수 있다.
도 6은 일 실시 예에 따른, 전자 장치가 복수의 터치를 활용하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 6을 참조하면, 일 실시 예에 따른 복수의 터치를 활용하여 지정된 동작을 수행하는 방법은 동작 601 내지 동작 623을 포함할 수 있다. 상기 동작 601 내지 동작 623은, 예를 들어, 도 4에 도시된 프로세서(480)에 의해 수행될 수 있다.
동작 601에서, 일 실시 예에 따른 전자 장치는 터치를 감지할 수 있다. 상기 터치는 사용자에 의한 직접적인 터치 또는 다양한 도구(예: 전자펜)에 의한 간접적인 터치를 포함할 수 있다.
동작 603에서, 일 실시 예에 따른 전자 장치는 상기 터치의 압력값이 지정된 임계값 이상인지 여부를 판단할 수 있다. 상기 판단 결과에 따라, 전자 장치는 상기 터치가 압력 터치에 해당하는지 여부를 판단할 수 있다. 상기 압력값이 지정된 임계값보다 작으면 상기 터치는 압력 터치에 해당하지 않고, 전자 장치는 동작 605를 수행할 수 있다. 상기 압력값이 지정된 임계값 이상이면 상기 터치는 압력 터치에 해당하고, 전자 장치는 동작 606을 수행할 수 있다.
동작 605에서, 상기 터치는 압력 터치로 인식되지 않으므로, 일 실시 예에 따른 전자 장치는 상기 터치를 독립적인 단일의 터치로 인식하고 대응하는 동작을 수행할 수 있다. 전자 장치는 상기 동작을 수행하면 상기 터치에 대한 처리를 종료할 수 있다.
동작 606에서, 상기 터치는 압력 터치로 인식될 수 있다. 일 실시 예에 따른 전자 장치는 상기 압력 터치를 단일의 압력 터치 또는 본 발명의 일 실시 예에 따른 제1 압력 터치로 인식할 수 있다. 전자 장치는 단일의 압력 터치에 대응하는 동작이 설정되어 있는지 여부를 판단하여 동작 607 또는 동작 613을 수행할 수 있다.
동작 607에서 일 실시 예에 따른 전자 장치는 단일의 압력 터치에 대응하는 동작이 설정되어 있으므로, 상기 단일의 압력 터치에 대응하는 동작이 선택될 수 있도록 구현된 GUI를 제공할 수 있다.
동작 609에서, 일 실시 예에 따른 전자 장치는 상기 단일의 압력 터치에 대응하는 동작이 상기 GUI에서 선택되었는지 여부를 판단할 수 있다. 상기 동작이 선택되었다면 전자 장치는 동작 611을 수행할 수 있고, 선택되지 않았다면 전자 장치는 동작 613을 수행할 수 있다.
동작 611에서, 일 실시 예에 따른 전자 장치는 상기 선택된 동작을 수행하고 상기 압력 터치에 대한 처리를 종료할 수 있다.
동작 613에서, 일 실시 예에 따른 전자 장치는 상기 압력 터치를 본 발명의 일 실시 예에 따른 제1 터치로 인식할 수 있다. 전자 장치는 상기 제1 터치의 위치 데이터를 메모리에 저장할 수 있다. 일 실시 예에서, 전자 장치는 상기 제1 터치에 대한 지정된 동작을 백그라운드로 수행할 수도 있다.
동작 615에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치와 상이한 터치를 감지할 수 있다. 상기 터치는 상기 제1 터치와 마찬가지로 사용자에 의한 직접적인 터치 또는 다양한 도구에 의한 간접적인 터치로써 이루어질 수 있다.
동작 617에서, 일 실시 예에 따른 전자 장치는 상기 터치의 압력값이 지정된 임계값 이상인지 여부를 판단할 수 있다. 상기 판단 결과에 따라, 전자 장치는 상기 터치가 압력 터치에 해당하는지 여부를 판단할 수 있다. 상기 압력값이 지정된 임계값보다 작으면 상기 터치는 압력 터치에 해당하지 않고, 전자 장치는 동작 619를 수행할 수 있다. 상기 압력값이 지정된 임계값 이상이면 상기 터치는 압력 터치에 해당하고, 전자 장치는 동작 621을 수행할 수 있다.
동작 619에서, 상기 터치는 압력 터치로 인식되지 않으므로, 일 실시 예에 따른 전자 장치는 상기 터치를 독립적인 단일의 터치로 인식하고 대응하는 동작을 수행할 수 있다. 전자 장치는 상기 동작을 수행하면 상기 터치에 대한 처리를 종료할 수 있고, 본 발명의 일 실시 예에 따른 제2 터치를 위한 대기 상태를 유지할 수 있고, 동작 615을 수행할 수 있다.
동작 621에서, 상기 터치는 압력 터치로 인식되므로, 일 실시 예에 따른 전자 장치는 상기 터치를 본 발명의 일 실시 예에 따른 제2 터치로 인식할 수 있다.
동작 623에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치 및 상기 제2 터치의 위치 데이터를 입력으로 활용하는 지정된 동작을 수행할 수 있다.
상기 동작들을 통해, 전자 장치는 복수의 압력 터치에 대응하는 지정된 동작을 수행할 수 있다.
도 7은 일 실시 예에 따른, 전자 장치가 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 7을 참조하면, 일 실시 예에 따른 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 지정된 동작을 수행하는 방법은 동작 701 내지 동작 709를 포함할 수 있다. 상기 동작 701 내지 동작 709는, 예를 들어, 도 4에 도시된 프로세서(480)에 의해 수행될 수 있다.
동작 701에서, 일 실시 예에 따른 전자 장치는 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지할 수 있다. 상기 제1 터치는 단일의 압력 터치로 인식되지 않는 압력 터치에 해당할 수 있다.
동작 703에서, 일 실시 예에 따른 전자 장치는 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형을 분석할 수 있다. 상기 콘텐트의 유형은 예컨대, 이미지, 텍스트, 비디오 등을 포함할 수 있다.
동작 705에서, 일 실시 예에 따른 전자 장치는 상기 콘텐트의 유형에 대응하는 지정된 동작을 결정할 수 있다. 예를 들면, 상기 콘텐트의 유형이 이미지에 해당하는 경우, 상기 지정된 동작은 화면을 캡쳐하는 동작에 해당할 수 있다. 또 다른 예를 들면, 상기 콘텐트의 유형이 텍스트에 해당하는 경우, 상기 지정된 동작은 사용자에 의해 특정된 범위의 텍스트를 선택하는 동작에 해당할 수 있다.
동작 707에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치와 상이하고, 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지할 수 있다. 다양한 실시 예에서, 상기 제1 터치의 감지 이후 및 상기 제2 터치의 감지 이전에, 전자 장치는 상기 지정된 임계값보다 작은 압력값을 가지는 제3 터치를 감지할 수 있다. 전자 장치는 상기 제3 터치에 대응하는 동작을 수행할 수 있고, 상기 동작은 상기 제1 터치 및 상기 제2 터치에 대응하는 지정된 동작과 독립적일 수 있다. 상기 제3 터치에 대응하는 동작은, 예를 들면, 텍스트가 출력되는 화면을 스크롤하는 동작, 이미지를 확대 또는 축소하는 동작 등에 해당할 수 있다.
동작 709에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치 및 상기 제2 터치를 입력으로 활용하여 상기 동작 705에서 결정된 동작을 수행할 수 있다. 일 실시 예에서, 상기 동작 705에서 결정된 동작은 상기 제2 터치가 감지되기 전에 백그라운드로 수행될 수 있고, 상기 제2 터치의 감지에 응답하여 포그라운드로 수행될 수 있다.
상기 동작들을 통해, 전자 장치는 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 복수의 압력 터치에 대응하는 지정된 동작을 수행할 수 있다.
도 8은 일 실시 예에 따른, 제1 터치가 이루어진 위치에 출력된 콘텐트가 이미지 파일인 경우에 대한 실시 예를 나타낸다.
도 8을 참조하면, 전자 장치(801)의 디스플레이(802)에는 이미지(811, 821, 831, 841)를 포함하는 화면(screen)(810, 820, 830, 840)이 출력되고 있다.
일 실시 예에 따르면, 화면(810, 820, 830, 840)의 전부 또는 일부에는 임의의 이미지(811, 821, 831, 841)가 포함될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(801)의 화면(810)에는 제1 터치(8a)가 이루어질 수 있다. 일 실시 예에서, 상기 제1 터치(8a)가 이루어지면, 전자 장치(801)는 상기 제1 터치(8a)가 이루어진 위치(812)에서 출력된 콘텐트의 유형을 분석할 수 있다. 상기 전자 장치(801)의 화면(810)에서, 상기 제1 터치(8a)가 이루어진 위치(812)에는 이미지(811)가 출력되고 있으므로, 상기 전자 장치(801)는 상기 콘텐트의 유형을 이미지로 판단할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(801)는 상기 콘텐트의 유형이 이미지에 해당하므로 지정된 동작으로 상기 이미지의 특정 영역을 캡쳐하는 동작(지정된 동작의 일 실시 예)을 수행할 수 있다.
일 실시 예에서, 상기 제1 터치(8a)가 전자 장치(801)의 화면(810)에 이루어지는 경우, 전자 장치는 상기 이미지(811)의 특정 영역을 캡쳐하는 동작을 위한 캡쳐 어플리케이션을 백그라운드로 실행할 수 있다. 상기 전자 장치(801)는 상기 제1 터치(8a)의 제1 위치 데이터를 제1 입력으로 활용할 수 있다. 상기 전자 장치(801)는 상기 제1 터치(8a)가 이루어진 위치(812)에 대응하는 이미지(811) 상의 좌표를 상기 캡쳐 어플리케이션의 제1 입력으로 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(801)는 상기 제1 터치(8a)가 이루어진 이후 지정된 임계값보다 작은 압력값을 가지는 적어도 하나 이상의 터치를 감지할 수 있다.
예를 들면, 상기 전자 장치(801)의 화면(820)에 지정된 임계값보다 작은 압력값을 가지고 하나의 위치(822)에서 접촉되어 서로 반대 방향으로 이동하는 터치(8b)(예: 핀치 인(pinch in))가 감지될 수 있다. 일 실시 예에서 상기 터치(8b)가 이루어지는 경우, 상기 터치(8b)에 대응하는 동작은 상기 이미지(821)를 확대하는 동작에 해당할 수 있다. 상기 이미지(821)를 확대하는 동작은 상기 이미지의 특정 영역을 캡쳐하는 동작과 독립적일 수 있다. 다양한 실시 예에서 상기 터치(8b)는 생략될 수 있다.
일 실시 예에 따르면, 상기 지정된 임계값보다 작은 압력값을 가지는 터치(8b)에 의해 확대된 이미지(831)가 디스플레이(802)에 출력될 수 있고, 상기 확대된 이미지(831)가 출력된 화면(830)에 제2 터치(8c)가 이루어질 수 있다.
일 실시 예에 따르면, 상기 제2 터치(8c)가 이루어지면, 상기 전자 장치(801)는 상기 제1 위치 데이터 및 상기 제2 터치(8c)의 상기 제2 위치 데이터에 의해 특정되는 영역을 캡쳐하는 동작을 수행할 수 있다. 예를 들면, 상기 제1 터치(8a)가 이루어진 위치(812)에 대응하는 상기 이미지의 좌표와 상기 제2 터치(8c)가 이루어진 위치(832)에 대응하는 상기 이미지의 좌표로 특정되는 이미지(841)가 캡쳐될 수 있다. 상기 제2 터치(8c)가 감지된 이후에, 상기 이미지(841) 캡쳐하는 동작을 위한 캡쳐 어플리케이션은 백그라운드가 아닌 포그라운드로 실행될 수 있고, 상기 전자 장치(801)의 화면(840)에 상기 캡쳐된 이미지(841)가 출력될 수 있다.
도 9는 일 실시 예에 따른, 제1 터치가 이루어진 위치에 출력된 콘텐트가 텍스트 파일인 경우에 대한 실시 예를 나타낸다.
도 9를 참조하면, 텍스트가 표시되는 화면(910, 920, 930, 940)이 디스플레이(902)에 출력되고 있는 전자 장치(901)가 도시되어 있다.
일 실시 예에 따르면, 상기 전자 장치(901)의 화면(910, 920, 930, 940)의 전부 또는 일부에는 임의의 텍스트 파일이 출력될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(901)의 화면(910)에 제1 터치(9a)가 이루어질 수 있다. 일 실시 예에서, 상기 제1 터치(9a)가 이루어지면, 전자 장치(901)는 상기 제1 터치(9a)가 이루어진 위치(911)에 출력된 콘텐트의 유형을 분석할 수 있다. 상기 전자 장치(901)의 화면(910)에서 상기 제1 터치(9a)가 이루어진 위치(911)에는 텍스트 파일이 출력되고 있으므로, 상기 전자 장치(901)는 상기 콘텐트의 유형을 텍스트로 판단할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(901)는 상기 콘텐트의 유형이 텍스트에 해당하므로 지정된 동작으로 상기 텍스트의 특정 범위를 선택하는 동작(지정된 동작의 일 실시 예)을 수행할 수 있다.
일 실시 예에서, 상기 제1 터치(9a)가 전자 장치(901)의 화면(910)에 이루어지는 경우, 상기 전자 장치(901)는 상기 제1 터치(9a)의 제1 위치 데이터를 상기 텍스트의 특정 범위를 선택하는 동작의 제1 입력으로 활용할 수 있다. 예를 들면, 상기 전자 장치(901)는 상기 제1 터치(9a)가 이루어진 위치(911)에 대응하는 글자(character)를 상기 지정된 동작의 제1 입력으로 할 수 있다. 일 실시 예에 따르면, 상기 전자 장치는 상기 텍스트의 특정 범위를 선택하는 동작을 백그라운드로 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(901)는 상기 제1 터치(9a)가 이루어진 이후 지정된 임계값보다 작은 압력값을 가지는 적어도 하나 이상의 터치(9b)를 감지할 수 있다.
예를 들면, 상기 전자 장치(901)의 화면(920)에 지정된 임계값보다 작은 압력값을 가지고, 하나의 위치(921)에서 접촉되어 아래에서 위로 이동하는 터치(9b)가 감지될 수 있다. 일 실시 예에서 상기 터치(9b)가 이루어지는 경우, 상기 터치(9b)에 대응하는 동작은 상기 텍스트가 출력되고 있는 화면(920)을 스크롤하는 동작에 해당할 수 있다. 상기 스크롤하는 동작은 상기 텍스트의 특정 범위를 선택하는 동작과 독립적일 수 있다. 다양한 실시 예에서 상기 터치(9b)는 생략될 수 있다.
일 실시 예에 따르면, 상기 지정된 임계값보다 작은 압력값을 가지는 터치(9b)에 의해 새로운 텍스트 부분이 디스플레이(902)에 출력될 수 있고, 상기 텍스트가 출력된 화면(930)의 특정 위치(931)에 제2 터치(9c)가 이루어질 수 있다.
일 실시 예에 따르면, 상기 제2 터치(9c)가 이루어지면, 전자 장치는 상기 제2 터치(9c)의 제2 위치 데이터를 상기 지정된 동작의 제2 입력으로 활용할 수 있다. 예를 들면, 상기 제1 위치 데이터에 대응하는 글자(941)부터 상기 제2 위치 데이터 대응하는 글자(942)까지의 텍스트(943)가 선택될 수 있다. 상기 제2 터치(9c)가 감지된 이후에, 상기 텍스트를 선택하는 동작은 백그라운드가 아닌 포그라운드로 수행될 수 있다.
도 10은 일 실시 예에 따른, 터치가 제스처를 수반하고, 제1 터치가 이루어진 위치에 출력된 콘텐트가 텍스트 파일인 경우에 대한 실시 예를 나타낸다.
도 10을 참조하면, 텍스트가 표시되는 화면(1010, 1020, 1030)이 디스플레이(1002)에 출력되고 있는 전자 장치(1001)가 도시되어 있다.
일 실시 예에 따르면, 상기 전자 장치(1001)의 화면(1010)의 전부 또는 일부에는 임의의 텍스트 파일이 출력될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(1001)의 화면(1010)에 지정된 임계값 이상의 압력값을 가지는 본 발명의 일 실시 예에 따른 제1 터치(10a)가 이루어질 수 있다.
일 실시 예에서, 상기 제1 터치(10a)는 상기 지정된 임계값 이상의 압력값을 유지한 채로 이동하는 제스처를 수반할 수 있다. 이 경우, 상기 제1 터치(10a)의 제1 위치 데이터는 상기 제1 터치(10a)가 시작된 위치(1011)와 종료된 위치(1012)의 데이터를 포함할 수 있다. 일 실시 예에 따르면, 상기 제1 터치(10a)가 감지되는 경우, 상기 제1 터치(10a)가 시작된 위치(1011)부터 상기 터치가 종료된 위치(1012)까지의 텍스트(1013)가 선택될 수 있다.
일 실시 예에서, 상기 제1 터치(10a)가 이루어지면, 전자 장치(1001)는 상기 제1 터치(10a)가 이루어진 위치(1011, 1012)에서 출력된 콘텐트의 유형을 분석할 수 있다. 상기 전자 장치(1001)의 화면(1010)에서 상기 제1 터치(10a)가 이루어진 위치(1011, 1012)에는 텍스트 파일이 출력되고 있으므로, 상기 전자 장치(1001)는 상기 콘텐트의 유형을 텍스트로 판단할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(1001)는 상기 콘텐트의 유형이 텍스트에 해당하므로 지정된 동작으로 상기 텍스트의 특정 범위를 선택하는 동작(지정된 동작의 일 실시 예)을 수행할 수 있다. 상기 텍스트의 특정 범위는 연속된 텍스트 범위 또는 연속되지 않은 텍스트 범위를 포함할 수 있다.
일 실시 예에서, 상기 제1 터치(10a)가 전자 장치(1001)의 화면(1010)에 이루어지는 경우, 상기 전자 장치(1001)는 상기 제1 터치(10a)의 제1 위치 데이터를 제1 입력으로 활용할 수 있다. 일 실시 예에 따르면, 상기 전자 장치(1001)는 상기 텍스트의 특정 범위를 선택하는 동작을 백그라운드로 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(1001)는 상기 제1 터치(10a)가 이루어진 이후 지정된 임계값보다 작은 압력값을 가지는 적어도 하나 이상의 터치를 감지할 수 있다.
예를 들면, 상기 전자 장치(1001)의 화면(1020)에 지정된 임계값보다 작은 압력값을 가지고, 하나의 위치(1021)에서 접촉되어 아래에서 위로 이동하는 터치(10b)가 감지될 수 있다. 일 실시 예에서 상기 터치(10b)가 이루어지는 경우, 상기 터치(10b)에 대응하는 동작은 상기 텍스트가 출력되고 있는 화면(1020)을 스크롤하는 동작에 해당할 수 있다. 상기 스크롤하는 동작은 상기 텍스트의 특정 범위를 선택하는 동작과 독립적일 수 있다. 다양한 실시 예에서 상기 터치(10b)는 생략될 수 있다.
일 실시 예에 따르면, 상기 지정된 임계값보다 작은 압력값을 가지는 터치(10b)에 의해 새로운 텍스트 부분이 출력될 수 있고, 상기 텍스트가 출력된 화면(1030)에 제2 터치(10c)가 이루어질 수 있다.
일 실시 예에서, 상기 제2 터치(10c)는 상기 지정된 임계값 이상의 압력값을 유지한 채로 이동하는 제스처를 수반할 수 있다. 이 경우, 상기 제2 터치(10c)의 제2 위치 데이터는 상기 제2 터치(10c)가 시작된 위치(1034)와 종료된 위치(1035)의 데이터를 포함할 수 있다. 일 실시 예에 따르면, 상기 제2 터치(10c)가 감지된 경우, 상기 제2 터치(10c)가 시작된 위치(1034)부터 상기 터치가 종료된 위치(1035)까지의 텍스트(1036)가 선택될 수 있다.
일 실시 예에 따르면, 상기 제2 터치(10c)가 이루어지면, 상기 제1 위치 데이터에 의해 특정되는 텍스트(1033)와 상기 제2 위치 데이터에 의해 특정되는 텍스트(1036)를 선택하는 동작이 수행될 수 있다. 상기 제2 터치(10c)가 감지된 이후에, 상기 텍스트를 선택하는 동작은 백그라운드가 아닌 포그라운드로 수행될 수 있다.
도 11은 일 실시 예에 따른, 전자 장치가 제1 터치가 이루어진 위치 혹은 시점에서 실행되고 있는 어플리케이션에 기초하여 지정된 동작을 수행하는 흐름도를 나타낸다.
도 11을 참조하면, 일 실시 예에 따른 제1 터치가 이루어진 위치 혹은 시점에서 실행되고 있는 어플리케이션에 기초하여 지정된 동작을 수행하는 방법은 동작 1101 내지 동작 1109를 포함할 수 있다. 상기 동작 1101 내지 동작 1109는, 예를 들어, 도 4에 도시된 프로세서(480)에 의해 수행될 수 있다.
동작 1101에서, 일 실시 예에 따른 전자 장치는 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지할 수 있다. 상기 제1 터치는 단일의 압력 터치로 인식되지 않는 압력 터치에 해당할 수 있다.
동작 1103에서, 일 실시 예에 따른 전자 장치는 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션을 분석할 수 있다. 상기 어플리케이션은 예컨대, 지도 어플리케이션, 네비게이션 어플리케이션, 메시지 어플리케이션, 음원 재생 어플리케이션 등을 포함할 수 있다.
동작 1105에서, 일 실시 예에 따른 전자 장치는 상기 어플리케이션에 대응하는 지정된 동작을 결정할 수 있다. 예를 들면, 상기 어플리케이션이 지도 어플리케이션에 해당하는 경우, 상기 지정된 동작은 최적 경로를 찾는 동작에 해당할 수 있다. 또 다른 예를 들면, 상기 어플리케이션이 음원 재생 어플리케이션에 해당하는 경우, 상기 지정된 동작은 사용자에 의해 특정된 범위의 음원 리스트를 반복 재생하는 동작에 해당할 수 있다.
동작 1107에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치와 상이하고, 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지할 수 있다. 다양한 실시 예에서, 상기 제1 터치의 감지 이후 및 상기 제2 터치의 감지 이전에, 전자 장치는 상기 지정된 임계값보다 작은 압력값을 가지는 제3 터치를 감지할 수 있다. 전자 장치는 상기 제3 터치에 대응하는 동작을 수행할 수 있고, 상기 동작은 상기 제1 터치 및 상기 제2 터치에 대응하는 지정된 동작과 독립적일 수 있다. 상기 제3 터치에 대응하는 동작은, 예를 들면, 디스플레이 화면에 출력되는 지도를 이동, 확대, 또는 축소하는 동작 등에 해당할 수 있다.
동작 1109에서, 일 실시 예에 따른 전자 장치는 상기 제1 터치 및 상기 제2 터치를 입력으로 활용하여 상기 동작 1105에서 결정된 동작을 수행할 수 있다. 일 실시 예에서, 상기 동작 1105에서 결정된 동작은 상기 제2 터치가 감지되기 전에 백그라운드로 수행될 수 있고, 상기 제2 터치의 감지에 응답하여 포그라운드로 수행될 수 있다.
상기 동작들을 통해, 전자 장치는 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션에 기초하여 복수의 압력 터치에 대응하는 지정된 동작을 수행할 수 있다.
도 12는 일 실시 예에 따른, 제1 터치가 이루어진 위치에서 실행되는 어플리케이션이 지도 어플리케이션인 경우에 대한 실시 예를 나타낸다.
도 12를 참조하면 지도 어플리케이션이 실행되고 있는 전자 장치(1201)가 도시되어 있다.
일 실시 예에 따르면, 상기 전자 장치(1201)의 디스플레이의 전부 또는 일부에는 지도 어플리케이션의 실행 화면(1210, 1220, 1230, 1240)이 출력될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(1201)의 화면(1210)에 제1 터치(12a)가 이루어질 수 있다. 일 실시 예에서, 상기 제1 터치(12a)가 이루어지면, 전자 장치(1201)는 상기 제1 터치(12a)가 이루어진 위치(1211)에서 실행되고 있는 어플리케이션을 확인할 수 있다. 상기 전자 장치(1201)의 화면(1210)에서 상기 제1 터치(12a)가 이루어진 위치(1211)에는 지도 어플리케이션이 실행되고 있으므로, 상기 전자 장치(1201)는 상기 어플리케이션을 지도 어플리케이션으로 인식할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(1201)는 상기 어플리케이션이 지도 어플리케이션에 해당하므로 지정된 동작으로 최적 경로를 찾는 동작 또는 소요 시간을 산출하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 제1 터치(12a)가 전자 장치(1201)의 화면(1210)에 이루어지는 경우, 전자 장치(1201)는 상기 제1 터치(12a)의 제1 위치 데이터를 제1 입력으로 활용할 수 있다. 일 실시 예에서, 상기 전자 장치(1201)는 상기 제1 터치(12a)가 이루어진 위치(1211)에 대응하는 지리적 위치(예: times square)를 제1 입력으로 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(1201)는 상기 제1 터치(12a)가 이루어진 이후 지정된 임계값보다 작은 압력값을 가지는 적어도 하나 이상의 터치를 감지할 수 있다.
예를 들면, 상기 전자 장치(1201)의 화면(1220)에, 지정된 임계값보다 작은 압력값을 가지고 하나의 위치(1221)에서 접촉되어 임의의 다른 위치로 이동하는 터치(12b)가 감지될 수 있다. 일 실시 예에서 상기 터치(12b)가 이루어지는 경우, 상기 터치(12b)에 대응하는 동작은 상기 터치의 이동 방향에 기초하여 디스플레이(1202)에 출력되는 지도 상의 지리적 영역이 변경되는 동작에 해당할 수 있다.
일 실시 예에서 상기 터치가 이루어지는 경우, 상기 터치에 대응하는 동작은 상기 최적 경로를 찾는 동작 또는 상기 소요 시간을 산출하는 동작과 독립적일 수 있다. 다양한 실시 예에서 상기 터치(12b)는 생략될 수 있다.
일 실시 예에 따르면, 상기 지정된 임계값보다 작은 압력값을 가지는 터치(12b)에 의해 새로운 지리적 영역이 디스플레이(1202)에 출력될 수 있고, 상기 새로운 지리적 영역이 출력된 화면(1230)의 특정 위치(1231)에 제2 터치(12c)가 이루어질 수 있다.
일 실시 예에 따르면, 상기 제2 터치(12c)가 이루어지면, 상기 전자 장치(1201)는 상기 제1 위치 데이터 및 상기 제2 터치(12c)의 상기 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행할 수 있다.
일 실시 예에서, 상기 제1 위치 데이터가 나타내는 위치(1211)에는 제1 객체(예: times square)가 출력되고, 상기 제2 위치 데이터가 나타내는 위치(1231)에는 제2 객체(예: rockefeller center)가 출력될 수 있다. 이 경우, 상기 지정된 동작은 상기 제1 객체에 링크된 데이터(예: times square의 지리적 위치)를 제1 입력으로 활용하고, 상기 제2 객체에 링크된 데이터(예: rockefeller center의 지리적 위치)를 제2 입력으로 활용할 수 있다.
일 실시 예에 따르면, 상기 지정된 동작은 복수의 동작들을 포함할 수 있다. 예를 들면, 전자 장치(1201)는 디스플레이(1202)의 화면(1240)에 출력된 상기 제1 객체(예: times square)(1241) 및 상기 제2 객체(예: rockefeller center)(1242)에 대하여 제1 동작(예: 최적 경로를 찾는 동작) 또는 제2 동작(예: 소요시간을 산출하는 동작)을 포함할 수 있다. 이 경우 전자 장치(1201)는 상기 복수의 동작들 중 어느 하나의 동작을 선택할 수 있도록 구현된 GUI(1243)를 상기 화면(1240)에 출력할 수 있다.
일 실시 예에 따르면, 상기 출력된 GUI(1243)에 사용자의 추가적인 터치가 이루어지면 상기 제1 동작 또는 상기 제2 동작 중 어느 하나가 선택될 수 있다. 전자 장치(1201)는 상기 추가적인 터치가 이루어지면, 상기 제1 객체(예: times square)(1251) 및 상기 제2 객체(예: rockefeller center)(1252)에 대한 지정된 동작(예: 최적 경로 찾기)을 수행할 수 있고 상기 동작의 결과(1253)를 디스플레이 화면(1250)에 출력할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 다수의 일반적인 터치로서 구현할 수 있었던 기능들을 둘 이상의 압력 터치를 이용함으로써, 보다 적은 횟수의 조작을 통해 구현할 수 있다. 그 결과, 사용자는 해당 기능들을 활용함에 있어 더 편리함을 느낄 수 있고, 더 적극적으로 해당 기능들을 활용할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 복잡한 조작으로 구현되었던 기능들을 보다 직관적이고 단순한 조작으로 구현할 수 있다. 그 결과, 보다 다양한 형태의 기능들이 구현될 수 있고, 사용자는 상기 전자 장치를 더욱 폭넓게 활용할 수 있다.
일 실시 예에 따른 전자 장치는, 메모리, 디스플레이 상기 디스플레이에 포함되거나 상기 디스플레이에 결합되어, 터치를 감지하는 터치 센서, 상기 터치의 압력값을 검출하는 압력 센서, 및 상기 메모리, 상기 디스플레이, 상기 터치 센서, 및 상기 압력 센서와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는 상기 터치 센서 및 상기 압력 센서를 이용하여, 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하고, 상기 제1 터치의 제1 위치 데이터를 상기 메모리에 저장하고, 상기 터치 센서 및 상기 압력 센서를 이용하여, 상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하고, 상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하도록 설정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 제1 터치의 감지 이후 및 상기 제2 터치의 감지 이전에, 상기 지정된 임계값보다 작은 압력값을 가지는 제3 터치가 감지되면 상기 프로세서는 상기 제3 터치에 대응되는 동작을 수행할 수 있고, 상기 제3 터치에 대응되는 동작은 상기 지정된 동작과 독립적인 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 디스플레이 중 상기 제1 위치 데이터가 나타내는 위치에는 제1 객체가 출력되고, 상기 제2 위치 데이터가 나타내는 위치에는 제2 객체가 출력되며, 상기 지정된 동작은 상기 제1 객체에 링크된 데이터를 제1 입력으로 활용하고, 상기 제2 객체에 링크된 데이터를 제2 입력으로 활용하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 지정된 동작은 상기 디스플레이 중 상기 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 결정되는 것을 특징으로 할 수 있다.
일 실시 예에서, 상기 콘텐트의 유형이 이미지인 경우, 상기 지정된 동작은 상기 제1 위치 데이터 및 상기 제2 위치 데이터에 의해 특정되는 영역을 캡쳐하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 콘텐트의 유형이 텍스트인 경우, 상기 지정된 동작은 상기 제1 위치 데이터에 대응하는 글자(character)부터 상기 제2 위치 데이터에 대응하는 글자까지의 텍스트를 선택하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 콘텐트의 유형은 텍스트에 해당하고, 상기 제1 터치 및 상기 제2 터치는 상기 지정된 임계값 이상의 압력값을 유지한 채로 이동하는 제스처를 수반(involve)하며, 상기 제1 위치 데이터는 상기 제1 터치가 시작된 위치와 종료된 위치의 데이터를 포함하고, 상기 제2 위치 데이터는 상기 제2 터치가 시작된 위치와 종료된 위치의 데이터를 포함하고, 상기 지정된 동작은 상기 제1 위치 데이터에 의해 특정되는 텍스트와 상기 제2 위치 데이터에 의해 특정되는 텍스트를 선택하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 지정된 동작은 상기 디스플레이 중 상기 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션에 기초하여 결정되는 것을 특징으로 할 수 있다.
일 실시 예에서, 상기 어플리케이션은 지도 어플리케이션 또는 네비게이션 어플리케이션에 해당하고, 상기 지정된 동작은 상기 제1 위치 데이터에 대응하는 지리적 위치 및 상기 제2 위치 데이터에 대응하는 지리적 위치 사이의 경로를 찾는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 상기 제1 터치 및 상기 제2 터치가 상기 디스플레이의 지정된 영역내에서 이루어지는 것을 특징으로 할 수 있다. 일 실시 예에서 상기 지정된 영역은 어플리케이션 실행 영역에 해당할 수 있다.
일 실시 예에 따르면, 상기 지정된 동작은 복수의 동작을 포함하고,
상기 프로세서는 상기 복수의 동작 중 하나가 선택될 수 있도록 구현된 GUI(graphic user interface)를 상기 디스플레이에 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 지정된 동작과 연계된 추가 동작이 선택될 수 있도록 구현된 GUI를 상기 디스플레이에 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 터치 센서로부터 감지된 터치의 위치 데이터를 수신함에 응답하여 상기 압력 센서로부터 감지된 터치의 압력값을 수신하는 것을 특징으로 할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치(예: 메모리 130)에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 AP)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리;
    적어도 하나의 콘텐트가 출력되고 있는 디스플레이;
    상기 디스플레이에 포함되거나 상기 디스플레이에 결합되어, 터치를 감지하는 터치 센서;
    상기 터치의 압력값을 검출하는 압력 센서; 및
    상기 메모리, 상기 디스플레이, 상기 터치 센서, 및 상기 압력 센서와 전기적으로 연결된 프로세서;를 포함하고, 상기 프로세서는,
    상기 터치 센서 및 상기 압력 센서를 이용하여, 상기 디스플레이의 영역 중 상기 콘텐트가 출력되는 영역에서 지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하고,
    상기 제1 터치의 제1 위치 데이터를 상기 메모리에 저장하고,
    상기 터치 센서 및 상기 압력 센서를 이용하여, 상기 디스플레이의 영역 중 상기 콘텐트가 출력되는 영역에서 상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하고,
    상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하도록 설정된, 전자 장치.
  2. 청구항 1에 있어서,
    상기 제1 터치의 감지 이후 및 상기 제2 터치의 감지 이전에, 상기 지정된 임계값보다 작은 압력값을 가지는 제3 터치가 감지되면 상기 프로세서는 상기 제3 터치에 대응되는 동작을 수행하고,
    상기 제3 터치에 대응되는 동작은 상기 지정된 동작과 독립적인, 전자 장치.
  3. 청구항 1에 있어서,
    상기 지정된 동작은 상기 제1 위치 데이터에 대응되는 상기 콘텐트 의데이터를 제1 입력으로 활용하고, 상기 제2 위치 데이터에 대응되는 상기 콘텐트의 데이터를 제2 입력으로 활용하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 지정된 동작은 상기 디스플레이 중 상기 제1 터치가 이루어진 위치에 출력된 콘텐트의 유형에 기초하여 결정되는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 콘텐트의 유형이 이미지인 경우, 상기 지정된 동작은 상기 제1 위치 데이터 및 상기 제2 위치 데이터에 의해 특정되는 영역을 캡쳐하는 동작을 포함하는, 전자 장치.
  6. 청구항 4에 있어서,
    상기 콘텐트의 유형이 텍스트인 경우, 상기 지정된 동작은 상기 제1 위치 데이터에 대응하는 글자(character)부터 상기 제2 위치 데이터에 대응하는 글자까지의 텍스트를 선택하는 동작을 포함하는, 전자 장치.
  7. 청구항 4에 있어서,
    상기 콘텐트의 유형은 텍스트에 해당하고,
    상기 제1 터치 및 상기 제2 터치는 상기 지정된 임계값 이상의 압력값을 유지한 채로 이동하는 제스처를 수반(involve)하며,
    상기 제1 위치 데이터는 상기 제1 터치가 시작된 위치와 종료된 위치의 데이터를 포함하고,
    상기 제2 위치 데이터는 상기 제2 터치가 시작된 위치와 종료된 위치의 데이터를 포함하고,
    상기 지정된 동작은 상기 제1 위치 데이터에 의해 특정되는 텍스트와 상기 제2 위치 데이터에 의해 특정되는 텍스트를 선택하는 동작을 포함하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 지정된 동작은 상기 디스플레이 중 상기 제1 터치가 이루어진 위치에서 실행되고 있는 어플리케이션에 기초하여 결정되는, 전자 장치.
  9. 청구항 8에 있어서,
    상기 어플리케이션은 지도 어플리케이션 또는 네비게이션 어플리케이션에 해당하고,
    상기 지정된 동작은 상기 제1 위치 데이터에 대응하는 지리적 위치 및 상기 제2 위치 데이터에 대응하는 지리적 위치 사이의 경로를 찾는 동작을 포함하는, 전자 장치.
  10. 청구항 1에 있어서,
    상기 제1 터치 및 상기 제2 터치는 상기 디스플레이의 지정된 영역내에서 이루어지는, 전자 장치.
  11. 청구항 10에 있어서,
    상기 지정된 영역은 어플리케이션 실행 영역에 해당하는, 전자 장치.
  12. 청구항 1에 있어서,
    상기 지정된 동작은 복수의 동작을 포함하고,
    상기 프로세서는 상기 복수의 동작 중 하나가 선택될 수 있도록 구현된 GUI(graphic user interface)를 상기 디스플레이에 출력하는, 전자 장치.
  13. 청구항 1에 있어서,
    상기 프로세서는 상기 지정된 동작과 연계된 추가 동작이 선택될 수 있도록 구현된 GUI를 상기 디스플레이에 출력하는, 전자 장치.
  14. 청구항 1에 있어서,
    상기 프로세서는 상기 터치 센서로부터 감지된 터치의 위치 데이터를 수신함에 응답하여 상기 압력 센서로부터 감지된 터치의 압력값을 수신하는, 전자 장치.
  15. 터치의 압력에 응답하여 동작을 수행하는 방법에 있어서,
    지정된 임계값 이상의 압력값을 가지는 제1 터치를 감지하는 동작;
    상기 제1 터치의 제1 위치 데이터를 메모리에 저장하는 동작;
    상기 제1 터치의 감지 이후에 이루어지고 상기 지정된 임계값 이상의 압력값을 가지는 제2 터치를 감지하는 동작; 및
    상기 제2 터치의 감지에 응답하여, 상기 제1 위치 데이터와 상기 제2 터치의 제2 위치 데이터를 입력으로 활용하는 지정된 동작을 수행하는 동작;을 포함하는, 방법.
PCT/KR2018/006082 2017-06-09 2018-05-29 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법 Ceased WO2018225974A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/620,586 US11003293B2 (en) 2017-06-09 2018-05-29 Electronic device that executes assigned operation in response to touch pressure, and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0072340 2017-06-09
KR1020170072340A KR102353919B1 (ko) 2017-06-09 2017-06-09 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018225974A1 true WO2018225974A1 (ko) 2018-12-13

Family

ID=64565954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006082 Ceased WO2018225974A1 (ko) 2017-06-09 2018-05-29 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11003293B2 (ko)
KR (1) KR102353919B1 (ko)
WO (1) WO2018225974A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220159567A (ko) 2021-05-26 2022-12-05 삼성에스디에스 주식회사 정보 공유 인터페이스 제공 방법, 대화창에 공유된 정보 표시 방법, 그리고 이를 구현하기 위한 장치
US12449924B2 (en) * 2022-03-22 2025-10-21 Seoul National University R&Db Foundation Stretchable pressure sensor array and electronic device including same
TWI827364B (zh) * 2022-11-15 2023-12-21 達運精密工業股份有限公司 電子開關裝置及其系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277432A1 (en) * 2009-05-04 2010-11-04 Mitac International Corp. Multi-touch controlled apparatus and method thereof
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기
KR20110088279A (ko) * 2010-01-28 2011-08-03 주식회사 다음커뮤니케이션 경로 검색 방법
US20150277698A1 (en) * 2014-03-31 2015-10-01 Abbyy Development Llc Processing multi-touch input to select displayed option
US9645732B2 (en) * 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
EP2224313B1 (en) 2009-02-27 2012-12-05 Research In Motion Limited Touch-sensitive display including a force-sensor and portable electronic device including same
JP5146389B2 (ja) * 2009-04-03 2013-02-20 ソニー株式会社 情報処理装置、および推定方法
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US8976128B2 (en) * 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
KR20140143034A (ko) * 2013-06-05 2014-12-15 삼성전자주식회사 다양한 입력 기반의 서비스 제공 방법 및 그 전자 장치
US20150015526A1 (en) * 2013-07-09 2015-01-15 Zhenzhong Wang Touch screen
TWI681330B (zh) * 2014-09-02 2020-01-01 南韓商三星電子股份有限公司 用以執行可攜式終端的應用程式的方法和可攜式終端裝置
WO2016036771A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Location determination using communicatively coupled electronic devices
DE102015200036A1 (de) * 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zur Eingabe von Daten mit zwei Eingabearten und haptischer Rückkopplung
KR20160149941A (ko) * 2015-06-19 2016-12-28 삼성전자주식회사 전자 장치
TWI633469B (zh) * 2016-08-12 2018-08-21 鴻海精密工業股份有限公司 內嵌式觸控顯示裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277432A1 (en) * 2009-05-04 2010-11-04 Mitac International Corp. Multi-touch controlled apparatus and method thereof
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기
KR20110088279A (ko) * 2010-01-28 2011-08-03 주식회사 다음커뮤니케이션 경로 검색 방법
US20150277698A1 (en) * 2014-03-31 2015-10-01 Abbyy Development Llc Processing multi-touch input to select displayed option
US9645732B2 (en) * 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus

Also Published As

Publication number Publication date
US20200125215A1 (en) 2020-04-23
KR20180134517A (ko) 2018-12-19
KR102353919B1 (ko) 2022-01-21
US11003293B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
WO2018074877A1 (en) Electronic device and method for acquiring fingerprint information
WO2017116024A1 (en) Electronic device having flexible display and method for operating the electronic device
WO2017209540A1 (en) Method for activating function using fingerprint and electronic device including touch display supporting the same
WO2018026135A1 (en) Electronic device having fingerprint sensor
WO2016137268A1 (en) Touch processing method and electronic device for supporting the same
WO2016195291A1 (en) User terminal apparatus and method of controlling the same
WO2018143624A1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
EP3443446A1 (en) Electronic device comprising force sensor
WO2015023136A1 (ko) 전자장치에서 그립상태를 인지하기 위한 방법 및 장치
WO2018043998A1 (ko) 전자 장치 및 그 제어 방법
WO2018182287A1 (ko) 디스플레이의 저전력 구동 방법 및 이를 수행하는 전자 장치
WO2017082685A1 (ko) 표시 제어 방법, 이를 구현한 디스플레이 패널, 디스플레이 장치 및 전자 장치
EP3469468A1 (en) Method and electronic device for recognizing touch
WO2015182966A1 (en) Method for controlling display and electronic device
WO2018026155A1 (en) Method and electronic device for recognizing touch
WO2018016704A1 (en) Method and apparatus for operation of an electronic device
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
WO2016167610A1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
WO2020091538A1 (ko) 저전력 상태에서 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 그의 동작 방법
WO2018216868A1 (ko) 전자 장치 및 입력 장치의 입력 처리 방법
WO2016021984A1 (en) Electronic device and method for processing letter input in electronic device
WO2015178661A1 (en) Method and apparatus for processing input using display
WO2018056641A1 (ko) 전자 장치 및 그 제어 방법
WO2018135768A1 (en) Electronic device and controlling method thereof
WO2018216892A1 (ko) 여러 종류의 전자 펜을 사용하기 위한 방법 및 그 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18814402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18814402

Country of ref document: EP

Kind code of ref document: A1