TWI343205B - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- TWI343205B TWI343205B TW094121206A TW94121206A TWI343205B TW I343205 B TWI343205 B TW I343205B TW 094121206 A TW094121206 A TW 094121206A TW 94121206 A TW94121206 A TW 94121206A TW I343205 B TWI343205 B TW I343205B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- unit
- processing apparatus
- image processing
- image display
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
Description
1343205 Ο) 九、發明說明 【發明所屬之技術領域】 本發明係關於處理畫像資料之裝置。特別是關於:適 合於介由文書或雜誌、報紙等記載有文字或圖面、照片等 之紙張或紙狀的媒體來支援畫像的收集/編輯/整理之畫 像處理裝置。 • 【先前技術】 在電子技術發達的今天,紙張對於人們而言,係最切 身且便利的媒體之一。如後述之非專利文獻1也有記載般 ’紙張容易觀看、不易疲勞、人可自由地寫上註釋或評論 等’具有很多的優點。由於那些紙張的便利性,經常會例 如以剪刀剪下有興趣之記事或照片等,貼在筆記本上,進 而’在其上記入註釋或評論。 另一方面,紙張也存在有幾個不方便的地方。多數之 ® 資訊量存在時,體積變大,存在有無法快速檢索關於紙面 內容之資訊'無法直接電子式地活用人所寫入之註釋或評 論等缺點。特別是,具有要將紙上的畫像予以放大/縮小 '變更顏色之畫像編輯無法容易地進行之問題。另外,要 配送印刷有所收集/編輯之畫像的紙張時,需要使用親手 交付或郵局之寄送等物流手段,存在有花人工或時間之問 題。 對於前述問題,存在有:以光學式掃描器等之畫像取 入裝置’電子式地將紙面畫像取入計算機,且以圖像軟體 -5- (2) 1343205 而電子式地進行編輯之方法。在此方法中’將紙面畫像一 次取入計算機中之後,畫像的放大/縮小等之畫像編輯作 業係完全在計算機內進行。因此,可以進行畫像的複製或 放大/縮小、顏色的變更等。另外,將所編輯的畫像當成 畫像檔案而電子式地加以管理,於必要時’可以將那些畫 像檔案利用列表機等加以列印於紙張。進而’將畫像附在 電子郵件,以Web伺服器加以發送而電子式地寄送’可方 φ 便而高速且以低成本來發送畫像。另外’在此以往方法中 可以使用之畫像取入裝置,除了光學式掃描器外’也可使 用C CD照相機或台架式掃描器。 非專利文獻1 :日經電子 2003 / 7 / 2 1號’ 114〜 122頁 【發明內容】 (發明所欲解決之課題) 但是,在前述之以往方法中,由於係在計算機內進行 全部的畫像編輯之作業,而存在有畫像編輯的操作感與在 現實世界中進行編輯相比爲比較差之問題(以下’稱爲「 問題1」)。確實,在計算機內進行電子式編輯時’畫像 的複製或放大/縮小本身’可以鍵盤之按鍵或以滑鼠進行 拖曳等之簡單的指示而實行。但是’與將複數的紙張排列 於桌上而作業之現實世界相比’在計算機內的操作中’畫 像之素材的一覽性低或只能在監視器等所限制的範圍進行 閱覽等之理由’操作感差。 -6 - (3) 1343205 另外,在以往方法中,存在有需要將必要的畫像素材 全部事先取入的問題(以下,稱爲「問題2」)。畫像編 輯之作業上,需要嘗試錯誤,所以事前先取入全部的畫像 ' ,是要花相當的工夫的。 本發明係有鑑於此種問題而所完成者。 即對於前述問題1,將提供可以活用紙張的方便性或 可見性與計算機的多功能性之兩種優點的新的畫像處理裝 # 置當成本發明的第1課題。 另外,對於前述問題2,將提供不須事先將全部的畫 像加以取入,即使是紙張媒體之原樣,也可進行畫像編輯 的嘗試錯誤之作業效率良好的畫像處理裝置當成本發明之 第2課題。 (解決課題所需之手段) 在本發明中,爲了解決前述第1課題,係一種畫像處 ® 理裝置,其係由:藉由光感測器而電子式取入紙面畫像之 畫像攝影部;及對於畫像實行部份畫像之剪下或放大/縮 小等之畫像編輯的畫像編輯部;及接受來自使用者關於這 些畫像編輯之指示的操作輸入部;及將於前述畫像攝影部 所被攝取之畫像或於前述畫像編輯部所被畫像處理之畫像 加以記億的畫像記億部;及顯示於前述畫像記憶部所被記 憶的畫像之畫像顯示部所形成,關於前述畫像攝影部及畫 像顯示部,係藉由具有將畫像顯示功能安裝於透過平面上 ’且將複數個光感測器元件平面狀地配置於前述透過平面 (4) 1343205 上,藉此而使畫像攝影部及畫像顯示部成爲一體之畫像攝 影顯示部,來提供使用人沒有意識到紙張與電子媒體之差 異而符合人的直感之操作感。 ' 另外,爲了解決前述第2課題,利用前述之透明的畫 像攝影顯示部,而將配置在下面之紙張的畫面與記憶於畫 像處理裝置內的電子畫像予以重疊顯示’藉此’使用人不 用事前將全部的紙面加以攝影’而可支援畫像編輯之嘗試 0 錯誤的擴充實況(Augmented Reality: AR)操作。 如更具體說明本發明的基本構造時’本發明係一種具 備有板狀構件的畫像處理裝置’板狀構件係具有:第1面 ;及與第1面相反側之第2面;及具備有將從第1面所射 入之來自攝影對象的光線轉換爲電氣訊號’而當成畫像資 料加以輸入之畫像攝影部、及顯示前述畫像資料之畫像顯 示部的畫像攝影顯示層’使得可從第2面側同時辨識前述 攝影對象與畫像資料。 ® 在此畫像攝影顯示層例如係平面狀地排列有具有畫像 顯示元件及光感測器元件之畫素。於光感測器元件的第2 面側配置遮光膜,使得可以選擇性地檢測來自第1面側的 光線。藉由將畫素的至少一部份設爲去除了層間絕緣膜之 光透過區域、或不形成元件之光透過區域而構成’可使板 狀構件的透明度提升。 藉由於畫素連接閘極線與訊號線’依據給予閘極線與 訊號線之訊號,可以選擇輸入畫像資料的畫素。如具備有 記億畫像資料之記憶體時’則取樣之畫像資料的編輯會變 -8- (5) 1343205 得容易。 * 外本發明之其它例係具備有:透明平板、及記憶 .體、及資訊處理裝置的畫像處理裝置,透明平板,係具有 :具::攝取攝影對象,當成畫像資料而記憶於記憶體之 畫像攝影部、及顯示記憶體中的晝像資料之畫像顯示部之 畫像攝影顯示層;及指定透明平板上的特定區域所需之操 作輸入層,資訊處理裝置,係具有:於前述操作輸入層中 鲁 指定特定區域時,進行: (1 )於特定區域內被攝影之畫像資料的記億 (2) 被顯示於特定區域內之資料的特定 (3) 被記憶之資料與被顯示之資料的關連賦予 之處理的功能。藉由此種構造’使用人可以不用區別透過 透明平板所觀察之畫像(例如,放置於透明平板之下面的 照片)與顯示於透明平板的畫像顯示部之畫像而進行處理 〇 ^ 以操作輸入層中之特定區域的指定及藉由圖符或按鈕 之輸入爲契機’而進行(1)〜(3)之處理所構成爲佳。 例如’按下畫像合成按鈕(或者圖符)後(或前),藉由 以觸控筆(stylus pen)來圍住透明平板的特定區域,可進行 將在該特定區域內透過透明平板而被觀察之畫像(例如, 放置於透明平板的下面之照片)與顯示於透明平板的畫像 顯示部之畫像賦予關連之處理(例如,合成)。另外,也 可以省略特定區域的指定,而將透明平板所見到之畫像全 部加以記憶/特定、處理。此換言之,係相當於將全畫面 -9- (6) 1343205 設爲指定區域。 (發明之效果) 依據本發明,使用人可不意識到紙張和電子媒體的差 異’而進行符合人的直感之畫像編輯。藉此,對於使用人 ’具有:(1)作業效率的提升、(2)支援畫像編輯的嘗試 錯誤所致之畫像編輯的質之提升的效果。 【實施方式】 依據第1圖來說明關於本發明之畫像處理裝置的基本 構造例。 畫像處理裝置1 00係由:藉由光感測器來電子式地取 入紙面畫像之畫像攝影部101:及對於取入之畫像,實行 部份畫像的剪下或放大/縮小等之畫像編輯的畫像編輯部 102;及接受操作者關於那些畫像處理之指示的操作輸入 ® 部103;及將於畫像攝影部所被攝取之畫像或於前述畫像 處理部所被畫像處理之畫像加以記憶的畫像記億部1 04 : 及顯示於畫像記憶部所被記憶的畫像之畫像顯示部1 05所 形成。 如依據一例,畫像處理裝置係由:畫像攝影部101、 操作輸入部103、兼爲畫像顯示部105之透明平板107、 內藏有畫像編輯部1〇2與畫像記億部104之基體106所形 成。 畫像處理部可以畫像處理專用之硬體來構成’也可在 -10- (7) 1343205 泛用的CPU上使畫像處理用的軟體動作。畫像言己 可以使用揮發性或非揮發性之記憶體。此記憶體 於裝置外部而構成。 第2圖係表示安裝有基本構造部的形態例。 裝置200係由:本體部份201、畫面部份202所 體部份係安裝有第1圖之畫像編輯部102與畫 104。畫面部份202係2層的透明平面構造,由 φ :操作輸入層203、畫像攝影顯示層204所形成 入層203係相當於第1圖之基本構造部的操作輸 ,可以檢測觸控筆2 1 0的接觸位置。畫像攝影顯 係相當於第1圖之基本構造的畫像顯示部105與 部101。關於此畫像攝影顯示層之詳細,於之後 另外,以下將畫面部份202單單稱爲「畫面」。 畫像處理裝置的基本利用方法,首先將畫像 2〇〇放置於畫像編輯對象的紙220之上,區域指 ® 像編輯操作係使用觸控筆2 1 0來指示。以操作輸 來感知觸控筆210的軌跡,於本體部份201內的 部解釋該操作內容,而實行各種畫像編輯。假如 中’需要紙220的畫像,則在那時,攝取以畫像 層204所指定區域的紙面畫像。 接著,說明畫像攝影顯示層的槪要。 第5圖係表示畫像攝影顯示層的槪略構造圖 對角長約200mm左右,厚度2mm左右之透明基 平面狀地配置一倂具有攝影功能與顯示功能之畫】 丨憶部1 0 4 也可增設 畫像處理 構成。本 像記憶部 上層起由 。操作輸 入部103 示層204 畫像攝影 做說明。 處理裝置 定等之畫 入層203 畫像編輯 在該過程 攝影顯示 。採用於 板 500, 晨501的 -11 - (8) 1343205 構造。第5圖雖模型地只表示64畫素’但是’實 約4Ομπι左右之重複間距而配置有多數的畫素。 第6圖係表示畫素501之平面構造的一例。於 數的閘極線GL及與其矩陣狀交叉之複數的訊號線 包圍的區域,具有:由多晶矽膜所形成的薄膜光二 光感測器)SNR '由鋁(Α1)膜所形成之遮光膜Ml、 矽TFT所形成的訊號轉換及放大電路AMP、由有 # 二極體所形成之發光元件LED、光透過區域OPN。 依據第7圖,使用此畫像攝影顯示層,來說明 取只面上的橢圓模樣701之構造。於模型地表示之 畫素內,雖分別配置有:光感測器、遮光膜、放大 發光元件,但是,構成光感測器及放大電路的多晶 配線,幾乎爲透明的關係,通過除了遮光膜Ml及 件LED之區域,可以見到紙面畫像。攝取畫像時 圓模樣及遮光膜Μ〗重疊的部份來辨識畫像。 ® 第8圖係表示實際辨識橢圓模樣之畫素。 接著,說明在本實施形態之畫像攝影顯示層的 造。 第9圖係表示第6圖中之Α-Α’剖面構造圖。 明基板SUB上藉由:由多晶矽膜所形成之薄膜光 SNR、遮光膜Ml、由多晶矽TFT所形成之訊號轉 大電路AMP、有機發光二極體LED、驅動有機發光 之多晶砂TFT電路SW1所構成,光透過區域ορν 絕緣膜L 1被去除。 際上以 藉由複 SL所 極體( 由多晶 機發光 例如攝 64個 電路、 矽膜與 發光元 ,以橢 剖面構 係於透 二極體 換及放 二極體 之層間 -12- 1343205 Ο) 在畫像攝影顯示層攝影時,首先,使透明基板 與紙面密接。外光由保護膜L2側射入,在印刷物表 * 射後,到達光二極體SNR。遮光膜Μ 1爲了將從保護丨 ' 而直接射入光二極體SNR之光遮住,係對應自紙面 射光的強弱,在光二極體內產生光載子。接著,藉由 極線GL與訊號線SL施加電壓,來選擇讀取畫像之 。所被選擇的畫素中,藉由放大電路AMP,光二極體 φ 生的光載子被放大。針對鄰接之畫素分別重複同樣的 ,可以電氣訊號的形式來讀取所被選擇之畫像的二維 〇 在畫像攝影顯示層進行顯示時,藉由多晶矽TFT SW1而改變施加於有機發光二極體LED之電壓,來 畫素地改變發光量,可以顯示任意的畫像。 以上係畫像攝影顯示層的構造與動作之說明。 接著,具體說明使用前述畫像處理裝置之畫像的 • 操作。 第3圖係本發明之實施形態中之畫像編輯操作的 圖。 第4圖係關於本發明之實施形態中之畫像編輯操 特別是區域指定操作的說明平面圖。 首先,以第3圖來說明編輯操作之種類的一覽。 實施例中,全部規定9種的編輯操作。將意味這些編 作之圖符如第4圖般,配置於畫像處理裝置的畫面端 用人以觸控筆(420 )來接觸相當於想要實行之編輯 SUB 面反 莫L2 之反 對閛 畫素 所產 動作 資訊 電路 每一 編輯 一覽 作, 在本 輯操 。使 操作 (10) 1343205 的圖符’而傳達至畫像處理裝置。 ^ 說明各編輯操作。首先,指定編輯操作的對象範圍之 操作’係「區域指定」(圖符4 0 1 )。對象範圍的指定係 如第4圖的包圍線421般,使用人利用觸控筆而直接在畫 像處理裝置的畫面上指示對象範圍。另外,在沒有特別指 定對象範圍時,視爲對於畫像處理裝置之全畫面的操作。 「移動」係在畫面內使對象範圍的畫像移動之操作( • 圖符4〇2 )。使用人利用觸控筆來指示移動後,可以觸控 筆來拖曳操作而將對象範圍移動於畫面上的任意場所。移 動對象的畫像可以是紙面的畫像,也可以是被顯示在畫面 上之電子畫像。在使紙面的畫像移動時,移動操作的指示 被下達時’攝影對象範圍而當成電子畫像資訊讀取後,當 成電子畫像而顯示於畫面的選擇範圍,配合觸控筆的移動 而將前述電子畫像移動顯示於畫面上。那時,不顯示畫像 的畫面上之區域,成爲下面之紙張的畫像會透過而被顯示 ® 。因此,如由使用人來看,會成爲藉由本發明之畫像處理 裝置來取出紙面的對象區域,只使該對象區域的部份在原 來的紙上移動之感覺。 「放大縮小」係將對象範圍的畫像予以放大/縮小之 操作(圖符403 )。被放大縮小的畫像可以是紙面畫像與 電子畫像之任一種。放大縮小也和移動相同,對於紙面畫 像與電子畫像之任一者,都可以操作。 「旋轉」係使對象範圍的畫像旋轉之操作(圖符404 )。旋轉也和移動或放大縮小相同,可以對於紙面畫像與 -14- (11) 1343205 電子畫像之任一者進行操作。 「手寫」係使用人使用觸控筆(420)而自由地寫入
•I 評論或註釋之操作(圖符4 0 5 )。在本實施例中雖省略, * 但是,也可以具備有手寫操作所記入之筆畫(stroke)的 顏色或線寬、實線/虛線等之線形式也可指定之介面。 「保存」係將對象範圍的畫像電子式地儲存於畫像記 憶部的操作(圖符406 )。此時,爲了之後檢索所保存的 • 畫像,雖以指定檔案名稱或畫像屬性之標籤、利用計算機 之操作系統的檔案管理所一般使用的檔案夾而加以階層式 地管理爲佳,但是,在本實施例中,設爲自動地使用單單 由保存時間點之日期與時刻所產生的檔案名稱。 「叫出」係將儲存於畫像記憶部的電子畫像予以叫出 而顯示於畫面上之操作(圖符407 )。也可藉由預覽之選 擇等,下工夫於使使用者容易檢索目的畫像。 「刪除」係刪除對象範圍的畫像之操作(圖符408 ) ^ 。另外,如指定保存於呼叫的預覽一覽顯示時之畫像而實 行刪除操作時,將該畫像由畫像記憶部予以刪除。 「取消」係取消最後進行之操作而恢復前一個狀態之 操作(圖符409 )。爲此,要將過去進行的操作記億於畫 像記億部。如複數次連續地實行取消時,則恢復万該次數 份前之狀態。 如前述般,在本發明之畫像處理裝置中,只在必要時 ,不出聲地實行攝影,所以,沒有必要「攝影」之操作指 示。因此,不用使使用人明確地體驗將紙面畫像轉換爲電 -15- (12) 1343205 子資料之繁雜的作業’所以可以提供符合人的直感之使用 方式良好的操作感。 4 第10圖係表示畫像編輯作業的一例之槪念圖。依據 ' 第10圖所示之例子來說明使用本發明的畫像處理裝置之 畫像編輯作業。本例係假定製作:將原文件1 000中的人 物照片1001與照片1010中的風景1011予以合成,且寫 入有手寫註記1 023之畫像1 020的情形。 • 首先,取入人物照片。如第4圖所示般,將畫像處理 裝置400放置於原文件410之上,使用觸控筆420而接觸 圖符401,指示「區域指定」。之後,藉由觸控筆,指定 原文件的人物照片區域42 1。自此作業中,自動地人物照 片的畫像被取入畫像處理裝置中,成爲一個畫像物件,暫 時被記憶於畫像記憶部。 此處,說明畫像物件。 如第 π圖可以見到般,畫像物件係採取表示於表 ♦ 1 1 1 0之資料構造。畫像I D (1 1 1 1 )係畫像物件被作成時’ 機械性地被分配之ID,每一畫像物件爲獨一的。檔案名 稱1 1 1 2係將畫像物件的資料保存於畫像記億部時之電子 檔案的名稱,如前述般,係由日期與時刻所自動產生的。 「保存」操作未被實行而暫時取入畫面之畫像’意指暫時 之「temp_」被附加於檔案名稱之前端。畫像寬]113與畫 像高1 1 1 4係意指畫像物件1 101的外接矩形】1 02之寬、 高。另外,最後的畫像資料1 1 2 0係保存有當成二進制資 料之畫像的各畫素之亮度値資訊。以上的畫像物件之値’ -16- (13) 1343205 係和畫面顯示內容無關而成爲一定的値。其它畫像物件的 値1115〜1119係與畫像物件的顯示有關的値,爲藉由使用 者的操作而被變更的値。首先,畫像顯示位置1115、1116 係分別表示外接矩形1 1 02之左上點的橫座標、縱座標之 値。此値係藉由「移動」之操作而被變更。另外,旋轉 Π 1 7係表示將原畫像旋轉哪種程度之角度順時鐘旋轉而表 示之値,係藉由「旋轉」之操作而被變更。另外,倍率 # Π 1 8、Π 1 9係意指對於原畫像物件的外接矩形之顯示倍率 ,係藉由「放大縮小」之操作而被變更《如此,被電子化 之畫像係當成畫像物件而被記憶於畫像記憶部。 第1 2圖係在第1 0圖之例中,進行移動與放大縮小、 手寫操作之說明圖。首先,說明取入的人物照片1 00 1與 照片1010中的風景1011之合成(第12圖)。藉由之前 的操作,人物照片1 〇〇 1已經取入記憶體完畢,作爲畫像 物件而被顯示於畫像處理裝置的畫面上。於該畫像處理裝 ® 置的畫面上放置下一編輯對象的照片1201。使用人將人物 的畫像物件移動於背景風景之想要合成的場所,放大縮小 成喜好的大小(1 202 )。之後,指定手寫操作,附加上手 寫註記1 203。最後將想要保存的畫面之範圍1 203當成區 域指定而加以保存,獲得第1 〇圖之畫像1 02 0。 藉由指定想要保存之範圍1203而加以保存之操作, 使用人可將畫像處理裝置1 200之畫面上所見到的畫像與 實物的照片1201及所顯示的資料畫像1202、1203無區別 地整批加以保存。此時’在畫像處理裝置側中,係連續地 -17- (14) 1343205 進行:區域1203內的畫像(照片1202)之取入’及取入 之畫像與顯示的畫像1202、1203之合成處理。具體爲: 畫像的取入,係如第4圖已經說明過的,係藉由將來自指 ^ 定區域1 203內的光感測器之訊號予以資料化,而記憶於 記憶體所進行》另外’畫像處理裝置1 〇〇係將指定區域 1203的座標內所顯示的畫像1202、1203加以辨識,將這 些畫像的資料置換爲取入資料的該座標資料。這些動作例 # 如藉由第1圖的畫像編輯部1〇2(例如CPU)、及畫像記 憶部1 04 (例如DRAM等之記憶體)來達成。 第13圖係管理手寫筆畫資訊之資料構造的例子。筆 畫資訊1310係具有:表示該筆畫資訊的ID之項目1311 、記人有筆畫之畫像ID1312、含於筆畫資訊內之總筆畫 數1313、各筆畫的標本點數1314、對於標本點之指向器 1315。對於標本點之指向器係指標本點資訊1 320的1標 本1321,由該位置至以標本點數1313所指定的個數,係 ® 成爲表示該筆畫的標本點排列。 產業上之利用可能性 本發明之畫像處理裝置,例如由圖像設計者之畫像編 輯作業之支援的商業使用人,至個人之有興趣的記事的剪 貼或繪畫曰記作成之消費使用人,可以在廣範圍之領域加 以利用。 【圖式簡單說明】 -18 - (15) 1343205 第1圖係表示本發明的基本構造之方塊圖。 ^ 第2圖係表示本發明之畫像處理裝置的一例之斜視圖 〇 第3圖係本發明之實施形態中之畫像編輯操作的一覽 圖。 第4圖係關於本發明之實施形態中之畫像編輯操作、 特別是區域指定操作之說明平面圖。 • 第5圖係本發明之實施形態中之畫像攝影顯示層的槪 略構造圖。 第6圖係本發明之實施形態中之畫像攝影顯示層的畫 素之平面佈置圖。 第7圖係本發明之實施形態中之畫像對象紙面畫像與 畫像攝影顯示層的畫素之槪念圖。 第8圖係本發明之實施形態中之畫像對象紙面畫像與 畫像攝影顯示層之畫素中,辨識到讀取畫像之畫素的槪念 # 圖。 第9圖係本發明之實施形態中之畫像攝影顯示層的畫 素之剖面圖。 第10圖係表示畫像編輯作業之一例的槪念圖。 第1 1圖係表示畫像物件的資料構造之槪念圖。 第12圖係關於本發明之實施形態中之畫像編輯操作 ,特別是移動與放大縮小、手寫操作之說明圖。 第13圖係顯示筆畫資訊之資料構造的槪念圖。 -19 - (16) 1343205 【主要元件符號說明】 100 :畫像處理裝置 1 〇 1 ;畫像攝影部 ' 102 :畫像編輯部 103 :操作輸入部 104 :畫像記憶部 1 〇 5 :畫像顯示部 • 106 :基體 107 :透明平板 201 :畫像處理裝置的本體部份 202 :畫像處理裝置的畫面部份 2 〇 3 :操作輸入層 204:畫像攝影顯不層 21 0 :觸控筆 2 2 0 :畫像處理對象之紙 # 300:編輯操作一覽 401〜409:畫像編輯操作圖符 421 :畫像編輯對象範圍 501 :畫像攝影顯示層之畫像 G L :複數之閘極線 SL:矩陣狀交叉之複數的訊號線 SNR :由多晶矽膜所形成之薄膜光二極體(光感測器) Ml :由鋁(A1)膜所形成的遮光膜 AMP :由多晶矽TFT所形成的訊號轉換及放大電路 -20- (17) (17)1343205 LED :由有機發光二極體所形成的發光元件 OPN :光透過區域 SUB :透明基板 SW1 :驅動有機發光二極體之多晶矽TFT電路 L 1 :層間絕緣膜 L2 :保護膜。
-21 -
Claims (1)
- 1343205 第094121206號專利申請案中文申請專利範圍修正本 民國100年2月23日修正 十、申請專利範圍 l —種畫像處理裝置,係由:藉由光感測器而電子式 取入紙面畫像之畫像攝影部;及對於畫像實行部份畫像之 剪下或放大/縮小等之畫像編輯計算的畫像編輯部;及接 受來自使用者關於這些畫像編輯之指示的操作輸入部;及 將於前述畫像攝影部所被攝取之畫像或於前述畫像編輯部 所被畫像編輯之晝像加以記憶的畫像記億部:及顯示於前 述畫像記憶部所被記億的畫像之畫像顯示部所形成,其特 徵爲: 關於前述畫像攝影部及畫像顯示部,係使用藉由將畫 像顯示元件安裝於透過平面上,且將複數個光感測器元件 平面狀地配置於前述透過平面上,而使畫像攝影部及畫像 顯示部成爲一體之透過型畫像攝影顯示部,可以直接透視 放置於畫像攝影顯示部的下面之紙面畫像,同時,可將記 憶於畫像記憶部的畫像重疊顯示於畫像攝影顯示部。 2. 如申請專利範圍第1項所記載之畫像處理裝置,其 中:更具有,前述畫像攝影顯示部及操作輸入部成爲一體 之畫像攝影顯示操作部。 3. 如申請專利範圍第1項或第2項所記載之畫像處理 裝置,其中:爲了實現前述紙面畫像的透視,並非將前述 畫像攝影顯示部或前述畫像攝影顯示操作部構成於透過平 面上,而是藉由將於前述光感測器元件所讀取之紙面畫像 1343205 的畫素資訊發送至對應之畫像顯示元件而顯示之,使得可 進行擬似之透視。 4. 一種畫像處理裝置,係具備有板狀構件,其特徵爲 前述板狀構件*係具有: 第1面;及 與前述第1面相反側之第2面:及 具備有將從前述第1面所射入之來自攝影對象的光線 轉換爲電氣訊號,而當成畫像資料加以輸入之畫像攝影部 、及顯示前述畫像資料之畫像顯示部的畫像攝影顯示層, 使得可從前述第2面側同時辨識前述攝影對象與前述 畫像資料。 5 .如申請專利範圍第4項所記載之畫像處理裝置,其 中:於前述畫像攝影顯示層,係平面狀地排列有具有畫像 顯示元件及光感測器元件之畫素。 6. 如申請專利範圍第5項所記載之畫像處理裝置 > 其 中:於前述光感測器元件之前述第2面側,係配置有遮光 膜。 7. 如申請專利範圍第5項所記載之畫像處理裝置,其 中:前述畫素之至少一部份,係被當成去除了層間絕緣膜 之光透過區域而構成。 8 .如申請專利範圍第5項所記載之畫像處理裝置’其 中:前述畫素之至少一部份,係被當成不形成元件之光透 過區域而構成。 -2- 1343205 9 .如申請專利範圍第5項所記載之畫像處理裝置,其 中:於前述畫素連接有閘極線及訊號線,藉由給予該閘極 線及訊號線之訊號,來選擇輸入畫像資料之畫素。 1 〇·如申請專利範圍第4項所記載之畫像處理裝置, 其中:具備有記憶前述畫像資料之記憶體。 11· —種畫像處理裝置,係具備有:透明平板 '及記 憶體、及資訊處理裝置,其特徵爲:前述透明平板,係具有: 具備:攝取攝影對象,當成畫像資料而記憶於前述記 憶體之畫像攝影部、及顯示前述記億體中的畫像資料之畫 像顯示部之畫像攝影顯示層;及 指定前述透明平板上的特定區域所需之操作輸入層, 前述資訊處理裝置,係具有:於前述操作輸入層中指 定特定區域時,進行: (1) 於前述特定區域內被攝影之畫像資料的記憶 (2) 被顯示於前述特定區域內之資料的特定 (3 )被記憶之資料與被顯示之資料的關連賦予 之處理的功能; 於前述畫像攝影顯示層平面狀地排列有具有畫像顯示 元件及光感測器元件之畫素。 12· —種畫像處理裝置,係具備有:透明平板、及記 億體、及資訊處理裝置,其特徵爲: 前述透明平板,係具有: 具備:攝取攝影對象,當成畫像資料而記憶於前述記 -3- 1343205 億體之畫像攝影部、及顯示前述記憶體中的畫像資料之畫 像顯不部之畫像攝影顯示層;及 指定前述透明平板上的特定區域所需之操作輸入層, 前述資訊處理裝置,係具有:於前述操作輸入層中指 定特定區域時,進行: (1) 於前述特定區域內被攝影之畫像資料的記憶 (2) 被顯示於前述特定區域內之資料的特定 (3 )被記億之資料與被顯示之資料的關連賦予 之處理的功能; 前述透明平板,係具有:第1面、及與該第1面相反 側之第2面, 且係由前述第2面可以目視配置於前述第1面側之攝影 對象之構造,並且具備有可藉由觸控筆而在前述第2面土 指定特定區域的功能。 13.如申請專利範圍第1 1或12項所記載之畫像處理裝 置,其中:以前述操作輸入層中之特定區域的指定、及藉 由圖符或按鈕之輸入爲契機’而進行前述(1)〜(3)之 處理。 -4-
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2004/011496 WO2006013639A1 (ja) | 2004-08-04 | 2004-08-04 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200612729A TW200612729A (en) | 2006-04-16 |
| TWI343205B true TWI343205B (en) | 2011-06-01 |
Family
ID=35786940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW094121206A TWI343205B (en) | 2004-08-04 | 2005-06-24 | Image processing apparatus |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7907797B2 (zh) |
| JP (1) | JP4537403B2 (zh) |
| TW (1) | TWI343205B (zh) |
| WO (1) | WO2006013639A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660859A (zh) * | 2013-11-21 | 2015-05-27 | 柯尼卡美能达株式会社 | Ar显示装置、处理内容设定装置以及处理内容设定方法 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101491594B1 (ko) | 2007-11-05 | 2015-02-09 | 삼성전자주식회사 | 터치 스크린을 갖는 휴대 단말기 및 그의 이미지 처리 방법 |
| US8594740B2 (en) | 2008-06-11 | 2013-11-26 | Pantech Co., Ltd. | Mobile communication terminal and data input method |
| KR101002659B1 (ko) * | 2008-12-23 | 2010-12-20 | 삼성모바일디스플레이주식회사 | 유기 발광 표시 장치 |
| KR102012160B1 (ko) | 2009-05-02 | 2019-08-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 패널 |
| US9164581B2 (en) * | 2010-10-22 | 2015-10-20 | Hewlett-Packard Development Company, L.P. | Augmented reality display system and method of display |
| JP2012163666A (ja) * | 2011-02-04 | 2012-08-30 | Dainippon Printing Co Ltd | 情報表示装置、情報表示システム |
| JP5518778B2 (ja) * | 2011-03-28 | 2014-06-11 | 富士フイルム株式会社 | 校正情報処理装置及び校正情報処理方法 |
| KR101495492B1 (ko) * | 2011-11-14 | 2015-03-02 | 정보연 | 투명디스플레이를 통해 페이퍼문서를 전자화하고 활용하는 방법 및 시스템. |
| JP5906889B2 (ja) * | 2012-03-29 | 2016-04-20 | 富士通株式会社 | 画像補正装置、画像補正方法、画像補正プログラム、及び画像読取装置 |
| TWI637312B (zh) * | 2012-09-19 | 2018-10-01 | 三星電子股份有限公司 | 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體 |
| KR102255832B1 (ko) * | 2012-09-19 | 2021-05-26 | 삼성전자주식회사 | 투명 디스플레이 기기상에 정보를 디스플레이 하는 시스템 및 방법 |
| USD737319S1 (en) | 2013-06-09 | 2015-08-25 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD734774S1 (en) | 2013-06-09 | 2015-07-21 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| US9235051B2 (en) * | 2013-06-18 | 2016-01-12 | Microsoft Technology Licensing, Llc | Multi-space connected virtual data objects |
| USD746302S1 (en) * | 2013-09-03 | 2015-12-29 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| AU353070S (en) * | 2013-09-03 | 2013-12-23 | Samsung Electronics Co Ltd | Display screen with icon for an electronic device |
| USD745894S1 (en) * | 2013-09-03 | 2015-12-22 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| USD761320S1 (en) * | 2013-11-08 | 2016-07-12 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| JP2015115682A (ja) * | 2013-12-10 | 2015-06-22 | セイコーエプソン株式会社 | 画像表示装置、プロジェクター、および画像表示装置の制御方法 |
| WO2016036427A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Electronic device with rotatable input mechanism |
| DE202015006141U1 (de) | 2014-09-02 | 2015-12-14 | Apple Inc. | Elektronische Touch-Kommunikation |
| USD760789S1 (en) * | 2014-09-04 | 2016-07-05 | Synology Incorporated | Display screen or portion thereof with icon |
| US10127468B1 (en) * | 2015-07-17 | 2018-11-13 | Rocket Innovations, Inc. | System and method for capturing, organizing, and storing handwritten notes |
| USD798891S1 (en) * | 2015-12-11 | 2017-10-03 | General Electric Company | Display screen with shipment management graphical user interface |
| WO2018142679A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ワコム | 表示装置及びその制御方法 |
| USD955430S1 (en) * | 2018-04-10 | 2022-06-21 | Google Llc | Display screen with icon |
| USD923032S1 (en) * | 2019-06-03 | 2021-06-22 | Abb Power Grids Switzerland Ag | Display screen with an animated graphical user interface for power control system |
| USD942991S1 (en) * | 2019-06-07 | 2022-02-08 | HOKURIKU Techno-Solutions Co., Ltd. | Display screen or portion thereof with graphical user interface |
| USD961621S1 (en) * | 2020-05-15 | 2022-08-23 | Barel Ip, Inc. | Computing device display screen or portion thereof with icon |
| CN116997062B (zh) * | 2023-09-22 | 2024-02-23 | 深圳市千岩科技有限公司 | 控制方法、装置、照明结构及计算机存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100324989B1 (ko) | 1993-11-08 | 2002-06-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 입력표시일체형정보처리장치 |
| TW325545B (en) | 1993-11-08 | 1998-01-21 | Matsushita Electric Industrial Co Ltd | Input/display integrated information processing device |
| JP3113468B2 (ja) * | 1993-11-08 | 2000-11-27 | 松下電器産業株式会社 | 表示入力装置 |
| US5583665A (en) * | 1995-02-13 | 1996-12-10 | Eastman Kodak Company | Method and apparatus for performing color transformations using a reference image combined with a color tracer |
| JPH09252433A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 撮像表示装置および撮像表示システム |
| JP3211054B2 (ja) * | 1996-05-29 | 2001-09-25 | シャープ株式会社 | 情報読込装置 |
| JPH1165763A (ja) * | 1997-08-22 | 1999-03-09 | Sharp Corp | 表示パネルおよび表示装置 |
| US6408301B1 (en) * | 1999-02-23 | 2002-06-18 | Eastman Kodak Company | Interactive image storage, indexing and retrieval system |
| JP4543560B2 (ja) | 2001-02-09 | 2010-09-15 | 日本電気株式会社 | 表示機能を内蔵した画像入力装置 |
| US20030197716A1 (en) * | 2002-04-23 | 2003-10-23 | Krueger Richard C. | Layered image compositing system for user interfaces |
| EP1516287A1 (en) * | 2002-06-27 | 2005-03-23 | MJW Corporation | Interactive video tour system editor |
| JP4032176B2 (ja) * | 2002-11-13 | 2008-01-16 | コニカミノルタホールディングス株式会社 | 画像入力装置及び表示媒体 |
| TWI228913B (en) * | 2003-05-16 | 2005-03-01 | Benq Corp | Editing and display controller used in portable digital image capture device and method of the same |
-
2004
- 2004-08-04 US US11/631,936 patent/US7907797B2/en not_active Expired - Fee Related
- 2004-08-04 WO PCT/JP2004/011496 patent/WO2006013639A1/ja not_active Ceased
- 2004-08-04 JP JP2006531083A patent/JP4537403B2/ja not_active Expired - Fee Related
-
2005
- 2005-06-24 TW TW094121206A patent/TWI343205B/zh not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660859A (zh) * | 2013-11-21 | 2015-05-27 | 柯尼卡美能达株式会社 | Ar显示装置、处理内容设定装置以及处理内容设定方法 |
| CN104660859B (zh) * | 2013-11-21 | 2017-10-20 | 柯尼卡美能达株式会社 | Ar显示装置、处理内容设定装置以及处理内容设定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070253600A1 (en) | 2007-11-01 |
| JPWO2006013639A1 (ja) | 2008-05-01 |
| US7907797B2 (en) | 2011-03-15 |
| JP4537403B2 (ja) | 2010-09-01 |
| TW200612729A (en) | 2006-04-16 |
| WO2006013639A1 (ja) | 2006-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI343205B (en) | Image processing apparatus | |
| US7703002B2 (en) | Method and apparatus for composing multimedia documents | |
| US7739583B2 (en) | Multimedia document sharing method and apparatus | |
| TWI232343B (en) | System and method for presenting, capturing, and modifying images on a presentation board | |
| US20070016868A1 (en) | Method and a device for managing digital media files | |
| JP5214051B1 (ja) | 画像処理装置および画像処理プログラム | |
| CN105607825A (zh) | 用于图像处理的方法和设备 | |
| CA2503210A1 (fr) | Dispositif et installation perfectionnes de traitement de donnees manuscrites pour une sauvegarde electronique certifiee avec liens | |
| JP4246650B2 (ja) | 画像入力装置及び画像データ管理装置 | |
| JP4683322B2 (ja) | 画像表示制御装置及び画像表示制御プログラム | |
| CN103037154A (zh) | 图像摄影装置 | |
| JP2000090252A (ja) | 画像処理装置、及び画像処理プログラムが記憶された記憶媒体 | |
| JP2019179461A (ja) | 手帳管理装置、手帳管理プログラム及び手帳管理方法 | |
| JP6582954B2 (ja) | 書画カメラ装置、切り抜き支援方法及びプログラム | |
| JP2008108011A (ja) | ユーザーインターフェイス表示装置及びその表示方法 | |
| JP4756149B2 (ja) | フォトアルバム作成システム及びフォトアルバム作成コンピュータプログラム | |
| LoCascio | My Adobe Photoshop Lightroom 4 | |
| Carlson | Photoshop Elements 8 for MAC OS X: Visual Quickstart Guide | |
| Laskevitch | Photoshop CC and Lightroom: A Photographer's Handbook | |
| JP2006217291A (ja) | 電子アルバム作成装置 | |
| Orwig | Adobe Photoshop CS4 how-tos: 100 essential techniques | |
| JP2002057973A (ja) | 写真管理編集システム | |
| JP2006186746A (ja) | 電子アルバム作成装置 | |
| Wooldridge et al. | Teach Yourself VISUALLY Photoshop Elements 10 | |
| Hoeschen et al. | Photoshop Elements 5 for Windows: Visual QuickStart Guide |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |