[go: up one dir, main page]

TW202107884A - 影像處理電路系統 - Google Patents

影像處理電路系統 Download PDF

Info

Publication number
TW202107884A
TW202107884A TW108148276A TW108148276A TW202107884A TW 202107884 A TW202107884 A TW 202107884A TW 108148276 A TW108148276 A TW 108148276A TW 108148276 A TW108148276 A TW 108148276A TW 202107884 A TW202107884 A TW 202107884A
Authority
TW
Taiwan
Prior art keywords
image
image processing
data
circuit system
processing core
Prior art date
Application number
TW108148276A
Other languages
English (en)
Other versions
TWI863952B (zh
Inventor
李錫炫
李輝雄
鄭暻娥
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202107884A publication Critical patent/TW202107884A/zh
Application granted granted Critical
Publication of TWI863952B publication Critical patent/TWI863952B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一種影像處理電路系統包括:記憶體,儲存指令程式;以及處理電路系統,被配置以執行指令程式以自影像感測器接收輸入資料並基於輸入資料來偵測影像感測器的操作模式,提供所確定的與影像感測器的操作模式相關聯的配置資料,並根據操作模式及配置資料來處理輸入資料中的影像資料。

Description

影像處理電路系統
本發明是有關於影像處理器及/或影像處理方法。 [相關申請案的交叉參考]
本申請案主張2019年1月7日於韓國智慧財產局提出申請的第10-2019-0001524號韓國專利申請案的優先權且其所有權益,所述韓國專利申請案的內容全部併入本案供參考。
影像感測器可具有用於拍攝物體的影像(「攝取對象」)的各種操作模式。舉例而言,當物體(「對象」)相對於影像感測器以相對高的速度移動時,影像感測器可依靠在高速攝取模式中運作來產生具有相對高的圖框速率(例如,高圖框/秒(fps))的影像資料。在另一例子中,當物體(「對象」)相對於影像感測器以相對低的速度移動或靜止不動時,影像感測器可依靠在低速攝取模式中運作來產生具有相對低的圖框速率(例如,低圖框/秒)的影像資料。在提供多個影像感測器的一些情形中,每一影像感測器可在不同的操作模式中攝取對象。
將影像感測器所產生的影像資料傳輸至影像處理裝置(或影像處理器及影像訊號處理器)以進行影像訊號處理。然後,影像處理器根據影像感測器攝取對象的操作模式來處理影像資料。舉例而言,當影像感測器將在高速攝取模式中拍攝的影像資料傳送至影像處理器時,影像處理器高速地對影像圖框執行處理,以使得輸出影像不會出現失真或延遲。
為使影像處理器自身的操作與影像感測器的操作模式同步,除將影像資料自影像感測器傳送至影像處理器的時間之外,影像處理器的操作亦可需要額外的時間來獲取影像感測器的操作模式的資訊。此額外的時間可導致輸出影像出現失真或延遲。
本發明的態樣提供影像處理器及/或影像處理方法,所述影像處理方法能夠允許影像處理器直接識別影像感測器的操作模式而不依靠其他裝置,以使得可在所述影像感測器與所述影像處理器獨立地運作的系統中將延遲時間縮短或最小化。
根據一些示例性實施例,一種影像處理電路系統可包括:記憶體,儲存指令程式;以及處理電路系統,被配置以執行所述指令程式以自影像感測器接收輸入資料並基於所述輸入資料來偵測所述影像感測器的操作模式,提供所確定的與所述影像感測器的所述操作模式相關聯的配置資料,且根據所述操作模式及所述配置資料來處理所述輸入資料中的影像資料。
根據一些示例性實施例,一種影像處理電路系統可包括:記憶體,儲存指令程式;以及處理電路系統,被配置以執行所述指令程式以自影像感測器接收輸入資料並基於所述輸入資料來偵測所述影像感測器的操作模式,且藉由在多個處理路徑中所選擇的處理路徑來處理所述輸入資料中的影像資料,所述所選擇的處理路徑是根據所述操作模式選擇,每一處理路徑包括一個或多個影像處理核心。
根據一些示例性實施例,一種影像處理電路系統可包括:記憶體,儲存指令程式;以及處理電路系統,被配置以執行所述指令程式以自第一影像感測器接收第一輸入資料並基於所述第一輸入資料來偵測所述第一影像感測器的第一操作模式,自第二影像感測器接收第二輸入資料並基於所述第二輸入資料來偵測所述第二影像感測器的第二操作模式,提供所確定的與所述第一操作模式相關聯的第一配置資料,根據所述第一操作模式及所述第一配置資料來處理所述第一輸入資料中所包含的第一影像資料,提供所確定的與所述第二操作模式相關聯的第二配置資料,且根據所述第二操作模式及所述第二配置資料來處理所述第二輸入資料中所包含的第二影像資料。
根據一些示例性實施例,一種影像處理方法可包括:自影像感測器接收輸入資料,基於所述輸入資料偵測所述影像感測器的操作模式,及使用所確定的與所述影像感測器的所述操作模式相關聯的配置資料來處理所述輸入資料中的影像資料。
然而,本發明的態樣並不僅限於本文中所述的態樣。藉由參考下文給出的本發明的詳細說明,熟習本發明所屬的技術者將明瞭本發明的以上及其他態樣。
圖1是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。
參考圖1,根據本發明的一些示例性實施例的影像處理系統1包括影像感測器10及系統晶片(System-on-Chip,SoC)20,系統晶片20是將電腦或其他電子系統的所有元件整合起來的積體電路系統(亦被稱為「晶片」)的實例。在此,系統晶片20可被實施為應用處理器(Application Processor,AP),但本發明的範疇並不僅限於此。
影像感測器10可在系統晶片20的控制下運作。在一些示例性實施例中,影像感測器10可自系統晶片20接收控制資料CTL_DATA,並根據所述控制資料CTL_DATA開始或結束攝取。
影像感測器10使用圖2中所說明的鏡頭5攝取對象,並產生影像資料IMG_DATA。此外,影像感測器10可將所產生的影像資料IMG_DATA作為攝取結果傳輸至系統晶片20。
具體而言,影像感測器10可以各種方式拍攝對象以產生各種影像資料IMG_DATA。在一些示例性實施例中,影像感測器10可產生單個影像資料,產生(例如,連續的)多個影像資料或者產生視訊資料。舉又一例子,影像感測器10可藉由高數目個畫素產生高解析度的影像資料,或藉由低數目個畫素產生低解析度的影像資料。舉又一例子,影像感測器10可產生具有高圖框/秒的高速拍攝的影像資料,或產生具有低圖框/秒的低速拍攝的影像資料。舉又一例子,影像感測器10亦可產生按比例縮小的影像資料。在此,按比例縮小的影像資料可以是提供預覽影像的影像資料,所述預覽影像是在使用者攝取靜止影像或移動影像之前及之後提供給使用者。亦即,影像感測器10可在使用者照相時在攝取模式中產生具有實際解析度設定的影像資料,且影像感測器10可在攝取模式中產生低於實際解析度設定的按比例縮小的影像資料,以作為在使用者進行攝取之前及之後提供的預覽影像。
影像感測器10亦可產生旁帶資料SIDE_DATA。旁帶資料SIDE_DATA可包含關於影像資料IMG_DATA(「與影像資料IMG_DATA相關聯」)的額外資訊。在此,旁帶資料SIDE_DATA可包括關於影像感測器10的操作模式的資訊。在一些示例性實施例中,關於操作模式的資訊可包括關於影像感測器10是攝取靜止影像、連續影像還是視訊的資訊、或者諸如攝取解析度、攝取速率、存在還是不存在按比例縮小、及按比例縮小的解析度等資訊。然而,本發明的範疇並不僅限於以上說明,且根據實際實施目的及環境,旁帶資料SIDE_DATA中可包含各種類型的資訊。影像感測器10亦可將此旁帶資料SIDE_DATA傳輸至系統晶片20。
影像感測器10可以各種方式將影像資料IMG_DATA及旁帶資料SIDE_DATA傳輸至系統晶片20。在一些示例性實施例中,影像感測器10可將影像資料IMG_DATA及旁帶資料SIDE_DATA傳輸至照相機串列介面200,且為此可根據各種策略以各種形式將影像資料IMG_DATA及旁帶資料SIDE_DATA串列化。可經由照相機串列介面200將串列化的影像資料IMG_DATA及旁帶資料SIDE_DATA傳輸至影像處理器210。在一些示例性實施例中,影像感測器10可包括處理電路系統,諸如包括邏輯電路的硬體;諸如執行軟體的處理器等硬體/軟體組合;或其組合。在一些示例性實施例中,更具體而言,所述處理電路系統可包括但不限於中央處理單元(central processing unit,CPU)、算術邏輯單位(arithmetic logic unit,ALU)、數位訊號處理器、微電腦、現場可程式化閘陣列(field programmable gate array,FPGA)、系統晶片(SoC)、可程式化邏輯單元、微處理器、特殊應用積體電路(application-specific integrated circuit,ASIC)等。在一些示例性實施例中,影像感測器10可包括:記憶體,儲存指令程式;及處理電路系統,被配置以執行所述指令程式以實施影像感測器10的元件中的一者或多者,所述元件包括本文中所述的影像感測器10的一個或多個模組。
系統晶片20可包括照相機串列介面200、影像處理器210、中央處理單元(CPU)220、緩衝器230、輸入/輸出(input/output,I/O)介面240、暫存器250等,但此僅是例子,且本發明的範疇並不僅限於此。在一些示例性實施例中,系統晶片20可包括處理電路系統,諸如包括邏輯電路的硬體;諸如執行軟體的處理器等硬體/軟體組合;或其組合。在一些示例性實施例中,更具體而言,處理電路系統可包括但不限於中央處理單元(CPU)、算術邏輯單位(ALU)、數位訊號處理器、微電腦、現場可程式化閘陣列(FPGA)、可程式化邏輯單元、微處理器、特殊應用積體電路(ASIC)等。在一些示例性實施例中,系統晶片20可包括:記憶體,儲存指令程式;及處理電路系統,被配置以執行所述指令程式以實施系統晶片20的元件中的一者或多者,所述元件包括照相機串列介面200、影像處理器210、中央處理單元220、緩衝器230、輸入/輸出介面240、暫存器250等中的一者或多者。
照相機串列介面200支援影像感測器10與影像處理器210之間的資料移動。特定而言,當影像感測器10及影像處理器210獨立地運作而非被實施為單個晶片時,將照相機串列介面200設置於影像感測器10與影像處理器210之間以支援資料傳送。
影像處理器210處理自影像感測器10提供的影像資料IMG_DATA。在一些示例性實施例中,影像處理器210可對影像資料IMG_DATA實行至少一種計算以對影像資料IMG_DATA進行編碼。在此,所述至少一種計算可包括拜耳變換(Bayer transformation)、去馬賽克(demosaicing)、雜訊減少、影像銳化、影像穩定化、色彩空間轉換、壓縮等,但本發明的範疇並不僅限於此。影像處理器210(亦可被稱為「影像處理電路系統」)可包括處理電路系統,諸如包括邏輯電路的硬體;諸如執行軟體的處理器等硬體/軟體組合;或其組合。在一些示例性實施例中,更具體而言,所述處理電路系統可包括但不限於中央處理單元(CPU)、算術邏輯單位(ALU)、數位訊號處理器、微電腦、現場可程式化閘陣列(FPGA)、系統晶片(SoC)、可程式化邏輯單元、微處理器、特殊應用積體電路(ASIC)等。在一些示例性實施例中,影像處理器210可包括:記憶體,儲存指令程式;及處理電路系統,被配置以執行所述指令程式以實施影像處理器210的元件中的一者或多者,所述元件包括本文中所述的影像處理器210的模組中的一者或多者。
中央處理單元220通常可控制系統晶片20。具體而言,中央處理單元220可執行包含指令的程式,所述指令不僅用於操作影像處理器210而且用於操作系統晶片20的數個元件。
緩衝器230提供可暫時地儲存資料的空間。在一些示例性實施例中,影像處理器210可在需要時將影像資料暫時地儲存於緩衝器230中。另外,可將由中央處理單元220執行的程式載入於緩衝器230上,且可將由所述程式使用的資料儲存於緩衝器230中。在一些示例性實施例中,緩衝器230可被實施為靜態隨機存取記憶體(Static Random Access Memory,SRAM)、動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)等,但本發明的範疇並不僅限於此,且所述緩衝器亦可被實施為非揮發性記憶體。緩衝器230可包括亦被稱為儲存裝置的記憶體。
輸入/輸出介面240實現與位於系統晶片20外的外部裝置的資料交換。在一些示例性實施例中,經由輸入/輸出介面240將影像處理器210所處理的影像資料傳送至顯示裝置,且可在視覺上將所述影像資料表達給使用者。輸入/輸出介面240(亦可被稱為「輸入/輸出介面電路系統」)可包括處理電路系統,諸如包括邏輯電路的硬體;諸如執行軟體的處理器等硬體/軟體組合;或其組合。在一些示例性實施例中,更具體而言,所述處理電路系統可包括但不限於中央處理單元(CPU)、算術邏輯單位(ALU)、數位訊號處理器、微電腦、現場可程式化閘陣列(FPGA)、系統晶片(SoC)、可程式化邏輯單元、微處理器、特殊應用積體電路(ASIC)等。
暫存器250亦提供可儲存資料的空間。在本發明的一些示例性實施例中,緩衝器230及暫存器250儲存預先確定的與影像感測器10的操作模式相關聯的配置資料CFG_DATA,且可將配置資料CFG_DATA提供至配置資料提供模組216。稍後將參考圖4闡述配置資料提供模組216的細節。暫存器250(亦可被稱為「暫存器電路系統」)可包括處理電路系統,諸如包括邏輯電路的硬體;諸如執行軟體的處理器等硬體/軟體組合;或其組合。在一些示例性實施例中,更具體而言,處理電路系統可包括但不限於中央處理單元(CPU)、算術邏輯單位(ALU)、數位訊號處理器、微電腦、現場可程式化閘陣列(FPGA)、系統晶片(SoC)、可程式化邏輯單元、微處理器、特殊應用積體電路(ASIC)等。
內部匯流排290用作使得系統晶片20中的元件(亦即,照相機串列介面200、影像處理器210、中央處理單元(CPU)220、緩衝器230、輸入/輸出介面240、暫存器250等)可互相傳輸及接收資料的路徑。在此,在一些示例性實施例中,內部匯流排290可被實施為遵循先進微控制器匯流排架構(Advanced Microcontroller Bus Architecture,AMBA)的先進可擴展介面(Advanced eXtensible Interface,AXI),但本發明的範疇並不僅限於此。
如圖1中所說明,當影像感測器10與影像處理器210獨立地運作時,影像處理器210需要識別影像感測器10的操作模式。此乃因,在一些示例性實施例中,當影像感測器10產生高速拍攝的影像資料並將所述高速拍攝的影像資料傳輸至影像處理器210時,若影像處理器210未能識別到影像感測器10在高速攝取模式中運作的事實,則輸出影像可出現失真或延遲。
因此,可考慮以下兩種方法:藉由系統晶片20的中央處理單元220識別影像感測器10的操作模式並將所述操作模式通知給影像處理器210;及將影像感測器10所產生的影像資料暫時地儲存於連接至影像處理器210的外部記憶體中,且然後將所述影像資料傳輸至影像處理器210。然而,該些方法存在除將影像資料自影像感測器10傳送至影像處理器210的時間之外亦相當需要額外的時間來獲取關於影像感測器10的操作模式的資訊的問題。
為解決此問題,根據本發明的各種實施例的影像處理器210可在不依靠其他裝置的情況下直接識別影像感測器10的操作模式且縮短延遲時間。將參考圖2及圖3對此加以詳細闡述。
圖2是闡釋圖1中所說明的影像處理系統的影像感測器的方塊圖。
參考圖2,影像處理系統1的影像感測器10可包括感測模組100、旁帶資料產生模組110及控制模組120。應理解,影像感測器10可包括記憶體,儲存指令程式;及處理電路系統,被配置以執行所述指令程式以實施感測模組100、旁帶資料產生模組110及控制模組120。
感測模組100使用鏡頭5來攝取對象以產生影像資料IMG_DATA,並經由系統晶片的照相機串列介面200將影像資料IMG_DATA傳送至影像處理器210。
旁帶資料產生模組110產生關於與圖1中所闡釋的相同的影像資料IMG_DATA的額外資訊,並經由系統晶片20的照相機串列介面200將所述額外資訊傳送至影像處理器210。
控制模組120可自系統晶片20接收控制資料CTL_DATA並相應地控制影像感測器10。在一些示例性實施例中,在接收到使用者的命令之後,系統晶片20將使影像感測器10以特定的攝取速率攝取對象的控制資料CTL_DATA傳輸至控制模組120,且控制模組120可相應地操作影像感測器10。
隨後,圖3是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖3,影像處理系統1的影像處理器210可包括影像處理模組212、模式偵測模組214及配置資料提供模組216。應理解,影像處理器210可包括記憶體,儲存指令程式;及處理電路系統,被配置以執行所述指令程式以實施影像處理模組212、模式偵測模組214及配置資料提供模組216。
將首先闡述模式偵測模組214。模式偵測模組214可經由照相機串列介面200自影像感測器10接收輸入資料INPUT_DATA,並基於輸入資料INPUT_DATA來偵測影像感測器10的操作模式。
在此,輸入資料INPUT_DATA可包含影像資料IMG_DATA及旁帶資料SIDE_DATA,旁帶資料SIDE_DATA包含關於影像資料IMG_DATA(「與影像資料IMG_DATA相關聯」)的額外資訊。
模式偵測模組214可首先基於輸入資料INPUT_DATA中的影像資料IMG_DATA來偵測影像感測器10的操作模式。在一些示例性實施例中,當傳輸至影像資料IMG_DATA的影像圖框的每單位元時間的頻率高時,可識別出影像感測器10的操作模式是高速攝取模式。相反,當傳輸至影像資料IMG_DATA的影像圖框的每單位元時間的頻率低時,可識別出影像感測器10的操作模式是低速攝取模式。
另一方面,模式偵測模組214亦可基於輸入資料INPUT_DATA中的旁帶資料SIDE_DATA來偵測影像感測器10的操作模式。在一些示例性實施例中,影像感測器10可經由旁帶資料產生模組110將明確表示其操作模式的資料包含於旁帶資料SIDE_DATA中。然後,模式偵測模組214可基於所述資料的值來偵測影像感測器10的操作模式。
舉又一例子,在一些示例性實施例中,影像感測器10可經由旁帶資料產生模組110將表示攝取環境的資料(在一些示例性實施例中,關於攝取時的周圍亮度的資料)包含於旁帶資料SIDE_DATA中。然後,模式偵測模組214可基於所述資料的值來類推影像感測器10的操作模式。
影像處理模組212可根據所偵測到的操作模式來處理輸入資料INPUT_DATA中的影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。
具體而言,如上文所述,在基於輸入資料INPUT_DATA的影像資料IMG_DATA及旁帶資料SIDE_DATA中的至少一者而識別出影像感測器10的操作模式之後,影像處理模組212可根據所偵測到的操作模式來處理輸入資料INPUT_DATA以產生正常的輸出影像。
在一些示例性實施例中,在識別出影像感測器10的操作模式是高速攝取模式之後,影像處理模組212可改變影像處理模組212的設定以高速執行影像處理。另一情況是,在識別出影像感測器10的操作模式是低速攝取模式之後,可改變影像處理模組212的設定以低速執行影像處理。舉又一例子,在影像處理模組212識別出影像感測器10的攝取環境是亮度極低的夜間攝取環境之後,可改變影像處理模組212的設定以另外執行雜訊移除處理。舉又一例子,影像處理模組212識別出影像感測器10的操作模式是為得到預覽影像的比例縮小攝取模式,並對具有低解析度的影像實行處理。然後,若影像感測器10的操作模式切換(shift)至用於實際攝取而非預覽影像的操作模式,則影像處理模組212識別所述切換且可在攝取模式中對具有實際解析度設定的影像實行處理。
配置資料提供模組216可將預先確定的與影像感測器10的操作模式相關聯的配置資料CFG_DATA儲存於暫存器250或緩衝器230中,讀取暫存器250或緩衝器230中所儲存的配置資料CFG_DATA,並將其提供至影像處理模組212。配置資料CFG_DATA包含可改變上文所述的影像處理模組212內的影像處理核心的操作的資料。因此,影像處理模組212可根據所偵測到的影像感測器10的操作模式及配置資料CFG_DATA兩者來處理輸入資料INPUT_DATA中的影像資料IMG_DATA。在本發明的一些示例性實施例中,當配置資料CFG_DATA儲存於緩衝器230中時,暫存器250儲存關於配置資料CFG_DATA在緩衝器230的記憶區中的儲存位置的位址資訊,且配置資料提供模組216可使用前述位址資訊來讀取緩衝器230中所儲存的配置資料CFG_DATA。然而,本發明的範疇並不僅限於此。
在一些示例性實施例中,暫存器250或緩衝器230可儲存可在影像感測器10的操作模式是高速攝取模式時應用至影像處理模組212的配置資料CFG_DATA1 216a。此外,暫存器250或緩衝器230可儲存可在影像感測器10的操作模式是低速攝取模式時應用至影像處理模組的配置資料CFG_DATA2 216b。此外,當影像感測器10的攝取環境是夜間攝取環境時,暫存器250或緩衝器230中更可包含可應用於影像處理模組212的配置資料。當然,可實施將此配置資料CFG_DATA的一部分儲存於緩衝器230中且此配置資料CFG_DATA的另一部分儲存於暫存器250中的方式。
若模式偵測模組214將具有根據所偵測到的操作模式而恰當設定的值的選擇訊號SEL輸出至配置資料提供模組216,則配置資料提供模組216可將基於選擇訊號SEL所選擇的配置資料CFG_DATA提供至影像處理模組212以改變影像處理模組212的操作。
根據一些示例性實施例,影像處理器210可直接實行以下操作:經由模式偵測模組214接收自影像感測器10提供的輸入資料INPUT_DATA;及依據此輸入資料INPUT_DATA(例如,並不涉及到中央處理單元220)來偵測影像感測器10的操作模式。此外,影像處理器210亦可根據所偵測到的操作模式(例如,不涉及到中央處理單元220)對影像處理模組212的操作直接實行恰當改變。因此,即使當影像感測器10與影像處理器210獨立地運作時,仍可藉由減少或最小化延遲時間來防止、減小或最小化輸出影像的失真及延遲,藉此藉由提高由影像處理系統1產生的影像的品質來提高影像處理系統1的效能。
圖4是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖4,影像處理器210的影像處理模組212可包括第一級的第一影像處理核心2120及第二級的第二影像處理核心2122。重申,影像處理器210的處理電路系統可執行指令程式以實施影像處理模組212,且因此可實施第一級的第一影像處理核心2120及第二級的第二影像處理核心2122。
模式偵測模組214可輸出選擇訊號SEL,當在影像處理模組212處接收到所述選擇訊號SEL時會使得影像處理模組212選擇第一影像處理核心2120、第二影像處理核心2122或者第一影像處理核心2120及第二影像處理核心2122兩者作為所選擇的影像處理核心,且影像處理模組212可使用所選擇的影像處理核心來處理影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。
在一些示例性實施例中,當選擇訊號SEL使得影像處理模組212選擇第一影像處理核心2120及第二影像處理核心2122兩者時,可經由多個級來處理影像資料IMG_DATA。在一些示例性實施例中,當影像處理模組212識別出影像感測器10的攝取環境是亮度極低的夜間攝取環境時,第一影像處理核心2120可實行色彩校正,且第二影像處理核心2122可實行雜訊移除。
在一些示例性實施例中,當選擇訊號SEL使得影像處理模組212僅選擇第一影像處理核心2120及第二影像處理核心2122中的一者時,可藉由繞過處理影像資料IMG_DATA不需要的影像處理核心來進一步縮短延遲時間,且可例如藉由減少功耗、提高操作效率、其一些組合等來節約資源,藉此提高影像處理系統1的操作效能及運作效率。
圖5是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖5,影像處理器210的影像處理模組212可包括第一級的第一影像處理核心2120及第二級的第二影像處理核心2122,且第一影像處理核心2120及第二影像處理核心2122可以是可配置影像處理核心(亦即,第一影像處理核心2120及第二影像處理核心2122中的每一影像處理核心可以是單獨的可配置影像處理核心)。
模式偵測模組214可輸出選擇訊號SEL以使得影像處理模組212選擇第一影像處理核心2120、第二影像處理核心2122或者第一影像處理核心2120及第二影像處理核心2122兩者作為所選擇的影像處理核心,且影像處理模組212可使用所選擇的影像處理核心來處理影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。
此外,配置資料提供模組216可將基於選擇訊號SEL所選擇的配置資料CFG_DATA提供至第一影像處理核心2120、第二影像處理核心2122或第一影像處理核心2120及第二影像處理核心2122兩者。重申,可使得配置資料提供模組216基於選擇訊號SEL來在配置資料的多個實例(例如,CFG_DATA1 216a及CFG_DATA2 216b)中選擇配置資料CFG_DATA的特定所選擇實例,並將所述特定所選擇實例提供至第一影像處理核心2120、第二影像處理核心2122或第一影像處理核心2120及第二影像處理核心2122兩者。
在一些示例性實施例中,選擇訊號SEL可被實施成包含用於選擇影像處理核心的資料及用於選擇配置資料CFG_DATA的資料全部。舉一簡單例子,選擇訊號SEL包含多個位元,使用所述多個位元中的一些位元表達用於選擇影像處理核心的資料,且可使用所述多個位元中的一些其他位元來表達用於選擇配置資料CFG_DATA的資料,但本發明的範疇並不僅限於此。
圖6是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖6,影像處理器210的影像處理模組212可包括經由引導器2124及引導器2128並聯耦合的多個處理路徑2126a、2126b及2126c,且所述多個處理路徑2126a、2126b及2126c可各自包括一個或多個影像處理核心。重申,影像處理器210的處理電路系統可執行指令程式以實施影像處理模組212,且因此可實施各自包含一個或多個影像處理核心的實施方案的多個處理路徑2126a、2126b及2126c。處理路徑2126a、2126b及2126c中的任一者中所包括的影像處理核心可以是可配置影像處理核心。
模式偵測模組214可輸出選擇訊號SEL以使得影像處理模組212選擇所述多個處理路徑2126a、2126b及2126c中的一個處理路徑作為所選擇的處理路徑,且影像處理模組212可藉由所選擇的處理路徑來處理影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。應理解,如本文中所述,選擇所述多個處理路徑2126a、2126b及2126c中的一個處理路徑可包括操控引導器2124及引導器2128中的一者或多者。因此,影像處理器210可藉由在所述多個處理路徑2126a、2126b及2126c中所選擇的處理路徑來處理輸入資料INPUT_DATA中的影像資料IMG_DATA,其中所選擇的處理路徑是根據模式偵測模組214所偵測到的操作模式而選擇。
可基於所偵測到的操作模式輸出選擇訊號SEL,以使得輸出選擇訊號SEL來使得根據所述所偵測到的操作模式選擇所選擇的處理路徑。在一些示例性實施例中,當選擇訊號SEL使得選擇處理路徑2126a時,則在一些示例性實施例中,可高速地處理影像資料IMG_DATA,且當選擇訊號SEL使得選擇處理路徑2126b時,則在一些示例性實施例中,可低速地處理影像資料IMG_DATA。舉又一例子,當選擇訊號SEL使得選擇處理路徑2126a時,則在一些示例性實施例中,可將影像資料IMG_DATA處理成具有高解析度,且當選擇訊號SEL使得選擇處理路徑2126b時,則在一些示例性實施例中,可將影像資料IMG_DATA處理成具有低解析度。舉又一例子,當選擇訊號SEL使得選擇處理路徑2126a時,則在一些示例性實施例中,可處理按比例縮小的影像資料IMG_DATA,且當選擇訊號SEL使得選擇處理路徑2126a時,則在一些示例性實施例中,可處理具有實際解析度的影像資料IMG_DATA。
圖7是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖7,影像處理器210的影像處理模組212可包括多個處理路徑2126a、2126b及2126c,所述多個處理路徑2126a、2126b及2126c中的每一者可包括一個或多個影像處理核心,且所選擇的處理路徑中所包括的影像處理核心可以是可配置影像處理核心。重申,影像處理器210的處理電路系統可執行指令程式以實施影像處理模組212,且因此可實施各自包含一個或多個影像處理核心的實施方案的多個處理路徑2126a、2126b及2126c,且所選擇的處理路徑中所包括的影像處理核心可以是可配置影像處理核心。
模式偵測模組214可輸出選擇訊號SEL以使得影像處理模組212選擇多個處理路徑2126a、2126b及2126c中的一個處理路徑作為所選擇的處理路徑,且影像處理模組212可藉由所選擇的處理路徑來處理影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。
此外,配置資料提供模組216可將基於選擇訊號SEL所選擇的配置資料CFG_DATA提供至所選擇的處理路徑中所包括的影像處理核心。
在一些示例性實施例中,選擇訊號SEL可被實施成包含用於在所述多個處理路徑2126a、2126b及2126c當中選擇一個處理路徑的資料及用於選擇配置資料CFG_DATA的資料全部。舉一簡單例子,選擇訊號SEL包含多個位元,且使用所述多個位元中的一些位元來表達用於選擇所述多個處理路徑2126a、2126b及2126c中的一個處理路徑的資料,且可使用所述多個位元中的一些其他位元來表達用於選擇配置資料CFG_DATA的資料,但本發明的範疇並不僅限於此。
圖8是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖8,影像處理器210更可包括位於影像處理模組212外(「位於影像處理模組212外部」)的外部影像處理核心2121。重申,影像處理器210的處理電路系統可執行指令程式以實施影像處理模組212,此舉可包括實施各自包含一個或多個影像處理核心的實施方案的多個處理路徑2126a、2126b及2126c,及實施與所述多個處理路徑2126a、2126b及2126c分離的外部影像處理核心2121。影像處理模組212可經由外部影像處理核心2121及所選擇的處理路徑來處理影像資料IMG_DATA,並輸出經處理的影像資料OUT_DATA。
亦即,在此,外部影像處理核心2121可以是用於處理影像資料IMG_DATA的第一級,且所選擇的處理路徑可以是用於處理影像資料IMG_DATA的第二級。因此,影像處理器210可藉由與所述多個處理路徑2126a至2126c分離的外部影像處理核心2121且藉由在所述多個處理路徑2126a至2126c中所選擇的處理路徑來處理影像資料IMG_DATA。
當然,此示例性實施例僅是例子,外部影像處理核心2121可排列於影像處理模組212的後端側處,以使得所選擇的處理路徑可以是用於處理影像資料IMG_DATA的第一級,且外部影像處理核心2121可以是處理影像資料IMG_DATA的第二級。
圖9是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
參考圖9,影像處理器210的影像處理模組212更可包括位於影像處理模組212外的影像處理核心2120。重申,影像處理器210的處理電路系統可執行指令程式以實施影像處理模組212,此舉可包括實施各自包含一個或多個影像處理核心的實施方案的多個處理路徑2126a、2126b及2126c及實施與所述多個處理路徑2126a、2126b及2126c分離的外部影像處理核心2121。影像處理模組212可經由外部影像處理核心2121及所選擇的處理路徑來處理影像資料IMG_DATA,且外部影像處理核心2121可以是可配置影像處理核心,並輸出經處理的影像資料OUT_DATA。
此外,配置資料提供模組216可將基於選擇訊號SEL所選擇的配置資料CFG_DATA提供至外部影像處理核心2121、在所述多個處理路徑2126a、2126b及2126c中所選擇的處理路徑中所包括的影像處理核心,或提供至外部影像處理核心2121及在所述多個處理路徑2126a、2126b及2126c中所選擇的處理路徑中所包括的影像處理核心兩者。
在一些示例性實施例中,選擇訊號SEL可被實施成包括用於在所述多個處理路徑2126a、2126b及2126c當中選擇一個處理路徑的資料以及用於選擇配置資料CFG_DATA的資料全部。舉一簡單例子,選擇訊號SEL包含多個位元,且可使用所述多個位元中的一些位元來表達用於在所述多個處理路徑2126a、2126b及2126c中選擇一個處理路徑的資料,且可使用多個位元中的一些其他位元來表達用於選擇配置資料CFG_DATA的資料,但本發明的範疇並不僅限於此。
圖10是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。圖11是闡釋圖10中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。
首先參考圖10,根據本發明的一些示例性實施例的影像處理系統2包括第一影像感測器11、第二影像感測器12及系統晶片20。
第一影像感測器11可藉由自系統晶片20接收第一控制資料CTL_DATA1而運作,且第二影像感測器12可藉由自系統晶片20接收第二控制資料CTL_DATA2而運作。
第一影像感測器11使用鏡頭5來攝取對象,並產生第一影像資料IMG_DATA1及第一旁帶資料SIDE_DATA1。第二影像感測器12使用鏡頭5來攝取對象,並產生第二影像資料IMG_DATA2及第二旁帶資料SIDE_DATA2。在此,第一影像感測器11的攝取環境及攝取模式可不同於第二影像感測器12的攝取環境及攝取模式。
第一影像感測器11可經由第一照相機串列介面201將第一影像資料IMG_DATA1及第一旁帶資料SIDE_DATA1傳輸至影像處理器210,且第二影像感測器12可經由第二照相機串列介面202將第二影像資料IMG_DATA2及第二旁帶資料SIDE_DATA2傳輸至影像處理器210。
接下來,參考圖11,影像處理器210可包括影像處理模組212、第一模式偵測模組214_1、第二模式偵測模組215及配置資料提供模組216。應理解,影像處理器210可包括:記憶體,儲存指令程式;及處理電路系統,被配置以執行指令程式以實施影像處理模組212、第一模式偵測模組214_1、第二模式偵測模組215及配置資料提供模組216。
第一模式偵測模組214_1可自第一影像感測器11接收第一輸入資料INPUT_DATA1,並基於所述第一輸入資料INPUT_DATA1來偵測第一影像感測器11的第一操作模式。
第二模式偵測模組215可自第二影像感測器12接收第二輸入資料INPUT_DATA2,並基於所述第二輸入資料INPUT_DATA2來偵測第二影像感測器12的第二操作模式。
影像處理模組212可根據所偵測到的第一操作模式來處理第一輸入資料INPUT_DATA1中所包含的第一影像資料,並輸出經處理的影像資料OUT_DATA,且根據所偵測到的第二操作模式來處理第二輸入資料INPUT_DATA2中所包含的第二影像資料,並輸出經處理的影像資料OUT_DATA。
暫存器250或緩衝器230可儲存預先確定的與第一操作模式相關聯的第一配置資料以及預先確定的與第二操作模式相關聯的第二配置資料,且配置資料提供模組216將第一配置資料及第二配置資料提供至影像處理模組212。
如在圖4及圖5的實施例中,影像處理模組212可包括第一級的第一影像處理核心2120及第二級的第二影像處理核心2122。
在一些示例性實施例中,第一模式偵測模組214_1及第二模式偵測模組215可輸出第一選擇訊號SEL1及第二選擇訊號SEL2以使得選擇第一影像處理核心2120及第二影像處理核心2122中的至少一個影像處理核心作為所選擇的至少一個影像處理核心,且影像處理模組212可使用所選擇的至少一個影像處理核心來處理第一影像資料及第二影像資料。
在一些示例性實施例中,第一影像處理核心2120及第二影像處理核心2122是可配置影像處理核心,且配置資料提供模組216可將各自依據第一選擇訊號SEL1及第二選擇訊號SEL2選擇的第一配置資料及第二配置資料提供至第一影像處理核心2120及第二影像處理核心2122中的至少一者。重申,配置資料提供模組216可基於第一選擇訊號SEL1及第二選擇訊號SEL2將第一配置資料提供至第一影像處理核心2120及第二影像處理核心2122中的至少一個第一影像處理核心,且配置資料提供模組216更可基於第一選擇訊號SEL1及第二選擇訊號SEL2將第二配置資料提供至第一影像處理核心2120及第二影像處理核心2122中的至少一個第二影像處理核心。所述至少一個第一影像處理核心可與所述至少一個第二影像處理核心相同或不同。
如在圖6及圖7的實施例中,影像處理模組212可包括多個處理路徑,且所述多個處理路徑中的每一者可包括一個或多個影像處理核心。
在一些示例性實施例中,第一模式偵測模組214_1及第二模式偵測模組215輸出第一選擇訊號SEL1及第二選擇訊號SEL2以用於各自在所述多個處理路徑中選擇一個處理路徑,且影像處理模組212可經由所選擇的處理路徑來處理第一影像資料及第二影像資料。重申,影像處理器210可輸出第一選擇訊號SEL1以使得在所述多個處理路徑中選擇第一所選擇的處理路徑,且影像處理器210可輸出第二選擇訊號SEL2以使得在所述多個處理路徑中選擇第二處理路徑,其中第一處理路徑及第二處理路徑可與所述多個處理路徑中的處理路徑相同或不同。
在一些示例性實施例中,所選擇的處理路徑中所包括的影像處理核心是可配置影像處理核心,且配置資料提供模組216可將第一配置資料及第二配置資料(各自分別是基於第一選擇訊號SEL1及第二選擇訊號SEL2而被選擇)提供至所選擇的處理路徑中所包括的影像處理核心,以使得影像處理模組212可根據第一操作模式及第一配置資料來處理第一輸入資料INPUT_DATA1中的第一影像資料IMG_DATA1,且更可根據第二操作模式及第二配置資料來處理第二輸入資料INPUT_DATA2中的第二影像資料IMG_DATA2。在一些示例性實施例中,影像處理器210可輸出第一選擇訊號SEL1以使得在所述多個處理路徑中選擇第一處理路徑,其中每一處理路徑包括一個或多個影像處理核心;輸出第二選擇訊號SEL2以使得在所述多個處理路徑中選擇第二處理路徑;基於所述第一處理路徑來處理第一影像資料IMG_DATA1;且基於所述第二處理路徑來處理第二影像資料IMG_DATA2。第一處理路徑與第二處理路徑可以是所述多個處理路徑中的同一處理路徑或不同的處理路徑。在一些示例性實施例中,影像處理器可輸出第一選擇訊號SEL1及第二選擇訊號SEL2以使得在所述多個處理路徑中選擇單個所選擇的處理路徑,且進一步基於所述單個所選擇的處理路徑來處理第一影像資料IMG_DATA1及第二影像資料IMG_DATA2。所選擇的處理路徑中所包括的影像處理核心可以是可配置影像處理核心。影像處理器210可將基於第一選擇訊號SEL1所選擇的第一配置資料提供至所選擇的處理路徑中所包括的影像處理核心,且進一步將基於第二選擇訊號SEL2所選擇的第二配置資料提供至同一所選擇的處理路徑中所包括的同一影像處理核心。
圖12是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。
參考圖12,根據本發明的一些示例性實施例的影像處理系統3可被實施為計算裝置,其包括目前所述的影像感測器10、系統晶片20、記憶體30、儲存器件40及顯示器50。影像感測器10、系統晶片20、記憶體30、儲存器件40及顯示器50彼此可經由匯流排90傳輸及接收資料。
圖13是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。可藉由參考示例性實施例中的任一者所述的影像處理系統1中的一些或全部來實施圖13中所說明的影像處理方法。
參考圖13,根據本發明的一些示例性實施例的影像處理方法包括自影像感測器接收與輸入資料INPUT_DATA對應的資料訊號,其中接收所述資料訊號可包括自影像感測器接收輸入資料INPUT_DATA(S1301)。
此外,以上方法包括基於資料訊號(例如,基於輸入資料INPUT_DATA)來偵測影像感測器10的操作模式(S1303)。
另外,以上方法包括基於所偵測到的操作模式來處理影像資料IMG_DATA(S1305)。
在此,步驟(S1305)可包括根據所偵測到的操作模式使用第一影像處理核心2120及第二影像處理核心2122中的至少一個影像處理核心來進行處理。此外,第一影像處理核心2120及第二影像處理核心2122可以是可配置影像處理核心,且步驟(S1305)更可包括將配置資料CFG_DATA提供至第一影像處理核心2120及第二影像處理核心2122中的至少一者。
另外,以上方法包括輸出所處理的影像資料IMG_DATA(S1307)。
圖14是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。可參考示例性實施例中的任一者所述的影像處理系統1中的一些或全部來實施圖14中所說明的影像處理方法。
參考圖14,根據本發明的一些示例性實施例的影像處理方法包括自影像感測器10接收與輸入資料INPUT_DATA對應的資料訊號,其中接收所述資料訊號可包括自影像感測器接收輸入資料INPUT_DATA(S1401)。
另外,前述方法包括基於所述資料訊號(例如,基於輸入資料INPUT_DATA)來偵測影像感測器10的操作模式(S1403)。
此外,前述方法包括使用預先確定的與影像感測器10的操作模式相關聯的配置資料CFG_DATA來處理輸入資料INPUT_DATA中的影像資料IMG_DATA(S1405)。在此,步驟(S1405)可包括根據所偵測到的操作模式使用第一影像處理核心2120及第二影像處理核心2122中的至少一個影像處理核心來進行處理。此外,第一影像處理核心2120及第二影像處理核心2122可以是可配置影像處理核心。步驟(S1405)可包括將配置資料CFG_DATA提供至第一影像處理核心2120、第二影像處理核心2122或提供至第一影像處理核心2120及第二影像處理核心2122兩者。步驟(S1405)可包括將配置資料CFG_DATA提供至第一影像處理核心2120及第二影像處理核心2122中的至少一者。
另外,前述方法包括輸出所處理的影像資料IMG_DATA(S1407)。
圖15是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。可參考示例性實施例中的任一者所述的影像處理系統1中的一些或全部來實施圖15中所說明的影像處理方法。
參考圖15,根據本發明的一些示例性實施例的影像處理方法包括自影像感測器接收與輸入資料INPUT_DATA對應的資料訊號,其中接收所述資料訊號可包括自影像感測器接收輸入資料INPUT_DATA(S1501)。
此外,前述方法包括基於所述資料訊號來偵測影像感測器10的操作模式,其中所述資料訊號可包括自影像感測器接收輸入資料INPUT_DATA(S1503)。
另外,前述方法包括在所述多個處理路徑(各自包括一個或多個影像處理核心)中選擇一個處理路徑,且藉由所選擇的處理路徑來處理影像資料IMG_DATA(S1505)。
在此,所選擇的處理路徑中所包括的影像處理核心可以是可配置影像處理核心。步驟(S1505)可包括將配置資料CFG_DATA提供至所選擇的處理路徑中所包括的影像處理核心。
在本發明的一些示例性實施例中,步驟S1505更可包括藉由所選擇的處理路徑及位於所選擇的處理路徑外的影像處理核心2120(例如,外部影像處理核心、與所選擇的路徑分離的影像處理核心、其一些組合等)兩者來處理影像資料IMG_DATA。在一些示例性實施例中,位於外部的影像處理核心2120是可配置影像處理核心。步驟S1505更可包括將配置資料CFG_DATA提供至位於所選擇的處理路徑外的外部影像處理核心2121、所選擇的處理路徑中所包括的影像處理核心、或者所選擇的處理路徑中所包括的影像處理核心及位於所選擇的處理路徑外的外部影像處理核心2121兩者。
另外,前述方法包括輸出所處理的影像資料IMG_DATA(S1507)。
根據上述本發明的各種實施例,影像處理器210直接實行以下操作:經由模式偵測模組214接收自影像感測器10提供的輸入資料INPUT_DATA,且依據此輸入資料INPUT_DATA偵測影像感測器10的操作模式(例如,不涉及到中央處理單元220)。此外,影像處理器210直接實行根據所偵測到的操作模式來恰當地改變影像處理模組212的運作的操作(例如,涉及到中央處理單元220)。因此,即使當影像感測器10及影像處理器210獨立地運作時,仍可藉由減小或最小化延遲時間來防止、減小或最小化輸出影像的失真及延遲,藉此藉由提高影像處理系統1所產生的影像的品質來提高影像處理系統1的效能。
總結所述詳細說明,熟習此項技術者將認識到可在不實質上背離本發明的原理的情況下對本文中所述的示例性實施例做出諸多變化及潤飾。因此,本發明的示例性實施例僅在一般意義及說明意義上使用,並不出於限制目的。
1、2、3:影像處理系統 5:鏡頭 10:影像感測器 11:第一影像感測器 12:第二影像感測器 20:系統晶片 30:記憶體 40:儲存器件 50:顯示器 90:匯流排 100:感測模組 110:旁帶資料產生模組 120:控制模組 200:照相機串列介面 201:第一照相機串列介面 202:第二照相機串列介面 210:影像處理器 212:影像處理模組 214:模式偵測模組 214_1:第一模式偵測模組 215:第二模式偵測模組 216:配置資料提供模組 216a、216b、CFG_DATA、CFG_DATA1、CFG_DATA2:配置資料 220:中央處理單元 230:緩衝器 240:輸入/輸出介面 250:暫存器 290:內部匯流排 2120:第一影像處理核心/影像處理核心 2121:外部影像處理核心 2122:第二影像處理核心 2124、2128:引導器 2126a、2126b、2126c:處理路徑 CTL_DATA:控制資料 CTL_DATA1:第一控制資料 CTL_DATA2:第二控制資料 IMG_DATA:影像資料 IMG_DATA1:第一影像資料 IMG_DATA2:第二影像資料 INPUT_DATA:輸入資料 INPUT_DATA1:第一輸入資料 INPUT_DATA2:第二輸入資料 OUT_DATA:經處理的影像資料 SEL:選擇訊號 SEL1:第一選擇訊號 SEL2:第二選擇訊號 SIDE_DATA:旁帶資料 SIDE_DATA1:第一旁帶資料 SIDE_DATA2:第二旁帶資料 S1301、S1303、S1305、S1307、S1401、S1403、S1405、S1407、S1501、S1503、S1505、S1507:步驟
參考附圖詳細地闡述本發明的示例性實施例,本發明的以上及其他態樣及特徵將變得更顯而易見,在附圖中: 圖1是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。 圖2是闡釋圖1中所說明的影像處理系統的影像感測器的方塊圖。 圖3是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖4是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖5是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖6是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖7是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖8是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖9是闡釋圖1中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖10是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。 圖11是闡釋圖10中所說明的影像處理系統的影像處理器的一些示例性實施例的方塊圖。 圖12是闡釋根據本發明的一些示例性實施例的影像處理系統的方塊圖。 圖13是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。 圖14是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。 圖15是闡釋根據本發明的一些示例性實施例的影像處理方法的流程圖。
1:影像處理系統
10:影像感測器
20:系統晶片
200:照相機串列介面
210:影像處理器
220:中央處理單元
230:緩衝器
240:輸入/輸出介面
250:暫存器
290:內部匯流排
CTL_DATA:控制資料
IMG_DATA:影像資料
SIDE_DATA:旁帶資料

Claims (20)

  1. 一種影像處理電路系統,包括: 記憶體,儲存指令程式;以及 處理電路系統,被配置以執行所述指令程式以 自影像感測器接收輸入資料並基於所述輸入資料來偵測所述影像感測器的操作模式, 提供所確定的與所述影像感測器的所述操作模式相關聯的配置資料,且 根據所述操作模式及所述配置資料來處理所述輸入資料中的影像資料。
  2. 如申請專利範圍第1項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以 輸出選擇訊號以使得選擇第一影像處理核心、第二影像處理核心或者所述第一影像處理核心及所述第二影像處理核心兩者作為所選擇的影像處理核心,且 使用所述所選擇的影像處理核心來處理所述影像資料。
  3. 如申請專利範圍第2項所述的影像處理電路系統,其中 所述第一影像處理核心及所述第二影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以基於所述選擇訊號來選擇所述配置資料的特定實例,並將所述配置資料的所述特定實例提供至所述第一影像處理核心、所述第二影像處理核心或者所述第一影像處理核心及所述第二影像處理核心兩者。
  4. 如申請專利範圍第1項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以輸出選擇訊號,所述選擇訊號使得在多個處理路徑中選擇一個處理路徑作為所選擇的處理路徑,所述多個處理路徑中的每一處理路徑包括一個或多個影像處理核心,且 經由所述所選擇的處理路徑來處理所述影像資料。
  5. 如申請專利範圍第4項所述的影像處理電路系統,其中 所述所選擇的處理路徑中所包括的影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以基於所述選擇訊號來選擇所述配置資料的特定實例,並將所述配置資料的所述特定實例提供至所述所選擇的處理路徑中所包括的所述影像處理核心。
  6. 如申請專利範圍第4項所述的影像處理電路系統,其中所述處理電路系統被配置以執行所述指令程式以 藉由與所述多個處理路徑分離的外部影像處理核心及所述所選擇的處理路徑來處理所述影像資料。
  7. 如申請專利範圍第6項所述的影像處理電路系統,其中 所述外部影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以基於所述選擇訊號來選擇所述配置資料的特定實例,並將所述配置資料的所述特定實例提供至所述外部影像處理核心、所述所選擇的處理路徑中所包括的影像處理核心或者所述外部影像處理核心及所述所選擇的處理路徑中所包括的所述影像處理核心兩者。
  8. 如申請專利範圍第1項所述的影像處理電路系統,其中所述輸入資料包含所述影像資料及旁帶資料,所述旁帶資料包含與所述影像資料相關聯的額外資訊。
  9. 如申請專利範圍第1項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以 自第一影像感測器接收第一輸入資料並基於所述第一輸入資料來偵測所述第一影像感測器的第一操作模式, 自第二影像感測器接收第二輸入資料並基於所述第二輸入資料來偵測所述第二影像感測器的第二操作模式, 根據所述第一操作模式來處理所述第一輸入資料中所包含的第一影像資料,且 根據所述第二操作模式來處理所述第二輸入資料中所包含的第二影像資料。
  10. 如申請專利範圍第9項所述的影像處理電路系統,其中所述處理電路系統被配置以執行所述指令程式以 提供所確定的與所述第一操作模式相關聯的第一配置資料,且 提供與所述第二操作模式相關聯的第二配置資料。
  11. 一種影像處理電路系統,包括: 記憶體,儲存指令程式;以及 處理電路系統,被配置以執行所述指令程式以 自影像感測器接收輸入資料並基於所述輸入資料來偵測所述影像感測器的操作模式,且 藉由在多個處理路徑中所選擇的處理路徑來處理所述輸入資料中的影像資料,所述所選擇的處理路徑是根據所述操作模式選擇,每一處理路徑包括一個或多個影像處理核心。
  12. 如申請專利範圍第11項所述的影像處理電路系統,其中所述處理電路系統被配置以執行所述指令程式以輸出選擇訊號,以使得根據所述操作模式來在所述多個處理路徑中選擇所述所選擇的處理路徑。
  13. 如申請專利範圍第12項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以基於所述選擇訊號來選擇並提供所確定的與所述影像感測器的所述操作模式相關聯的配置資料的特定實例, 所述所選擇的處理路徑中所包括的影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以將所述配置資料的所述特定實例提供至所述所選擇的處理路徑中所包括的所述影像處理核心。
  14. 如申請專利範圍第12項所述的影像處理電路系統,其中所述處理電路系統被配置以執行所述指令程式以 藉由與所述多個處理路徑分離的外部影像處理核心及所述所選擇的處理路徑來處理所述影像資料。
  15. 如申請專利範圍第14項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以基於所述選擇訊號來選擇並提供所確定的與所述影像感測器的所述操作模式相關聯的配置資料的特定實例, 所述外部影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以將所述配置資料的所述特定實例提供至所述外部影像處理核心、所述所選擇的處理路徑中所包括的影像處理核心或者所述外部影像處理核心及所述所選擇的處理路徑中所包括的所述影像處理核心兩者。
  16. 一種影像處理電路系統,包括: 記憶體,儲存指令程式;以及 處理電路系統,被配置以執行所述指令程式以 自第一影像感測器接收第一輸入資料並基於所述第一輸入資料來偵測所述第一影像感測器的第一操作模式, 自第二影像感測器接收第二輸入資料並基於所述第二輸入資料來偵測所述第二影像感測器的第二操作模式, 提供所確定的與所述第一操作模式相關聯的第一配置資料, 根據所述第一操作模式及所述第一配置資料來處理所述第一輸入資料中所包含的第一影像資料, 提供所確定的與所述第二操作模式相關聯的第二配置資料,且 根據所述第二操作模式及所述第二配置資料來處理所述第二輸入資料中所包含的第二影像資料。
  17. 如申請專利範圍第16項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以 輸出第一選擇訊號及第二選擇訊號以使得在第一影像處理核心及第二影像處理核心當中選擇至少一個影像處理核心作為所選擇的至少一個影像處理核心,且 使用所述所選擇的至少一個影像處理核心來處理所述第一影像資料及所述第二影像資料。
  18. 如申請專利範圍第17項所述的影像處理電路系統,其中 所述第一影像處理核心及所述第二影像處理核心是可配置影像處理核心, 所述處理電路系統被配置以執行所述指令程式以基於所述第一選擇訊號及所述第二選擇訊號選擇第一配置資料,並將所述第一配置資料提供至所述第一影像處理核心及所述第二影像處理核心中的至少一個第一影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以基於所述第一選擇訊號及所述第二選擇訊號來選擇第二配置資料,並將所述第二配置資料提供至所述第一影像處理核心及所述第二影像處理核心中的至少一個第二影像處理核心。
  19. 如申請專利範圍第16項所述的影像處理電路系統,其中 所述處理電路系統被配置以執行所述指令程式以 輸出第一選擇訊號及第二選擇訊號以使得在多個處理路徑中選擇所選擇的處理路徑,所述多個處理路徑中的每一處理路徑包括一個或多個影像處理核心,且 基於所述所選擇的處理路徑來處理所述第一影像資料及所述第二影像資料。
  20. 如申請專利範圍第19項所述的影像處理電路系統,其中 所述所選擇的處理路徑中所包括的影像處理核心是可配置影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以將基於所述第一選擇訊號所選擇的第一配置資料提供至所述所選擇的處理路徑中所包括的所述影像處理核心,且 所述處理電路系統被配置以執行所述指令程式以將基於所述第二選擇訊號所選擇的第二配置資料提供至所述所選擇的處理路徑中所包括的所述影像處理核心。
TW108148276A 2019-01-07 2019-12-30 影像處理電路系統 TWI863952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0001524 2019-01-07
KR1020190001524A KR102611722B1 (ko) 2019-01-07 2019-01-07 이미지 처리 장치 및 이미지 처리 방법

Publications (2)

Publication Number Publication Date
TW202107884A true TW202107884A (zh) 2021-02-16
TWI863952B TWI863952B (zh) 2024-12-01

Family

ID=71405243

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108148276A TWI863952B (zh) 2019-01-07 2019-12-30 影像處理電路系統

Country Status (4)

Country Link
US (3) US11025816B2 (zh)
KR (1) KR102611722B1 (zh)
CN (1) CN111416923B (zh)
TW (1) TWI863952B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102611722B1 (ko) * 2019-01-07 2023-12-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
CN118660236A (zh) 2020-07-10 2024-09-17 华为技术有限公司 一种拍照方法及电子设备
EP4184423A4 (en) * 2020-07-30 2023-08-09 Huawei Technologies Co., Ltd. ELECTRONIC SYSTEM, CAMERA MODULE AND SYSTEM ON ONE CHIP
CN114630016B (zh) * 2020-12-09 2023-04-25 Oppo广东移动通信有限公司 图像处理方法、图像处理器及电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132217A (ja) * 1997-07-14 1999-02-02 Ricoh Co Ltd 画像処理装置
US7542070B2 (en) 2000-01-17 2009-06-02 Fujifilm Corporation Image processing apparatus, and photographing system for receiving and creating processing information
US6985181B2 (en) * 2000-05-09 2006-01-10 Pixim, Inc. CMOS sensor array with a memory interface
JP2004289450A (ja) * 2003-03-20 2004-10-14 Canon Inc 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体
US8553113B2 (en) * 2003-08-20 2013-10-08 At&T Intellectual Property I, L.P. Digital image capturing system and method
US7417482B2 (en) * 2005-10-31 2008-08-26 Qualcomm Incorporated Adaptive voltage scaling for an electronics device
JP2010183565A (ja) * 2009-01-06 2010-08-19 Nikon Corp 撮像装置、画像検索装置およびプログラム
US8228418B2 (en) * 2009-03-20 2012-07-24 Eastman Kodak Company Anti-aliasing spatial filter system
JP4839389B2 (ja) 2009-03-31 2011-12-21 富士フイルム株式会社 デジタルカメラ及び画像処理装置
KR101599886B1 (ko) * 2009-09-29 2016-03-04 삼성전자주식회사 장면 모드 표시에 따른 영상 처리 장치 및 방법
JP3159906U (ja) 2010-03-24 2010-06-03 新世代株式会社 画像処理モジュール
KR101136009B1 (ko) * 2010-10-27 2012-04-17 아이쓰리시스템 주식회사 캡슐내시경용 이미지센서의 영상데이터 제어시스템
US8982136B2 (en) * 2011-05-16 2015-03-17 Qualcomm Incorporated Rendering mode selection in graphics processing units
GB2494629A (en) * 2011-09-09 2013-03-20 St Microelectronics Res & Dev Optical navigation device with sleep mode and active mode
KR101373703B1 (ko) 2012-05-23 2014-03-13 주식회사 코아로직 차량용 영상 처리 장치 및 방법
KR20140114501A (ko) 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
JP6451191B2 (ja) * 2014-10-03 2019-01-16 株式会社ニコン 画像処理装置および撮像装置
KR102305470B1 (ko) 2015-02-13 2021-09-28 삼성전자주식회사 복수의 영상 처리 채널을 통해 병렬로 영상 신호 처리를 수행하는 영상 신호 처리 장치
US10063776B2 (en) 2015-05-01 2018-08-28 Gopro, Inc. Camera mode control
KR20170004756A (ko) * 2015-07-03 2017-01-11 삼성전자주식회사 카메라 운영 방법 및 이를 구현하는 전자 장치
JP6659117B2 (ja) * 2015-10-29 2020-03-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2017122586A1 (ja) * 2016-01-12 2017-07-20 オリンパス株式会社 内視鏡装置
JP2017147711A (ja) * 2016-02-18 2017-08-24 株式会社CodeNext 複数多視点画像による自動3次元立体視撮影装置及び撮影方法、並びに立体視再現方法
KR102480895B1 (ko) * 2016-02-19 2022-12-26 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
KR101650466B1 (ko) * 2016-03-25 2016-08-24 주식회사 대명코퍼레이션 고화질 비디오 매트릭스 제어 장치
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
KR102614012B1 (ko) * 2016-11-08 2023-12-14 한화비전 주식회사 영상처리장치 및 그의 영상제공방법
US10489199B2 (en) * 2017-05-12 2019-11-26 Google Llc Program code transformations to improve image processor runtime efficiency
US10924655B2 (en) * 2017-11-06 2021-02-16 Canon Kabushiki Kaisha Image-capturing apparatus and control method thereof
FR3078808B1 (fr) * 2018-03-08 2021-07-16 Commissariat Energie Atomique Procede de traitement d'image inter-trame et intra-trame
US10834358B1 (en) * 2018-12-31 2020-11-10 Facebook, Inc. Enhancing video quality based on metadata at a client device having more processing power in a system of client devices having different amounts of processing power
KR102611722B1 (ko) * 2019-01-07 2023-12-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법

Also Published As

Publication number Publication date
US12052513B2 (en) 2024-07-30
US11758284B2 (en) 2023-09-12
CN111416923A (zh) 2020-07-14
US11025816B2 (en) 2021-06-01
KR20200085438A (ko) 2020-07-15
US20200221024A1 (en) 2020-07-09
CN111416923B (zh) 2024-04-16
TWI863952B (zh) 2024-12-01
US20210281753A1 (en) 2021-09-09
US20230396890A1 (en) 2023-12-07
KR102611722B1 (ko) 2023-12-07

Similar Documents

Publication Publication Date Title
CN105915780B (zh) 图像信号处理器和包括图像信号处理器的装置
TWI863952B (zh) 影像處理電路系統
KR102128468B1 (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9866740B2 (en) Image sensor having multiple output ports
CN101753820B (zh) 信息处理装置、缓冲器控制方法和计算机程序
US10771681B2 (en) Imaging pickup apparatus of which display start timing and display quality are selectable, method of controlling the same
TW201215139A (en) Image signal processor multiplexing
US10445851B2 (en) Image processing apparatus and method
CN116368814A (zh) 无fov损失的空间对准变换
US8648952B2 (en) Timing generator and method of generating timing signals
US9363440B2 (en) Imaging device and imaging method that sets a phase difference between first and second synchronization signals
CN106488153A (zh) 具有宏像素处理的图像传感器装置以及相关装置和方法
US9363465B2 (en) Data processing apparatus and data processing method
JP7414431B2 (ja) 撮像装置及びその制御方法及びプログラム
US12316981B2 (en) Real time stream camera ISP with loosely coupled control loop
JP2007037113A (ja) 撮像用パラレルインタフェースram集積回路
JP6141062B2 (ja) データ処理装置及びクロック供給方法
JP2021111803A (ja) 通信装置および通信装置の処理方法
JP2010218379A (ja) データ転送装置