WO2007101360A1

WO2007101360A1 - Miniaturized image recorder

Info

Publication number: WO2007101360A1
Application number: PCT/CH2007/000115
Authority: WO
Inventors: Martin Wäny
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-03-06
Filing date: 2007-03-05
Publication date: 2007-09-13
Anticipated expiration: 2008-09-06

Abstract

The aim of the invention is to create an image recorder which can be miniaturized to such an extent that an endoscope of the smallest dimensions can be produced therewith. The disclosed image recorder can also be optimized in such a manner that the major part of the semiconductor surface is made available for pixel integration. The image recorder according to the invention comprises a data transmission that allows transmitting image data even in the presence of electromagnetic interferences in the surrounding area and free of interfering effects. This is achieved by an image sensor that converts the signal which is read from the pixel matrix into a pulse duration signal, the luminosity value of each pixel being coded by the duration of a signal pulse. The invention also relates to methods for reducing the number of electric contacts of the sensor.

Description

Beschreibung der ErfindungDescription of the invention

Einleitun ^■sg>Introduction ^■ sg>

In Endoskopie Anwendungen ist es notwendig Bildaufhehmer mit minimalen mechanischen abmassen zu realisieren. Für viele dieser Anwendungen werden zur zeit Bündel von Lichtleitern verwendet, welche die Bildinformation vom der Endoskopspitze bis zu einem Ort transportieren wo Raum vorhanden ist einen elektronischen Bildsensor zu platzieren. Aus gründen der Kosteneffizienz und der beschränkten Auflösung von Lichtleiter Bündeln ist es erwünscht einen elektronischen Bildaufhehmer direkt in der Endoskopspitze zu platzieren. Ein Bildsensor ist für diese Anwendung geeignet, wenn der grösst mögliche Teil seiner Fläche für die Realisierung von Bildpunkten zur Verfugung steht. Ausserdem muss der Bildsensor die Bilddaten von der Endoskopspitze zu einem Empfangsgerät ausserhalb des Endoskops übermitteln können ohne dass bei dieser Übertragung die Bilddaten gestört werden. Werden herkömmliche Bildsensoren eingesetzt die die Bildinformation als analoges Spannungssignal (z.B. analog Video) übermitteln, ist diese Signal sehr anfällig auf Elektromagnetische Störungen. Wird eine Digitalisierung der Bilddaten bereits auf dem Sensor vorgenommen, gestaltet sich die Datenübertragung zwar robuster, für Endoskopanwendungen der kleinsten Dimensionen besteht aber meist auf dem Bildaufnehmer keine Möglichkeit die Analog Digitalwandlung vorzunehmen.In endoscopy applications, it is necessary to realize image collectors with minimal mechanical dimensions. For many of these applications, bundles of optical fibers are currently used which place the image information from the endoscope tip to a place where space is available to place an electronic image sensor. For reasons of cost efficiency and limited resolution of optical fiber bundles, it is desirable to place an electronic imager directly in the endoscope tip. An image sensor is suitable for this application if the largest possible part of its area is available for the realization of pixels. In addition, the image sensor must be able to transmit the image data from the endoscope tip to a receiving device outside the endoscope without the image data being disturbed during this transmission. When conventional image sensors are used which transmit the image information as an analog voltage signal (e.g., analog video), this signal is very susceptible to electromagnetic interference. If digitalization of the image data is already carried out on the sensor, the data transmission is more robust, but for endoscopic applications of the smallest dimensions there is usually no possibility on the image recorder to perform the analog digital conversion.

Ziel der offen gelegten Erfindung ist es einen Bildaufnehmer vorzuschlagen, der soweit miniaturisiert werden kann, dass damit ein Endoskop kleinster Dimensionen realisiert werden kann. Ausserdem kann der offen gelegte Bildaufnehmer dahingehend optimiert werden, dass der grösste Teil der Halbleiterflache für die Integration von Bildpunkten zur Verfügung steht. Der vorgestellte Bildaufnehmer verfügt über eine Datenübermittlung die es ermöglicht die Bilddaten auch in elektromagnetisch gestörtem Umfeld frei von Störungseinfiüssen zu Übertragen. Beschreibung der ErfindungThe aim of the disclosed invention is to propose an image recorder that can be miniaturized to the extent that an endoscope of the smallest dimensions can thus be realized. In addition, the exposed imager can be optimized so that most of the semiconductor surface is available for pixel integration. The presented image sensor has a data transmission which makes it possible to transmit the image data free from interference influences, even in an electromagnetically disturbed environment. Description of the invention

Die offen gelegte Erfindung betrifft einen Bildaufnehmer der vorzugsweise in CMOS Technologie integriert werden kann. Dem fachkundigen Leser wird es allerdings leicht fallen, die offen gelegten Prinzipien auf andere opto-elektronische Technologien zu übertragen. So zum Beispiel auf Bipolar-technologie oder auf Elelctro-optische Technologien die auf organischen Ausgangsmaterialien beruhen. Soweit die folgende Beschreibung der Erfindung Schaltungsblöcke und Prinzipien spezifisch für die CMOS Technologie beschreibt, sind diese als beispielhafte Erläuterungen der Anwendung in dieser Technologie zu verstehen, nicht jedoch als Einschränkung der Übertragbarkeit auf andere elektro-optische Technologien.The disclosed invention relates to an imager which can be preferably integrated in CMOS technology. However, the expert reader will find it easy to translate the disclosed principles to other opto-electronic technologies. For example, on bipolar technology or on Elelctro-optical technologies based on organic starting materials. As far as the following description of the invention describes circuit blocks and principles specific to the CMOS technology, these are to be understood as exemplary explanations of the application in this technology, but not as limiting the transferability to other electro-optical technologies.

Der erfindungsgemässe Sensor umfasst mindestens die in Abbildung 1 dargestellten Funktionsblöcke:The sensor according to the invention comprises at least the functional blocks shown in FIG. 1:

1 Eine Matrix von lichtempfindlichen Elementen1 A matrix of photosensitive elements

2 eine Steuerungsschaltung die das sequentielle auslesen der lichtempfindlichen Elemente (1) ermöglicht.2 is a control circuit which enables sequential read-out of the photosensitive elements (1).

3 Eine Schaltung die die Umwandlung des aus der Matrix von lichtempfindlichen Elementen ausgelesenen Signals in einen Signalpuls dessen Pulslänge vom Signalwert abhängt ermöglicht.3 A circuit which allows the conversion of the read-out from the matrix of photosensitive elements signal into a signal pulse whose pulse length depends on the signal value.

4 ein Interface, welches ermöglicht den im Element (3) erzeugten Puls über eine Signalleitung zu übertragen..4 an interface which makes it possible to transmit the pulse generated in element (3) via a signal line.

In der einfachsten Ausführung des erfindungsgemässen Bildaufnehmers ist die Funktionsweise wie folgt:In the simplest embodiment of the inventive image recorder, the operation is as follows:

Sobald der erfindungsgemässe Bildsensor mit Energie versorgt wird, beginnt die Steuerungsschaltung (2) die Matrix der lichtempfindlichen Elemente zu aktivieren und sequentiell auszulesen. Der Bildaufnehmer befindet sich sodann in einem "freerunning" Modus. Die Schaltung zur Umwandlung der Sensor Signale in einen Signalpuls (3) wandelt sequentiell für jeden ausgelesenen Bildpunkt dessen signalwert in einen puls mit einer Länge die vom Signalwert abhängt. Das Interface (4) überträgt die ausgelesenen Daten laufend über die zur Verfügung stehende Datenleitung. Sobald das auslesen eines Bildes vollzogen ist, beginnt die Steuerungsschaltung (2) die Aufnahme und Übertragung eines nächsten Bildes. Vorzugsweise wird das auslesen und aufnehmen eines Bildes zeitlich überlappend ausgestaltet, nach bekannter Technik kann dies sowohl im so genannten "Rolling Shutter" Modus, oder im so genannten "Global Shutter" Modus geschehen. Ebenso kann die Matrix von lichtempfindlichen Sensoren so gestaltet sein, das keine eigentliche Integrationszeit notwendig ist, sondern so dass das einfallende Lichtsignal direkt in ein auslesbares elektrisches Signal gewandelt wird, z.B. mittels "Logarithmischen Pixeln".As soon as the image sensor according to the invention is supplied with energy, the control circuit (2) starts to activate the matrix of photosensitive elements and read out sequentially. The imager is then in a "freerunning" mode. The circuit for converting the sensor signals into a signal pulse (3) sequentially converts, for each pixel read, its signal value into a pulse with a length that depends on the signal value. The interface (4) continuously transmits the data read out via the available data line. Once the reading of an image is completed, the control circuit (2) starts recording and transmitting a next image. Preferably, the reading and recording of a picture is designed overlapping in time, according to known technique, this can be done both in the so-called "rolling shutter" mode, or in the so-called "global shutter" mode. Likewise, the matrix of photosensitive sensors can be designed so that no actual integration time is necessary, but so that the incident light signal is converted directly into a readable electrical signal, for example by means of "logarithmic pixels".

In einer Variation des erfindungsgemässen Bildaufnehmers verfügt die Steuerungsschaltung (2) über Möglichkeiten mittels deren der Start der Bildaufhahme, der Start der Bild Übertragung, oder die Empfindlichkeit oder die zur Bildaufnahme verwendete Belichtungszeit von ausserhalb des Sensors eingestellt werden können. Vorzugsweise wird diese Kommunikation, die Ihrer naturgemäss eine geringere Datenrate benötigt als die Übertragung der Bilddaten vom Aufnehmer zum Empfangsgerät ohne das anbringen zusätzlicher Signalleitungen realisiert.In a variation of the inventive image recorder, the control circuit (2) has possibilities by means of which the start of the image recording, the start of the image transmission, or the sensitivity or the exposure time used for image recording can be set from outside the sensor. Preferably, this communication, which by its nature requires a lower data rate than the transmission of the image data from the pickup to the receiving device, without the provision of additional signal lines.

Eine solche Übertragung von Konfigurationsdaten kann zum Beispiel über die Energieversorgung realisiert werden, z.B. dadurch, dass auf der Energieversorgung ein Signal mit im vergleich zur Energieversorgung geringer Amplitude aufmoduliert wird. Alternativ kann eine solche Datenübertragung auch zwischen der Übertragung von Bilddaten über das Bilddaten Interface erfolgen. Zu diesem Zweck kann die Steuerungsschaltung (2) so ausgelegt werden, dass nach dem übertragen der Bilddaten einer Aufnahme vom Bildaufnehmer zum Empfangsgerät die Steuerungsschaltung(2) den Treiber des Interfaces deaktiviert und auf die Übermittlung von Konfigurationsdaten vom Empfangsgerät zum Sensor eingestellt wird.Such a transmission of configuration data can be realized, for example, via the power supply, e.g. in that on the power supply a signal is modulated with respect to the power supply of low amplitude. Alternatively, such a data transmission can also take place between the transmission of image data via the image data interface. For this purpose, the control circuit (2) can be designed so that after transferring the image data of a recording from the image sensor to the receiving device, the control circuit (2) deactivates the driver of the interface and is set to the transmission of configuration data from the receiver to the sensor.

Im folgenden wird die Realisierung des erfindungsgemässen Bildaufnehmers in einer CMOS Technologie Beispielhaft näher erläutert. Siehe dazu Abbildung 2.The realization of the inventive image sensor in a CMOS technology is explained in more detail below by way of example. See Figure 2.

Die Matrix von Photodetektoren (1) wird in bekannter Technik als CMOS Bildsensor ausgelegt. Die Matrix von Detektorelementen wird als Matrix von Standard CMOS Pixeln (5) ausgelegt. Das auslesen erfolgt sequentiell, Zeile für Zeile und Spalte für Spalte. Stehen mehrere parallele Datenübertragungskanäle zur Verfügung, können die Daten in bekannter Technik parallel aus der Matrix ausgelesen werden. Das Pixel Signal wird im folgenden in eine dem Signalwert entsprechende Pulslänge gewandelt. Dies geschieht vorzugsweise dadurch, dass der aus der Matrix ausgelesene signalwert durch eine Sample und Hold Schaltung (6) gehalten wird. Sobald der Signalwert eines Bildpunktes gehalten ist, wird dieser mit einer durch einen Rampengenerator (7) erzeugten Signalrampe mittels eines Komparators (8) verglichen. Die Rampe beginnt mit dem halten des Signals. Zu diesem Zeitpunkt wird ebenso der zu übermittelnde Signalpuls gestartet, d.h. mittels dem Interface (4) wird ein Signalpuls übermittelt. Sobald der Komparator (8) feststellt dass der Rampenwert den Signalwert erreicht hat, wird die Übertragung des Signalpulses beendet. Die generierte Rampe wird auf den Ausgangswert zurückgesetzt und die Sampling Schaltung (6) beginnt den nächsten Bildpunktwert aufzunehmen. Die Referenzrampe kann sowohl mit einem linearen Anstieg über die Zeit realisiert werden, als auch nicht linear. Eine über die Zeit nichtlineare Referenz Rampe bietet die Möglichkeit eine nichtlineare Transferfunktion vom Optischen Eingangsignal zum im Empfangsgerät detektierten Ausgangsignal zu erreichen. So kann z.B. durch eine progressiv zunehmende Steilheit der Referenzrampe auf einfache weise eine der bekannten "Gamma Kurve" nachgebildete Kennlienie erzielt werden. Nach hinlänglich bekannter Schaltungstechnik kann sowohl das auslesen der Bildpunkte Matrix, wie auch das halten und vergleichen des Signals mit der generierten Rampe sowohl in Spannungs- als auch im Strombereich erfolgen.The matrix of photodetectors (1) is designed in a known technique as a CMOS image sensor. The matrix of detector elements is designed as a matrix of standard CMOS pixels (5). The reading is done sequentially, line by line and column by column. If several parallel data transmission channels are available, the data can be read in parallel from the matrix in a known technique. The pixel signal is subsequently converted into a pulse length corresponding to the signal value. This is preferably done by the signal value read out of the matrix by means of a sample and hold Circuit (6) is held. As soon as the signal value of a pixel is held, it is compared with a signal ramp generated by a ramp generator (7) by means of a comparator (8). The ramp starts with the holding of the signal. At this time, the signal pulse to be transmitted is also started, ie by means of the interface (4), a signal pulse is transmitted. As soon as the comparator (8) determines that the ramp value has reached the signal value, the transmission of the signal pulse is ended. The generated ramp is reset to the initial value and the sampling circuit (6) starts recording the next pixel value. The reference ramp can be realized with a linear increase over time, as well as non-linear. A non-linear reference ramp offers the possibility of achieving a nonlinear transfer function from the optical input signal to the output signal detected in the receiving device. Thus, for example, by a progressively increasing steepness of the reference ramp in a simple manner one of the known "gamma curve" modeled Kennlienie can be achieved. According to a well-known circuit technology, both the reading out of the pixel matrix, as well as holding and comparing the signal with the generated ramp can be done both in voltage and in the current range.

Mit Vorteil wird die Steuerungsschaltung (2) so ausgelegt, dass die Gesamtauslesezeit pro Bildpunkt konstant bleibt. Es ist aber denkbar die gesamt Auslesezeit des Sensors zu optimieren, indem unmittelbar nach dem Beenden der Übertragung des Signalpulses eines Bildpunkt Signals der Vergleich zwischen dem Signalwert des nächsten Bildpunktes und der Referenzrampe gestartet wird. Insbesondere kann so eine Belichtungszeitsteuerung realisiert werden, wenn die Pulslängen so konfiguriert werden, dass die Pulslänge umgekehrt Proportional zur auf der jeweiligen Bildpunkt einfallenden Lichtstärke ist. Dadurch kann die Gesamtauslesezeit und somit die Belichtungszeit kürzer werden, wenn mittlere Lichtstärke auf dem Sensor grösser ist und umgekehrt bei geringem Lichteinfall die Belichtungszeit zusammen mit der gesamt Auslesezeit erhöht werden.Advantageously, the control circuit (2) is designed so that the total readout time per pixel remains constant. However, it is conceivable to optimize the total readout time of the sensor by starting the comparison between the signal value of the next pixel and the reference ramp immediately after the end of the transmission of the signal pulse of a pixel signal. In particular, such an exposure time control can be realized when the pulse lengths are configured such that the pulse length is inversely proportional to the incident on the respective pixel light intensity. As a result, the total readout time and thus the exposure time can be shorter if average light intensity on the sensor is greater and, conversely, if the light incidence is low, the exposure time is increased together with the total readout time.

Die Übertragung des Signalpulses kann sowohl mittels eines einadrigen Spannung- oder Strom Signals als auch mittels eines differenziellen Signals vorgenommen werden. Üblicherweise ist die Signalübertragung mittels eines differenziellen Spannungssignals mit geringem Hub, (LVDS) oder mittels eines differenziellen Stromsignals vorzuziehen. Eine Treiberschaltung mit dazugehöriger Empfängerschaltung für die Übertragung des Pulssignals mittels LVDS Technik ist in Abbildung 3 dargestellt. Ebenso kann die Pulsübertragung durch einen optischen puls, mittels Lichtwellenleiter, order durch eine gepulste elektromagnetische Schwingung im Radiowellenbereich realisiert werden.The transmission of the signal pulse can be carried out both by means of a single-wire voltage or current signal and by means of a differential signal. Usually, signal transmission by means of a low-voltage differential voltage signal (LVDS) or by means of a differential current signal is preferable. A driver circuit with associated receiver circuit for the transmission of the pulse signal by means of LVDS technology is shown in FIG. Likewise, the pulse transmission can be realized by an optical pulse, by means of optical waveguide, or by a pulsed electromagnetic oscillation in the radio wave range.

Um den benötigten platz für spezielle Anschlüsse für die Datenübertragung und spezielle elektrische Leitungen für die Datenübertragung einzusparen, kann der Signalpuls ebenso auf den Versorgungsleitungen aufmoduliert werden. z.B. als hochfrequente Schwingung. Dies ist beispielhaft in Abbildung 4 Dargestellt. Dazu wird eine Hochfrequente Schwingungsquelle (9) z.B. ein Hofrequenter Ring Oszilator der eine Stromquelle steuert vom Signalpuls angesteuert. Die Hochfrequente Schwingungsquelle ist direkt mit den Versorgungspins des Bildaufnehmers (11) und (12) verbunden. Vorzugsweise wird die Chip interne Versorgung mittels Tiefpassfilter (10) vom hochfrequenten Signal isoliert. Empfängerseitig wird das hochfrequente Signal mittels Bandpass oder Hochpass Filter aus der Spannungsversorgung ausgekoppelt und die Länge des Signalpulses detektiert. In order to save the space required for special connections for data transmission and special electrical lines for data transmission, the signal pulse can also be modulated on the supply lines. e.g. as a high-frequency vibration. This is exemplified in Figure 4. For this purpose, a high-frequency oscillation source (9), e.g. a Hofrequenter ring oscillator which controls a current source driven by the signal pulse. The high-frequency oscillation source is directly connected to the supply pins of the image sensor (11) and (12). Preferably, the chip internal supply is isolated by means of low-pass filter (10) from the high-frequency signal. On the receiver side, the high-frequency signal is decoupled from the voltage supply by means of bandpass or high-pass filters and the length of the signal pulse is detected.

Claims

claims

An image recorder comprising means for sequentially reading out the electrical signals generated by its pixels and encoding the signal value of each pixel as the length of a transmitted signal pulse.

2. An imager according to claim 1 which is integrated in a CMOS technology.

3. An imager according to claim 1 which is integrated in a CCD technology.

4. An imager according to claim 1 which is constructed with organic semiconductor elements.

5. An image sensor according to any one of claims 1-4, wherein said signal pulse is transmitted as a voltage pulse or current pulse.

6. An imager according to any one of claims 1-5, wherein said signal pulse is transmitted as a differential signal.

An image sensor according to any one of claims 1-4, wherein said signal pulse is transmitted as a light pulse over a free medium (free space) or over an optical fiber.

An image sensor according to any one of claims 1-4, wherein said signal pulse is transmitted as electromagnetic radiation in the radio wave region.

An imager according to any of claims 1-4, wherein said signal pulse is modulated onto the supply lines of the imager.

10. An imager according to any one of claims 1-9, wherein the transmission path of said signal pulse can also be used to transmit configuration data to the imager.

11. An imager according to any one of claims 1-8 in which configuration data on the supply lines of the imager are modulated transmitted from a receiving or control device to the imager.

12. A Bildaufήehmer according to any one of claims 1-11 in which said coding of the optical signal is linear in a pulse length.

13. An imager according to any one of claims 1-11, wherein said encoding of the optical signal into a pulse length is non-linear.

14. An image sensor in which in claim 12 and 13 said coding of the signal value of a pixel in a pulse length by means of comparison of said signal value with the value of a reference ramp by a comparator.

15. A Bildaufhehmer according to any one of claims 1 - 14 in which the exposure time during the readout takes place.

16. An image sensor according to any one of claims 1-14 and 15 in which a control of the exposure time by modulation of the read-out frequency of the individual pixels information takes place in that the reading of pixels with a low optical signal takes longer than the reading of pixels with high optical Signal.