[go: up one dir, main page]

RU2443070C1 - Method for modifying the content of a television image - Google Patents

Method for modifying the content of a television image Download PDF

Info

Publication number
RU2443070C1
RU2443070C1 RU2010128093/07A RU2010128093A RU2443070C1 RU 2443070 C1 RU2443070 C1 RU 2443070C1 RU 2010128093/07 A RU2010128093/07 A RU 2010128093/07A RU 2010128093 A RU2010128093 A RU 2010128093A RU 2443070 C1 RU2443070 C1 RU 2443070C1
Authority
RU
Russia
Prior art keywords
area
graphics
image
target area
content
Prior art date
Application number
RU2010128093/07A
Other languages
Russian (ru)
Inventor
Эркки РАНТАЛАЙНЕН (FI)
Эркки РАНТАЛАЙНЕН
Original Assignee
Суппонор Ой
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Суппонор Ой filed Critical Суппонор Ой
Priority to RU2010128093/07A priority Critical patent/RU2443070C1/en
Application granted granted Critical
Publication of RU2443070C1 publication Critical patent/RU2443070C1/en

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

FIELD: telecommunications. ^ SUBSTANCE: method for modifying the content of a target area (11) in a television image (7) comprises generating an original image signal (PGM1) by means of a camera (1), processing the original image signal by adding graphics (9) into the television image, determining the target area in the television image, transmitting further the processed image signal (PGM2) and the target area determining data, and inserting, at a later stage of the signal transmission chain (14), substitutive content (15a, 15b) to the target area according to the target area determining data. According to the present invention, the graphics (9) is added into the television image (7) according to a predetermined graphics percentage of coverage; and to the shared area (13) of the target area and the additional graphics area, the substitutive content (15a, 15b) is inserted according to the residual percentage of coverage not covered by the added graphics. ^ EFFECT: insertion of substitutive content to a certain portion of a television image at a later stage of the image signal transmission chain while saving unchanged in the final television image the desired appearance of graphics added at an early stage of the signal transmission. chain. ^ 7 cl, 2 dwg

Description

Область техникиTechnical field

Настоящее изобретение относится к изменению содержания телевизионного изображения путем вставки дополнительной графики и замещающего содержания в определенные области телевизионного изображения.The present invention relates to changing the content of a television image by inserting additional graphics and replacement content in certain areas of the television image.

Предпосылки создания изобретенияBACKGROUND OF THE INVENTION

Существует множество ситуаций, когда требуется изменить телевизионное изображение, полученное из снятой телевизионной камерой сцены, путем замещения некоторой части изображения новым содержанием. Характерным примером может служить реклама в месте проведения спортивного мероприятия. Телевизионный сигнал спортивного мероприятия может передаваться по всему миру. Для различных групп зрителей или для различных географических областей часто требуется отдельная настройка рекламной информации в финальном телевизионном изображении.There are many situations where it is necessary to change a television image obtained from a scene shot by a television camera by replacing some part of the image with new content. A typical example is advertising in the venue of a sporting event. The television signal of a sporting event can be transmitted worldwide. For different groups of viewers or for different geographical areas, a separate adjustment of the advertising information in the final television image is often required.

Для вставки замещающего содержания в телевизионное изображение необходима информация о местоположении изменяемой области в упомянутом изображении. Эта информация может генерироваться, например, с использованием маркирующей поверхности, расположенной вблизи цели, предназначенной для замены в телевизионном изображении, при этом маркирующая поверхность идентифицируется на основании отличий ее излучения от остального излучения в снятой камерой области. С помощью регистрации, посредством специальных детекторов, этого отличающегося излучения могут быть определены координаты цели, предназначенной для изменения в телевизионном изображении. Указанный способ маркировки изменяемой цели детально описан в более ранней заявке WO 01/58147, поданной данным заявителем. Если известны координаты изменяемой цели, возможно, например, осуществлять изменение цели, предназначенной для изменения, отдельно для различных групп зрителей, формируемых с использованием определенного критерия группирования, например национальности. Кроме координат изменяемой цели, важно также установить, не существует ли препятствий, скрывающих часть цели, для того, чтобы выполнять изменение только в видимых на изображении областях изменяемой цели. Для этого в WO 01/58147 описана генерация маскирующего изображения, определяющего фактически видимые на изображении области упомянутой целевой области.To insert replacement content in a television image, information is needed on the location of the variable region in said image. This information can be generated, for example, using a marking surface located near a target to be replaced in a television image, and the marking surface is identified on the basis of differences in its radiation from the rest of the radiation in the camera-captured area. By registering, by means of special detectors, of this different radiation, the coordinates of the target intended to be changed in the television image can be determined. The specified method for marking a variable target is described in detail in the earlier application WO 01/58147 filed by this applicant. If the coordinates of the target to be changed are known, it is possible, for example, to modify the target intended for change, separately for different groups of viewers formed using a specific grouping criterion, for example, nationality. In addition to the coordinates of the variable target, it is also important to establish whether there are obstacles that hide part of the target in order to perform the change only in the visible areas of the variable target. To this end, WO 01/58147 describes the generation of a masking image defining the regions of said target region that are actually visible on the image.

После того как информация о местоположении изменяемой цели в телевизионном изображении сгенерирована, эта информация может быть передана вместе с текущим телевизионным сигналом, что позволяет осуществлять изменение цели, предназначенной для изменения, в телевизионном изображении в одном из последующих звеньев цепи передачи сигнала. При таком подходе предъявляются меньшие требования к пропускной способности канала, по сравнению со случаем, когда сигнал изменяется уже в начале цепи передачи сигнала и осуществляется совместная передача всех измененных сигналов. Основной принцип такого подхода описан в более ранней заявке WO 03/021957, поданной данным заявителем.After the location information of the variable target in the television image is generated, this information can be transmitted together with the current television signal, which allows you to change the target intended for change in the television image in one of the subsequent links of the signal transmission chain. With this approach, less bandwidth requirements are imposed compared to the case when the signal changes already at the beginning of the signal transmission chain and all the changed signals are shared. The basic principle of this approach is described in the earlier application WO 03/021957 filed by this applicant.

Часто перед передачей обработанного телевизионного сигнала далее в телевизионное изображение добавляется графика. Добавленная в одном из начальных звеньев цепи передачи сигнала графика обычно не должна изменяться в последующих звеньях передачи сигнала. Для обеспечения этого, в заявке на патент US 2001/0017671 А1 описан способ, в котором замещающее содержание вставляется только в те части целевой изменяемой области, которые не включают добавленной ранее графики. Упомянутое ограничение свободными от графики областями порождает необходимость передачи информации о местоположении графики. Удовлетворять данную необходимость предлагается, например, путем передачи, совместно с сигналом изображения с добавленной графикой, также и сигнала исходного необработанного изображения, и последующего сравнения этих сигналов для определения местоположения графики. Это, очевидно, предъявляет высокие требования к пропускной способности канала передачи данных, что делает упомянутую процедуру непрактичной. В качестве альтернативного подхода описан способ, при котором могут передаваться только данные, определяющие местоположение графики.Often, before transmitting the processed television signal, graphics are added to the television image. The graph added at one of the initial links of the signal transmission chain should not normally change at subsequent signal transmission links. To ensure this, in the patent application US 2001/0017671 A1 describes a method in which the replacement content is inserted only in those parts of the target variable area that do not include previously added graphics. The mentioned restriction to the areas free from graphics makes it necessary to transmit information about the location of the graphics. It is proposed to satisfy this need, for example, by transmitting, together with the image signal with added graphics, also the signal of the original raw image, and then comparing these signals to determine the location of the graphics. This, obviously, places high demands on the bandwidth of the data transmission channel, which makes the procedure mentioned impractical. As an alternative approach, a method is described in which only data determining the location of the graphics can be transmitted.

Кроме высоких требований к пропускной способности канала передачи данных, предъявляемых некоторыми известными способами, общей проблемой известных решений, описанных, например, в упомянутой заявке US 2001/001767 А1, является их ограничение случаями, где дополнительная графика полностью заменяет, в своей области, исходное содержание телевизионного изображения. Однако во многих случаях требуется иметь добавленную графику и при этом, иногда, частично прозрачное замещающее содержание, обеспечивающее также видимость предшествующего содержания, расположенного в том же месте.In addition to the high bandwidth requirements of the data channel presented by some known methods, a common problem with the known solutions described, for example, in the aforementioned application US 2001/001767 A1, is their limitation in cases where the additional graphics completely replace, in their field, the original content television image. However, in many cases it is required to have added graphics and, at the same time, sometimes partially transparent replacement content, which also ensures the visibility of the previous content located in the same place.

Цель изобретенияThe purpose of the invention

Целью настоящего изобретения является создание способа, позволяющего осуществлять вставку замещающего содержания в определенную часть телевизионного изображения в одном из последующих звеньев цепи передачи сигнала, сохраняя при этом без изменений в финальном телевизионном изображении вид графики, добавленной в одном из начальных звеньев цепи передачи сигнала, при этом способ предпочтительно предъявляет минимальные требования к пропускной способности канала передачи данных.The aim of the present invention is to provide a method that allows you to insert replacement content in a specific part of the television image in one of the subsequent links of the signal transmission chain, while maintaining without changes in the final television image, the type of graphics added to one of the initial links of the signal transmission chain, while the method preferably imposes minimal bandwidth requirements on the data channel.

Сущность изобретенияSUMMARY OF THE INVENTION

Настоящее изобретение охарактеризовано в п.1 формулы изобретения.The present invention is characterized in claim 1.

Предложенный способ изменения содержания целевой области в телевизионном изображении включает генерацию сигнала исходного изображения посредством камеры, обработку сигнала исходного изображения путем добавления графики в упомянутое изображение, определение целевой области в упомянутом изображении, передачу далее сигнала обработанного изображения и определяющих целевую область данных, и вставку, в одном из последующих звеньев цепи передачи сигнала, замещающего содержания в целевую область в соответствии с определяющими целевую область данными.The proposed method for changing the content of the target area in the television image includes generating a source image signal by the camera, processing the source image signal by adding graphics to the image, determining the target area in the image, then transmitting the processed image signal and defining the target data area, and inserting into one of the subsequent links of the signal transmission circuit, replacing the content in the target area in accordance with the defining target data space.

Изменяемая целевая область может быть, например, рекламным модулем, видимым на захватываемом камерой изображении. Упомянутое изменение может включать, например, настройку содержания в области упомянутого модуля в видимом финальном изображении отдельно для зрителей из различных зрительских групп. Графика может включать любое дополнительное графическое содержание, например, различные типы фигур, букв и т.п. Для определения целевой области, то есть ее формы и местоположения в телевизионном изображении, может использоваться, например, маркирующая поверхность, описанная в WO 01/58147. Посредством способа, изложенного в WO 01/58147, может определяться также область потенциального маскирования, то есть область, расположенная внутри целевой области, которая не видна на телевизионном изображении и в которую, следовательно, не требуется вставлять замещающее содержание. В случае нескольких целевых областей в изображении, информация, необходимая для идентификации каждой из них, также должна быть определена и передана. Фактическая вставка упомянутого замещающего содержания в изображение в одном из последующих звеньев цепи передачи сигнала выполняется затем в соответствии с определяющими целевую область данными, передающимися совместно с сигналом обработанного изображения. Под последующим звеном цепи передачи сигнала понимается любое звено после первоначальной передачи сигнала обработанного изображения и данных, определяющих целевую область. Например, в случае распространения сигнала глобального телевидения вставка замещающего содержания может выполняться отдельно в каждой принимающей стране. Генерация и передача далее сигнала обработанного изображения, а также определяющих целевую область данных может, в свою очередь, выполняться, например, уже в месте генерации сигнала исходного изображения.The variable target area may be, for example, an advertising module visible on a camera-captured image. Said change may include, for example, adjusting the content in the region of said module in the visible final image separately for viewers from different viewer groups. Graphics may include any additional graphic content, for example, various types of shapes, letters, etc. To determine the target area, that is, its shape and location in the television image, for example, a marking surface described in WO 01/58147 can be used. By the method described in WO 01/58147, a potential masking area can also be determined, that is, an area located inside the target area that is not visible on the television image and into which, therefore, it is not necessary to insert substitute content. In the case of several target areas in the image, the information necessary to identify each of them must also be determined and transmitted. The actual insertion of said replacement content into the image in one of the subsequent links of the signal transmission chain is then performed in accordance with the data defining the target area, transmitted together with the processed image signal. By the next link of the signal transmission chain is meant any link after the initial signal transmission of the processed image and data defining the target area. For example, in the case of a global television signal, the insertion of replacement content may be performed separately in each host country. Further generation and transmission of the processed image signal, as well as defining the target data area, can, in turn, be performed, for example, already at the place of generation of the original image signal.

В соответствии с настоящим изобретением, графика добавляется в телевизионное изображение в соответствии с заранее заданной процентной долей наложения графики; способ также включает определение общей области для целевой области и области дополнительной графики в телевизионном изображении, а также последующую передачу, совместно с сигналом обработанного изображения и определяющими целевую область данными, данных, определяющих общую область, и данных, пропорциональных упомянутой процентной доле наложения графики; и в общую область, то есть в пересечение целевой области и дополнительной графики, вставляется замещающее содержание в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.In accordance with the present invention, graphics are added to a television image in accordance with a predetermined percentage of the graphics overlay; the method also includes determining a common area for the target area and the area of additional graphics in the television image, as well as subsequent transmission, together with the processed image signal and determining the target area, data defining a common area and data proportional to said percentage of the graphic overlay; and in the common area, that is, at the intersection of the target area and the additional graphics, the replacement content is inserted in accordance with the residual percentage of the overlay not occupied by the added graphics.

Под процентной долей наложения здесь понимается доля добавочного содержания в каждой точке изображения. Другими словами, процентная доля наложения определяет, какую долю каждого пикселя или группы смежных пикселей изображения составляет добавленная графика, остальное же содержание этого пикселя остается прежним. Общая область для целевой области и дополнительной графики в телевизионном изображении является областью, расположенной внутри целевой области и включающей добавленную графику. Передача определяющих общую область данных и данных, пропорциональных процентной доле наложения графики, может выполняться, например, путем передачи исходной графики и управляющего сигнала, используемого для регулировки процентной доли наложения графики. Данные, пропорциональные процентной доле наложения графики, могут быть представлены, например, как остаточная процентная доля, оставшаяся после наложения графики. Вставка замещающего содержания в общую область в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой, означает, что поддерживается заданная процентная доля наложения графики. Например, если заранее заданная процентная доля наложения графики составляет 80%, остается 20-процентная доля для наложения исходного и замещающего содержания в общей области. Возможно, что желаемая доля наложения замещающего содержания составляет менее 100%. Это означает, что остаточная процентная доля наложения в общей области, не занятая добавленной графикой, сформирована одновременно из содержания исходного изображения и содержания замещающего изображения. Это требует передачи исходной графики совместно с сигналом обработанного изображения. Требуемая процентная доля наложения замещающего содержания может быть определена уже на стадии передачи и передана затем вместе с остальными данными.Under the percentage of overlays here refers to the proportion of additional content at each point in the image. In other words, the percentage of the overlay determines what proportion of each pixel or group of adjacent pixels of the image is the added graphics, the rest of the content of this pixel remains the same. The common area for the target area and additional graphics in the television image is an area located inside the target area and including the added graphics. The transmission of data that defines the common area and data proportional to the percentage of the graphics overlay can be accomplished, for example, by transmitting the original graphics and a control signal used to adjust the percentage of graphics overlay. Data proportional to the percentage of the graphic overlay can be presented, for example, as the residual percentage remaining after the graphic overlay. Insertion of replacement content in the general area in accordance with the residual percentage of overlays not occupied by the added graphics means that the specified percentage of graphics overlays is maintained. For example, if the predetermined percentage of the graphic overlay is 80%, there remains a 20% share for the overlay of the original and replacement content in the general area. It is possible that the desired proportion of overlapping replacement content is less than 100%. This means that the residual percentage of the overlay in the total area not occupied by the added graphics is formed simultaneously from the content of the original image and the content of the replacement image. This requires the transmission of the original graphics in conjunction with the processed image signal. The required percentage of the overlay of the replacement content can be determined already at the stage of transmission and then transferred along with the rest of the data.

Ключевым признаком настоящего изобретения является возможность добавления частично прозрачной графики в целевую изменяемую область, сохраняя при этом заранее заданную процентную долю наложения графики, в том числе и после вставки замещающего содержания в целевую область. Это является значительным усовершенствованием по сравнению с технологиями существующего уровня техники, ограниченными вставкой с полным наложением, то есть без прозрачности.A key feature of the present invention is the ability to add partially transparent graphics to the target variable region, while maintaining a predetermined percentage of the graphics overlay, including after inserting replacement content in the target region. This is a significant improvement over current state of the art technology limited to full overlay insert, that is, no transparency.

С целью снижения требований к пропускной способности канала передачи данных, в предпочтительном варианте осуществления настоящего изобретения графика добавляется в общую область с полным наложением, независимо от заранее заданной процентной доли наложения графики. В таком случае не требуется передача исходной графики. Это является очевидным преимуществом с точки зрения требований к пропускной способности для данных. Замена содержания целевой области замещающим содержанием в обрабатываемом таким образом изображении в соответствии с упомянутой остаточной процентной долей наложения всегда приводит к получению результирующего изображения, в котором общая область включает графику с заранее заданной процентной долей наложения, а оставшаяся часть наложения при этом сформирована из замещающего содержания.In order to reduce the bandwidth requirements of the data transmission channel, in a preferred embodiment of the present invention, the graphics are added to the general area with full overlap, regardless of the predetermined percentage of the graphics overlay. In this case, the transfer of the original graphics is not required. This is an obvious advantage in terms of data throughput requirements. Replacing the content of the target area with substitute content in the image thus processed in accordance with the said residual percentage of the overlay always results in a resulting image in which the general area includes graphics with a predetermined percentage of the overlay and the rest of the overlay is formed from the replacement content.

В предпочтительном варианте настоящего изобретения определяющие целевую область данные, определяющие общую область данные и данные, пропорциональные процентной доле наложения графики, передают во вспомогательном сигнале изображения, содержание изображения которого организовано в соответствии с упомянутыми данными. Другими словами, содержание изображения организовано в соответствии с геометрией и местоположением целевой области и общей области и содержит также информацию о процентной доле наложения графики. Вспомогательный сигнал изображения является прямым и простым в обработке для систем обработки сигналов в цепи передачи телевизионного сигнала. Также, предпочтительно, вместе со вспомогательным сигналом изображения передается информация об области потенциального маскирования, а также информация, соответствующая планируемой процентной доле наложения замещающего содержания. Таким образом, вспомогательный сигнал изображения может содержать, например, одноцветное изображение, яркость которого в различных областях, то есть в целевой области, общей области, а также в области потенциального маскирования, регулируется в соответствии с планируемой процентной долей наложения. Также, предпочтительно, совместно со вспомогательным сигналом изображения передают координаты углов или иных опорных точек целевой области в телевизионном изображении. Такой тип вспомогательного сигнала изображения, несущий всю необходимую для дальнейшей вставки замещающего содержания информацию, делает собственно вставку очень простой процедурой, не требующей сложных систем обработки данных. Очевидно, что можно не осуществлять определение процентной доли наложения замещающего содержания до последующего звена цепи передачи сигнала.In a preferred embodiment of the present invention, target region-determining data, common region-determining data, and data proportional to the percentage of the graphic overlay are transmitted in an auxiliary image signal, the image content of which is organized in accordance with the mentioned data. In other words, the image content is organized according to the geometry and location of the target area and the general area and also contains information about the percentage of the graphic overlay. The auxiliary image signal is direct and easy to process for signal processing systems in a television signal transmission circuit. Also, preferably, along with the auxiliary image signal, information is transmitted about the potential masking area, as well as information corresponding to the planned percentage of overlapping replacement content. Thus, the auxiliary image signal may contain, for example, a single-color image, the brightness of which in various areas, that is, in the target area, the general area, as well as in the area of potential masking, is adjusted in accordance with the planned percentage of overlap. Also, preferably, together with the auxiliary image signal, the coordinates of the angles or other reference points of the target area in the television image are transmitted. This type of auxiliary image signal, which carries all the information necessary for further insertion of the replacement content, makes the actual insertion a very simple procedure that does not require complex data processing systems. Obviously, it is possible not to determine the percentage of overlapping substitute content to the next link in the signal transmission chain.

Область изображения во вспомогательном сигнале изображения предпочтительно ограничена исключительно целевой областью для дальнейшего снижения требований к пропускной способности для данных. В рассматриваемом варианте осуществления изобретения, информация о местоположений такого типа целевой области ограниченного размера в телевизионном изображении передается совместно со вспомогательным сигналом изображения в виде координат избранных точек целевой области.The image area in the auxiliary image signal is preferably limited exclusively to the target area to further reduce data throughput requirements. In the present embodiment, location information of this type of target area of a limited size in a television image is transmitted together with an auxiliary image signal in the form of coordinates of selected points of the target area.

Краткое описание чертежейBrief Description of the Drawings

Далее настоящее изобретение будет описано более подробно с помощью прилагаемых чертежей, иллюстрирующих предпочтительный вариант осуществления настоящего изобретения.The present invention will now be described in more detail with the aid of the accompanying drawings, illustrating a preferred embodiment of the present invention.

Фиг.1 иллюстрирует принцип генерации исходного телевизионного изображения и определения местоположения изменяемой целевой области в упомянутом изображении.Figure 1 illustrates the principle of generating the original television image and determining the location of the variable target area in said image.

Фиг.2 представляет, в виде блок-схемы, шаги варианта осуществления изобретения на передающей и принимающей стороне цепи передачи сигнала, соответственно.Figure 2 presents, in block diagram form, the steps of an embodiment of the invention on the transmitting and receiving sides of the signal transmission chain, respectively.

Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION

Фиг.1 иллюстрирует отправную точку для примера осуществления настоящего изобретения. Телевизионная камера 1 снимает сцену, включающую рекламный модуль 2, содержание которого требуется изменить в финальном телевизионном изображении. Между камерой и модулем находится человек 3, закрывающий от камеры часть модуля. Для маркировки области модуля в захватываемом камерой изображении и, следовательно, для предоставления информации, необходимой для определения его области в телевизионном изображении, то есть целевой изменяемой области, за модулем расположен источник 4 излучения, излучающий инфракрасное излучение 5 по всей области модуля. (В соответствии с описанием WO 01/58147, очевидно, что излучение может быть любого типа, если оно достаточно отличается от остального излучения). Модуль выполнен таким образом, чтобы перенаправлять это излучение на фронтальную сторону модуля. Следовательно, со стороны камеры область модуля выглядит как плоский источник инфракрасного излучения. Инфракрасное излучение от области модуля регистрируется специальным детектором 6, подключенным к камере. На основе данных, захваченных детектором, если известны отношения между координатами изображения, получаемого датчиком, и изображения, получаемого камерой, можно определить целевую область в телевизионном изображении. Также можно определить маску, образованную скрывающим часть модуля человеком. В рассматриваемом варианте осуществления изобретения, описанное выше комбинируется с целью формирования маскирующего изображения 10, показанного на фиг.2, определения формы и размера целевой области 11, а также расположенной внутри нее области 12 маскирования. Кроме геометрической информации, содержание маскирующего изображения включает также планируемую процентную долю наложения замещающего содержания, которая в данном случае составляет 100%, за исключением области маскирования, для которой она, очевидно, составляет 0%. В частности, в данном варианте осуществления изобретения, маскирующее изображение является одноцветным изображением, яркость различных областей которого выбирается пропорционально их процентной доле наложения.1 illustrates a starting point for an example embodiment of the present invention. The television camera 1 shoots a scene including an advertising module 2, the contents of which need to be changed in the final television image. Between the camera and the module there is a person 3, covering part of the module from the camera. To mark the region of the module in the image captured by the camera and, therefore, to provide the information necessary to determine its region in the television image, that is, the target variable region, a radiation source 4 is located behind the module, emitting infrared radiation 5 over the entire region of the module. (As described in WO 01/58147, it is obvious that radiation can be of any type if it is sufficiently different from the rest of the radiation). The module is designed to redirect this radiation to the front of the module. Therefore, on the camera side, the module area looks like a flat infrared source. Infrared radiation from the area of the module is detected by a special detector 6 connected to the camera. Based on the data captured by the detector, if the relationship between the coordinates of the image received by the sensor and the image received by the camera is known, the target area in the television image can be determined. You can also define a mask formed by a person hiding part of the module. In the present embodiment, the foregoing is combined to form the masking image 10 shown in FIG. 2, to determine the shape and size of the target region 11, as well as the masking region 12 located inside it. In addition to geometric information, the content of the masking image also includes the planned percentage of the overlap of the replacement content, which in this case is 100%, with the exception of the masking area, for which it is obviously 0%. In particular, in this embodiment, the masking image is a one-color image, the brightness of the various areas of which is selected in proportion to their percentage overlap.

В соответствии с фиг.2, исходное телевизионное изображение 7, захваченное камерой и преобразованное в исходный телевизионный сигнал PGM1 передающего звена 8 цепи передачи сигнала, включает упомянутый модуль 2, часть которого скрыта за человеком 3, стоящим между модулем и камерой в исходном месте проведения съемки. На передающее звено подается также сигнал GRAPH_KEY управления графикой. В примере на фиг.2 этот сигнал управления графикой определяет графику 9, также подаваемую в передающее звено, при этом графика должна быть добавлена в правую часть области изображения с процентной долей наложения, составляющей 70%. Третьим сигналом, подающимся в передающее звено, является первый вспомогательный сигнал изображения AUX1, содержащий вышеописанное маскирующее изображение 10. Область изображения в маскирующем изображении с целью экономии пропускной способности для передачи данных ограничена исключительно целевой областью. Естественно, затем вместе с первым вспомогательным сигналом изображения AUX1 должны быть переданы также и координаты углов или иных опорных точек целевой области в области телевизионного изображения. В данном примере целевая область разделена на две подобласти 11а и 11b, например, для возможной вставки двух различных рекламных модулей в качестве замещающего содержания в целевой области. Вместе с первым вспомогательным сигналом изображения AUX1 передается также идентификационная информация о подобластях.In accordance with FIG. 2, the original television image 7 captured by the camera and converted into the original television signal PGM1 of the transmission link 8 of the signal transmission chain includes said module 2, part of which is hidden behind a person 3 standing between the module and the camera at the original location of the survey . A graphic control signal GRAPH_KEY is also supplied to the transmitting link. In the example of FIG. 2, this graphics control signal defines a graphic 9 also supplied to the transmission link, wherein the graphic should be added to the right side of the image area with a percentage overlap of 70%. The third signal supplied to the transmission link is the first auxiliary image signal AUX1 containing the masking image 10 described above. The image area in the masking image is limited solely by the target area in order to save data throughput. Naturally, then along with the first auxiliary image signal AUX1, the coordinates of the angles or other reference points of the target area in the television image area should also be transmitted. In this example, the target area is divided into two sub-areas 11a and 11b, for example, for the possible insertion of two different advertising modules as replacement content in the target area. Together with the first auxiliary image signal AUX1, identification information about subdomains is also transmitted.

В передающем звене 8 цепи передачи сигнала, маскирующее изображение 10, графика 9 и сигнал GRAPH_KEY управления графикой комбинируются для определения общей области 13, в которой добавленная графика перекрывает целевую область 11. В варианте осуществления изобретения на фиг.2, при добавлении графики в изображение в соответствии с текущим сигналом управления графикой, в упомянутой общей области процентная доля наложения графики установлена равной 100%, независимо от процентной доли, определяемой сигналом GRAPH_KEY управления графикой. Планируемая процентная доля наложения замещающего содержания для упомянутой общей области устанавливается в соответствии с остаточной процентной долей, не перекрытой после наложения графики. В данном случае она составляет 100%×(100%-70%)=30%.In the transmission link 8 of the signal transmission chain, the masking image 10, the graphic 9 and the graphic control signal GRAPH_KEY are combined to define a common area 13 in which the added graphic overlaps the target area 11. In the embodiment of the invention of FIG. 2, when adding graphics to the image in in accordance with the current graphics control signal, in the aforementioned general area, the percentage of graphics overlay is set to 100%, regardless of the percentage determined by the graphics control signal GRAPH_KEY. The planned percentage of the overlay for the replacement content for the mentioned general area is set in accordance with the residual percentage that is not blocked after the overlay of the schedule. In this case, it is 100% × (100% -70%) = 30%.

В качестве выходных сигналов передающего звена 8 далее передаются два сигнала: обработанный телевизионный сигнал PGM2, включающий добавленную в изображение 7 описанным выше способом графику 9; и второй вспомогательный сигнал изображения AUX2, изображение которого отличается от изображения первого вспомогательного сигнала изображения тем, что яркость в общей области 13 установлена в соответствии с определенной выше остаточной процентной долей наложения. Эти два сигнала затем принимаются в принимающем звене 14 цепи передачи сигнала для финальной обработки телевизионного изображения перед его демонстрацией зрителям. При упомянутой обработке требуемое замещающее содержание 15а, 15b вставляется в изображение 7 телевизионного сигнала PGM2 в соответствии с информацией, передаваемой со вторым вспомогательным сигналом изображения AUX2. Это означает, что замещающее содержание вставляется в целевую область 11, определяемую маскирующим изображением 10 и упомянутыми координатами целевой области. В данном случае это означает, что осуществляется вставка двух отдельных содержаний 15а, 15b в две подобласти 11 а, 11b целевой области, при этом подобласти идентифицируются с помощью идентификационной информации, также передаваемой вместе со вторым вспомогательным сигналом изображения. Вставка осуществляется с процентными долями наложения, определяемыми яркостями различных областей изображения второго вспомогательного сигнала изображения. В часть целевой области, располагающуюся вне области 12 маскирования и вне общей области 13, замещающее содержание вставляется с полным наложением. Очевидно, что в область 12 маскирования не осуществляется вставки замещающего содержания. Наконец, ранее упомянутая процентная доля наложения, составляющая 30%, используется для общей области 13 с полным наложением добавленной графики в обработанном телевизионном сигнале 13. Как результат, общая область 13 телевизионного изображения 7 третьего телевизионного сигнала PGM3, формируемого принимающим звеном 14, состоит из добавленной графики с 70-процентной долей наложения и замещающего содержания с 30-процентной долей наложения. Это означает, что содержание финального телевизионного изображения в выходном сигнале PGM3 точно такое, как если бы замещающее содержание располагалось на месте рекламного модуля в исходном месте проведения съемки.As the output signals of the transmission link 8, two signals are further transmitted: the processed television signal PGM2, including the graphic 9 added to the image 7 in the manner described above; and a second auxiliary image signal AUX2, the image of which differs from the image of the first auxiliary image signal in that the brightness in the common area 13 is set in accordance with the residual overlap percentage determined above. These two signals are then received at the receiving link 14 of the signal transmission chain for final processing of the television image before being shown to viewers. With said processing, the required replacement content 15a, 15b is inserted into the image 7 of the television signal PGM2 in accordance with the information transmitted with the second auxiliary image signal AUX2. This means that the replacement content is inserted into the target area 11, defined by the masking image 10 and the mentioned coordinates of the target area. In this case, this means that two separate contents 15a, 15b are inserted into two subareas 11a, 11b of the target area, and the subareas are identified using identification information also transmitted together with the second auxiliary image signal. The insertion is carried out with percentage overlays, determined by the brightness of different areas of the image of the second auxiliary image signal. In the part of the target area located outside the masking area 12 and outside the common area 13, the replacement content is inserted with full overlap. Obviously, no replacement content is inserted into the masking area 12. Finally, the previously mentioned overlap percentage of 30% is used for the total area 13 with the overlay of the added graphics in the processed television signal 13. As a result, the total area 13 of the television image 7 of the third television signal PGM3 formed by the receiving link 14 consists of the added Charts with a 70 percent overlay and overlay content with a 30 percent overlay. This means that the content of the final television image in the PGM3 output signal is exactly the same as if the replacement content was located in the place of the advertising module in the original location of the shooting.

Предпочтительно, границы между различными областями телевизионного изображения смягчают путем использования переходной зоны, содержание которой изменяется от содержания одной области до содержания другой. Другими словами, например, на границе между целевой областью и областью изображения вне ее содержание исходного изображения подменяется замещающим содержанием в переходной зоне ограниченной ширины. Резкое изменение без сглаживания могло бы произвести нереалистичное впечатление. Ширина переходной зоны предпочтительно регулируется в соответствии с движением объектов в телевизионном изображении таким образом, чтобы для быстро движущихся объектов она была шире, чем для стационарных.Preferably, the boundaries between different areas of the television image are softened by using a transition zone, the content of which varies from the content of one area to the content of another. In other words, for example, at the boundary between the target region and the image region outside, its content of the original image is replaced with substitute content in the transition zone of limited width. A sharp change without smoothing could make an unrealistic impression. The width of the transition zone is preferably adjusted in accordance with the movement of objects in the television image so that it is wider for fast-moving objects than for stationary ones.

Важно иметь в виду, что процедура, иллюстрируемая на фиг.2 и описанная выше, представляет собой только один пример осуществления изобретения. Реальные типы сигналов и варианты представления информационного содержания, необходимые для упомянутого способа, могут существенно меняться, не выходя за рамки формулы изобретения. Идея настоящего изобретения применима как в аналоговых, так и в цифровых системах. Возможна также передача дополнительной информации для последующей вставки замещающего содержания совместно с телевизионным изображением, в одном и том же сигнале. Как известно специалистам в данной области, некоторые стандарты телевизионных сигналов определяют изначально пустые блоки данных, пригодные для этих целей. Кроме того, настоящее изобретение не ограничивается каким-либо конкретным вариантом его осуществления. Все вышеописанные шаги обработки сигналов могут управляться компьютером автоматически с использованием стандартного или специализированного оборудования, либо также путем регулировки сигналов, по меньшей мере в некоторой степени, вручную.It is important to keep in mind that the procedure illustrated in FIG. 2 and described above is only one embodiment of the invention. The actual types of signals and options for the presentation of information content necessary for the aforementioned method can vary significantly without going beyond the scope of the claims. The idea of the present invention is applicable in both analog and digital systems. It is also possible to transmit additional information for subsequent insertion of replacement content in conjunction with a television image in the same signal. As is known to those skilled in the art, some television signal standards define initially empty data blocks suitable for this purpose. In addition, the present invention is not limited to any particular embodiment. All of the above steps of signal processing can be controlled by a computer automatically using standard or specialized equipment, or also by adjusting the signals, at least to some extent, manually.

Одним из возможных изменений в процедуре на фиг.2 может быть передача с сигналом обработанного изображения PGM2, вместо второго вспомогательного сигнала AUX2, исходной графики и сигнала GRAPH_KEY управления графикой, и определение на их основе общей области в одном из последующих звеньев цепи передачи сигнала. Такой способ позволяет устанавливать каждую из процентных долей - замещающего содержания и добавленной графики - одновременно менее 100%. Кроме того, при таком подходе процентная доля наложения может определяться только в принимающем звене. Недостатком данного способа может быть возможное повышение требований к пропускной способности канала для данных графической информации.One of the possible changes in the procedure in figure 2 may be the transmission of the processed image signal PGM2, instead of the second auxiliary signal AUX2, the original graphics and graphics control signal GRAPH_KEY, and determining on their basis the common area in one of the subsequent links of the signal transmission chain. This method allows you to set each of the percentages - the replacement content and the added graphics - at the same time less than 100%. In addition, with this approach, the percentage of overlays can only be determined in the receiving link. The disadvantage of this method may be a possible increase in bandwidth requirements for data graphics information.

Claims (7)

1. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий генерацию сигнала исходного изображения (PGM1) посредством камеры (1), обработку сигнала исходного изображения путем добавления графики (9) в телевизионное изображение, определение целевой области в телевизионном изображении, передачу далее сигнала обработанного изображения (PGM2) и определяющих целевую область данных, а также вставку, в одном из последующих звеньев (14) цепи передачи сигнала, замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, отличающийся тем, что:
графику (9) добавляют в телевизионное изображение (7) в соответствии с заранее заданной процентной долей наложения графики; и
способ также включает:
определение общей области (13) для целевой области (11) и области (9) дополнительной графики в телевизионном изображении, и
передачу далее, совместно с сигналом обработанного изображения (PGM2) и определяющими целевую область данными, данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики; при этом
замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.
1. A method of changing the content of the target area (11) in a television image (7), including generating a source image signal (PGM1) by a camera (1), processing the source image signal by adding graphics (9) to the television image, determining the target area in the television image, the further transmission of the processed image signal (PGM2) and defining the target data area, as well as the insertion, in one of the subsequent links (14) of the signal transmission circuit, replacing the content (15a, 15b) into the target area in accordance AI with data defining the target area, characterized in that:
graphics (9) are added to the television image (7) in accordance with a predetermined percentage of the graphics overlay; and
The method also includes:
determining a common area (13) for the target area (11) and the area (9) of additional graphics in the television image, and
transmitting further, together with the processed image signal (PGM2) and the target area determining data, data defining a common area, and data proportional to the percentage of the graphic overlay; wherein
the replacement content (15a, 15b) is inserted into the general area (13) in accordance with the residual percentage of the overlay not occupied by the added graphics.
2. Способ по п.1, отличающийся тем, что в общую область (13) графику (9) добавляют с полным наложением, независимо от заранее заданной процентной доли наложения графики.2. The method according to claim 1, characterized in that in the general area (13), the schedule (9) is added in full, regardless of the predetermined percentage of the overlay of the graphic. 3. Способ по п.1 или 2, отличающийся тем, что определяющие целевую область данные, определяющие общую область данные и данные, пропорциональные процентной доле наложения графики, передают во вспомогательном сигнале изображения (AUX2), содержание изображения которого соответствует упомянутым данным.3. The method according to claim 1 or 2, characterized in that the data defining the target region, defining the common region of the data and data proportional to the percentage of the overlay graphics, transmit in the auxiliary image signal (AUX2), the image content of which corresponds to the data. 4. Способ по п.3, отличающийся тем, что для снижения требований к пропускной способности канала передачи данных область изображения вспомогательного сигнала изображения (AUX2) ограничена целевой областью (11), и информацию о местоположении целевой области в телевизионном изображении (7) передают в виде координат избранных точек целевой области.4. The method according to claim 3, characterized in that to reduce the bandwidth requirements of the data channel, the image area of the auxiliary image signal (AUX2) is limited to the target area (11), and the location information of the target area in the television image (7) is transmitted to the coordinates of the selected points of the target area. 5. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий генерацию сигнала исходного изображения (PGM1) посредством камеры (1), обработку сигнала исходного изображения путем добавления графики (9) в телевизионное изображение, определение целевой области в телевизионном изображении и передачу далее сигнала обработанного изображения (PGM2) и определяющих целевую область данных, чтобы сделать возможной вставку, в одном из последующих звеньев (14) цепи передачи сигнала, замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, отличающийся тем, что:
графику (9) добавляют в телевизионное изображение (7) в соответствии с заранее заданной процентной долей наложения графики; и способ также включает:
определение общей области (13) для целевой области (11) и области (9) дополнительной графики в телевизионном изображении, и
передачу далее данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики, чтобы сделать возможной вставку замещающего содержания (15а, 15b) в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.
5. A method of changing the content of the target area (11) in a television image (7), including generating a source image signal (PGM1) by a camera (1), processing the source image signal by adding graphics (9) to the television image, determining the target area in the television image and then transmitting the processed image signal (PGM2) and defining the target data area to enable insertion, in one of the subsequent links (14) of the signal transmission circuit, replacing the content (15a, 15b) into the target Part in accordance with data defining the target region, characterized in that:
graphics (9) are added to the television image (7) in accordance with a predetermined percentage of the graphics overlay; and the method also includes:
determining a common area (13) for the target area (11) and the area (9) of additional graphics in the television image, and
transmitting further data defining the common area and data proportional to the percentage of the overlay of the graphic to enable the insertion of the replacement content (15a, 15b) into the general area (13) in accordance with the residual percentage of the overlay not occupied by the added graphics.
6. Способ по п.5, содержащий вставку в одном из последующих звеньев (14) цепи передачи сигнала замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными, при этом замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.6. The method according to claim 5, containing an insert in one of the subsequent links (14) of the signal transmission circuit of the substitution content (15a, 15b) in the target region in accordance with the data defining the target region, the substitution content (15a, 15b) being inserted into general area (13) in accordance with the residual percentage of the overlay not occupied by the added graphics. 7. Способ изменения содержания целевой области (11) в телевизионном изображении (7), включающий
прием сигнала обработанного изображения (PGM2), данных, определяющих целевую область, данных, определяющих общую область, и данных, пропорциональных процентной доле наложения графики, как определено в п.5, и
вставку замещающего содержания (15а, 15b) в целевую область в соответствии с определяющими целевую область данными,
отличающийся тем, что замещающее содержание (15а, 15b) вставляют в общую область (13) в соответствии с остаточной процентной долей наложения, не занятой добавленной графикой.
7. A method of changing the content of the target area (11) in a television image (7), including
receiving a processed image signal (PGM2), data defining a target area, data defining a common area, and data proportional to the percentage of graphics overlay as defined in claim 5, and
inserting replacement content (15a, 15b) into the target area in accordance with the data defining the target area,
characterized in that the replacement content (15a, 15b) is inserted into the common area (13) in accordance with the residual percentage of the overlay not occupied by the added graphics.
RU2010128093/07A 2007-12-13 2007-12-13 Method for modifying the content of a television image RU2443070C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2010128093/07A RU2443070C1 (en) 2007-12-13 2007-12-13 Method for modifying the content of a television image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2010128093/07A RU2443070C1 (en) 2007-12-13 2007-12-13 Method for modifying the content of a television image

Publications (1)

Publication Number Publication Date
RU2443070C1 true RU2443070C1 (en) 2012-02-20

Family

ID=45854712

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010128093/07A RU2443070C1 (en) 2007-12-13 2007-12-13 Method for modifying the content of a television image

Country Status (1)

Country Link
RU (1) RU2443070C1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997000582A1 (en) * 1995-06-16 1997-01-03 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
RU2108005C1 (en) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Method for picture implantation and device which implements said method
RU99110735A (en) * 1996-11-27 2001-03-10 Принстон Видео Имидж Paste an image into a video stream using a combination of physical sensors and pattern recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2108005C1 (en) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Method for picture implantation and device which implements said method
WO1997000582A1 (en) * 1995-06-16 1997-01-03 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
RU99110735A (en) * 1996-11-27 2001-03-10 Принстон Видео Имидж Paste an image into a video stream using a combination of physical sensors and pattern recognition

Similar Documents

Publication Publication Date Title
JP7447077B2 (en) Method and system for dynamic image content replacement in video streams
US10204452B2 (en) Apparatus and method for providing augmented reality-based realistic experience
CN104885383B (en) Image display method
KR101913035B1 (en) Semi transparent mark, a method for composing and detecting semi transparent mark,transparent mark and a method for composing and detecting transparent mark
EP0796541B1 (en) System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
EP0750819B1 (en) A system for implanting an image into a video stream
CN101981912B (en) A method for modifying the content of a television image
US20110249034A1 (en) Luminance Control Apparatus and Luminance Control Method
CN106063261A (en) Augmented information display
GB2529182A (en) Method and apparatus for dynamic image content manipulation
JP2006516862A (en) Method and apparatus for combining video signals to produce a comprehensive video signal
CN113792564A (en) Indoor positioning method based on invisible projection two-dimensional code
RU2443070C1 (en) Method for modifying the content of a television image
US20020158877A1 (en) Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital wrap, intensity transforms, color matching, soft-edge blending and filtering for multiple projectors and laser projectors
WO2016071566A1 (en) Variable resolution image capture
US20230306611A1 (en) Image processing method and apparatus
HK1154732A (en) A method for modifying the content of a television image
JP6396932B2 (en) Image composition apparatus, operation method of image composition apparatus, and computer program
WO2006095860A1 (en) Background replacement device, background replacement program, and background replacement method
KR20050015737A (en) Real image synthetic process by illumination control
EP4131234A1 (en) Method and system for operating an active display
US20160037081A1 (en) Method and Apparatus for Dynamic Image Content Manipulation
KR101876322B1 (en) Chromakey synthesis system and method with multiple color keys
KR102538479B1 (en) Display apparatus and method for displaying
EP4300945A1 (en) Image processing device, image processing method, and projector device

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20141214