[go: up one dir, main page]

KR970011540B1 - 캠코더의 영상보정장치 - Google Patents

캠코더의 영상보정장치 Download PDF

Info

Publication number
KR970011540B1
KR970011540B1 KR1019930003118A KR930003118A KR970011540B1 KR 970011540 B1 KR970011540 B1 KR 970011540B1 KR 1019930003118 A KR1019930003118 A KR 1019930003118A KR 930003118 A KR930003118 A KR 930003118A KR 970011540 B1 KR970011540 B1 KR 970011540B1
Authority
KR
South Korea
Prior art keywords
representative point
motion vector
search area
representative
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019930003118A
Other languages
English (en)
Other versions
KR940023177A (ko
Inventor
정한
김영만
홍승표
김기원
박호상
Original Assignee
엘지전자 주식회사
구자홍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 구자홍 filed Critical 엘지전자 주식회사
Priority to KR1019930003118A priority Critical patent/KR970011540B1/ko
Priority to DE4406837A priority patent/DE4406837A1/de
Priority to JP6032437A priority patent/JPH0795469A/ja
Priority to CN94102226A priority patent/CN1037311C/zh
Publication of KR940023177A publication Critical patent/KR940023177A/ko
Priority to US08/742,554 priority patent/US6002431A/en
Application granted granted Critical
Publication of KR970011540B1 publication Critical patent/KR970011540B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

요약없음

Description

캠코더의 영상보정장치
제1도는 종래 움직임 벡터 검출을 설명하기 위한 도면.
제2도는 종래의 움직임 벡터 검출기 구성도.
제3도는 본 발명의 움직임 벡터 검출기 구성도.
제4도는 본 발명의 대표점 결정부 실시예를 나타낸 구성도
제5도는 본 발명의 16개의 움직임 성분검출영역과 대표점을 검출하기 위한 설명도.
* 도면의 주요부분에 대한 부호의 설명
1 : 필터5 : 마스크 처리부
6 : 대표점 결정부7 : 상관관계 계산부
본 발명은 캠코더의 영상보정장치에 관한 것으로 특히 움직임 벡터 검출을 위한 대표점을 선택하기에 적당하도록 한 것이다.
종래에는 제1도에 도시된 바와 같이 움직임 벡터검출을 위하여 입력 화상을 4등분하고 4등분한 움직임 벡터 검출영역에서 각각 고정된 균일한 위치에 대표점을 30개씩 설정한다.
또한, 종래에는 대표점을 구하기 위해 제2도와 같이 디지탈 입력 영상신호를 노이즈와 고주파 성분을 억제하기 위해 필터(1)를 통과시키고 대표점 메모리(2)와 상관관계 계산부(3)로 입력한다. 이때, 대표점 메모리(2)에는 입력된 영상신호 중에서 4개의 움직임 벡터 검출영역에 각각 30개씩의 고정된 화소 위치에서의 값을 저장시킨다. 다시 말해서, 대표점 메모리(2)에는 한 필드의 입력영상에 대한 고정위치의 120개 화소값을 대표점으로 저장시킨다.
이와 같은 대표점 메모리(2)에서 출력되는 대표점 데이타가 상관관계 계산부(3)에 입력되어 120개의 대표점에 대한 주변의 일정 영역의 화소값과의 상관관계를 계산한 후 최대 상관관계부(4)를 거쳐 출력된다. 그러나, 상기와 같은 종래의 대표점을 구하는 방식은 고정된 위치에서의 대표점 데이타를 선택하기 때문에 영상 데이타 중에서 화면간의 비교를 명확하게 할 수 있는 정보를 충분히 이용할 수 없다.
또한, 정확한 움직임 벡터를 구하기 위하여 많은 수의 대표점을 필요로 하기 때문에 구조가 복잡해짐은 물론 많은 계산을 해야한다.
본 발명은 이와 같은 종래의 결점을 해결하기 위한 것으로 캠코더 사용할 때 손떨림에 의해 흔들리는 영상을 안정화시키기 위해 필요한 움직임 벡터를 검출하는데 있어서보다 정확한 대표점을 선택하여 정확한 움직임 벡터를 검출하는데 그 목적이 있다.
이와 같이 목적을 달성하기 위한 본 발명은 가변적인 상관관계 계산을 위한 대표점을 선택하기 위해 한 필드분의 영상을 16등분하여 각 영역내에서 입력되는 영상 데이타의 최대값을 대표점으로 선택하는 것으로써, 디지탈 입력 영상 데이터중 정확한 특징점을 선택하기 위한 마스크를 행하는 마스크 처리부(5)와, 마스크 처리된 입력 데이타를 받아 탐색영역에 대한 정보가 없을 경우 그 탐색영역 안에서의 대표점을 선택하고, 그 대표점이 그 중심이 되도록 다음 필드의 탐색영역을 결정하는 대표점 결정부(6)와, 상기 탐색영역의 중심과 그 탐색영역의 대표점의 관계로부터 움직임 벡터를 계산하는 상관관계 계산부(7)를 포함하여 이루어짐을 특징으로 한다.
이하, 이와 같은 목적을 달성하기 위한 본 발명의 실시예를 첨부된 도면을 참고로 하여 상세히 설명하면 다음과 같다.
제3도는 본 발명의 대표점 선택을 이용한 움직임 베터 검출기의 구성도로 디지탈 입력 영상 데이타의 노이즈를 제거하는 필터(1)와, 상기 필터(1)에 의해 노이즈가 제거된 영상 데이타 중 정확한 특징점을 선택하기 위해 특별한 형태의 마스트를 행하는 마스크 처리부(5)와, 상기 마스크 처리부(5)에 의해 마스크 처리된 입력 데이타를 받아 매 필드마다 각 움직임 벡터 검출 영역 내에서 최대값을 선택하여 그 값의 위치를 대표점으로 결정하는 대표점 결정부(6)와, 상기 마스크 처리된 입력 데이타와 결정된 대표점을 입력받아 일정한 범위의 탐색영역에서 이들의 상관관계를 계산하는 계산부(7)를 포함하여서 이루어진다.
제4도는 상기 대표점 결정부(6)의 상세 실시예를 나타낸 것으로 마스크 처리부(5)의 노이즈가 제거된 영상 데이터를 일시 저장하는 제1레지스터(8)와, 제2레지스터(9)의 최소값과 상기 제2레지스터(9)의 데이타를 비교하는 비교기(10)와, 상기 비교기(10)에서 비교된 값중 큰 값을 선택받아 제2레지스터(9)에 저장시키는 멀티플렉서(11)와, 로우(Row) 어드레스를 계수하는 로우 어드레스 카운터(12)와, 컬럼(Column) 어드레스를 계수하는 컬럼 어드레스 카운터(13)와, 선택신호룰 내보내는 콘트롤러(14)와, 상기 로우 어드레스 카운터(12)와 컬럼 어드레스 카운터(13)로부터 각각 로우 어드레스와 컬럼 어드레스를 입력받아 이를 저장하는 대표값 로우 어드레스 저장부(15), 대표값 컬럼 어드레스 저장부(16)를 가진 대표값 어드레스 저장부(17)와, 상기 멀티플렉서(11)의 출력 데이타의 콘트롤러(14)의 선택신호에 의해 최종적인 최대값을 대표값으로 저장하는 대표값 저장부(18)를 포함하여서 된 이루어진다.
이와 같이 구성된 본 발명은 디지탈 영상 데이타가 입력되면 필터(1)를 거쳐 노이즈가 제거된 영상 데이타로 마스크 처리부(5)에 입력된다. 마스크 처리부(5)에서는 쉽고도 좀 더 정확한 특성을 선택하기 위해 특별한 형태의 마스크를 행한다. 이때의 마스크는 입력되는 각각의 화소에 대해 수평 수직의 주변 화소들과 화소값 차이의 절대값을 더한 값을 그 위치에서의 에지값으로 정하게 된다. 여기서 결정된 에지값들이 상관관계 계산부(7)와 대표점 결정부(6)에 입력된다.
이하, 상기 대표점 결정부(6)의 동작을 제4도와 제5도를 참고로 하여 설명한다. 즉, 마스크 처리부(5)에 의해 마스크 처리된 입력 데이타는 제1레지스터(8)에 일시저장되어 제2레지스터(9)의 최초값과 비교기(10)에서 비교된 후 큰 값이 멀티플렉서(11)에 의해 선택되어 상기 제2레지스터(9)에 저장된다. 이값과 이어서 입력되는 데이타를 비교하는 동작을 반복한다.
이러한 동작은 제5도에 도시된 바와 같이 각 16개의 움직임 성분 검출영역내에서 실시하고 이 영역을 구분해주는 콘트롤러(14)에서 출력되는 선택신호에 의해 최종적인 최대값을 대표값으로 대표값 저장부(18)에 입력시킨다. 이와 동시에 대표값에 대한 위치를 로우 어드레스 카운터(12)와 컬럼 어드레스 카운터(13)로 계산하여 대표값 어드레스 저장부(17)에 각각의 로우와 컬럼의 위치값을 저장시킨다.
이와 같이 구해진 대표점에 대하여 제5도의 임의의 움직임 벡터 검출영역(a 부분)에서 보여준 바와 같이 일정한 범위의 탐색 영역에서 상관관계를 계산하게 된다.
여기서 제5도에 대하여 더욱 상술하면, 제5도에서는 입력 영상에서 일정한 크기의 블럭을 일정기간을 두고 가로 세로 4개씩 16개씩을 정하여 대표점을 결정하기 위한 움직임 벡터 검출영역(a)과 각 움직임 검출영역에서 추출된 대표점을 보여준다.
제5도의 오른쪽 도면은 움직임이 없을 때 에지(edge)값이 어떤 위치(b 부분)에서 가장 크게 구해졌으며 영상의 흔들리 있을 경우, 똑같은 움직임 벡터 검출영역에서 대표점을 구할 경우 에지(edge)값이 가장 큰 위치는 새로운 위치(c 점)에서 결정될 수 있는 것이고, 이에 따라 이렇게 정해진 대표점(b)을 중심으로 탐색영역(d)을 정하고, 다음 필드의 데이터를 입력하여 대표점을 선택하면 손떨림 등에 의해 새로운 대표점(c)이 선택된다. 이 대표점(c)과 탐색영역의 중심(b)의 위치관계를 계산하면 움직임 벡터가 계산된다.
또한, 상기 새로운 대표점(c)을 중심으로 하는 새로운 탐색영역(e)에 대하여 다음 필드의 데이터를 입력하면 대표점을 선택하게 되고, 상기 과정을 반복하므로 매 필드마다 움직임 벡터가 계산될 수 있다.
이렇게 매 필드마다 계산된 움직임 벡터는 만일 움직임 벡터 검출영역(a)이 제5도의 좌측도면과 같이 16개이면 각 필드마다 16개의 움직임 벡터의 평균값을 취하여 평균된 움직임 벡터를 구할 수 있게 된다.
이렇게 움직임 벡터가 시간의 경과에 따라 다수 계산되어 정해지면, 종래기술과 같이 필드의 진행에 따른 화면의 유동이 검출되어지고, 상기 화면의 유동주기가 짧은 경우는 손떨림이라고 판단하고, 화면의 유동주기가 일정방향이거나 그 주기가 긴경우는 사용자가 의도한 이동이라도 판별하여 손떨림에 의한 화면유동을 보정하는 것이다. 여기서, d는 탐색영역, e는 새로운 탐색영역을 나타낸다.
이상에서 설명한 바와 같은 본 발명은 종래에 많은 대표점을 선택하여 움직임 벡터 검출을 하므로 발생되었던 구성의 복잡함과 계산량의 증가를 감소시킬 수 있으며, 각 필드에서의 상관관계를 명확하게 계산할 수 있는 최대값의 대표점을 선택할 수 있어 보다 정확한 움직임 벡터 검출이 가능한 효과가 있다.

Claims (4)

  1. 디지탈 입력 영상 데이터중 정확한 특징점을 개선하기 위한 마스크를 행하는 마스크 처리부(5)와, 마스크 처리된 입력 데이타를 받아 탐색영역에 대한 정보가 없을 경우 그 탐색영역 안에서의 대표점을 선택하고, 그 대표점이 그 중심이 되도록 다음 필드의 탐색영역을 결정하는 대표점 결정부(6)와, 상기 탐색영역의 중심과 그 탐색영역의 대표점의 관계로부터 움직임 벡터를 계산하는 상관관계 계산부(7)를 포함하여 구성된 것을 특징으로 하는 캠코더의 영상 보정장치.
  2. 제1항에 있어서, 상기 대표점은 최대값 지점임을 특징으로 하는 캠코드의 영상 보정장치.
  3. 제1항에 있어서, 상기 탐색영역은 상기 움직임 벡터 검출영역범위 안에 있는 것을 특징으로 하는 캠코드의 영상 보정장치.
  4. 제1항에 있어서, 상기 움직임 벡터 검출영역은 고정된 영역으로, 상기 탐색영역은 그 중심이 이동되도록 정해지는 것을 특징으로 하는 캠코드의 영상 보정장치.
KR1019930003118A 1993-03-03 1993-03-03 캠코더의 영상보정장치 Expired - Lifetime KR970011540B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019930003118A KR970011540B1 (ko) 1993-03-03 1993-03-03 캠코더의 영상보정장치
DE4406837A DE4406837A1 (de) 1993-03-03 1994-03-02 Bildkorrekturvorrichtung und -verfahren für einen Camcorder
JP6032437A JPH0795469A (ja) 1993-03-03 1994-03-02 カムコーダの映像補正装置
CN94102226A CN1037311C (zh) 1993-03-03 1994-03-03 摄录机用的视频校正设备
US08/742,554 US6002431A (en) 1993-03-03 1996-10-28 Video correction apparatus for camcorder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019930003118A KR970011540B1 (ko) 1993-03-03 1993-03-03 캠코더의 영상보정장치

Publications (2)

Publication Number Publication Date
KR940023177A KR940023177A (ko) 1994-10-22
KR970011540B1 true KR970011540B1 (ko) 1997-07-11

Family

ID=19351555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930003118A Expired - Lifetime KR970011540B1 (ko) 1993-03-03 1993-03-03 캠코더의 영상보정장치

Country Status (4)

Country Link
JP (1) JPH0795469A (ko)
KR (1) KR970011540B1 (ko)
CN (1) CN1037311C (ko)
DE (1) DE4406837A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038580A1 (en) * 2007-09-19 2009-03-26 Thermo King Corporation Wall construction for insulated enclosure

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3534551B2 (ja) * 1996-09-20 2004-06-07 シャープ株式会社 動き検出装置
JP4806584B2 (ja) * 2006-04-27 2011-11-02 富士通セミコンダクター株式会社 画像処理方法及び画像処理回路
JP4804238B2 (ja) * 2006-06-20 2011-11-02 三菱電機株式会社 動きベクトル検出装置
JP2010016447A (ja) * 2008-07-01 2010-01-21 Mitsubishi Electric Corp 画像処理装置および画像処理方法
JP6011569B2 (ja) * 2014-03-13 2016-10-19 カシオ計算機株式会社 撮像装置、被写体追尾方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE74219T1 (de) * 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
DE68909271T2 (de) * 1988-02-23 1994-03-24 Philips Nv Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes.
US5062056A (en) * 1989-10-18 1991-10-29 Hughes Aircraft Company Apparatus and method for tracking a target
JPH03274870A (ja) * 1990-03-24 1991-12-05 Sony Corp ビデオカメラのアイリス制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038580A1 (en) * 2007-09-19 2009-03-26 Thermo King Corporation Wall construction for insulated enclosure

Also Published As

Publication number Publication date
KR940023177A (ko) 1994-10-22
DE4406837A1 (de) 1994-09-08
JPH0795469A (ja) 1995-04-07
CN1037311C (zh) 1998-02-04
CN1100248A (zh) 1995-03-15

Similar Documents

Publication Publication Date Title
US5184216A (en) Image sensing apparatus having camera-shake detection function
JPH07118784B2 (ja) テレビジヨン信号の動き検出方法
JP3200889B2 (ja) 画像の振動補正装置
KR100255648B1 (ko) 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
JP2507138B2 (ja) 動きベクトル検出装置及び画像揺れ補正装置
KR100262793B1 (ko) 화상의손흔들림판정장치
KR970011540B1 (ko) 캠코더의 영상보정장치
US6002431A (en) Video correction apparatus for camcorder
JPH0522645A (ja) 動き検出回路
JPH04309078A (ja) ビデオデータの動き検出装置および方法
JP5683153B2 (ja) 画像処理装置および画像処理方法
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP3252418B2 (ja) 画像の手振れ判定装置
JP3225598B2 (ja) 画像の手振れ検出装置
JP3601506B2 (ja) 動きベクトル検出装置及び方法、並びに、画像の振動補正装置及び方法
JP2676978B2 (ja) 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法
KR950009663B1 (ko) 캠코더의 손 떨림 보정 장치
JPH05328201A (ja) 画像の手振れ補正装置
JP3466640B2 (ja) 動きベクトル検出装置及び方法、画像の振動補正装置及び方法
JPH0575913A (ja) 動きベクトル検出回路及び手ぶれ補正回路
JP3200900B2 (ja) 画像の手振れ判定装置
JP3252415B2 (ja) 画像の手振れ補正装置
JP3252416B2 (ja) 画像の手振れ補正装置
JP3252411B2 (ja) 画像の振動補正装置
JPH06121218A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19930303

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19930303

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19970218

Patent event code: PE09021S01D

G160 Decision to publish patent application
PG1601 Publication of registration
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19971009

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19971211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19971211

End annual number: 3

Start annual number: 1

PR1001 Payment of annual fee

Payment date: 20000703

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20010531

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20020628

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20030707

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20041022

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20050830

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20060912

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20070918

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20080926

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20090929

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20100929

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20110920

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20121128

Start annual number: 16

End annual number: 16

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20131022

Termination category: Expiration of duration