KR20080016847A

KR20080016847A - 크로모겐 분리에 기초한 영상 분석 방법

Info

Publication number: KR20080016847A
Application number: KR1020077028983A
Authority: KR
Inventors: 라파엘 마르셀쁘왈; 라이언 윌리엄스; 세드릭 오르니
Original assignee: 트리패스 이미징, 인코포레이티드
Priority date: 2005-05-13
Filing date: 2006-05-12
Publication date: 2008-02-22
Also published as: EP1882237A2; US20130301899A1; US7989209B2; BRPI0610115B1; JP2008539763A; AU2006247575A1; AU2006247575B2; EP1975874A2; CA2848233C; ES2617882T3; EP1975875A2; US20100061618A1; EP1975875A3; EP1975876A3; US8492156B2; US8486704B2; CN101176116B; EP1975874A3; BRPI0610115A2; JP2016001179A

Abstract

크로모겐 분리에 기초한 영상 분석 방법이 제공된다. 크로모겐 분리에 기초한 영상 분석 방법은 세포 생물학과 병리학 분야에서 정량적인 비디오-현미경 기술에 적용될 수 있다.

Description

크로모겐 분리에 기초한 영상 분석 방법{METHODS OF CHROMOGEN SEPARATION-BASED IMAGE ANALYSIS}

본 발명은 영상 분석 방법에 관한 것으로, 보다 상세하게는 세포 생물학과 병리학 분야에 적용될 수 있는 정량 비디오 현미경 기술과 관련된 크로모겐 분리에 기초한 영상 분석 방법에 관한 것이다.

조직을 분석하고 평가하는 것은 병리학의 주요한 일이다. 최근 수년 동안 방법 및 기술적인 발달을 통하여 디지털 영상 분석은 병리학자들이 영상 분석을 정확하게 해석하는 데 있어 가장 효율적인 도구 중의 하나가 되었다. 상기와 같은 영상 분석 기술이 세포학자들에게 정확하고 재생산가능하며 객관적인 세포 분석을 제공함에도 불구하고 조직학적인 해석 기술은 여전히 표본의 주관적인 분석에 의존하는 경향이 있다. 상기와 같은 조직학적인 분석 기술은 또한 관찰자들 사이의 합의 또는 관찰자 자체의 합의의 변동에 의존하는 경향이 있으며, 이는 부정확하고 재생산이 어려우며 또한 덜 객관적인 결과를 제공하게 된다. 이런 이유 때문에, 세포 종의 영상 분석에서 발달하였던 기술들을 조직의 영상 분석에 적용하는 데는 한계가 있다.

고성능 컴퓨터, 국부적 또는 넓은 지역의 통신, 효율적인 데이터베이스 솔루 션, 향상된 저장 기술과 효율적이고 높은 해상도를 가진 디지털 카메라 및/또는 스캐너가 발달하고 이용 가능함에 따라, 상황이 변하고 있다. CPU 용량 부족으로 인한 비효율성 때문에 통상의 환경에서는 조직 절단부에 적용할 수 없었던 알고리즘이 보다 정교해지고 있다. 현재, 상기와 같은 알고리즘을 마커 정량과 세포 하부의 위치와 관련된 조직 특이적인 특징을 정량화하고 평가하는 데 사용할 수 있다. 동시에 조직 절단부의 재생산가능하고 더 표준화된 시각적인 평가를 위한 보다 종합적인 수단들이 이미지 분석의 초기 단계, 즉, 디지털 영상의 제작과 처리 단계에서 이용가능하다. 이것은 품질 조절, 품질 보증 및 표준화 면에서 특히 큰 장점을 가진다. 어려운 케이스의 디지털 영상들은 원격 병리 진단을 통하여 병리학자들의 의견을 교환함으로써 또 다른 의견을 얻을 수도 있다. 이와 같은 영상들은 또한 숙달된 테스트를 위하여 효율적으로 사용될 수 있다. 디지털 영상들은 강력한 영상 참조 데이터베이스에 기초가 될 수 있다. 상기 영상 참조 데이터베이스는 네트워크를 통해 접근 가능하며, 또한 상기 영상 참조 데이터베이스는 각 케이스들과 평가 결과의 문서화, 특히 포괄적인 전자적 또는 인쇄된 보고서로서 중요한 역할을 수행한다.

일단 조직 슬라이드가 준비되면, 병리학자들은 현미경을 사용하여 시각적으로 각 조직 종들을 조사한다. 만약, 영상 분석이 슬라이드에 적용되려면, 현미경은 인터페이스를 통해 컴퓨터 시스템과 연결된 카메라 또는 다른 캡쳐 장치를 갖추어야 한다. 상기 카메라는 현미경을 통해 조직 샘플의 광학 현미경 영상을 추출한다. 결과적으로 컴퓨터의 메모리에 디지털 영상이 모이고 컴퓨터의 모니터를 통해 상기 영상을 볼 수 있다. 그러나 이런 디지털 영상의 획득은 상기 광학 영상의 중요한 세부 사항들이 상기 저장된 데이터에 정확하게 표현되는 조건하에서 수행될 수 있다.

일반적으로, 상기 디지털화된 영상들의 정량 평가를 위한 다음 단계는 분할이다. 상기 분할은 때때로 추가적인 중간 공정 단계를 포함한다. 분할 동한 세포들은 서로 분리되고, 영상 백그라운드(background)로부터 분리된다. 어떤 경우에는 알고리즘의 발달로 인해 세포를 하부 세포 구조물 수준(예를 들면, 핵, 세포질 및 막)까지 분할할 수 있다. 매우 쉬운 일처럼 보이지만, 상기 분할은 어렵고 영상 분석에 있어 오류가 종종 발생하는 단계이다. 디지털화된 영상에서 좋은 콘트라스트를 생성될 수 있도록 세포가 잘 분리되고 염색된 슬라이드의 경우, 분할은 대부분 잘 수행될 수 있다. 그러나, 상기 언급한 조건 중 하나라도 충족되지 않으면, 세포와 세포들 사이의 관계 또는 마커와 상기 대조-염색된 세포 하부 구조물들 사이의 관계에 관한 지식을 사용하여 아주 정교하고 많은 시간을 소요하는 분할 알고리즘을 적용하여야 한다. 예를 들면, 침투하는 암의 조직 절단부의 경우 대부분의 세포들이 슬라이드 상에서 잘 분리되지 않고 서로 접촉하며 중첩되는 경향이 있다.

마커에 기초한 알고리즘을 사용하면 관심 영역을 자동적으로 한정하는 것이 가능하고, 만약 표현되는 영역이 충분하고 수동으로 정제될 수 있다면, 병리학자들이 자신들의 주관적인 전문적 기술들을 사용할 수 있다. 영상의 관심 영역이 결정되면, 특징 추출이 일어난다. 각 세포(그리고 세포의 하부 구조물)에 있어서, 개별적 세포들과 그들의 상호 관계를 가능한 한 종합적으로 알기 위하여, 농도, 형태, 조직적 특징 및 상호 관련적 특징들을 측정한다.

마지막 단계는 원 데이터 및 상기 원 데이터의 결합을 의미 있는 결과 및/또는 점수로 표현하는 것이다. 영상 분석 시스템의 결과적인 출력물은 일관성을 향상시키고, 쉽게 적용가능하며, 통상적으로 해석 가능할 수 있도록 병리학자에 의해 이미 사용된 시각 및/또는 반-정량적 그레이딩 시스템의 형태와 일치하여야 한다.

영상 분석을 통한 조직 샘플의 평가를 위한 기준은 일반적인 목적을 위한 영상 분석기에서 통상의 작업을 위해 준비되고 설정된 "병리학적 워크스테이션(workstation)"으로 점점 더 이동하고 있다. 그런 워크스테이션은 가능한 한 최고의 결과를 얻기 위하여 필수적인 정보를 병리학자들에게 제공하는 데 필요한 장치들과 결합한다. 상기와 같은 장치 중 주요한 것은 엔진화된 스테이지를 포함하는 자동화 부품, 자동화된 초점 장치, 대물렌즈 체인저 및 저강도 조절 장치 등을 갖춘 현미경이다. 빠르게 자동적으로 초점을 맞추고 높은 해상도의 영상을 얻을 수 있는 카메라와 같은 입력 장치들이 상기 워크스테이션과 연결된다. 상기 워크스테이션은 지역 정보 통신망(Local Area Network, LAN)의 한 부분일 수 있다. 상기 워크스테이션은 다른 통신 프로토콜을 지지할 수 있으며, 이용 가능한 통신 채널을 통하여 세계의 다른 장소의 워크스테이션과 연결될 수 있다(Wide Area Network, WAN).

워크스테이션이 LAN 및/또는 WAN 안에서 통합될 때, 워크스테이션은 참조 데이터베이스와 병원 정보 시스템(Hospital Information Systems, HIS)에도 접근가능하며, 조사되는 새로운 케이스를 시간에 걸쳐 축적된 참조 케이스의 사진 및 관련 된 정보와 비교할 수 있다. 또한 상기 슬라이드로부터 획득한 영상들은 환자와 각 케이스들을 사용하여 보충될 수 있다.

병리학 워크스테이션은 바람직하게 종합적인 조직 평가를 위하여 조절될 수 있다. 최초의 조직 샘플의 정보와 디지털 사진에서 시작하여 상기 조직으로부터 준비된 슬라이드의 영상을 획득할 수 있다. 환자 및 사건 정보, 영상과 조직 샘플의 세포 구조물에 관한 정량 정보가 동일한 데이터베이스 안에 저장될 수 있다.

한 사건에 대하여 상기 워크스테이션에 축적된 영상, 측정 결과, 환자 데이터, 준비 데이터와 같은 모든 정보는 인쇄되거나 또는 네트워크를 통해 전기적으로 신호화된 보고서의 일부로 선택될 수 있다. 상기 보고서는 평가되는 각 경우에 대한 종합적인 사진을 제공하고 질의 보증과 표준화를 가능하게 한다.

캡쳐된 영상의 전처리/분할 동안, 컬러 카메라(예를 들면, RGB 3CCD 카메라)에 적용된 많은 스펙트라 영상을 사용함으로써, 많은 다른 기술/알고리즘이 예를 들면, 세포 생물학과 병리학 분야의 정량 비디오-현미경 분석과 같은 영상 분석을 위하여 수행될 수 있다.

현미경 영상들의 효율적인 분석은 세포 생물학과 병리학, 특히 유전 물질(유전자, 메신저 RNA) 또는 유전자 증폭, 유전자 결실, 유전자 돌연변이, 메신저 RNA 분자의 수 또는 단백질의 발현 분석과 같은 단백질 형태의 유전 정보의 발현의 검출과 정량에 필수적이다. 일반적으로 한 개의 세포 안에 대립 유전자로 알려진 두 개의 유전자 복사본이 있는 데 반해, 유전자 증폭은 한 개의 세포 안에 너무 많은 유전자의 복사본이 존재하는 것이다. 유전자 결실은 한 개의 세포 안게 두 개 보다 적은 유전자의 복사본이 있는 경우를 나타낸다. 유전자 돌연변이는 불완전하거나 또는 기능이 없는 유전자가 존재하는 경우를 나타낸다. 메신저 RNA(mRNA)는 유전 정보를 가지고 있는 분자로 유전자를 판독하여 합성되는 것으로 단백질 합성의 주형의 역할을 한다. 단백질 발현은 세포에 의해 주어진 단백질을 생산하는 것이다. 만약 특정 단백질을 코딩하는 유전자를 업-레귤레이트(up-regulate)하거나 너무 많은 유전자의 복사본이 있거나 mRNA가 존재하는 경우, 단백질은 과발현될 수 있다. 만약 유전자가 다운-레귤레이트(dowon-regulate)되거나 결실되면, 단백질 발현 수준이 낮거나 단백질이 발현되지 않을 수 있다.

정상적인 세포의 행동은 수많은 단백질, mRNA 및 유전자를 포함하는 분자 기작에 의해 정확하게 통제된다. 유전자 증폭, 유전자 결실 및 유전자 돌연변이는 비정상적인 유전자 발현을 통해 비정상적인 세포 행동에서 중요한 역할을 담당한다. 관심 있는 세포의 행동의 범위는 예를 들면, 증식 또는 분화 규제와 같은 다양한 행동들을 포함한다. 그러므로 유전자 증폭, 결실 및 돌연변이, mRNA 수준 또는 단백질 발현 분석에 대한 효과적인 검출 및 정량은 유용한 연구, 진단 및 예방 수단을 용이하게 이용하는 데 있어 유용한다.

유전자 증폭, 결실 및 돌연변이, mRNA 수준 또는 단백질 발현 분석에 대한 검출 및 정량에 관련된 수많은 연구가 있다. 예를 들면 웨스턴(Western), 노던(Northern) 및 서던(Southern) 블락(blot), 유전자 증폭 기술(polymerase chain reaction, PCR), 효소 면역 측정법(enzyme-linked immunoseparation assay, ELISA) 및 비교 게놈 하이브리다이제이션(comparative genomic hybridization, CGH) 기술 들을 들 수 있다. 그러나 세포 수준 및 하부 세포 구조물 수준에서 빠른 연구를 가능하게 하고 비교적 낮은 비용으로 수행될 수 있기 때문에 일반적으로 현미경을 주로 이용한다.

현미경을 실험실에서 사용할 때, 보통 첫째로 특정 검출 및 시각화를 위하여 생물학적 샘플을 준비한다. 일단 샘플이 준비되면 전문가는 샘플을 현미경 또는 더 표준화되고 정량적인 연구가 가능한 카메라 및 컴퓨터가 갖추어진 현미경을 가지고 분석을 수행한다. 현미경은 충분히 자동 분석을 할 수 있을 정도로 준비되는데, 상기 현미경은 엔진이 달린 스테이지와 초점, 엔진이 달린 대물 렌즈 체인저 및 자동화된 저강도 컨트롤을 이용하여 자동화된다.

검출을 위하여 샘플을 준비하는 것은 현미경 영상 분석에 적합한 여러 다른 종류의 준비 기술을 포함한다. 상기 기술로는 하이브리다이제이션과 면역표시(immnolabeling)에 근거한 기술 등을 들 수 있다. 상기와 같은 검출 기술은 형광 및 가시광선 정색 반응에 근거한 기술들을 함께 사용할 수 있다.

인 시츄 하이브리다이제이션(In Situ-hybridization, ISH)과 형광 인 시츄 하이브리다이제이션(Fluorescence In Situ-hybridization)은, 예를 들면, 유전 정보의 검출과 유전 정보의 증폭 및 돌연 변이 분석의 정량화를 위한 검출 및 시각화 기술로 사용될 수 있다. ISH와 FISH 둘 다 조직학적 또는 세포학적 샘플에 적용될 수 있다. 이들 기술은 상응하는 정확한 서열을 인식하기 위하여 특정하게 상보 결합 가능한 탐침자를 이용한다. 사용되는 기술에 의존하여, 특정 탐침자는 화학적(ISH) 마커 또는 형광(FISH) 마커를 포함할 수 있으며, 상기 샘플은 투과 현미경 또는 형광 현미경을 사용하여 각각 분석될 수 있다. 화학적 마커 또는 형광 마커의 사용은 사용자의 목적에 의존하며, 각 마커의 종류는 특정 경우에 다른 방법과 대비하여 장점을 가질 수 있다.

단백질 발현 분석에 있어, 예를 들면, 면역 조직 분석(immnohistochemistry, IHC)과 면역 세포분석(immnocytochemistry, ICC) 기술 등이 추가적으로 사용될 수 있다. IHC는 조직 절단부에 대한 면역 화학에 적용 기술이고, ICC는, 예를 들면, 액체에 기초한 준비와 같은 특정 세포학적 준비가 행해진 후에 배양된 세포 또는 조직 임프린트(imprint)에 대한 면역 화학적 적용 기술이다. 면역 화학은 특정한 항체를 사용하는 기술의 하나로, 상기 항체를 세포 표면 또는 내부의 분자를 특이적으로 타겟하는 데 사용한다. 항체는 전형적으로 생화학반응을 수행할 수 있는 마커를 포함하고, 타겟 분자를 만날 때 상기 생화학 반응에 의해 색깔 변화가 발생한다. 어떤 예에서는, 신호 증폭이 특정 프로토콜에 의해 통합될 수 있고, 상기 마커 염색을 포함하는 보조적인 항체가 주요한 특정 단일 항체의 적용 후에 추가적으로 적용될 수 있다.

하이브리다이제이션과 면역 표시 연구 모두에서, 다른 색의 크로모겐들이 다른 마커를 구별하기 위하여 사용된다. 이들 마커가 특정한 세포 구획에 있기 때문에 이들에 관한 지식은 세포를 자동적으로 분리하는 데 사용될 수 있다(예를 들면, 세포질 및/또는 막 마스크로부터 핵 마스크를 분리하는 것). "색체적(colorimetric)"알고리즘은 특정 경우의 분석 및/또는 예방을 용이하게 하는 샘플 정보를 제공하는 것을 목표로 한다. 예를 들면, 가슴의 ER, PR 및 HER2 단백질 발현 수준의 검출과 정량은 면역조직화학(immunohistochemistry, IHC) 기술을 적용한 정량 현미경 알고리즘을 사용하여 제공할 수 있다.

그러나 상기 영상 분석 기술에 있어서, 병리학자가 적합한 진단 및/또는 예방을 할 수 있도록 정확하고 유용한 정보를 병리학자에게 제공하면서도 상기 분석의 적용이 용이하도록 상기 영상 분석 기술을 향상시켜 필요가 있다.

상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따르면, 병리학자에 의한 진단을 위하여 상기 염색된 샘플의 영상이 하부 세포 구조물들 사이의 최적 콘트라스트를 보여줄 수 있도록 설정된 현미경 영상화를 위한 샘플 염색 방법을 제공한다. 상기 방법에 따르면, 샘플을 염료로 염색하고, 상기 샘플의 현미경 영상으로부터 상기 염료의 투과도 값을 결정한다. 결정된 상기 염료의 투과도 값으로부터 상기 샘플의 인공 영상을 형성하고, 상기 샘플의 상기 투과도 값을 변화시켜 상기의 일련의 인공 영상들을 형성한다. 상기 일련의 영상들로부터 하나의 영상을 선택하고 상기 염료에 대한 하부 세포 구조물들 사이의 최적의 콘트라스트를 보여주고 상기 선택된 영상에서 상기 염료에 상응하는 투과도 값을 결정한다. 상기 샘플의 염색을 변화시켜 상기 하부 세포 구조물들 사이의 최적의 콘트라스트에 상응하는 상기 염료의 투과도 값을 가지는 염색된 샘플을 제공한다.

본 발명의 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 샘플을 인위적으로 염색하는 방법을 포함한다. 상기 방법에 따르면, 샘플을 제1 염료로 염색하고, 상기 샘플의 현미경 영상으로부터 상기 제1 염료의 투과도 값과 소광 계수를 결정한다. 상기 결정된 제1 염료의 투과도 값으로부터 상기 샘플의 인공 영상을 형성하고, 상기 제1 염료의 소광 계수를 상기 제2 염료의 소광 계수로 대체하여 상기 제2 염료로 상기 샘플을 인위적으로 염색한다.

본 발명의 또 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 샘플의 영상으로부터 샘플의 측정값을 수득하는 방법을 포함한다. 상기 방법에 따르면, RGB 영상으로부터 샘플의 관심 영역을 선택하고, 상기 RGB 영상에서 상기 관심 영역을 분할하여 상기 관심 영역 안의 대상체를 확인한다. 특징 추출을 수행하여 상기 확인된 상기 관심 대상체에 대한 측정값을 결정하고, 마커 위치와 노이즈에 대한 신호 비율 중 적어도 하나에 대해 세포 점수를 결정한다.

본 발명의 또 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 슬라이드 상에 관심 영역을 선택하는 방법을 포함한다. 상기 영역은 샘플의 RGB 영상에 상응하는 상기 마커 영상에서 주변부로부터 양으로 콘트라스트 되고, 상기 양으로 콘트라스트 된 영역은 상기 주변부보다 상대적으로 더 큰 핵과 상대적으로 더 높은 세포 밀도 중 적어도 하나를 포함한다. 상기 방법에 따르면, 상기 샘플의 상기 RGB 영상의 크로모겐 분리를 통해 수득한 마커 영상에 로우 패스 필터(low pass filter)를 적용한다. 상기 마커 영상에서 픽셀들의 마커 히스토그램을 결정하고, 상기 마커 히스토그램에서 임계치에 따라 상기 마커 영상을 이진화하여 상기 샘플의 음의 영역과 양의 영역 사이를 판별하기 위한 마스크를 형성한다.

본 발명의 또 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 샘플의 영상으로부터 샘플을 분할하는 방법을 포함한다. 상기 방법에 따르면, 임계화 공정을 통해 샘플의 RGB 영상의 백그라운드 구조물을 결정하고, 막, 세포질 및 핵 중 적어도 하나의 구조물 영상을 만들어 영상을 분할한다. 분할된 영상을 정제하고, 상기 영상으로부터 원하지 않는 대상체를 필터링한다.

본 발명의 또 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 저비트의 해상도 영상 장치를 가지고 수득된 영상으로부터 높은 염색 농도에서 샘플을 염색하기 위한 적어도 하나의 염료에 대한 광학 밀도 데이터를 결정하는 방법을 포함한다. 상기 방법에 따르면, 다른 검출 시간에 상기 샘플의 일련의 영상을 캡쳐하고, 영상 장치의 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 가장 높은 비포화된 강도를 선택한다. 상기 붉은 색, 초록 색 및 푸른 색 채널에서 상기 가장 높은 비포화된 강도 수준을 사용하여 최적의 샘플 영상을 재구축하여 최적의 영상이 크로모겐 분리에 적합하도록 한다.

본 발명의 또 다른 목적을 달성하기 위한 본 발명의 실시예들에 따르면, 본 발명은 세 개 채널의 영상 장치에서 획득한 네 가지 염료로 염색된 생물학적 샘플의 영상에 대한 크로모겐 분리 방법을 포함한다. 상기 방법에 따르면, 생물학 샘플에서 네 개의 염료에 대하여 알려진 공간학적으로 수득된 중요한 세 가지 조합을 정의한다. 붉은 색, 초록 색 및 푸른 색 채널을 가진 영상 장치를 사용하여 상기 네 가지 염료로 염색되고 상응하는 RGB 트리플렛(triplet)을 가지는 각각 다수의 픽셀을 포함하는 샘플의 영상을 수득하고, 상기 각각의 RGB 트리플렛을 Ecr+Ecg+Ecb=1인 소광 계수 면에 투영한다. 소광 계수 면에 상기 각각의 RGB 트리플렛에 상응하는 상기 네 가지의 염료의 세 가지 염료 조합을 결정하고, 상기 소광 계수 면에 각각의 세 가지 염료 조합에 상응하는 영상의 많은 픽셀들을 표로 만들어 상기 샘플의 영상을 분리한다.

본 발명의 실시예들은 본 명세서에 설시된 모든 요건을 충족하며 이하에서 본 발명의 중요한 이점을 보다 상세하게 개시한다.

하기 첨부된 도면들에 표시된 참조 부호는 본 발명의 일반적인 용어를 설명하기 위한 것으로, 본 발명은 상기 숫자에 한정되는 것이 아니다.

도 1은 본 발명의 실시예들에 따른 전기적으로 염색된 샘플의 일련의 영상을 개략적으로 도시한다. 상기 샘플을 염색하는 염료 중 하나의 투과도 값이 변경되어, 핵에서 도시된 것과 같이 최적의 마커 강도를 결정하고, 병리학자에 의한 형태학적 판독과 마커의 발현에 기초하여 양의 세포 결정을 가능하게 한다.

도 2a 내지 도 2b는 본 발명의 실시예들에 따른 자동적으로 선택된 관심 영역의 예를 도시한다.

도 3a1와 도 3a2 및 도 3b1와 도 3b2는 본 발명의 실시예들에 따른 자동적으로 선택된 관심 영역과 이어지는 하부 구조물 분할의 예를 도시한다.

도 4는 본 발명의 실시예들에 따른 세포를 점수화 하는 방법을 개략적으로 도시한다.

도 5a 및 도 5b는 본 발명의 실시예들에 따른 검출 시간 접근을 사용하여 고농도를 가지는 샘플을 분석하는 방법을 도시한다.

도 6a 내지 도 6d는 본 발명의 실시예들에 따른 네 가지 염료의 크로모겐 분 리 과정에서 샘플을 염색하기 위한 네 가지 염료 각각에 관한 데이터를 도시한다.

도 7a, 7b1 및 7b2는 본 발명의 실시예들에 따른 맥스웰 등가 소광 계수 평면(Maxwell equivalent extinction coefficient plane)에서 표시된 도 6a 내지 도 6d의 네 개의 염료와 상기 네 개의 염료 중 세 개 염료 조합 중에서 수용가능한 두 개를 각각 도시한다.

도 8a는 본 발명의 실시예들에 따른 도 6의 네 가지 염료로 염색된 변형된 PAP 영상 영역을 도시한다.

도 8b 내지 도 8e는 본 발명의 실시예들에 따른 확장된 크로모겐 분리를 사용하여 다른 염료들과 분리된 네 개 염료 각각에 대한 도 8a의 변형된 PAP 영상 영역을 도시한다.

도 9a는 샘플의 광원(RGB) 영상 영역을 도시하고 있으며, 도 9b는 네 개의 염료 구성 요소 중 두 개에 대한 시뮬레이션된 e-염색된 샘플을 도시하며, 도 9c는 DAB를 제외한 모든 염료 구성 요소로 재구축된 샘플의 시뮬레이션되고 e-염색된 PAP의 영상을 도시한다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명하지만, 이는 본 발명의 모든 실시예들을 보여주는 것은 아니다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 하는 것으로, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 개시 내용은 적용가능한 법적 요건 을 충족하려는 목적으로 본 발명의 실시예들은 제공되는 것이다. 명세서 전체를 걸쳐 동일 부호는 동일한 구성 요소를 지칭하는 것이다.

현미경 영상화 플랫폼

영상 획득과 조작을 위한 전형적인 현미경 장치에 있어서, 샘플의 확대된 영상은 첫째로 카메라에 캡쳐되어 디지털화된다. 일반적으로, 광 또는 형광 정량 현미경에서 전하 결합 장치(CCD) 카메라를 사용한다. 분광 광도계를 제외하고, 일반적으로 두 개의 다른 기술을 컬러 현미경 분석을 수행하는 데 사용한다. 본 발명의 일 실시예에 따르면, 흑백(BW) CCD 카메라를 사용한다. 상기의 경우에서, 분석될 샘플의 염색에 대해 특정한 파장을 가지는 단일 광에 상응하면, 샘플의 회색 수준의 영상이 수득될 수 있다. 특정 파장의 광은 특정한 좁은 밴드 폭의 필터를 통해 백색 광을 필터링하거나 또는 수동 또는 전기적 컨트롤을 사용하여 광원의 파장을 직접적으로 조절하여 수득될 수 있다. 따라서, 이런 기술을 사용하면, 모든 다른 샘플 염색 또는 모든 다른 파장에 대하여 광원 또는 필터를 선택해야 하기 때문에 컬러의 수가 증가함에 따라 분석 시간도 증가한다. 따라서 다른 파장에서 샘플의 스펙트럼 반응을 보여주는 샘플의 많은 다른 영상은 분석을 쉽게 하기 위하여 순서대로 개별적으로 캡쳐되어야 한다. 다수의 장면 또는 영상 영역 등이 분석될 때, 전형적인 프로토콜은 일괄적으로 순서를 자동화하여 작업 시간을 감축하는 것이다.

본 발명의 다른 실시예에 따르면, 컬러 CCD 디지털 카메라를 사용할 수 있고, 샘플들의 세 가지 회색 수준의 영상들이 동시에 캡쳐되고 수득될 수 있다. 각 각의 회색 수준의 영상은 컬러 CCD 카메라의 붉은 색, 초록 색 및 푸른 색 채널(RGB) 각각에서 회색 수준의 영상에 해당한다. 컬러 CCD 디지털 카메라를 사용하면, 샘플의 세 개의 회색 수준 영상은 동시에 캡쳐되고 수득될 수 있으며(각각의 회색 수준 영상은 개별적인 붉은 색, 초록 색 및 푸른 색 채널(RGB) 각각에서 회색 수준 영상에 상응하고), 크로모겐 분리 기술이 적용될 수 있고, 이것은 영상의 위치(픽셀)들에서 각 분자 종들의 광학 밀도(상기 분자들과 관련된 크로모겐 또는 염료에 의해 드러남)의 평가를 가능하게 한다. 생물학적 샘플에서 마커와 대조 염색은 일반적으로 검출가능하고 정량화할 수 있는 염료를 나타낸다.

본 발명의 또 다른 실시예(예를 들면, 르미에르 기술에 의한 다중 스펙트럼 카메라 JUMBOSCAN을 사용하는 경우)에 따르면, 샘플의 13 그레이 영상 수준까지 동시에 캡쳐되고 수득될 수 있다. 이런 타입의 카메라/스캐너는 주어진 샘플에 대하여 동시에 해결할 수 있는 염료의 수들을 증가시킴으로써, 크로모겐 분리 기술의 잠재성 가능성을 증가시킬 수 있다.

분자 종의 농도는 샘플의 컬러 영상으로부터 결정될 수 있고 상기 컬러 영상은 세 개 또는 더 많은 채널을 포함한다. 3CCD 카메라를 갖춘 비디오-현미경 시스템에서 영상은 바람직하게 빈 필드 백색 참조 및 흑색 영상에 따라 조절되고 노말라이즈되고, 명암이 조절된다. 또한 영상은 바람직하게 염색의 오류가 채널마다 공간적으로 조절된다. 상기 샘플의 광학 밀도는 상기 영상의 특정 픽셀의 RGB 영상의 붉은 색, 초록 색 및 푸른 색 채널 각각에서 측정된 투과광으로부터 컴퓨터로 처리된다. 상응하는 광학 밀도 벡터는 그 이후에 각 픽셀에 대하여 형성된다. 상기 광 학 밀도 벡터에 샘플에 존재하는 염료의 상대 흡광 계수 매트릭스의 역 벡터가 곱해져, 픽셀에 대한 합성 벡터가 형성되는데, 이는 각 염료에 의한 광학 밀도 기여도를 표현한다. 상기 상대 흡광 계수 매트릭스는 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 샘플 준비 프로토콜에 사용된 각 염료에 대한 상대 흡광 계수(마커 및 대조-염색)를 포함한다. 그러므로 합성 벡터는 픽셀들에 대하여 마커 및 대조-염색에 의해 나타나는 분자 종들의 농도를 포함한다.

컬러 영상(RGB 카메라)에 사용될 때, 다중-스펙트럼 영상 기술이라고 알려진 상기와 같은 영상화 기술은 실시간(비디오 속도) 샘플의 처리(전형적으로 프레임당 0.4초)를 가능하게 하고, 이는 상당한 이점을 제공한다. 속도 문제, 실시간 처리 문제 또는 RGB 카메라의 사용에 있어 디스플레이 목적의 경우, 다른 채널들을 통한 획득이 병행하여 수행되고 룩-업 테이블(look-up table, LUT)이 발생될 수 있고, 상기 룩-업 테이블은 상기 RGB 컬러 입력 값을 측정함으로써, 사용된 염료 각각의 농도 및/또는 투과도를 미리 계산할 수 있다.

상기와 같은 기술은 예를 들면, Marcelpoil 등에 의해 발명되고 Tripath Imaging, Inc.에 양도된 미국 공개특허 제2003/0091221호(정량적 비디오-현미경 방법 및 이와 관련된 시스템 및 컴퓨터 소프트웨어 프로그램 생산) 및 미국 공개특허 제2003/0138140호(정량적 비디오-현미경 방법 및 이와 관련된 시스템 및 컴퓨터 소프트웨어 프로그램 생산)에 자세히 언급되어 있으며, 상기 참조 문헌에 언급된 모든 내용은 본 발명의 내용에 포함된다.

램버트-비어의 법칙(Lambert-Beer Law)

현미경 영상화 플랫폼은 램버트-비어 법칙에 따라 샘플을 분석하기 위하여 준비된다. 램버트-비어 법칙은 용액에 포함되는 분자들의 농도("분자 종들" 또는 "샘플")와 상기 용액을 통과한 광의 강도 사이의 관찰되는 비례식이다. 램버트-비어 법칙은 전형적으로 다음과 같이 표현될 수 있다.

OD = ε · l · C (1)

상기 식에서 OD는 용액의 광학 밀도이고, ε는 몰 소광 계수 또는 몰 흡광 계수라 불리는 비례 상수이며, l은 샘플의 두께이고, C는 분자 종의 농도이다. 흡광 계수 ε는 분자 종에 따라 특정되는 값으로 전형적으로 L·mol^-1·cm^-1로 표현된다.

램버트-비어 법칙에 따라 정의되는 비례 관계는 예를 들면, 샘플을 단일광을 조사, 샘플 내의 낮은 분자 농도, 일반적으로 샘플의 형광 또는 광에 대한 불균질 반응의 부존재(무시 가능한 형광 및 분산) 및 샘플의 낮은 화학적 광 민감성을 포함하는 여러 조건 하에서 증명되었다. 그러나 램버트-비어 법칙은 추가적인 여러 필요조건, 예를 들면, 현미경 하에서 정확한 쾰러 조사(Koehler illumination)와 같은 조건을 충족시켜야 할 수도 있다.

쾰러 조사(Koehler illumination)는 효율적인 콘트라스트 조절을 가능하게 하기 때문에 거의 모든 단계의 현미경 기술에 적용되며, 영상면의 조사에도 적용된다. 쾰러 조사는 밀도 분석에 있어 중요하다. 정확한 쾰러 조사는 예를 들면 현미 경에 대한 두 단계의 조사 시스템에 의해 제공될 수 있는데, 상기에서 광원은 부가 콘덴서에 의해 하부 단계의 조리개로 비춰진다. 하부 단계 콘덴서는 차례로 대상체의 부가 콘덴서에 영상을 형성한다. 조리개가 각각의 콘덴서 상에 배치될 수 있는데, 제1 조리개는 광이 조사되는 대상체의 면적을 조절하고 제2 조리개는 조사하는 빔의 수많은 조리개를 변화시킨다.

램버트-비어 법칙은 만약 샘플이 여러 개의 광을 흡수하는 분자 종들을 포함하는 경우, 가산성(addictive property)을 가진다. 예를 들면 각각 C1 및 C2의 농도를 가지는 s1 및 s2, 두께 l(용액에서 l₁=l₂=l )의 샘플의 OD는 다음과 같이 표현될 수 있다.

OD=ε1 · l1 · C1 + ε2 · l2 · C2 (2)

예를 들면, 상기 상황은 "장면(scene)", 영상 영역 또는 샘플의 일부가 관심있는 타겟 분자 종에 대한 마커 염색과 샘플의 나머지 부분에 대한 대조 염색(counter-stain)으로 이루어진 두 가지로 염료로 염색된 생물학적 분석에서 발생할 수 있다.

색수차(chromatic aberration)의 보정

현미경 하에서 영상화될 종의 농도를 정확하게 측정하기 위해서, 다른 파장 하에서 수행되는 광학 밀도의 측정은 샘플의 동일한 부분에 대하여 수행되어야 한다. 즉, 시스템은 물리적으로 색수차가 보정되거나 또는 소프트웨어와 같은 다른 방법을 통해 보정을 수행할 수도 있다.

유리의 선천적인 분산력으로 인해 일반 렌즈는 붉은 색의 광보다 더 푸른 색의 광에 대하여 더 짧은 초점 거리를 가진다. 즉, 일반 렌즈는 다른 파장(다른 컬러)의 광에 대하여 다른 초점 길이를 가진다. 두 현상은 직접적으로 다음과 같은 결과를 야기한다.

1) 다른 파장을 가지는 광에 대한 초점의 수직 축에 따른 위치는 종색수차(longitudinal chromatic aberration)라 불린다. 즉, 주어진 컬러(예를 들면, 초록색)에 대한 영상에 초점을 맞출 때, 다른 색에 상응하는 영상들은 다소 초점을 벗어난다(예를 들면, 푸른 색 및 붉은 색의 경우, 초점을 벗어난 것으로 나타난다).

2) 다른 파장의 광에 대한 배율(초점 길이)의 차이는 배수 색수차(lateral chromatic aberration)로 불린다. 즉, 푸른색(짧은) 파장의 영상은 붉은(긴) 파장의 영상보다 더 크게 보인다.

높은 질을 목적(색수차 및 구면 수차를 없애고자 하는 목적)으로 하는 시스템에 있어서, 색수차를 보정한다. 만약 색수차가 구조적으로 잘 보정되지 않으며, 배율 색수차를 보정하기 위하여 하기와 같은 소프트웨어에 기반한 방법이 수행될 수 있다.

1) 카메라 칩의 중앙과 비교하여 대상체의 중앙의 좌표를 결정하기

2) 임의로 선택된 광(일반적으로 중간 값의 파장을 가지는 광, 예를 들면 RGB 카메라를 사용하는 경우, 초록색)과 비교하여 각각의 광의 관찰될 배율을 평가

3) 상기 광의 상대적인 배율과 대상체의 중앙에 대한 좌표에 따라 각 영상을 다시 샘플링하기

크로모겐 분리의 수행

일단 현미경이 영상 획득을 위하여 쾰른 조사 모드로 설정되고 색수차 보정이 행해지거나 또는 색수차 또는 구면 수차가 없는 상태가 되면, 선행 대수 방정식을 사용하는 크로모겐 분리를 수행하는 데 램버트-비어 법칙의 가산성을 사용할 수 있다.

본 발명의 실시예들에 따르면, 램버트-비어 법칙의 가산성은 예를 들면, 붉은 색, 초록 색 및 푸른 색 채널을 가지는 RGB 카메라에 의해 발생된 컬러 영상 환경에서 장면을 분석하는 상황까지 확장될 수 있다. 상기와 같은 경우, 마커 염료(또는 "염료 1")는 붉은 색, 초록 색 및 푸른 색 채널 각각에서 흡광 계수, ε_1r, ε_1g 및 ε_1b를 가진다. 각각의 붉은 색, 초록 색 및 푸른 색 채널 영상의 분석은 붉은 색 스펙트럼을 가로지르는 영상의 붉은 색 표시, 초록 색 스펙트럼을 가로지르는 초록 색 표시 및 푸른 색 스펙트럼을 가로지르는 푸른 색 표시를 분석하는 단계를 포함한다. 따라서 대조 염색(또는 "염료 2")은 붉은 색, 초록 색 및 푸른 색 채널 각각에서 ε_2r, ε_2g 및 ε_2b의 흡광계수를 가진다. 그러므로, 램버트-비어 법칙의 가산성에 따라 RGB 환경에서 샘플의 분석은 하기와 같은 광학 밀도에 대한 세 개의 방정식의 시스템을 유도한다.

OD_r = ε_1r · l₁ · C₁ + ε_2r · l₂ · C₂ (3)

OD_g = ε_1g · l₁ · C₁ + ε_2g · l₂ · C₂ (4)

OD_b = ε_1b · l₁ · C₁ + ε_2b · l₂ · C₂ (5)

상기에서 OD_r,OD_g및OD_b는 붉은 색, 초록 색 및 푸른 색 채널 각각에서 측정된 샘플의 광학 밀도를 나타낸다. 또한 샘플 준비가 좀 더 복잡해 지는 경우, 예를 들면, 세 가지의 다른 염료로 샘플을 처리하는 경우, 방정식 (3), (4) 및 (5)는 다음과 같이 표시될 수 있다.

OD_r = ε_1r · l₁ · C₁ + ε_2r · l₂ · C₂ + ε_3r · l₃ · C₃ (6)

OD_g = ε_1g · l₁ · C₁ + ε_2g · l₂ · C₂ + ε_3g · l₃ · C₃ (7)

OD_b = ε_1b · l₁ · C₁ + ε_2b · l₂ · C₂ +ε_3b· l₃ · C₃ (8)

본 발명의 실시예들에 따르면, 상기 세 염료는 하나의 마커 염료와 두개의 대조 염색을 포함할 수 있고, 또는 두 개의 마커 염료와 하나의 대조 염색을 포함할 수 있으며, 또는 분리된 세 개의 마커 염색을 포함할 수 있다. 램버트-비어 법칙의 성질은 훨씬 더 많은 복수의 염료의 조합을 포함할 수도 있다. 그러나 본 발명에 따른 크로모겐 분리 공정은 생물 마커의 다중 스펙트럼 영상 분석을 위해 예를 들면, 3CCD RGB 카메라와 같은 세 개의 채널을 가지는 빠른 컬러-영상 캡쳐 장치를 사용하는 데 초점을 맞추고 있다. 그러므로 3개의 다른 정보 채널(R, G, B)로 인해 오직 3개의 다른 방정식이 어떤 위치에 대해 사용될 수 있다.

디지털 현미경 시스템에 대한 램버트-비어 법칙을 적용함에 있어서, 샘플의 두께 l을 측정하는 것은 어렵고 복잡하거나 부정확하며 때때로 불가능할 수도 있다. 결과적으로, 분자 종의 농도 C는 l과 C의 곱(l · C)으로 확장되어 조사될 수 있으며, 그 결과는 다음과 같이 다루어진다. 예를 들면, 특정 샘플에서 한 염료의 농도를 다른 염료의 농도와 비교할 때, 샘플의 두께는 두 농도에서 공통이며, 따라서 절대적이고 정확한 값으로 샘플의 두께를 결정하는 것은 크게 중요하지 않다. 그러므로 두께의 정확한 결정이 요구되지 않으며, 본 발명의 분석에 있어서, 샘플의 두께는 상수로 간주하여 무시될 수 있다.

디지털 현미경 시스템에 램버트-비어의 법칙의 적용은 다음과 같이 표시될 수 있다.

OD_{(x, y)} = log I_{0(x, y)} - log I_{(x, y)}(9)

샘플의 디지털 영상에 있어서, 상기 (x, y)는 영상의 특정한 픽셀을 표시하고, OD_{(x, y)}는 상기 픽셀에서 샘플의 광학 밀도이며, I_{(x, y)}는 상기 픽셀의 샘플에 대한 측정된 광 강도 또는 투과도이고 I_{0(x, y)}는광을 흡수하는 샘플이 없는 상태에서 측정된 광원의 광 강도이다. 따라서 픽셀이 N개인 경우, 다음과 같이 표시될 수 있다.

IOD_N = ∑(log I_{0(x, y)} - log I_{(x, y)}) (10)

상기 식에서 IOD는 샘플의 디지털 영상의 통합된 광학 밀도이고, N은 상기 샘플의 표면 영상에 있는 픽셀의 수이다. 비례 상수를 적절하게 조정하여 광 강도 에 따른 상대적인 비교가 가능하다. 또한 램버트-비어 법칙에 따른 정량 현미경에서, 샘플의 광학 밀도 OD와 염료 농도 사이의 비례 관계는 유지된다.

따라서 디지털 현미경 시스템에 의해 조사되는 준비된 샘플에 대하여 적절한 관계는 다음과 같은 식으로 표현될 수 있다.

lnI₀ - ln I = ln I₀/I = OD = ε · l · C (11)

상기에서, 예를 들면, 시스템에서 8비트 RGB 카메라를 사용할 수 있고, 샘플을 투과한 광 강도는 0 내지 255 사이의 2⁸(=256)으로 표시될 수 있다. 예를 들면, 100% 투과도에 상응하는 광원의 초기 강도 I₀는붉은 색, 초록 색 및 푸른 색 채널 각각에서 255(가능한 가장 밝은 값)에 가까운 값으로 표시될 수 있다. 사실상, 작업자는 카메라 프레임 그래버/ 광원을 조절하여, 샘플이 없는 상태인 100% 투과도에 상응하는 순수한 "백색"광이 붉은 색, 초록 색 및 푸른 색 채널 각각에서 거의 255에 가까운 값을 갖도록 할 수 있다. 반면에, 광이 없는 상태에서 거의 0%의 투과도에 상응하는 "흑색 영상"은 붉은 색, 초록 색 및 푸른 색 채널 각각에서 거의 0에 가까운 값을 가진다. 그러므로 어떤 픽셀에서 붉은 색, 초록 색 및 푸른 색 채널 각각에서 100%의 투과도 I₀는 광원의 존재 하에서 카메라에 의해 측정된 값에서 광원의 부재 상태에서 카메라에 의해 측정된 값을 뺀 차이로 표현될 수 있다. 광원의 강도가 측정되는 영상 영역에 따라 공간적으로 다양하고 렌즈가 광을 이질적으로 흡수하기 때문에 100%의 투과도는 측정되는 영상 영역에 따라 다양한 범위에 상 응할 수 있다. 샘플의 OD는 샘플의 부재(I₀)에서 투과도와 샘플의 존재에서 투과도(I)의 로그비율로 표시될 수 있으며(11), 따라서 상기 광학 밀도는 100% 투과도에서 측정된 실제 범위의 작은 변화에는 공간적으로 크게 영향을 받지 않는다.

광원의 강도가 실질적으로 시간에 따른 상수이거나 또는 쉽게 측정할 수 있기 때문에, 특정 픽셀에서 광 강도를 측정하는 것은 붉은 색, 초록 색 및 푸른 색 채널 각각의 위치에서 픽셀에 대한 상대적인 투과도의 측정값으로 해석될 수 있다. 일단 I₀ 및 I가 알려지면 상응하는 OD가 계산될 수 있다.

단일한 염료(오직 흡수만 하는 물질)가 존재하는 측정 영역 상의 위치는 다른 RGB 채널에 대하여 상기 염료의 상대적인 소광 계수를 측정하는 것을 가능하게 한다. 방정식 (1)에서 l · C는 주어진 위치에서 RGB 채널 각각과 동일하기 때문에 만약 특정 위치에서 l 과 C 모두를 알게 되면, 정확한 소광 계수는 OD/(l · C)의 식을 통해 계산될 수 있다. 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 흡광 계수 ε는 그러므로 정확하게 다음과 같이 표시될 수 있다.

ε_r = OD_r/(l · C) = (ln(I_0r/I_r))/(l · C) (12)

ε_g = OD_g/(l · C) = (ln(I_0g/I_g))/(l · C) (13)

ε_b = OD_b/(l · C) = (ln(I_0b/I_b))/(l · C) (14)

(l · C)는 보통 미지수이고 따라서 소광 계수 ε는 고려되는 채널의 픽셀에서 측정된 OD와 RGB 채널의 상기 위치에서 측정된 최대 OD의 비율로써 계산될 수 있으며, 다음과 같이 표시될 수 있다(미리 알려진 (l · C)에 관한 정보가 없는 상태에서 붉은 색, 초록 색 및 푸른 색 채널 각각에서 흡광 계수 ε의 결정은 l 과 C가 임으로 1로 설정된 비교 용액을 얻기 위한 선형 방정식의 곱의 문제이다)

ε_r= OD_r/1 = OD_r = ln(I_0r/I_r) (13)

ε_g= OD_g/1 = OD_g = ln(I_0g/I_g) (14)

ε_b= OD_b/1 = OD_b = ln(I_0b/I_b) (15)

결과적으로, 염료의 절대 농도가 미지수로 남아있다 하더라도, 여전히 어떤 픽셀에서 임의의(또는 상대적인) 염료 농도를 (l · C)와 동일한 알려진 절대 에러 팩터를 가지고 계산할 수 있다.

l이 주어진 픽셀 위치에서 특정한 값이고 임으로 1로 설정될 수 있기 때문에 방정식 6, 7 및 8은 다음과 같이 표시될 수 있고 C₁, C₂ 및 C₃는 l과 연관된다.

OD_r = ε_1r · C₁ + ε_2r · C₂ + ε_3r · C₃ (16)

OD_g = ε_1g · C₁ + ε_2g · C₂ + ε_3g · C₃ (17)

OD_b = ε_1b · C₁ + ε_2b · C₂ +ε_3b· C₃ (18)

모든 소광 계수를 다른 염료에 대하여 평가할 때, 광학 밀도는 영상 데이터를 판독함으로써 알 수 있고, 이들 방정식을 풀어서 C₁, C₂ 및 C₃를 추출하는 것은 선형 방정식의 세트를 푸는 단계를 포함한다.

선형 대수 방정식/매트릭스의 해

선형 대수 방정식은 예를 들면, 다음과 같이 표시될 수 있다.

a₁₁x₁+a₁₂x₂+a₁₃x₃+...+a_1Nx_N=b₁

a₂₁x₁+a₂₂x₂+a₂₃x₃+...+a_2Nx_N=b₂

a₃₁x₁+a₃₂x₂+a₃₃x₃+...+a_3Nx_N=b₃

_{.........................................}

a_M1x₁+a_M2x₂+a_M3x₃+...+a_MNx_N=b_M(19)

상기에서 j=1, 2,..., N인 미지수 x_j의 N개의 미지수는 M개의 방정식과 연관된다. i=1, 2,..., M이고 j=1, 2,..., N인 계수 a_ij와 우변에 있는 수 i=1, 2,..., M인 b_i는 알려진 값이다.

만약 M<N이면, 미지수보다 유효한 방정식의 개수가 더 적다. 이 경우 해가 없거나 또는 벡터 x가 한개 이상일 수 있다.

만약 M=N이면, 방정식의 수와 미지수의 수와 동일하고 한 개의 x_j의 해를 얻을 수 있다.

만약 M>N이면, 방정식의 수가 미지수보다 많고 일반적으로 방정식(1)에 대한 벡터 x에 대한 해가 없을 수 있고, 방정식에 대하여 해가 초과 조건(over determined) 상태에 있다고 일컬어진다. 상기와 같은 경우에, 가장 적절한 해는 일 반적으로 모든 방정식을 가장 잘 만족시키는 것 중의 하나를 선택한다(예를 들면, 해를 다시 대입했을 때, 오차가 가장 적은 해).

방정식 (19)는 다음과 같인 행렬 형태로 다시 표시될 수 있다.

A · x = b (20)

여기에서 · 는 행렬의 곱을 나타내고, A는 계수의 행렬이고, b는 열 벡터로 우변에 표시된다. 일반적으로 원소 a_ij의 제1 색인은 행을 나타내고 제2 색인은 열을 나타낸다. a_i 또는 a[i]는 j=1, 2,..., N인 열a[i][j]의 전체 행을 나타낸다.

A는 계수의 정사각행렬이고 b는 값을 아는 우변 벡터이며, 벡터행렬인 방정식 A · x = b의 해, 미지수 벡터 x를 구하기 위해서는 보통 행렬 A의 역행렬인 A^-1의 결정이 필요하다.

x = A^-1 · b (21)

상기에서 A^-1는예를 들면,A^-1· A = A · A^-1= I인 행렬 A의 역행렬이고 I는 단위 행렬이다. 본 발명의 실시예들에 따르면, 실험 조건은 미지수 보다 방정식이 더 많은 M≥N으로 설정될 수 있다. M>N일 때, 일반적으로 방정식(19)에 대한 해인 벡터 x가 존재하지 않으며, 이때 방정식들은 초과 조건 상태에 있다. 그러나 종종 가장 "절충적인" 해는 모든 방정식을 동시에 가장 근접하게 만족시키는 것이다. 만약 가장 가까운 해는 최소 제곱값(예를 들면, 방정식 (19)의 좌변과 우변의 차이의 제곱의 합이 최소화 되는 경우)을 가지는 경우로 정의될 수 있고, 이 때, 초과 조 건의 선형 문제는 (보통) 해가 있는 선형 문제가 될 수 있고 또한 선형 최소 제곱으로 언급되던 문제는 특이치 분해(singular value decomposition, SVD)를 사용하여 풀 수 있다. SVD는 데이터의 매개변수 모델을 포함하며, 대부분의 선행 최소 제곱 문제를 풀 수 있다(NUMERICAL RECIPES INC: THE ART OF SCIENTIFIC COMPUTING(ISBN 0-521-43108-5)Copyright(C) 1988-1992 by Cambridge University Press. Programs Copyright (C) 1988-1992 by Numerical Recipes Software.).

상기의 개념들을 현재의 경우에 적용함에 있어서, 다른 염료에 대한 흡광 계수 ε 매트릭스의 결정은 샘플 평가와 독립적으로 수행될 수 있고, 각각의 염료들 중 적어도 하나로 처리된 샘플에 대한 추가 적용을 위하여 보존될 수 있다. 모든 가능한 픽셀 값에 대한 해를 계산하는 것은 실질적으로 실시간으로 처리될 수 있다. 8비트 3CCD 컬러 영상 획득 장치 중 선택된 예에서 샘플의 측정된 광 감도 I가 붉은 색, 초록 색 및 푸른 색 채널 각각에서 0 내지 225 사이에 있기 때문에, 모든 가능한 회색 값(원래의 광 감도 I₀에 대하여)이 미리 계산(8비트 RGB 카메라의 경우 256³)될 수 있고, 예를 들면, 컴퓨터 내에 저장될 수 있다. 따라서 특별한 염료로 염색된 샘플의 경우, 투과된 광 강도 I(또는 광학 밀도 OD)를 각각의 붉은 색, 초록 색 및 푸른 색 채널의 픽셀에서 측정하여, 미리 저장된 회색 값과 비교할 수 있고 상기 특별한 염료에 대한 흡광 계수 ε에 의해 염료 농도 C(또는 l· C의 곱의 추정)가 각 픽셀에서 결정될 수 있다. 상기와 같은 경우에, [256(붉은 색) × 256(초록 색) × 256(푸른 색)]= 256³ 해가 계산될 수 있으며, 각 염료에 대한 16 메가 바이트(원 데이터) 룩-업 테이블(LUT)을 발생시킨다. 각 채널당 8비트를 초과하는 회색 값의 해는 더 큰 LUT(예를 들면, 만약 채널 당 10비트면, 1 기가 바이트보다 큰(>1) )를 유도할 수 있다.

전기적 염색

본 발명의 다른 실시예들에 따르면, 더 이상의 미지 변수가 없기 때문에, 회색 수준 또는 전에 조사된 염료의 조합으로부터 초래된 인위적 영상의 RGB 투과 값이 발생할 수 있다. 특정한 픽셀과 상기 픽셀의 염료 농도에 있어서, 한 개의 염료 영상은 하기의 흑백(BW) 또는 RGB 픽셀 강도에 상응한다.

OD_BW = C 와 I_BW = Exp(ln(I₀)-OD_BW) (23)

OD_r = ε_r · C 와 I_r = Exp(ln(I₀)-OD_r) (24)

OD_g = ε_g · C 와 I_g = Exp(ln(I₀)-OD_g) (25)

OD_b = ε_b · C 와 I_b = Exp(ln(I₀)-OD_b) (26)

이 과정을 캡쳐된 디지털 영상의 각 픽셀에 적용하면, 동일한 영상 영역의 인공적 사진이 구성 염료 각각의 개별적인 기여를 통해 발생할 수 있다. 또한 만약 한 염료의 소광 계수가 다른 염료의 소광 계수로 교체되고 상기 마커를 드러내는 염료가 부차적인 마커로 변경될 수 있으면, 오직 주어진 마커에 상응하는 인공 영상이 현미경을 통해 어떻게 보여지는지 시뮬레이션 하는 것이 가능하다.

또한, 램버트-비어 법칙의 가산성을 사용하면 도 1에 도시된 바와 같이, 예 를 들면, 절대 가중 계수 또는 상대 가중 계수(염료 1 및 염료 2의 비를 가중 계수 w₁ 및 w₂로 변경한 후, RGB 영상이 재구축된 두 개의 전기적으로 염색된("e-염색된") 영상에 대한 방정식 26 내지 28을 보라)를 사용하여 각 염료의 상대적인 기여도가 변경될 수 있는 인공 영상의 생성이 가능하다.

OD_r = w₁ · ε_1r · C₁ + w₂ · ε_2r · C₂ 및 I_r = Exp(ln(I₀)-OD_r) (26)

OD_g = w₁ · ε_1g · C₁ + w₂ · ε_2g · C₂ 및 I_g = Exp(ln(I₀)-OD_g) (27)

OD_b = w₁ · ε_1b · C₁ + w₂ · ε_2b · C₂ 및 I_b = Exp(ln(I₀)-OD_b) (28)

본 발명의 실시예들에 따르면, 도 1은 에스트로겐 수용체(ER)의 예를 보여주는데 상기에서, 크로모겐 분리 후, 헤마토자일린(hematoxhylin)양의 변화 없이 마커의 양(갈색의 DAB)이 전기적으로(인공적으로) 약 22%의 투과도에서 약 40%의 투과도로 변경되는 동일한 세포의 일련의 영상(약 32%의 투과도에서 결정된 기존 영상은 붉은 색에 둘러싸인 것으로 보임)을 도시한다. 상기의 방식에서, 하부 세포 구조물들 사이의 최적의 콘트라스트는 타겟으로 된 특정 마커와 타겟으로 정해지지 않은 하부 세포 구조물 사이의 최적의 콘트라스트에 상응하는 투과도 값을 제공하는 데 필수적인 염료의 양과 인공 영상으로부터 결정될 수 있다.

측정 전략

본 발명의 실시예들에 따르면, 관심있는 마커를 특정적으로 측정하는 것에서부터 분할-최적화된 콘트라스트 영상을 발생시킬 수 있는 e-염색하는 능력 등과 같 은 여러 측면까지 측정 전략은 전술한 크로모겐 분리 기술에 기초를 두고 있으며 이를 이용하고 있다.

획득된 영상으로부터 측정 결과를 수득하는 것은 여러 단계를 포함한다. 1) 관심 있는 영역(암 영역)을 선택하는 단계; 2) 상기 영상에서 관심있는 대상체를 확인하기 위하여 분할하는 단계; 및 3) 확인된 대상체에 대하여 여러 가지 특징들을 계산하고, 예들 들면, 세포의 마커의 위치와 노이즈와 신호 사이의 비율 등에 기초하여 세포 점수(score)에 영향을 주는 특징들을 추출하는 단계.

1) 관심 있는 영역의 사전 선택(Pre-Selection)

병리학자의 업무 부담을 줄이기 위하여, 분석의 위해 사용가능한 영역이 될 수 있는 측정 영역 안에서 잠재적으로 관심 대상이 될 수 있는 영역을 자동적으로 윤곽을 설정하는 방법이 개발되었다. 상기 방법에 의해 제외된 부분은 분석으로부터 제외된다. 상기와 같은 사전 선택 방법은 일반적으로 다음과 같은 두 가지 요소가 필요하다.

ㆍ 마커의 영상을 볼 때, 관심 있는 영역은 주위 환경으로부터 양으로 콘트라스트된다.

ㆍ 암은 예로 들면, 더 큰 핵과 더 큰 세포 밀도를 가지는 면에서 기질 세포와 차이가 있는 상피 세포를 타겟으로 한다.

결과적으로, RGB 영상 영역에 적용되는 크로모겐 분리 기술로부터 획득한 마커의 영상에 큰 로우 패스 필터(low pass filter)를 적용할 수 있다. 마커의 히스토그램을 측정(발광 영상에 기초한 백그라운드 영역 방지) 한 후, 영상은 두 분류 (음 및 양의 영역)를 구별할 수 있는 히스토그램에서 최적의 임계치에 따라 이진화된다. 작은 홀을 메워서 마지막 마스크를 평탄화한다. 상기 마스크는 원래의 RGB 영상 영역 상부에 윤곽을 그려 도 2a 및 도 2b에 도시된 바와 같이, 병리학자에 의한 채택/거부를 가능하게 한다. 예를 들면, 도 2a는 PSMB9의 예를 도시하고 있으며 도 2b는 HER2의 예를 도시하고 있는데 상기 영역은 전술한 사전 선택 방법의 실시예들에 따라 관심 영역이 한정되었다. 관심 영역은 자동적으로 계산되거나 그렇지 않으면 결정될 수 있으며, 최종적인 정제 및/또는 승인을 위해 병리학자에게 제공될 수 있다. 만일 병리학자가 제안된 마스크를 거절하면 그림 도구를 사용하여 병리학자가 수동으로 적절한 관심 영역을 설정할 수 있도록 한다.

2) 분할 전략

분할 전략은 다음의 단계를 포함한다.

ㆍ 백그라운드 결정

ㆍ 세포 구조물 영상 구축

ㆍ 막 분할*

ㆍ 핵 분할

ㆍ 세포질 분할

ㆍ 분할 정제

ㆍ 원하지 않는 대상체 필터링

* Her2와 같은 막의 마커의 경우, 막 분할 후에 추가적인 특정 공정을 수행한다.

예를 들면, 도 3a1과 3a2 및 3b1과 3b2에서 상기의 분할의 다양한 예들을 각각 도시한다. 도 3a1은 관심 있는 영역의 자동적인 한정의 예인 PSMB9(세포질 마커)를 도시하고 있으며, 뒤이어 도 3a2에서 하부 세포 구조물의 분할을 수행한 모습을 도시하고 있다. 관심 영역 내로 자동적으로 한정된 세포들은 분할되고 핵 마스크는 푸른색으로 보이고 세포질 마스크는 붉은 색으로 보이며 백그라운드 픽셀은 검은 색으로 나타난다. 도 3b1은 관심 있는 영역의 자동적인 한정의 예인 HER2(막 마커)를 도시하고 있으며, 뒤이어 도 3b2에서 하부 세포 구조물의 분할이 수행된 모습을 도시한다. 자동적으로 한정된 영역 안에서, 세포들은 분할되어 핵 마스크는 푸른 색으로 보이고 막은 초록색으로 보이며 백그라운드 픽셀은 검은색으로 도시된다. 그러나 본 분야의 통상의 지식을 가진 자는 추가적인 영상 공정 또는 정제 공정이 경우에 따라 조직 또는 특정 마커에 대한 유전 알고리즘을 채택하는 데 있어 요구될 수 있다는 것을 인식할 수 있을 것이다.

2a) 백그라운드 결정

제1 분할은 영상을 포그라운드(foreground)와 백그라운드로 구별한다. 영상화 플랫폼이 현미경의 밝은 면을 지지하도록 고안되었기 때문에, 대상체는 밝은 백그라운드보다 어둡게 나타날 것이다. 영상에 대한 백그라운드 마스크를 만들기 위해서, 영상을 발광 영상으로 전환하고 백그라운드 임계 수준을 계산한다. 백그라운드 임계 수준 이상의 발광 값을 가지는 모든 픽셀들은 백그라운드로 간주한다. 반대로 임계치보다 낮은 발광 값을 가지는 픽셀들은 다음 단계에서 더 처리될 포그라운드에 속한다.

상기 백그라운드 임계치 값을 결정하는 단계는 발광 영상을 평탄화하는 단계와 상기 평탄화된 영상의 히스토그램을 계산하는 단계를 포함한다. 그 후, 상기 히스토그램을 더 높은 단에서 시작하여 임계치로 사용될 수 있는 최소값을 찾기 위하여 스캔한다. 탐색은 임의적으로 90%의 투과도에 도달하였을 때로 제한되는데, 상기 값은 8비트 영상의 경우 230으로 해석한다.

2b) 세포 구조물 영상 구축

다음 분할 단계에 있어서, 핵과 세포질에 대한 세포 구조물 영상은 전술한 크로모겐 분리 기술을 사용하여 구축될 수 있다. 상기 분리는 특정 세포 구조물에 대한 각 염료의 광학 밀도 기여도를 특정하는 것으로부터 시작될 수 있다. 세포 구조물 영상은 이어지는 핵 및 세포질 분할 단계에 대한 입력 값으로 사용될 수 있다. 상기 구조물 영상은 e-염색 능력에 기초를 두고 있으며, 이웃하는 영역으로부터 타겟된 세포 구조물을 최상으로 콘트라스트 할 수 있는 영상을 발생시킨다.

2c) 막 분할

막 분할은 다음의 단계를 사용하여 수행된다.

ㆍ 백그라운드가 아닌 전 영상에 걸친 평균값을 찾기

ㆍ 만약 국부적인 값이 더 밝다면 평균값을 가지는 영상에서 어떤 위치를 채우기

ㆍ 크고 작은 평탄한 회선 커넬(smoothing convolution kernel)들 사이의 영상 차를 발생시키는 막을 찾기

ㆍ 측정된 국부적 콘트라스트에 기초하여 콘트라스트 영상을 이진화하기

ㆍ 후보 막 마스크의 윤곽을 추출하기

ㆍ 요구되는 최소한의 길이보다 더 작은 윤곽 조각을 제거하기

ㆍ 제거에 의해 한 픽셀에 의한 막 마스크의 윤곽을 확장하고 윤곽 아래 부분에 위치하는 막 마스크 유지하기

막이 일반적으로 서로 핵을 분리할 것으로 예상되기 때문에, 상기 막 분할을 첫 번째로 수행하여 핵 분할을 보다 용이하게 할 수 있다.

2d) 핵 분할

핵 분할 과정의 시작에 있어서, 핵 구조물 영상의 평균과 중간 픽셀 값을 백그라운드 마스크를 고려하여 계산한다. 평균 또는 중간 픽셀 값보다 더 큰 값들은 핵 구조물 영상을 임계화함으로써 최초의 핵 마스크를 구축하는 데 사용할 수 있다. 시작 마스크에서 상기 임계치보다 더 높은 값을 가지는 픽셀을 임계치로 설정하고 더 낮은 값을 가지는 픽셀은 원래의 값을 유지한다. 만약 막 마스크가 이용가능하다면, 막 마스크 안에 속하는 어떤 잠재적인 핵 마스크 픽셀은 제거된다.

예비 또는 최초의 핵 마스크는 예상된 핵 크기의 1.5배인 커넬로 로우-패스되어 유역 변환 또는 분할 공정을 위하여 최초의 핵 마스크를 준비한다. 유역 분할 공정의 결과물은 최초의 핵 마스크와 결합하여 유역 영상이 집수 지역을 가지고 최초의 핵 마스크가 임계치보다 낮은 값의 픽셀을 가지는 위치에 마스크 픽셀들이 설정된다. 상기 핵 마스크는 예상된 핵 크기의 5분의 1보다 낮은 값을 가지는 영역의 홀을 매립하는 단계와 예상된 핵 크기의 4분의 1보다 작은 대상체를 제거하는 단계를 포함하는 클리닝 단계에 의해 완성된다.

2e) 세포질 분할

세포질 분할 공정은 두 가지 접근 방식을 사용하여 세포질 마스크를 제조한다. 두 방법은 시작점으로 전 단계에서 제조된 핵 마스크를 사용한다. 첫째로 핵 마스크를 반전시키고 거리 변환한다. 제1의 잠재적인 세포질 마스크는 거리 변환에 의한 출력물을 이진화하여 제조되며 예상된 세포 크기 안에 모든 픽셀들은 상기 마스크에 포함된다. 오직 포그라운드를 마스크하기 위하여, 생성된 제1의 잠재적 세포질 마스크를 백그라운드 마스크와 결합시킨다. 제2의 잠재적인 세포질 마스크를 형성하기 위하여, 핵 마스크가 다시 반전되고 유역 변환된다. 제1 및 제2의 잠재적인 마스크가 결합하여 최종적인 세포질 마스크를 생성한다.

2f) 분할 정제

일단 핵과 세포질 분할 마스크가 제조되면, 상기 마스크들은 결합된 마스크들에 관련된 정보를 사용하여 정제된다. 세포질 마스크를 가지고 시작하여, 세포질 마스크에서 각각의 분할된 대상체를 확인하고 표시된 영상과 합쳐진다. 상기에서 각각의 대상체는 단일 픽셀의 값으로 확인될 수 있다. 세포질 분할에서 유역 변환으로 인해 표시된 대상체를 서로 분리할 수 있다. 또한 표시된 영상을 표시된 대상체와 재연결되기 위하여 팽창시킨다.

표시된 영상은 핵 마스크를 정제하는 데 사용된다. 즉, 각각의 표시된 대상체는 개별적인 임계치를 사용하여 이진화된다. 각각의 표시된 대상체에 대한 공정은 다음과 같다.

ㆍ 표시된 대상체에 속하는 픽셀 각각에 대하여 히스토그램을 계산하고 평균 픽셀 값을 결정하기

ㆍ 임계치 탐색에 있어 상한 영역과 하한 영역을 결정하기. 상한 영역은 상한으로부터 대상체 면적의 약 20%가 축척될 때까지 히스토그램을 통합함으로써 결정할 수 있다. 하한 영역은 하한으로부터 예상된 핵 크기의 약 20%가 축척될 때까지 히스토그램을 통합하여 비슷한 방식으로 결정될 수 있다.

ㆍ 만약, 하한 영역이 상한 영역보다 적다면, 임계치는 경계선들 사이의 히스토그램 안의 상기 값들의 범위에 피셔(Fisher) 판별법을 적용하여 계산할 수 있다. 또는 임계치는 상한 영역과 하한 영역의 평균값일 수 있다

ㆍ 상기에서 결정된 임계치를 사용하여 핵 구조물 영상을 이진화함으로써 핵 마스크안으로 대상체를 다시 그려넣기

다음으로, 예상된 핵 크기의 5분의 1보다 작은 면적을 가지는 핵 마스크 상의 홀을 매립한다. 하부 분할을 막기 위하여 마스크에 제1 거리 변환을 수행한 후 유역 변환을 수행하여 잠재적으로 핵을 결합시킨다.

마지막으로, 예상된 핵 크기의 3분의 1보다 작은 모든 대상체를 제거하여 상기 인공물을 클리닝한다. 일단 정제된 핵 마스크가 결정되면, 세포질 분할 공정이 반복되고 정제된 세포질 마스크가 생성된다.

HER2neu 분할의 경우, 막 제거의 추가 공정이 수행되며, 이에 의해 핵 마스크 상의 약 3개의 픽셀 안에 위치하는 막 마스크가 제거되어 핵 막으로부터 세포막을 구분하는 것이 용이해진다.

2g) 원하지 않는 세포의 필터링

분할 공정의 마지막 단계는 원하지 않은 세포를 필터링하는 것이다. 상기 공정을 위하여, 정제된 세포질 마스크 안의 각각의 대상체를 표시한다. 또한 획득된 FOV 영상은 마커와 대조 염색에 대한 염료 영상으로 크로모겐 분리된다. 각각의 확인된 대상체에 대하여 경계 직사각형이 결정되고 만약 대상체가 어떤 영상 경계에 대한 특정 거리보다 더 가까운 위치에 놓이게 되면 대상체는 더 이상 고려되지 않고 버려져서 영상 경계를 넘어서 확장되는 세포가 다루어지는 것을 막는다. 만약 세포가 이 기준은 통과하면, 밀도, 직조, 형태 및 관련 정보와 같은 세포의 주요한 측정 특징들이 계산된다. 추가적인 예(비포괄적임)는 하기의 것을 포함한다.

ㆍ 면적(Area)

ㆍ 둘레(perimeter)

ㆍ 중력 중심(Center of Gravity, CoG)

ㆍ 최소 OD

ㆍ 평균 OD

ㆍ 최대 OD

각각의 특징은 발광, 마커 염료(들) 및 대조 염색(들) 각각에 대한 것뿐만 아니라 핵, 세포질 및/또는 전체 세포에 대하여 계산된다.

평균 OD를 사용하여 결정된 평균 투과도를 사용하면 다른 통과/실패 기준이 상기 세포에 적용될 수 있다. 즉, 만약 세포의 평균 투과도가 분할 설정 단계에서 특정된 임계치보다 높으면 세포는 더 이상 고려되지 않고 버려진다.

3a) 세포 점수화

각각의 세포에 대하 평가된 특징에 기초하여, 타겟된 구조물에서 마커의 강도와 노이즈에 대한 신호의 비에 의존하여 세포의 점수가 매겨진다. 마커가 특정된 타겟 구조물의 광학 밀도에서 세포의 마커의 함량이 이웃하는 구조물들에 세포에 비해 높을 때 세포를 양으로 간주한다. 예를 들여 마커가 핵의 마커라면, 콘트라스트 또는 노이즈에 대한 신호의 비율은 세포질에 대해 측정된 여분의 광학 밀도에 대한 핵에서 측정된 특정 마커의 광학 밀도로부터 계산될 수 있다 백그라운드 노이즈가 정의에 의해 특정되지 않기 때문에, 전체적인 백그라운드 평균 광학 밀도가 선택된 관심 영역 안의 세포들의 세포질 구조물 전체에 대해 측정된다.

핵 마커: 세포의 SNR = 핵의 MOD/세포질의 MOD (28)

병리학자의 노하우와 최적의 관련성을 갖기 위해서, 양인 세포를 만드는 데 필요한 콘트라스트는 강한 것에서부터 약한 것까지 채택될 수 있는데, 이는 어떤 병리학자는 오직 강한 강도의 핵만을 양으로 간주하고 다른 병리학자는 약하게 양으로 염색된 것도 양이라고 간주하기 때문이다. 콘트라스트 수준에 기초한 상기와 같은 주관적인 양(positive)에 대한 결정은 고려되는 특정 병리학에 따라 영향을 받을 수 있다.

만약 세포가 핵의 마커에 대하여 하기의 식을 만족한다면 세포는 양이다.

핵의 MOD > 세포질의 MOD + max[ε, k(1-세포질 MOD0)] (29)

ㆍ ER(에스트로겐 수용체)의 경우, ε는 0.02이고 k는 0.01이다.

ㆍ PR(프로게스테론 수용체)의 경우, ε는 0.02이고 k는 0.20이다.

따라서 도 4에 도시된 바와 같이, 곡선 아래에 있는 세포는 음이고 다른 것 은 양이다. 즉 도 4는 ER과 PR에 대하여 세포의 앙과 음의 상태를 정의하는 SNR과 핵의 OD 커브를 도시하고 있다. 상기의 핵의 마커에 있어서, 노이즈에 대한 신호의 비율(Signal to Noise Ration, SNR)은 세포질 마커의 OD에 대한 핵의 OD의 비율로 평가될 수 있다. 만약 세포가 상기 커브보다 높은 곳에 위치하면(오른쪽 위쪽 코너), 세포는 양으로 간주되고, 그렇지 않으면 음으로 간주된다. 일반적으로, 세포가 양이 되기 위해서는 핵의 강도가 더 강할수록 SNR은 더 작아져야 한다. 또한 세포가 음이 되기 위해서는 핵의 강도가 더 강할수록 SNR은 더 커져야 한다.

3b) 전체적인 점수

각 경우에 있어, 전체적인 점수는 진단/예방을 함에 있어 병리학자가 의해 요구되는 정보를 반영하는 케이스에 한하여 부여된다.

전체적인 점수 = 100*양의 세포의 개수/ ROI에 있는 세포의 개수(30)

ER 및/또는 PR 테스트에 있어, 병리학자에 의해 요구되는 전체적인 점수는 암 영역 안에 있는 양의 세포의 퍼센트이다. 그러므로 일단 병리학자가 한정된 관심있는 영역(자동적으로 한정되거나 또는 수동적으로 그려진)에 대한 그의 진단/예방에 있어 확신이 있다면, 양의 점수를 가지는 퍼센트가 보고될 것이다.

검출 개념

농도가 매우 높고 카메라의 비트 연산이 한계에 도달하면, 추가적인 OD의 기여를 조사하기 위해서, 카메라의 검출 시간(셔터 스피드)에 기초한 전략이 수행될 수 있다. 즉, 동일한 영상 영역이 동일한 카메라로 다른 검출 시간에 영상화될 수 있다. 도 5a 및 도 5b에 도시된 바와 같이, 측정된 OD는 다른 검출 시간에 노말라이즈되고 각각의 채널에서 최대 검출 시간에 상응하는 측정된 비-포화 값이 보유된다. 본 발명의 실시예들에 따르면, 도 5a는 비트 해상도를 향상시키기 위해서, 다른 검출 시간(4000s^-1에서 250^-1)을 사용하여 영상화된 높은 마커 강도를 가지는 특정 세포를 도시하고 있다. 상기의 방법에 따르면, 핵에서(헤마토자일린) 크로모겐-분리된 영상의 픽셀화는 적절한 비트 해상도가 사용되면 실질적으로 사라진다. 도 5b는 도 5a에 도시된 영상의 가장 어두운 영역에서 비트 해상도를 향상시키기 위하여 다른 검출 시간(4000s^-1에서 250^-1)을 사용하여, 캡쳐된 대표적인 픽셀에 대하여 시간에 따라 노말라이즈된 OD 값 뿐만 아니라 RGB 투과된 빛 강도를 도시한다. 상기 비트 해상도의 향상은 RGB 투과된 광 강도의 값으로부터 유도되는데 상기 값은 포화되기 전에 검출 시간에 대한 RGB 채널 각각에서 선택된다.

RGB 입력을 사용하여 3D의 한계를 깨기: 4D 크로모겐 분리

4D 크로모겐 분리 공정에 대한 한 예는 도 6a 및 도 6b에 도시된 바와 같이 변형된 PAP 공정에 대한 4가지 염료의 결합에 의해 제공된다. 즉, 헤마토자일린(도 6a), 에오신(Eosin, 도 6b), 그린(Green, 도 6c) 및 DAB(도 6d)가 도시되어 있다. 상기 예에서, 3개의 채널(R, G, B)은 4개의 미지수(염료)를 가진 입력 채널을 포함한다. 상기의 경우에, 알려진 정보가 사용된다. 상기 염료들은 EcR + EcG + EcB = 1인 소광 계수 평면을 포함하는 맥스웰 등가 평면(Maxwell equivalent plane)에 표 시된다. 상기 평면에서 염료는 하나의 XY 좌표에 의해 표시될 수 있다. 평면의 각각의 XY 좌표에서, 다른 투과도(주어진 염료에 대하 다른 강도)를 보여주는 다른 RGB 트리플렛(triplet)이 존재한다. 상기 예에서, 도 7a에 도시된 바와 같이, RGB 트리플렛은 거의 50%의 투과도를 가진다. 각각의 염료는 영상 캡쳐 장치(카메라)의 붉은 색, 초록 색 및 푸른 색 채널에서 소광 계수에 기초하여 Ec 평면에 투영된다. 상기에서 각각의 염료는 상기 염료의 첫 번째 문자로 표시된다.

각각의 염료의 성질에 비추어, 도 7b1 및 도 7b2는 세 개의 염료를 사용하여 가능한 네 개의 조합 중에서 수용가능한 두 개를 각각 도시하고 있다. 상기에서 세 개의 염료의 조합 중 수용한 만한 두 개는 각각 둘러싸고 있는 삼각형에 의해 표시되어 있다. 이미 알고 있는 지식으로부터 네 개의 염료는 샘플에 대한 동일한 지리학적 위치를 분명하게 표시할 수 없다는 것이 알려져 있다. 그러므로 상기 예의 크로모겐 분리는 오직 세 가지 염료의 조합만을 간주했으며, 상기에서 세 가지 염료는 샘플에 대하여 동시에 위치할 수 있다. 본 발명의 실시예들에 따르면, 에오신과 그린은 주로 다른 세포질의 특징을 가진 세포를 염색하는 세포질 염료이다. 결과적으로 소광 계수 평면에서 에오신과 그린 염료 사이에 있는 헤마토자일린의 위치 때문에 에오신과 그린의 혼합물을 헤마토자일린으로 잘못 알았음에도 불구하고(그러나 DAB에 대하여 잘못 알 가능성의 거의 없다), 이들 염료는 샘플에 대하여 동일한 위치에 존재하기 쉽지 않다.

그러므로 4D 문제를 해결하기 위해서는, 크로모겐 분리 공정이 상기 FOV의 각 RGB 트리플렛을 탐색함으로써 적용될 수 있다. 상기에서 상기 각각의 RGB 트리 플렛의 좌표에 상응하는 염색이 위치하며, RGB 트리플렛의 XY 좌표는 EcR + EcG + EcB = 1인 소광계수 평면에 위치한다. 이 평면에서 둘러싸고 있는 3D 배열은 가장 근접한 3D 배열의 디폴트에 의해 결정되고 상기 염료에 상응하는 광학 밀도에 대한 방정식을 푸는 데 사용된다. 그 동안 남아있는 염료의 광학 밀도는 0으로 설정된다. 본 분야의 통상의 지식을 가진 자는 조사된 RGB 트리플렛의 XY 좌표의 대부분은 세 가지 염료의 배열 중 받아들여진 두 개 중 하나 안에 위치한다는 것을 알 수 있을 것이다. 도 8a는 표시된 모든 네 가지의 염료를 가지는 영상 영역이다(예를 들면, 모든 4개의 염료가 표시되는 전형적으로 변형된 PAP 영상 영역, 상기에서 어두운 중심 세포는 도 8c에 도시된 것과 같이 DAB 양(positive)이다). 도 8b 내지 도 8e는 4개의 각 염료에 대한 동일한 영역을 도시하고 있다.

변형된 PAP 환경 하에서 양의 (DAB) 세포를 탐색하기 위한 스캐너의 초 급속 적용

4D 크로모겐 분리와 e-염색은 본 발명의 다른 측면과 결합 할 수 있다. 본 발명의 실시예들에 따르면, DAB와 헤마토자일린의 사용 후, 도 9a(원래의 영상 영역의 RGB 영상)에 도시된 것과 같이, 변형된 PAP 슬라이드(DAB 양인 희귀 사건의 해)를 판독할 수 있는 스캔을 수행할 수 있다. 그리고나서 4D 크로모겐 분리와 e-염색에 기초하여, 네 개의 염료의 위치를 풀 수 있다. 일단 풀면, 도 9b에 도시된 것과 같이, 시뮬레이션된 영상이 DAB 및 헤마토자일린 분포를 포함하는 "e-염색"을 사용하여 구축될 수 있다. 또한, 헤마토자일린 및 DAB 채널은 스캐너에 입력값으로 사용될 수 있는데, 이 경우, 상기 스캐너는 오직 "헤마토자일린과 DAB" 영상을 캡쳐하기 위하여 설정될 수 있으며, 이에 의해 도 9b에 도시된 것과 실질적으로 동일한 영상을 생산할 수 있다. 또한, 시뮬레이션된 PAP 영상은 도 9c에 도시된 바와 같이, 헤마토자일린, 에오신 및 그린을 사용하여 재구축될 수 있다.

RGB 왜곡을 고려

영상 통로, 전자 및/또는 염색의 변화로 인한 RGB 영상을 보충하고 적용하기 위해서, 크로모겐 분리의 변형을 고려할 수 있다. 즉, 오직 하나의 염료로만 염색된 생물학적 물질의 영상화는, FOV안에서 각각의 RGB 트리플렛으로부터 계산될 수 있는 소광 계수 모델이 평균적으로 수용가능한 측정 범위에서 약간씩 변경될 수 있다는 것을 입증하였다. 결과적으로, 염료 혼합물이 존재할 때, 염료 혼합물의 다중 용액은 사실상 수용되거나 수용될 수 있다. 다른 노이즈 원이 RGB 왜곡에 관여한다. 예를 들면, 3CCD 카메라 대신에 CMOS 카메라를 사용한 영상의 획득이 하나의 요인일 수 있다.

이런 왜곡을 줄이기 위해서, 주어진 RGB 트리플렛 및 주어진 다중 염료 모델에 대한 염료 각각의 기여 정도가 다소 다른 방식으로 계산될 수 있다. 본 발명의 실시예들에 따르면 조사되는 RGB 트리플렛은 주어진 직경을 가지는 RGB 공간에서 공의 중심으로 간주된다. 상기 공의 중심에 있는 모든 트리플렛은 그들의 염료 기여 해(solution)에 대하여 조사되고 상기 해는 염료 조합 모델을 만족시키는 RGB 트리플렛의 모든 각각의 염료에 대하여 평균화된다. 만약 RGB 트리플렛이 염료 조 합 모델에 포함되지 않으며, 상기 염료 조합 모델에 대한 상기 공 안의 가장 가까운 RGB 트리플렛이 가장 잠재성이 높은 후보 해로 보유된다.

역동적 공정

일반적으로, 정량 현미경 분야에 사용되는 모든 알고리즘과 계산 공정은 소프트웨어 엔지니어에 의한 시스템으로 수행되거나 구축될 수 있다. 그와 같은 경우 각각의 소프트웨어는 일반적으로 제한된 개수의 알고리즘 세트를 포함하고 있으며, 이는 소프트웨어의 변형("소프트웨어의 업그레이드") 없이는 교체될 수 없다.

예를 들면, 슬라이드 상에 총 세포 개수에 대하여 세포의 핵에 염색된 마커 중에서 평균 광학 밀도(MOD)가 임계치 값보다 더 큰 값을 가지는 세포의 수의 비율을 계산함으로써, 슬라이드 상에 양의 세포의 퍼센트를 계산할 수 있다. 일반적인 적용에서, 임계치 값을 설정할 수 있지만, 상기 비율을 계산하기 위하여 사용된 공식은 고정된다. 또한, 상기 소프트웨어는 총 세포 개수에 대한 특정한 임계치 값 이상의 세포의 수를 비교할 것이다. 비록 공정 또는 알고리즘이 다른 추출된 특징에 기초하여 임계치 값을 다변화할 수 있다 하더라도 임계치 값을 결정하기 위해 사용되는 공식은 여전히 고정된다.

따라서 본 발명의 또 다른 측면은 알고리즘 또는 공정이 다양하게 설정될 수 있는 방법을 제공하는 데 있다(예를 들면, 사용자에 의해 도입된 공식에 기초한 결과를 생산하는 것). 즉 알고리즘이나 공정이 직접적으로 소프트웨어로 암호화 되는 대신에, 소프트웨어가 실제 실행 시간에 사용된 공식을 평가할 수 있다. 본 발명의 실시예들에 따르면, 상기와 같은 역동적인 알고리즘을 수행하는 정량 현미경 분석은 첫째로 계산할 수 있으며 또는 슬라이드 수준, TMA 컨트롤 수준, 필드 수준 및 세포 수준을 포함하는 여러 수준의 일반적인 특징들을 결정할 수 있다. 이와 같은 일반적인 특징은 일명 다른 "변수"를 정의할 수 있다. 상기 변수는 예를 들면 표준화된 수학적 방법과 같은 것을 사용하여 서로서로 다양한 형태로 결합하여 더 높은 수준의 특징을 형성하거나 또는 기능을 정의할 수 있다. 분석 시간에 있어서, 특징들과 적용 가능한 공식들은 부담이 될 수 있다. 분석에 공식이 필요할 때, 공식은 역동적으로 평가되고 상기 특징들을 사용하여 필요한 만큼 공식을 변경할 수 있다. 만약 공식이 종종 다시 계산되거나 또는 상당히 복잡하면 상기 공식 또는 그 일부가 속도를 고려하여 미리 조정될 수 있다.

상기의 방법은 소프트웨어에 대한 외부적 변형 없이 알고리즘 또는 공정을 업데이트 할 수 있고, 추가할 수 있으며 또는 변형가능하다. 상기 기술은 소프트웨어에 대한 외부적인 어떤 변형을 요구하지 않고 필요한 만큼 및/또는 바라는 만큼 새로운 기능을 만들어 낼 수 있기 때문에, 사용자에게 융통성을 제공한다. 상기 기능은 예들 들면 슬라이드, 중심, 필드 또는 세포에 대한 점수일 수 있다. 추가적으로 또는 다른 면에서 상기 기능은 필터링 하는 능력을 제공할 수 있다. 예를 들면, 상기와 같은 기능의 적용 예는 전술한 바와 같이, 사용자가 양의 퍼센트를 계산하는 기능을 정의하는 데 적용할 수 있다. 상기에서 역동적인 공식은 또한 디스플레이를 가능하게 하여 양의 세포, 필드 또는 중심을 강조하는 기능을 정의하는 데 사용될 수 있다. 상기와 같은 역동적인 공식은 예를 들면, 예상된 정상 값의 범위를 정의하는 데 사용되거나 또는 '0', '1+', '2+'등과 같은 이름을 부여할 수 있다.

상술한 바와 같이, 본 발명의 다양한 변형과 다른 실시예는 상술한 설명과 첨부한 도면에서 제시된 이점을 보유하는 한 본 분야의 통상의 지식을 가진 자에게 본 발명의 범위로 간주될 수 있다. 본 발명의 실시예들을 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

상술한 바와 같이 본 발명에 따르면, 간단한 현미경을 사용하여 병리학적인 진단/예방을 손쉽게 수행할 수 있다. 상기의 방법은 소프트웨어에 대한 외부적 변형 없이 알고리즘 또는 공정을 업데이트 할 수 있고, 추가할 수 있으며 또는 변형가능하다. 상기 기술은 새로운 기능이 소프트웨어에 대한 외부적인 어떤 변형을 요구하지 않고 필요한 새로운 기능을 만들어 낼 수 있기 때문에, 사용자에게 융통성을 제공한다.

Claims

샘플을 염료로 염색하는 단계;

상기 샘플의 현미경 영상으로부터 상기 염료의 투과도 값을 결정하는 단계;

결정된 상기 염료의 투과도 값으로부터 상기 샘플의 인공 영상을 형성하는 단계;

상기 염료의 상기 투과도 값을 변화시켜 일련의 인공 영상들을 형성하는 단계;

상기 일련의 영상들로부터, 상기 염료에 대한 하부 세포 구조물들 사이의 최적의 콘트라스트를 보여주는 하나의 영상을 선택하고 상기 선택된 영상에서 상기 염료에 상응하는 투과도 값을 결정하는 단계; 및

상기 샘플의 염색을 변화시켜 상기 하부 세포 구조물들 사이의 최적의 콘트라스트에 상응하는 염료의 투과도 값을 가지는 염색된 샘플을 제공하는 단계를 포함하고,

병리학자에 의한 진단을 위하여 상기 염색된 샘플의 영상이 하부 세포 구조물들 사이의 최적 콘트라스트를 보여줄 수 있도록 설정된 현미경 영상화를 위한 샘플 염색 방법.
제1항에 있어서, 상기 투과도 값을 변화시키는 단계는 절대 가중 계수와 상대 가중 계수 중의 하나를 상응하는 광학 밀도에 적용하여 상기 염료의 투과도 값 을 변화시키는 단계를 더 포함하는 것을 특징으로 하는 샘플 염색 방법.
제1항에 있어서, 상기 샘플을 염색하는 데 필요한 상기 염료의 양을 결정하여 상기 하부 세포 구조물들 사이의 최적의 콘트라스트에 상응하는 염료의 투과도 값을 가지는 염색된 샘플을 제공하는 단계를 더 포함하는 것을 특징으로 하는 샘플 염색 방법.
제1항에 있어서, 상기 염료의 투과도 값을 결정하는 단계는 상기 현미경 영상으로부터 각각의 붉은 색 채널, 초록 색 채널 및 푸른 색 채널에서 염료의 투과도 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 샘플 염색 방법.
샘플을 제1 염료로 염색하는 단계;

상기 샘플의 현미경 영상으로부터 상기 제1 염료의 투과도 값과 소광 계수를 결정하는 단계;

상기 결정된 제1 염료의 투과도 값으로부터 상기 샘플의 인공 영상을 형성하는 단계;

상기 제1 염료의 소광 계수를 상기 제2 염료의 소광 계수로 대체하여 상기 제2 염료로 상기 샘플을 인위적으로 염색하는 단계를 포함하는 샘플을 인위적으로 염색하는 방법.
제5항에 있어서, 상기 제1 염료의 투과도 값과 상기 소광 계수를 결정하는 단계는 상기 샘플의 현미경 영상으로부터 각각의 붉은 색 채널, 초록 색 채널 및 푸른 색 채널에서 상기 제1 염료의 상기 투과도 값과 상기 소광 계수를 결정하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 인위적으로 염색하는 방법.
제6항에 있어서, 상기 제1 염료의 상기 소광 계수를 상기 제2 염료의 소광 계수로 대체하는 단계는 상기 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 상기 제1 염료의 상기 소광 계수를 상기 제2 염료의 상기 소광 계수로 대체하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 인위적으로 염색하는 방법.
RGB 영상으로부터 샘플의 관심 영역을 선택하는 단계;

상기 RGB 영상에서 상기 관심 영역을 분할하여 상기 관심 영역 안의 대상체를 확인하는 단계;

특징 추출을 수행하여 상기 확인된 상기 관심 대상체에 대한 측정값을 결정하는 단계; 및

마커 위치와 노이즈에 대한 신호 비율 중 적어도 하나에 대해 세포 점수를 결정하는 단계를 포함하는 샘플의 영상으로부터 샘플의 측정값을 수득하는 방법.
제8항에 있어서, 상기 샘플의 RGB 영상으로부터 상기 관심 영역을 선택하는 단계는 상기 RGB 영상에 상응하는 마커 영상에서 주변부로부터 양으로 콘트라스트 된 영역을 선택하는 단계를 더 포함하고, 상기 양으로 콘트라스트된 영역은 상기 주변부보다 상대적으로 더 큰 핵과 상대적으로 더 높은 세포 밀도 중 적어도 하나를 포함하는 것을 특징으로 하는 샘플의 측정값을 수득하는 방법.
제8항에 있어서,

상기 샘플의 상기 RGB 영상 중 크로모겐 분리를 통하여 수득된 샘플의 마커 영상에 로우 패스 필터(low-pass filter)를 적용하는 단계;

상기 마커 영상에서 픽셀들의 마커 히스토그램을 결정하는 단계; 및

상기 마커 히스토그램에서 임계치 따라 상기 마커 영상을 이진화하여 상기 샘플의 음과 양의 영역 사이를 판별하기 위한 마스크를 형성하는 샘플의 측정값을 수득하는 방법.
제10항에 있어서, 상기 마커 히스토그램을 결정하는 단계는 상기 마커 영상의 논-백그라운드(non-background) 영역에 대한 상기 마커 영상을 결정하는 단계를 포함하며, 상기 논-백그라운드 영역은 상기 샘플의 발광 영상으로부터 결정되는 것을 특징으로 하는 샘플의 측정값을 수득하는 방법.
제10항에 있어서, 상기 마스크 안에 특정되지 않은 홀들을 매립하고 상기 마커 영상을 이진화하여, 상기 샘플의 양의 영역에 상응하는 조리개(aperture)를 정의하는 평탄 마스크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 샘플의 측 정값을 수득하는 방법.
제12항에 있어서, 상기 샘플의 상기 RGB 영상에 상기 평탄 마스크를 중첩시켜 상기 RGB 영상에서 상기 샘플의 양의 영역이 상기 평탄 마스크를 통해 나타나게 하는 단계를 더 포함하는 것을 특징으로 하는 샘플의 측정값을 수득하는 방법.
샘플의 RGB 영상의 크로모겐 분리를 통해 수득한 마커 영상에 로우 패스 필터(low pass filter)를 적용하는 단계;

상기 마커 영상에서 픽셀들의 마커 히스토그램을 결정하는 단계; 및

상기 마커 히스토그램에서 임계치에 따라 상기 마커 영상을 이진화하여 상기 샘플의 음의 영역과 양의 영역 사이를 판별하기 위한 마스크를 형성하는 단계를 포함하는 슬라이드 상에 관심 영역을 선택하는 방법으로,

상기 영역은 상기 샘플의 상기 RGB 영상에 상응하는 상기 마커 영상에서 주변부로부터 양으로 콘트라스트 되고, 상기 양으로 콘트라스트 된 영역은 상기 주변부보다 상대적으로 더 큰 핵과 상대적으로 더 높은 세포 밀도 중 적어도 하나를 포함하는 슬라이드 상에서 관심 영역을 선택하는 방법.
제14항에 있어서, 상기 마커 히스토그램을 결정하는 단계는 상기 마커 영상의 논-백그라운드 영역에 대한 마커 히스토그램을 결정하는 단계를 더 포함하며, 상기 논-백그라운드 영역은 상기 샘플의 발광 영상으로부터 결정되는 것을 특징으 로 하는 슬라이드 상에 관심 영역을 선택하는 방법.
제14항에 있어서, 상기 마커 상에 특정되지 않은 홀들을 매립하고 상기 마커 영상을 이진화하여 상기 샘플의 양의 영역에 상응하는 조리개를 정의하는 평탄 마스크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 슬라이드 상에 관심 영역을 선택하는 방법.
제16항에 있어서, 상기 RGB 영상 상에 상기 평탄 마스크를 중첩시켜, 상기 RGB 영상에 상기 샘플의 양의 영역이 상기 평탄 마스크를 통해 나타나게 하는 단계를 더 포함하는 것을 특징으로 하는 슬라이드 상에 관심 영역을 선택하는 방법.
임계화 공정을 통해 샘플의 RGB 영상의 백그라운드 구조물을 결정하는 단계;

막, 세포질 및 핵 중 적어도 하나의 구조물 영상을 만들어 영상을 분할하는 단계;

상기 분할된 영상을 정제하는 단계; 및

상기 영상으로부터 원하지 않는 대상체를 필터링하는 단계를 포함하는 샘플의 영상으로부터 샘플을 분할하는 방법.
제18항에 있어서, 상기 임계화 공정을 통해 상기 영상의 백그라운드 구조물을 결정하는 단계는,

상기 RGB 영상을 상응하는 발광 영상으로 전환하는 단계; 및

상기 발광 영상에서 상기 백그라운드 구조물에 상응하는 임계치 이상의 픽셀과 상기 발광 영상에서 논-백그라운드 영상에 상응하는 임계치 이하의 픽셀을 사용하여 상기 발광 영상으로부터 백그라운드 임계 발광 수준을 결정하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제19항에 있어서, 상기 발광 영상으로부터 상기 백그라운드 임계 발광 수준을 결정하는 단계는,

상기 발광 영상을 평탄화하는 단계;

상기 평탄화된 발광 영상에 대한 픽셀들의 상부 영역과 하부 영역을 가지는 히스토그램을 결정하는 단계; 및

상기 히스토그램의 상단에서 시작해서 상기 히스토그램을 스캔하여 상기 임계 발광 수준에 상응하는 최소 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제20항에 있어서, 90% 이하의 투과도를 가지는 픽셀들로 상기 히스토그램의 스캔을 제한하는 단계를 더 포함하는 것을 특정으로 하는 샘플을 분할하는 방법.
제18항에 있어서, 상기 구조물 영상을 만드는 단계는,

상기 막, 상기 세포질 및 상기 핵 중의 하나를 표시하는 적어도 하나의 염료 에 대한 상기 샘플의 상기 RGB 영상에 대하여 크로모겐 분리 과정을 적용하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제18항에 있어서, 상기 영상을 분할하는 단계는,

막 구조물 영상의 논-백그라운드 구조물의 상기 픽셀들의 평균 강도를 결정하는 단계;

상기 평균 강도보다 더 큰 강도를 가지는 픽셀들을 상기 평균 강도로 대체하여 막 마스크를 형성하는 단계;

상기 막 구조물 영상의 크고 작은 평탄 회선 커넬(convolution kernel)들 사이의 차 영상(difference image)을 발생시켜 콘트라스트 영상을 형성하는 단계;

국부 콘트라스트 임계치를 사용하여 상기 콘트라스트 영상을 이진화하는 단계;

상기 이진화된 콘트라스트 영상으로부터 상기 막 마스크들의 윤곽을 형성하는 단계;

최소의 크기보다 더 작은 상기 윤곽 부분을 제거하는 단계;

각 방향에서 적어도 하나의 픽셀에 의해 상기 막 마스크들의 상기 윤곽을 확장시키는 단계; 및

상기 윤곽에 상응하지 않는 막 마스크들을 제거하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제18항에 있어서, 상기 영상을 분할하는 단계는,

핵 구조물 영상의 논-백그라운드 구조물의 픽셀들의 평균 강도와 중간 강도를 결정하는 단계;

상기 평균 강도와 상기 중간 강도보다 더 큰 강도를 포함하는 픽셀과 임계 강도보다 더 큰 강도를 가지는 픽셀을 임계 강도로 대체하여 개시 핵 마스크를 형성하는 단계;

상기 개시 핵 마스크를 예상된 핵 크기의 1.5 배의 커넬을 사용하여 로우-패스 필터링하는 단계;

상기 개시 핵 마스크를 유역 변환 분할하여 출력 영상을 생산하는 단계; 및

상기 유역 변환 분할 출력 영상을 상기 개시 핵 마스크와 결합하여 핵 마스크를 형성하고 상기 유역 변환 분할 영상이 집수 지역을 가지는 위치와 상기 개시 핵 마스크가 상기 임계 강도 이하의 픽셀 강도를 가지는 위치에 마스크 픽셀들을 지정하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제24항에 있어서, 막 마스크가 이용 가능한 경우, 상기 막 마스크 내부에 상기 핵 마스크의 픽셀들을 제거하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제24항에 있어서, 상기 예상된 핵의 크기의 5분의 1보다 적은 면적을 가지는 중간 영역을 매립함으로써 상기 핵 마스크를 클리닝하는 단계와 상기 예상된 핵 마 스크의 4분의 1보다 더 작은 대상체를 제거하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제24항에 있어서, 상기 영상을 분할하는 방법은,

상기 핵 마스크를 반전시키고 거리 변환하는 단계;

상기 반전되고 거리 변환된 핵 마스크를 이진화하여 예상된 세포 크기 내에 있는 픽셀들을 제1 잠재적 세포질 마스크에 포함시키는 단계; 및

상기 제1 잠재적 세포질 마스크를 상기 핵 구조물 영상의 백그라운드 구조물과 결합하여 상기 제1 잠재적 세포질 마스크의 논-백그라운드 구조물을 형성하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분리하는 방법.
제27항에 있어서,

상기 핵 영상을 반전시키고 거리 변환하여 제2 잠재적 세포질 마스크를 형성하는 단계; 및

상기 제1 및 제2 잠재적 세포질 마스크를 결합하여 세포질 마스크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제28항에 있어서, 상기 분할된 영상을 정제하는 단계는,

상기 세포질 마스크에서 각각의 분할된 대상체를 확인하는 단계;

특정한 픽셀 값에 의해 확인된 각각의 확인되고 분할된 대상체를 표시된 영 상을 팽창시킴으로써 상기 표시된 영상 안의 표시된 대상체와 결합시키는 단계; 및

상기 대상체와 관련된 개별의 임계치를 사용하여 각각의 표시된 대상체를 이진화하여 상기 핵 마스크를 정제하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제29항에 있어서, 각각의 표시된 대상체를 이진화하여 상기 핵 영상을 정제하는 단계는,

상기 표시된 대상체의 픽셀들에 대하여 상한과 하한을 가지는 히스토그램을 결정하고 상기 픽셀들에 대한 평균 강도를 결정하는 단계;

상기 히스토그램의 상한에서 시작하여 상기 표시된 대상체 면적의 약 20%에 해당하는 히스토그램을 통합하여 상한 영역을 결정하고 상기 히스토그램의 하한에서 시작하여 상기 예상된 핵 크기의 20%에 해당하는 상기 히스토그램을 통합하여 하한 영역을 결정함으로써 상기 상한 영역과 상기 하한 영역을 결정하는 단계;

상기 하한 영역이 상기 상한 영역보다 낮은 경우, 피셔(Fisher) 판별 분석을 상기 상한 영역과 상기 하한 영역 사이의 상기 히스토그램에 적용하여 임계치를 결정하는 단계;

상기 하한 영역이 상기 상한 영역보다 낮지 않은 경우, 임계치로 상기 상한 영역과 상기 하한 영역의 평균을 지정하는 단계; 및

상기 임계치를 사용하여 상기 핵 구조물 영상을 이진화함으로써 상기 표시된 대상체를 상기 핵 마스크로 재삽입하는 단계를 더 포함하는 것을 특징으로 하는 샘 플을 분할하는 방법.
제30항에 있어서,

상기 핵 마스크를 거리 변환하는 단계; 및

거리 변환한 후, 상기 핵 마스크를 유역 변환하여 융합된 핵을 분리하고 분할 하에서 최소화하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제31항에 있어서, 상기 예상된 핵 크기의 5분의 1보다 적은 면적을 가지는 상기 핵 마스크의 특정되지 않은 영역을 매립하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제32항에 있어서, 상기 핵 마스크로부터 예상된 상기 핵 크기의 3분의 1보다 더 작은 대상체를 제거하여 정제된 핵 마스크를 생산하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분리하는 방법.
제33항에 있어서,

상기 정제된 핵 마스크를 반전시키고 거리 변환하는 단계;

상기 반전되고 거리 변환된 정제 핵 마스크를 이진화하여 예상된 세포 크기 내에 있는 픽셀들을 제1 잠재적 정제 세포질 마스크 안에 포함시키는 단계; 및

상기 제1 정제 세포질 마스크를 상기 핵 구조물 영상의 백그라운드 구조물과 결합시켜 상기 제1 잠재적 정제 세포질 마스크의 논-백그라운드 구조물의 마스크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
제34항에 있어서,

상기 정제된 핵 마스크를 반전시키고 거리 변환하여 제2 잠재적 정제 세포질 마스크를 형성하는 단계; 및

상기 제1 및 제2 잠재적 정제 세포질 마스크를 결합하여 상기 정제 세포질 마스크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 샘플을 분할하는 방법.
다른 검출 시간에 상기 샘플의 일련의 영상을 캡쳐하는 단계;

영상 장치의 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 가장 높은 비포화된 강도를 선택하는 단계; 및

상기 각각의 붉은 색, 초록 색 및 푸른 색 채널에서 상기 가장 높은 비포화된 강도 수준을 사용하여 최적의 샘플 영상을 재구축함으로써, 상기 최적의 영상이 크로모겐 분리에 적합하도록 하는 단계를 포함하고,

저비트의 해상도 영상 장치를 가지고 수득된 영상으로부터 높은 염색 농도에서 샘플을 염색하는 적어도 하나의 염료에 대한 광학 밀도 데이터를 결정하는 방법.
제36항에 있어서, 각각의 영상에 상응하는 검출 시간에 대하여 상기 각각의 붉은 색, 초록 색 및 푸른 색 채널의 일련의 영상에 대하여 측정된 광학 밀도들을 노말라이즈하고 상기 노말라이즈된 측정된 광학 밀도로부터 상기 가장 높게 비포화된 강도를 선택하는 단계를 더 포함하는 것을 특징으로 하는 광한 밀도 데이터를 결정하는 방법.
생물학 샘플에서 공간학적으로 수득된 네 개의 염료에 대하여 알려진 중요한 세 가지 조합을 정의하는 단계;

붉은 색, 초록 색 및 푸른 색 채널을 가진 영상 장치를 사용하여 상기 네 가지 염료로 염색되고 상응하는 RGB 트리플렛(triplet)을 가지는 각각의 다수의 픽셀을 포함하는 샘플의 영상을 수득하는 단계;

상기 각각의 RGB 트리플렛을 Ecr+Ecg+Ecb=1인 소광 계수 면에 투영하는 단계;

소광 계수 면에 상기 각각의 RGB 트리플렛에 상응하는 상기 네 가지의 염료의 세 가지 염료 조합을 결정하는 단계; 및

상기 소광 계수 면에 각각의 세 가지 염료 조합에 상응하는 영상의 다수의 픽셀들을 표로 만들어 상기 샘플의 영상을 분리하는 단계를 포함하고,

세 개의 채널의 영상 장치에서 획득한 네 가지 염료로 염색된 생물학적 샘플의 영상에 대한 크로모겐 분리 방법.