[go: up one dir, main page]

KR102753795B1 - 3d 금속 적층 제조를 위한 용융풀 분석 방법 - Google Patents

3d 금속 적층 제조를 위한 용융풀 분석 방법 Download PDF

Info

Publication number
KR102753795B1
KR102753795B1 KR1020240153157A KR20240153157A KR102753795B1 KR 102753795 B1 KR102753795 B1 KR 102753795B1 KR 1020240153157 A KR1020240153157 A KR 1020240153157A KR 20240153157 A KR20240153157 A KR 20240153157A KR 102753795 B1 KR102753795 B1 KR 102753795B1
Authority
KR
South Korea
Prior art keywords
image
molten pool
molten
additive manufacturing
metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020240153157A
Other languages
English (en)
Inventor
김승환
양준영
Original Assignee
브이에프스페이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이에프스페이스 주식회사 filed Critical 브이에프스페이스 주식회사
Priority to KR1020240153157A priority Critical patent/KR102753795B1/ko
Application granted granted Critical
Publication of KR102753795B1 publication Critical patent/KR102753795B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 메탈 소재를 활용하는 메탈 3D 프린터에서 금속 적층 제조 과정에서 카메라 모듈로 촬영되는 용융풀의 이미지를 분석하기 위한 방법으로서, 용융풀의 위치로 근접하여, 카메라 모듈 및 NBPF필터를 통해 용융풀의 용융 이미지를 촬영하는 단계; 용융 이미지를 이미지 전처리하는 단계; 전처리 된 이미지의 에지 라인을 추출하는 에지 추출 단계; 및 추출된 에지 라인을 통해 용융풀의 면적을 산출하는 단계를 포함하는 것을 특징으로 하는 기술적 사상을 개시한다.

Description

3D 금속 적층 제조를 위한 용융풀 분석 방법{Melt Pool Analysis Method for 3D Metal Additive Manufacturing}
본 발명은 용융풀 분석 방법에 관한 것으로서, 보다 자세하게는 3D 금속 적층 즉, 메탈 3D 프린터 상에서 용융풀의 이미지를 처리하고 분석하기 위한 방법에 관한 기술분야이다.
머신 비전(Machine Vision)은 기계나 시스템이 카메라와 같은 영상 센서를 통해 이미지를 획득하고 이를 처리하여 특정한 작업이나 결정을 자동으로 수행하는 기술을 의미한다. 머신 비전 시스템은 주로 카메라, 조명, 이미지 처리 소프트웨어, 그리고 분석 알고리즘으로 구성되며, 이들을 통해 물체를 인식하거나 상태를 분석하고, 생산 공정의 품질 관리, 로봇의 정밀 작업 보조 등에 사용된다. 3D 메탈 프린터에서 금속의 녹는 정도를 영상으로 촬영하여 분석하는 기술은 머신 비전의 한 예로, 실시간으로 금속의 융합 상태를 평가하고, 필요한 경우 적절한 피드백을 제공하여 제조 공정의 정확성을 향상시킬 수 있다.
기술적인 측면에서 머신 비전은 고속 이미지 처리와 정확한 패턴 인식이 가능하다는 특징을 가진다. 카메라가 촬영한 영상을 처리하기 위해 머신 비전 시스템은 이미지 처리 알고리즘을 사용하여 대상의 형태, 색상, 움직임 등을 분석한다. 이러한 과정은 매우 빠르게 진행되며, 이를 통해 실시간 모니터링과 제어가 가능하다. 또한, 머신 비전은 사람이 식별하기 어려운 미세한 결함이나 변화를 탐지할 수 있어 품질 관리에 있어 중요한 역할을 한다.
머신 비전의 또 다른 특징은 높은 자동화와 반복성이다. 기계가 이미지 분석 작업을 자동으로 수행하므로 사람이 개입하지 않아도 일정한 품질의 결과를 반복적으로 얻을 수 있다. 이는 생산 라인에서 오류를 줄이고, 일관된 제품 품질을 유지하는 데 중요한 요소이다. 또한, 머신 비전 시스템은 다양한 산업에서 맞춤형으로 활용될 수 있다. 예를 들어, 3D 메탈 프린팅에서는 금속이 녹는 정도를 정밀하게 분석하고, 금속이 충분히 융합되지 않았거나 과도하게 녹았을 때 이를 감지하여 즉각적인 조치를 취할 수 있다.
"노광장치 및 이를 포함하는 머신비전 시스템(공개번호 제10-2024-0138810 호, 특허문헌1)"이 존재한다.
특허문헌1 실시예들에 의하면, 유지보수가 간편하고 생산성이 향상되며, 피사체 검사를 위한 최적 배광 제공이 용이하고 검사효율이 향상될 수 있다고 한다.
"머신비전 및 3D 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템(등록번호 제10-2252845호, 특허문헌2)"이 존재한다.
일실시에에 따르면, 시스템에 의해 수행되는, 머신비전과 3D 프로파일을 통해 콘크리트 표면을 분석하는 방법에 있어서, 라이다를 통해 콘크리트 표면에 대한 3D 데이터를 획득하고, 카메라를 통해 콘크리트 표면에 대한2D 데이터를 획득하는 단계; 2D 데이터와 3D 데이터의 합집합 영역을 분리하여, 2D 데이터 및 3D 데이터를 병합한 제1 데이터를 추출하는 단계; 제1 데이터를 인코딩 하여 제1 입력 신호를 생성하는 단계; 제1 입력 신호를 장치 내 제1 인공 신경망에 입력하고, 제1 인공 신경망의 입력의 결과에 기초하여, 제1 출력 신호를 획득하는 단계; 및 제1 출력 신호에 기초하여, 콘크리트 표면에 대한 제1 분류 결과를 생성하는 단계를 포함하는, 머신비전 및 3D 프로파일을 통한 콘크리트 표면 분석 방법이 제공된다.
"머신비전 시스템을 위한 검사 장치 및 방법(등록번호 제10-1182768호, 특허문헌3)"이 존재한다.
본 발명의 적어도 일 실시예에 의한 머신비전 시스템을 위한 검사 장치는 내부를 조명하는 하나 이상의 조명들을 구비하며 일정 형상을 갖는 거치대; 카메라 기능을 가지며, 거치대의 내부에 위치한 검사 객체를 거치대에 고정된 채 촬영 가능한 휴대용 단말기; 및 휴대용 단말기의 지시에 따라 상기 휴대용 단말기의 촬영 조건을 설정하고, 설정된 촬영 조건에 따라 상기 조명들을 제어하는 제어부를 포함한다.
공개번호 제10-2024-0138810 호 등록번호 제10-2252845호 등록번호 제10-1182768호
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.
첫째, 촬영되는 용융풀에 대한 영상 처리에 대한 기법을 제공하고자 한다.
둘째, 용융풀에 대한 정확한 용융풀 부분을 인식되도록 한다.
셋째, 용융풀에 대한 정확한 인식과 더불어 정확한 면적 계산이 이루어지도록 한다.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 경우, 메탈 소재를 활용하는 메탈 3D 프린터에서 금속 적층 제조 과정에서 카메라 모듈로 촬영되는 용융풀의 이미지를 분석하기 위한 방법으로서, 상기 용융풀의 위치로 근접하여, 상기 카메라 모듈 및 NBPF필터를 통해 상기 용융풀의 용융 이미지를 촬영하는 단계(S100); 상기 용융 이미지를 이미지 전처리하는 단계(S200); 상기 전처리 된 이미지의 에지 라인을 추출하는 에지 추출 단계(S300); 및 추출된 상기 에지 라인을 통해 상기 용융풀의 면적을 산출하는 단계(S400)를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 경우, 상기 S100단계는, 상기 미리 설정된 파장대를 532nm의 밴드 대역으로 설정하고, 설정된 상기 밴드 대역의 범위로 내로우 밴드패스 필터(NBPF)를 설정하는 단계(S110); 상기 필터링된 이미지를 획득하기 위하여, 설정된 상기 내로우 밴드패스 필터를 적용하는 단계(S120); 및 상기 내로우 밴드패스 필터의 상기 미리 설정된 파장대의 빛 에너지를 보충하는 단계(S130)를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 경우, 상기 S200 단계는, 상기 메탈 소재의 팁 위치, 상기 용융풀로부터 상기 카메라가 이격되어 배치되는 공간적 위치에 기초하여, 상기 카메라로부터 예상되는 용융물 위치로의 상기 용융풀 위치를 추산하는 단계(S210); 및 상기 카메라를 통해 촬영된 상기 용융 이미지 전체에서, 상기 용융 이미지 전체 중 배경 이미지와 상기 용융풀 이미지로부터 예상되는 용융풀 위치로 위치 설정하고 상기 용융 이미지 전체 중, 예상되는 상기 용융풀 위치에 배치된 용융풀 이미지를 선택적으로 크롭하는 단계(S220); 및 크롭된 RGB의 3채널 이미지를 1채널 이미지로 변환하는 단계(S230)를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 경우, 상기 S300 단계는, 미리 설정된 임계치 설정 로직에 따라 적응형 임계치를 설정하는 단계(S310); 상기 적응형 임계치를 통해, 상기 적응형 임계치 보다 큰 것과 작은 것을 기준으로 상기 전처리된 이미지를 이진화하기 위하여, 상기 전처리된 이미지에 적용하고 상기 적응형 임계치 기준으로 이진화하는 단계(S320); 및 상기 적응형 임계치가 적용되어 전처리되어 이진화된 이진화 이미지로부터 에지 라인을 인식하는 단계(S330)를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 경우, 상기 적응형 임계치를 설정하는 단계(S310)는, 상기 전처리된 이미지에서 배경을 제외하고 인식하는 단계(S311); 배경을 제외한 히스토그램 데이터와 좌우 반전 데이터 연결하는 단계(S312); 미리 설정된 피크 탐지 알고리즘으로 피크 탐지 단계(S313); 탐지된 피크로부터 상위 2개 피크의 휘도 값을 추출하는 단계(S314); 추출한 상기 상위 2개 피크의 휘도 값에 대한 평균치를 산출하는 단계(S315); 및 상기 상위 2개 피크의 휘도 값에 대한 평균치를 적응형 임계치로 설정하는 단계(S316)를 포함하는 것을 특징으로 할 수 있다.
이상과 같은 구성의 본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법은 다음과 같은 효과를 제공한다.
첫째, 용융풀에 대한 선별적 이미지 크롭을 통해 연산 처리 시간을 줄이게 된다.
둘째, RGB 이미지 중에서 특정 파장대의 내로우 밴드패스 필터링을 통하여 특정 파장대의 빛만을 선별적으로 인식하게 된다.
셋째, 빛 전체의 조도에 따라 용융풀의 면적 단순 계산을 위한 이미지 처리 방법과 이를 통한 정확한 용융풀의 형성 정도를 인식되도록 한다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 아르곤 90%+이산화탄소10% 실링가스를 사용하는 용접에서 발생하는 플라즈마 아크의 스펙트럼을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, Narrow BPF를 통해 촬영된 이미지의 예시 중, 이미지 포화현상이 거의 없는 경우에 대한 것이다.
도 3은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, Narrow BPF를 통해 촬영된 이미지의 예시 중, 이미지 포화현상이 조금 있는 경우에 대한 것이다.
도 4는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, 배경을 제외한 이미지이다.
도 5는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 도 4의 배경을 제외한 이미지에 대한 이미지 히스토그램이다.
도 6은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, 피크탐지 알고리즘을 활용하여 두개 피크를 탐지하는 것을 도시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 적응형 임계치 설정 후, 이진화를 처리한 용융풀의 이미지이다.
도 8은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 주요 프로세스를 도시한 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 이미지 촬영하는 단계의 세부 단계를 도시한 플로우 차트이다.
도 10은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 이미지 전처리하는 단계의 세부 단계를 도시한 플로우 차트이다.
도 11은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 에지 추출 단계의 세부 단계를 도시한 플로우 차트이다.
도 12는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 에지 추출 단계 중, 적응형 임계치 설정 단계의 세부 단계를 도시한 플로우 차트이다.
도 13은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 용융풀 면적은 산출한 정보의 보안 처리에 대한 개념도이다.
본 발명에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 아르곤 90%+이산화탄소10% 실링가스를 사용하는 용접에서 발생하는 플라즈마 아크의 스펙트럼을 나타낸 것이다. 도 2는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, Narrow BPF를 통해 촬영된 이미지의 예시 중, 이미지 포화현상이 거의 없는 경우에 대한 것이다. 도 3은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, Narrow BPF를 통해 촬영된 이미지의 예시 중, 이미지 포화현상이 조금 있는 경우에 대한 것이다. 도 4는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, 배경을 제외한 이미지이다. 도 5는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 도 4의 배경을 제외한 이미지에 대한 이미지 히스토그램이다. 도 6은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라, 피크탐지 알고리즘을 활용하여 두개 피크를 탐지하는 것을 도시한 그래프이다. 도 7은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 적응형 임계치 설정 후, 이진화를 처리한 용융풀의 이미지이다. 도 8은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 주요 프로세스를 도시한 플로우 차트이다. 도 9는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 이미지 촬영하는 단계의 세부 단계를 도시한 플로우 차트이다. 도 10은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 이미지 전처리하는 단계의 세부 단계를 도시한 플로우 차트이다. 도 11은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법 중, 에지 추출 단계의 세부 단계를 도시한 플로우 차트이다. 도 12는 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법의 에지 추출 단계 중, 적응형 임계치 설정 단계의 세부 단계를 도시한 플로우 차트이다. 도 13은 본 발명의 일 실시예에 따른 3D 금속 적층 제조를 위한 용융풀 분석 방법에 따라 용융풀 면적은 산출한 정보의 보안 처리에 대한 개념도이다.
본 발명은 용융풀 분석 방법에 관한 것으로서, 보다 자세하게는 3D 금속 적층 즉, 메탈 3D 프린터 상에서 용융풀의 이미지를 처리하고 분석하기 위한 방법에 관한 기술분야인데, 이를 위하여 본 발명의 경우, 3D 메탈 프린터 기반으로 하여, 용융의 대상이 되는 금속 와이어와 이를 용융시키기 위한 레이저 헤드(미도시) 그리고 레이저 헤드로부터 조사되는 빛을 통해 용융되는 메탈 용융풀로부터 반사 및 형성되는 빛을 인식하는 카메라 등을 주요 하드웨어로 구성하고, 여기서의 본 발명의 내용은 카메라로부터 인식되는 이미지를 어떻게 처리하는지에 대한 방법 또는 프로세스에 대하여 그 구체적인 기술적 사상을 개시하고자 한다.
본 발명에서 개시하는 방법 즉 이미지 프로세스를 수행하기 위해서는 카메라가 필요하며, 3D 프린터 그리고, 용융 대상이 되는 와이어가 필요한데, 이에 대한 하드웨어는 기존의 상용화된 스펙의 정보를 대부분 차용하기로 하며, 이에 대한 내용은 아래의 하드웨어 사양 정보의 개괄적이며 예시적인 내용으로 대체하고 생략하기로 한다.
[하드웨어 사양 정보]
Specification
Illumination Metal light + 532nm Laser diode (if required)
Filter1 532nm narrow BPF
Filter2 ND filter (if required)
Frame rate 60Fps 이상
Distance 300~500mm
Object area 5mm*5mm 이상
하드웨어 시스템은 위와 같이 광량을 제한하기 위한 필터, 제한된 광량을 보상해주기 위한 조명, 피사체를 촬영하기 위한 카메라(렌즈 및 이미지 센서 포함) 그리고 촬영된 이미지를 후처리 하기 위한 프로세싱 보드로 구성된다.본 발명의 내용은 프로세싱 보드에서 수행되는 소프트웨어적 처리 방법 프로세스에 대한 것이다.
도 1에 도시된 바와 같이, 3D 메탈 프린터 용접을 관찰하기 위한 동축 모니터링의 가장 큰 문제점은 용접 시 발생하는 강한 플라즈마 아크로 인한 이미지 포화 현상이다.
정확한 용융풀 면적을 확인하기 위해서는 플라즈마 아크로 인해 발생하는 강한 광량을 조절해주고, 획득한 이미지를 적절하게 영상처리하는 과정이 필요하다.
따라서, 본 발명의 경우, 메탈 소재를 활용하는 메탈 3D 프린터에서 금속 적층 제조 과정에서 카메라 모듈로 촬영되는 용융풀의 이미지를 분석하기 위한 방법으로서, 도 8에 도시된 바와 같이, 촬영 단계(S100); 이미지 전처리하는 단계(S200); 에지(edge) 추출 단계(S300); 및 (용융풀의 실) 면적 산출 단계(S400)를 포함하게 된다.
먼저, 촬영 단계(S100)의 경우, 용융풀의 위치로 근접하여, 카메라 모듈을 통해 용융풀의 용융 이미지를 촬영하는 단계이다. 이 때 금속 아크로 인한 이미지 포화현상을 막기 위해 카메라 모듈에는 532nm대역의 NBPF를 사용하고 외부에는 532nm 대역의 조명을 사용하여 해당 파장 근처 대역의 금속 표면 이미지에 대한 신호만을 획득할 수 있도록 한다. 도 2 및 3에 도시된 그림은 Narrow BPF를 통해 촬영된 이미지의 예시이다.
NBPF는 금속 아크로 인해 발생하는 강한 에너지를 감소시켜 이미지 포화 현상을 효과적으로 방지할 수 있으나, 너무 좁은 통과 대역을 사용하게 된다면 금속 표면에 대한 광량이 부족하여 제대로 된 이미지를 획득하지 못할 수 있다. 따라서 이러한 문제점을 해결하기 위해 추가적으로 532nm 대역의 조명을 사용하는 것이다.
촬영 단계(S100) 이후, 이미지를 전처리하는 단계(S200)를 수행하게 된다. 이미지 전처리 과정에서는 크로핑과 흑백(모노) 변환이 이루어진다.
이미지 크로핑이란, 용융풀의 이미지 만을 획득하기 위하여 용융풀과 이를 둘러싼 전체 이미지로부터 개괄적이며 러프하게 용융풀에 되는 것으로 추산되는 부분만 크게 뜯어내는 것을 의미하며, 전체 이미지로부터 다소 정교하게 원하는 부분만을 뜯어내는 이른바 '누끼따기'와는 차별화된 개념으로 인식하면 된다.
에지(edge) 추출 단계(S300)의 경우, 크로핑 및 흑백 변환이 이루어진 전처리된 이미지의 에지 라인을 추출하는 프로세스이다.
(용융풀의 실) 면적 산출 단계(S400)의 경우, 추출된 에지 라인(edge line)을 통해 용융풀의 면적을 산출하는 마지막 단계에 해당한다.
도 8 및 10에 도시된 바와 같이, S200 단계 즉, 이미지 전처리 단계(S200)의 경우, 그 하위 구성을 포함할 수 있는데, 이는 용융풀 위치를 추산하는 단계(S210) 및 용융풀 위치로 위치 설정하고 크롭하는 단계(S220), 크롭된 이미지를 단일채널 흑백 이미지 즉, 1채널 모노로 변환하는 단계(S230)를 포함할 수 있다.
먼저, 용융풀 위치를 추산하는 단계(S210)의 경우, 메탈 소재의 팁 위치, 용융풀로부터 카메라가 이격되어 배치되는 공간적 위치에 기초하여, 카메라로부터 예상되는 용융물 위치로의 용융풀 위치를 추산하게 된다.
예상되는 용융물 크롭하는 단계(S220)의 경우, 카메라를 통해 촬영된 용융 이미지 전체에서, 용융 이미지 전체 중 배경 이미지와 용융풀 이미지로부터 예상되는 용융풀 위치로 위치 설정하게 된다. 나아가, 용융 이미지 전체 중, 예상되는 용융풀 위치에 배치된 용융풀 이미지를 선택적으로 크롭하게 된다.
크롭된 이미지를 흑백 이미지로 변환 즉, 3채널 RGB 이미지를 1채널모노로 변환하는 단계(S230)의 경우, 크롭된 3채널 (RGB) 이미지 중 532nm대역의 녹색(G) 채널만을 선택하여 흑백 이미지로 변환하게 된다. NBPF 필터로 인해 이미지 센서로 들어오는 파장대가 녹색 파장대인 532nm근처의 파장대이므로, 연산 시간을 줄이기 위해 RGB(Red, Green, Blue)의 3개 채널의 이미지를 사용하지 않고 녹색 채널의 이미지로만 필터링 하여 RGB 이미지를 녹색으로만 이루어진, 마치 흑백 이미치처럼 바꾸는 단계를 수행하는 것이다.
에지(edge) 추출 단계(S300)의 경우 도 11에 도시된 바와 같이, 적응형 임계치 설정 단계(S310); 적응형 임계치 기준 이진화 하는 단계(S320) 및 에지 라인 인식 단계(S330)를 포함할 수 있다.
보다 정확한 윤곽선을 탐지하기 위해서는 휘도에 대한 임계치를 설정하고 해당 임계치를 기준으로 이진화를 진행한 뒤 윤곽선을 탐지하는 것이 바람직하다. 따라서 이 과정에서 임계치를 설정하는 방법은 매우 중요하다.
임계치를 고정 값으로 설정하게 되면 주위의 환경이 변화하는 것에 대해 대응하기 어렵다는 문제점이 있다. 예를 들어 어떠한 이유로 조명이 밝아지게 되면 용융풀의 면적이 일정하더라도 밝아진 조명으로 인하여 용융풀의 면적이 커지는 것처럼 나타날 수 있는바, 본 발명에서는 이러한 문제점을 해결하기 위해서 임계치를 고정 값으로 설정하는 것이 아닌 적응형 임계치를 정의하고 이를 적용하기로 한다.
도 11에 도시된 바와 같이, 여기서 적응형 임계치 설정 단계(S310)의 경우, 미리 설정된 임계치 설정 로직에 따라 적응형 임계치를 설정하는 단계이다.
적응형 임계치 기준 이진화 하는 단계(S320)의 경우, 적응형 임계치 보다 큰 것과 작은 것을 기준으로 전처리된 이미지를 이진화하기 위하여, 전처리된 이미지를 상기 설정한 적응형 임계치 기준으로 이진화하는 단계이다.
에지 라인 인식 단계(S330)의 경우, 적응형 임계치가 적용되어 이진화된 이진화 이미지로부터 에지 라인을 인식하는 단계이다.
도 12에 도시된 바와 같이, 적응형 임계치 설정 단계(S310)의 경우, 배경 제외 단계(S311); 히스토그램 데이터와 좌우 반전 데이터 연결단계(S312); 피크 탐지 알고리즘으로 피크 탐지 단계(S313); 상위 2개 피크의 휘도 값 추출 단계(S314); 상위 2개 피크 휘도 값 평균치 산출 단계(S315) 및 적응형 임계치 적용 및 이진화 단계(S316)를 포함하게 된다.
적응형 임계치를 설정하기 위해서는 이미지 히스토그램을 이용한다. 전처리 하지 않은 이미지 히스토그램은 대부분이 검은색 배경에 해당하는 0 근처의 휘도 값을 가지게 되어 피크탐지에 사용하기 부적합하다. 따라서 적절하게 히스토그램 피크를 탐지하기 위해 도4 및 5와 같이 배경을 제외한 이미지 히스토그램을 사용한다.
이후 피크를 탐지하기 위해 배경을 제외한 히스토그램 데이터와 해당 데이터를 좌우반전 한 데이터를 연결(concatenate)하고, 피크탐지 알고리즘을 활용하여 피크들을 탐지한 뒤 상위 2개 피크에 대한 휘도 값을 확인한다. 이후 탐지된 상위 2개 피크에 해당하는 휘도 값의 평균을 임계치로 사용하여 이진화를 진행하고, 윤곽선탐지 알고리즘을 사용하여 윤곽선을 탐지한다.
도 6은 도 3에 대해 제안하는 방법을 사용하여 상위 2개 피크를 탐지한 모습이다. 피크탐지 알고리즘으로는 주위 N개의 Reference cell의 휘도 평균값과 탐지를 목표로 하는 cell의 휘도 값을 비교하여 특정 수준이상 높다면 탐지를 목표로 하는 cell을 피크로 판정하는 방법을 사용했다.
면적 산출 단계(S400)의 경우, 도7에 도시된 바를 참조하면, 도 7과 같이 닫힌(closed) 윤곽선을 가진 여러 개의 도형을 포함할 수 있다. 이진화 된 이미지에 대해 윤곽선 탐지 알고리즘을 사용하면 각각의 도형에 대한 윤곽선을 탐지하여 별도의 객체로 분류할 수 있다.
윤곽선 탐지를 통해 각각의 도형을 별도의 객체로 분류하였다면, 각각의 객체에 대해 정규화 된 면적을 계산하고 면적이 가장 큰 객체를 용융풀으로 간주한다. 이후 용융풀의 정규화 된 면적을 이미지 크롭 비율, 이미지 센서 해상도, 용융된 부분인 피사체와 카메라(렌즈)와의 거리 등을 고려하여 실제 면적으로 환산하여 실제 용융풀 면적을 계산한다.
도 13에 도시된 바와 같이, 용융풀의 산출된 면적 정보는 i) 면적 정보에 대한 1, 0의 이진 바이너리 시퀀스(binary sequence)로 표현하는 단계, ii) 바이너리 어레이화된 정보를 소정의 스퀘어 혹은 라운드 써클에 각각 매핑하는 단계, iii) 매핑된 바이너리 시퀀스를 랜덤으로 일부 바이너리 넘버를 오미팅(omitting)하는 단계, iv) 오미팅된 부분의 정보와 그렇지 않은 정보를 각각 분리 저장하는 단계를 수행하여, 획득된 용융풀 산출 면적 정보를 보안처리할 수도 있다.
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.

Claims (5)

  1. 메탈 소재를 활용하는 메탈 3D 프린터에서 금속 적층 제조 과정에서 카메라 모듈로 촬영되는 용융풀의 이미지를 분석하기 위한 방법에 있어서,
    상기 용융풀의 위치로 근접하여, 상기 카메라 모듈 및 NBPF필터를 통해 상기 용융풀의 용융 이미지를 촬영하는 단계(S100);
    상기 용융 이미지를 이미지 전처리하는 단계(S200);
    상기 전처리 된 이미지의 에지 라인을 추출하는 에지 추출 단계(S300); 및
    추출된 상기 에지 라인을 통해 상기 용융풀의 면적을 산출하는 단계(S400)를 포함하되,
    상기 S300 단계는,
    미리 설정된 임계치 설정 로직에 따라 적응형 임계치를 설정하는 단계(S310);
    상기 적응형 임계치를 통해, 상기 적응형 임계치 보다 큰 것과 작은 것을 기준으로 상기 전처리된 이미지를 이진화하기 위하여, 상기 전처리된 이미지에 적용하고 상기 적응형 임계치 기준으로 이진화하는 단계(S320); 및
    상기 적응형 임계치가 적용되어 전처리되어 이진화된 이진화 이미지로부터 에지 라인을 인식하는 단계(S330)를 포함하며,
    상기 적응형 임계치를 설정하는 단계(S310)는,
    상기 전처리된 이미지에서 배경을 제외하고 인식하는 단계(S311);
    배경을 제외한 히스토그램 데이터와 좌우 반전 데이터 연결하는 단계(S312);
    미리 설정된 피크 탐지 알고리즘으로 피크 탐지 단계(S313);
    탐지된 피크로부터 상위 2개 피크의 휘도 값을 추출하는 단계(S314);
    추출한 상기 상위 2개 피크의 휘도 값에 대한 평균치를 산출하는 단계(S315); 및
    상기 상위 2개 피크의 휘도 값에 대한 평균치를 적응형 임계치로 설정하는 단계(S316)를 포함하는 것을 특징으로 하는, 3D 금속 적층 제조를 위한 용융풀 분석 방법.
  2. 제1항에 있어서, 상기 S100단계는,
    상기 미리 설정된 파장대를 532nm의 밴드 대역으로 설정하고, 설정된 상기 밴드 대역의 범위로 내로우 밴드패스 필터(NBPF)를 설정하는 단계(S110);
    상기 필터링된 이미지를 획득하기 위하여, 설정된 상기 내로우 밴드패스 필터를 적용하는 단계(S120); 및
    상기 내로우 밴드패스 필터의 상기 미리 설정된 파장대의 빛 에너지를 보충하는 단계(S130)를 포함하는 것을 특징으로 하는, 3D 금속 적층 제조를 위한 용융풀 분석 방법.
  3. 제1항에 있어서, 상기 S200 단계는,
    상기 메탈 소재의 팁 위치, 상기 용융풀로부터 상기 카메라가 이격되어 배치되는 공간적 위치에 기초하여, 상기 카메라로부터 예상되는 용융물 위치로의 상기 용융풀 위치를 추산하는 단계(S210); 및
    상기 카메라를 통해 촬영된 상기 용융 이미지 전체에서, 상기 용융 이미지 전체 중 배경 이미지와 상기 용융풀 이미지로부터 예상되는 용융풀 위치로 위치 설정하고 상기 용융 이미지 전체 중, 예상되는 상기 용융풀 위치에 배치된 용융풀 이미지를 선택적으로 크롭하는 단계(S220); 및
    크롭된 RGB의 3채널 이미지를 1채널 이미지로 변환하는 단계(S230)를 포함하는 것을 특징으로 하는, 3D 금속 적층 제조를 위한 용융풀 분석 방법.
  4. 삭제
  5. 삭제
KR1020240153157A 2024-11-01 2024-11-01 3d 금속 적층 제조를 위한 용융풀 분석 방법 Active KR102753795B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240153157A KR102753795B1 (ko) 2024-11-01 2024-11-01 3d 금속 적층 제조를 위한 용융풀 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020240153157A KR102753795B1 (ko) 2024-11-01 2024-11-01 3d 금속 적층 제조를 위한 용융풀 분석 방법

Publications (1)

Publication Number Publication Date
KR102753795B1 true KR102753795B1 (ko) 2025-01-16

Family

ID=94385291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020240153157A Active KR102753795B1 (ko) 2024-11-01 2024-11-01 3d 금속 적층 제조를 위한 용융풀 분석 방법

Country Status (1)

Country Link
KR (1) KR102753795B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446549A (en) * 1993-01-14 1995-08-29 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for noncontact surface contour measurement
KR101182768B1 (ko) 2012-02-21 2012-09-13 주식회사 엠비젼 머신비전 시스템을 위한 검사 장치 및 방법
US20170151634A1 (en) * 2015-12-01 2017-06-01 General Electric Company System for automated in-process inspection of welds
US20200038954A1 (en) * 2017-03-31 2020-02-06 Daniel Regulin Apparatus and method for additive manufacturing
KR102252845B1 (ko) 2021-01-26 2021-05-27 주식회사 도로시 머신비전 및 3d 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템
KR20240138810A (ko) 2023-03-13 2024-09-20 김욱 노광장치 및 이를 포함하는 머신비전 시스템
US20240326135A1 (en) * 2023-03-31 2024-10-03 Vulcanforms Inc. Systems and methods for broadband wavelength monitoring during additive manufacturing processes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446549A (en) * 1993-01-14 1995-08-29 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for noncontact surface contour measurement
KR101182768B1 (ko) 2012-02-21 2012-09-13 주식회사 엠비젼 머신비전 시스템을 위한 검사 장치 및 방법
US20170151634A1 (en) * 2015-12-01 2017-06-01 General Electric Company System for automated in-process inspection of welds
US20200038954A1 (en) * 2017-03-31 2020-02-06 Daniel Regulin Apparatus and method for additive manufacturing
KR102252845B1 (ko) 2021-01-26 2021-05-27 주식회사 도로시 머신비전 및 3d 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템
KR20240138810A (ko) 2023-03-13 2024-09-20 김욱 노광장치 및 이를 포함하는 머신비전 시스템
US20240326135A1 (en) * 2023-03-31 2024-10-03 Vulcanforms Inc. Systems and methods for broadband wavelength monitoring during additive manufacturing processes

Similar Documents

Publication Publication Date Title
CN109916910B (zh) 光伏玻璃边部缺陷检测系统及相应的方法
CN111061231B (zh) 焊接装配间隙和错边前馈的熔池监控系统及熔透监测方法
CN110596130A (zh) 一种具有辅助照明的工业检测装置
CN113313713B (zh) 一种用于锂电池极片毛刺在线检测方法及系统
JP5158406B2 (ja) 溶接状況解析装置及び方法
CN106984813A (zh) 一种激光选区熔化加工过程同轴监测方法及装置
CN110108711A (zh) 圆环侧壁缺陷的视觉检测系统
WO2023134286A1 (zh) 一种阴极铜在线质量自动检测分类方法
CN207026479U (zh) 一种激光选区熔化加工过程同轴监测装置
CN117545583A (zh) 焊接现象的行为的计测方法、计测装置、焊接系统以及程序
CN109461156B (zh) 基于视觉的螺纹密封塞装配检测方法
CN112489014B (zh) 一种基于视觉的化纤飘杂检测方法
KR102753795B1 (ko) 3d 금속 적층 제조를 위한 용융풀 분석 방법
JP2013146032A (ja) ドライバモニタシステム及びその処理方法
CN115436390B (zh) 基于自动调光、多相机协同控制技术的料胚缺陷检测方法
KR101562988B1 (ko) 열간소재의 표면결함 검출 장치 및 표면 검출 방법
JPH063123A (ja) 外観検査方法及び外観検査装置
CN115564718A (zh) 基于多目视觉的曲轴端面法兰盘螺纹检测装置及方法
CN120782699A (zh) 焊接质量评估方法、工业相机及相关设备
CN117606358A (zh) 焊点参数测量方法及系统
CN111541891B (zh) 一种基于图像确定照相机瑕疵的方法
KR102279074B1 (ko) 레이저 용접의 품질 평가 시스템 및 그 방법
CN212675568U (zh) 一种基于图像处理的高速光谱仪安全监测装置
CN111783578B (zh) 一种基于图像处理的高速光谱仪安全监测装置及监测方法
CN114923916A (zh) 一种用于无线充电线圈的镀锡端子部的检测装置及方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000