[go: up one dir, main page]

JP7451364B2 - Tablet printing device and tablet printing method - Google Patents

Tablet printing device and tablet printing method Download PDF

Info

Publication number
JP7451364B2
JP7451364B2 JP2020156539A JP2020156539A JP7451364B2 JP 7451364 B2 JP7451364 B2 JP 7451364B2 JP 2020156539 A JP2020156539 A JP 2020156539A JP 2020156539 A JP2020156539 A JP 2020156539A JP 7451364 B2 JP7451364 B2 JP 7451364B2
Authority
JP
Japan
Prior art keywords
tablet
image
inspection
printing
autoencoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020156539A
Other languages
Japanese (ja)
Other versions
JP2022050122A (en
Inventor
雄一郎 疋田
和隆 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2020156539A priority Critical patent/JP7451364B2/en
Publication of JP2022050122A publication Critical patent/JP2022050122A/en
Application granted granted Critical
Publication of JP7451364B2 publication Critical patent/JP7451364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Coating Apparatus (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Description

本発明は、錠剤を搬送しつつ錠剤の表面に印刷を行う錠剤印刷装置および錠剤印刷方法に関する。 The present invention relates to a tablet printing device and a tablet printing method that print on the surface of a tablet while conveying the tablet.

従来、医薬品やサプリメントなどの錠剤の表面に、文字やロゴマークなどの画像を、インクジェット方式で印刷する錠剤印刷装置が知られている。従来の錠剤印刷装置については、例えば、特許文献1に記載されている。 BACKGROUND ART Tablet printing devices have been known that use an inkjet method to print images such as letters and logos on the surface of tablets such as pharmaceuticals and supplements. A conventional tablet printing device is described in, for example, Patent Document 1.

錠剤印刷装置では、複数の錠剤を整列した状態で搬送しつつ、各錠剤を撮影する。そして、得られた撮影画像に基づいて、錠剤ごとに、形状、位置、回転角度などを判定する。その後、上記の判定結果に応じて、各錠剤に吐出するインク滴の位置を微調整しつつ、錠剤に印刷を行う。例えば、特許文献1の装置では、錠剤の撮影画像に基づいて、錠剤の割線の回転角度を判定し、割線に沿うように印刷を行っている。 In a tablet printing device, a plurality of tablets are conveyed in a lined state and each tablet is photographed. Then, the shape, position, rotation angle, etc. of each tablet are determined based on the obtained captured image. Thereafter, printing is performed on the tablets while finely adjusting the position of the ink droplet to be ejected onto each tablet according to the above determination result. For example, in the apparatus of Patent Document 1, the rotation angle of the score line of the tablet is determined based on a photographed image of the tablet, and printing is performed along the score line.

特開2017-200495号公報JP 2017-200495 Publication

しかしながら、この種の錠剤印刷装置において搬送される複数の錠剤は、その形状や表面状態が厳密に一定ではない。このため、錠剤の撮影画像において、錠剤の表面に不規則な光沢や、薬剤成分の粗さによるざらつきなどが現れる場合がある。また、一部の錠剤には、欠けや黒点などの欠陥が存在する場合もある。したがって、これらの光沢、ざらつき、または欠陥の影響によって、錠剤の形状、位置、または回転角度を、精度よく判定できない場合がある。 However, the shapes and surface conditions of the plurality of tablets conveyed in this type of tablet printing apparatus are not strictly constant. For this reason, in a photographed image of a tablet, irregular gloss or roughness due to the roughness of the drug component may appear on the surface of the tablet. Additionally, some tablets may have defects such as chips or black spots. Therefore, the shape, position, or rotation angle of the tablet may not be accurately determined due to the influence of these gloss, roughness, or defects.

本発明は、このような事情に鑑みなされたものであり、錠剤の形状、位置、または回転角度を、精度よく判定し、それにより、錠剤の表面に精度よく印刷を行うことができる、錠剤印刷装置および錠剤印刷方法を提供することを目的とする。 The present invention has been made in view of these circumstances, and provides a tablet printing method that can accurately determine the shape, position, or rotation angle of a tablet, and thereby accurately print on the surface of the tablet. An object of the present invention is to provide an apparatus and a tablet printing method.

上記課題を解決するため、本願の第1発明は、錠剤を搬送しつつ錠剤の表面に印刷を行う錠剤印刷装置であって、錠剤を搬送する搬送機構と、前記搬送機構により搬送される錠剤を撮影して、撮影画像を取得する撮像部と、前記撮影画像に対して、次元削減と再構成とを行うことにより、再構成画像を出力するオートエンコーダと、前記再構成画像に基づいて、錠剤の形状、位置、および回転角度の少なくとも1つを判定する判定部と、前記判定部の判定結果に基づいて、錠剤の表面に印刷を行う印刷部と、前記再構成画像に基づいて、錠剤の検査領域を設定する検査領域設定部と、前記撮影画像の、前記検査領域設定部により設定された前記検査領域において、錠剤の欠陥を検査する検査部と、を備え、前記オートエンコーダは、入力される錠剤の画像と出力される錠剤の画像との差が小さくなるように、予め機械学習により調整されたパラメータを使用して、前記次元削減および前記再構成を行う。 In order to solve the above problems, a first invention of the present application is a tablet printing device that prints on the surface of a tablet while transporting the tablet, the apparatus comprising a transport mechanism that transports the tablet, and a tablet printer that prints on the surface of the tablet while transporting the tablet. an imaging unit that captures images to obtain captured images; an autoencoder that performs dimension reduction and reconstruction on the captured images to output a reconstructed image; and an autoencoder that outputs a reconstructed image based on the reconstructed image a determination unit that determines at least one of the shape, position, and rotation angle of the tablet; a printing unit that performs printing on the surface of the tablet based on the determination result of the determination unit; and a printing unit that performs printing on the surface of the tablet based on the reconstructed image. The autoencoder includes an inspection area setting section that sets an inspection area, and an inspection section that inspects the tablet for defects in the inspection area set by the inspection area setting section of the photographed image, and the autoencoder is configured to The dimension reduction and the reconstruction are performed using parameters adjusted in advance by machine learning so that the difference between the tablet image and the output tablet image is reduced.

本願の第2発明は、第1発明の錠剤印刷装置であって、前記判定部は、前記再構成画像に含まれる錠剤の割線に基づいて、錠剤の回転角度を判定する。 A second invention of the present application is the tablet printing apparatus of the first invention, in which the determination unit determines the rotation angle of the tablet based on the score line of the tablet included in the reconstructed image.

本願の第発明は、第1発明または第2発明の錠剤印刷装置であって、前記検査領域設定部は、前記再構成画像に基づいて複数の前記検査領域を設定し、前記検査部は、前記検査領域毎に異なる条件で、錠剤の欠陥を検査する。 A third invention of the present application is the tablet printing apparatus according to the first invention or the second invention , wherein the inspection area setting section sets the plurality of inspection areas based on the reconstructed image, and the inspection section includes: The tablet is inspected for defects under different conditions for each inspection area.

本願の第発明は、第発明の錠剤印刷装置であって、前記複数の検査領域は、錠剤のエッジに相当する領域を含む。 A fourth invention of the present application is the tablet printing apparatus according to the third invention, wherein the plurality of inspection areas include an area corresponding to an edge of the tablet.

本願の第発明は、錠剤を搬送しつつ錠剤の表面に印刷を行う錠剤印刷方法であって、a)次元削減と再構成とを行うオートエンコーダに、錠剤の画像を入力し、入力される錠剤の画像と出力される錠剤の再構成画像との差が小さくなるように、前記オートエンコーダのパラメータを調整する工程と、b)錠剤を搬送しつつ、錠剤を撮影して、撮影画像を取得する工程と、c)前記工程a)において前記パラメータが調整済みの前記オートエンコーダに、前記撮影画像を入力し、前記オートエンコーダから出力される再構成画像を得る工程と、d)前記再構成画像に基づいて、錠剤の形状、位置、および回転角度の少なくとも1つを判定する工程と、e)前記工程d)の判定結果に基づいて、錠剤の表面に印刷を行う工程と、f)前記再構成画像に基づいて、錠剤の検査領域を設定する工程と、g)前記撮影画像の、前記工程f)により設定された前記検査領域において、錠剤の欠陥を検査する工程と、を備える。 A fifth invention of the present application is a tablet printing method for printing on the surface of a tablet while conveying the tablet, the method comprising: a) inputting an image of the tablet to an autoencoder that performs dimension reduction and reconstruction; a step of adjusting the parameters of the autoencoder so that the difference between the tablet image and the output reconstructed tablet image is small; and b) photographing the tablet while transporting the tablet to obtain a photographed image. c) inputting the photographed image to the autoencoder whose parameters have been adjusted in step a) to obtain a reconstructed image output from the autoencoder, and d) the reconstructed image. e) determining at least one of the shape, position, and rotation angle of the tablet based on the determination result of step d); f) printing on the surface of the tablet based on the determination result of step d); The method includes a step of setting an inspection area of the tablet based on the constituent images, and g) a step of inspecting the tablet for defects in the inspection area of the photographed image set in the step f).

本願の第発明は、第発明の錠剤印刷方法であって、前記工程d)では、前記再構成画像に含まれる錠剤の割線に基づいて、錠剤の回転角度を判定する。 A sixth invention of the present application is the tablet printing method according to the fifth invention, wherein in step d), the rotation angle of the tablet is determined based on the score line of the tablet included in the reconstructed image.

本願の第発明は、第5発明または第6発明の錠剤印刷方法であって、前記工程f)では、前記再構成画像に基づいて複数の前記検査領域を設定し、前記工程g)では、前記検査領域毎に異なる閾値を用いて、錠剤の欠陥を検査する。 A seventh invention of the present application is the tablet printing method according to the fifth or sixth invention , wherein in the step f), a plurality of the inspection areas are set based on the reconstructed image, and in the step g), The tablet is inspected for defects using different threshold values for each of the inspection areas.

本願の第発明は、第発明の錠剤印刷方法であって、前記複数の検査領域は、錠剤のエッジに相当する領域を含む。 An eighth invention of the present application is the tablet printing method according to the seventh invention, wherein the plurality of inspection areas include an area corresponding to an edge of the tablet.

本願の第1発明~第発明によれば、オートエンコーダにより、撮影画像から光沢、ざらつき、欠陥などのランダムな要素が低減された再構成画像を生成できる。このため、再構成画像に基づいて、錠剤の形状、位置、または回転角度を、精度よく判定できる。したがって、錠剤の表面に精度よく印刷を行うことができる。 According to the first to eighth inventions of the present application, the autoencoder can generate a reconstructed image in which random elements such as gloss, roughness, and defects are reduced from a captured image. Therefore, the shape, position, or rotation angle of the tablet can be determined with high accuracy based on the reconstructed image. Therefore, it is possible to accurately print on the surface of the tablet.

また、本願の第1発明~第8発明によれば、再構成画像に基づいて、検査領域を精度よく設定できる。したがって、錠剤の欠陥を、精度よく検査できる。 Further , according to the first to eighth inventions of the present application, the inspection area can be set with high accuracy based on the reconstructed image. Therefore, defects in tablets can be inspected with high accuracy.

特に、本願の第発明または第発明によれば、再構成画像に基づいて、複数の検査領域を精度よく設定できる。 In particular, according to the third or seventh invention of the present application, a plurality of inspection areas can be set with high accuracy based on the reconstructed image.

特に、本願の第発明または第発明によれば、ズレが生じやすい錠剤のエッジに相当する検査領域を、再構成画像を使用することにより、精度よく設定できる。 In particular, according to the fourth or eighth aspect of the present application, the inspection area corresponding to the edge of the tablet, which is likely to be misaligned, can be set with high accuracy by using the reconstructed image.

錠剤印刷装置の構成を示した図である。1 is a diagram showing the configuration of a tablet printing device. 搬送機構の部分斜視図である。It is a partial perspective view of a conveyance mechanism. ヘッドの下面図である。FIG. 3 is a bottom view of the head. コンピュータと、錠剤印刷装置の各部との電気的接続を示したブロック図である。FIG. 2 is a block diagram showing electrical connections between a computer and various parts of the tablet printing device. コンピュータの機能を概念的に示したブロック図である。FIG. 2 is a block diagram conceptually showing the functions of a computer. オートエンコーダが実行する次元削減と再構成の処理を、概念的に示した図である。FIG. 3 is a diagram conceptually illustrating dimension reduction and reconstruction processing performed by an autoencoder. 検査領域の例を示した図である。FIG. 3 is a diagram showing an example of an inspection area. 機械学習の流れを示すフローチャートである。It is a flowchart showing the flow of machine learning. 印刷処理の流れを示すフローチャートである。3 is a flowchart showing the flow of print processing.

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、以下の説明においては、複数の錠剤が搬送される方向を「搬送方向」と称し、搬送方向に対して垂直かつ水平な方向を「幅方向」と称する。 Embodiments of the present invention will be described below with reference to the drawings. In addition, in the following description, the direction in which a plurality of tablets are conveyed will be referred to as the "transportation direction", and the direction perpendicular and horizontal to the transportation direction will be referred to as the "width direction".

<1.印刷装置の全体構成>
図1は、本発明の一実施形態に係る錠剤印刷装置1の構成を示した図である。この錠剤印刷装置1は、複数の錠剤9を搬送しながら、各錠剤9の表面に、製品名、製品コード、会社名、ロゴマーク等の画像を印刷する装置である。図1に示すように、本実施形態の錠剤印刷装置1は、搬送機構10、第1撮像部20、印刷部30、第2撮像部40、不良品排出部50、良品排出部60、およびコンピュータ70を備えている。
<1. Overall configuration of printing device>
FIG. 1 is a diagram showing the configuration of a tablet printing apparatus 1 according to an embodiment of the present invention. This tablet printing device 1 is a device that prints images such as a product name, product code, company name, logo mark, etc. on the surface of each tablet 9 while conveying a plurality of tablets 9. As shown in FIG. 1, the tablet printing apparatus 1 of this embodiment includes a transport mechanism 10, a first imaging section 20, a printing section 30, a second imaging section 40, a defective product discharging section 50, a non-defective product discharging section 60, and a computer. It is equipped with 70.

搬送機構10は、複数の錠剤9を整列した状態で保持しつつ搬送する機構である。搬送機構10は、一対のプーリ11と、一対のプーリ11の間に架け渡された環状の搬送ベルト12とを有する。錠剤印刷装置1に投入された複数の錠剤9は、振動フィーダや搬送ドラム等により構成される搬入機構80によって、等間隔に整列されるとともに、搬送ベルト12の表面に供給される。一対のプーリ11の一方は、搬送用モータ13から得られる動力により回転する。これにより、搬送ベルト12が、図1中の矢印の方向に回動する。このとき、一対のプーリ11の他方は、搬送ベルト12の回動に伴い従動回転する。 The transport mechanism 10 is a mechanism that transports a plurality of tablets 9 while holding them in an aligned state. The conveyance mechanism 10 includes a pair of pulleys 11 and an annular conveyance belt 12 stretched between the pair of pulleys 11 . A plurality of tablets 9 loaded into the tablet printing apparatus 1 are arranged at equal intervals and supplied onto the surface of the conveyor belt 12 by a carry-in mechanism 80 comprised of a vibrating feeder, a conveyor drum, and the like. One of the pair of pulleys 11 is rotated by power obtained from the transport motor 13. As a result, the conveyor belt 12 rotates in the direction of the arrow in FIG. At this time, the other of the pair of pulleys 11 rotates as the conveyor belt 12 rotates.

図2は、搬送機構10の部分斜視図である。図2に示すように、搬送ベルト12には、複数の吸着孔14が設けられている。複数の吸着孔14は、搬送方向および幅方向に、等間隔に配列されている。また、図1に示すように、搬送機構10は、搬送ベルト12の内側の空間から気体を吸い出す吸引機構15を有する。吸引機構15を動作させると、搬送ベルト12の内側の空間が、大気圧よりも低い負圧となる。複数の錠剤9は、この負圧によって、吸着孔14に吸着保持される。 FIG. 2 is a partial perspective view of the transport mechanism 10. As shown in FIG. 2, the conveyor belt 12 is provided with a plurality of suction holes 14. The plurality of suction holes 14 are arranged at equal intervals in the transport direction and the width direction. Further, as shown in FIG. 1, the conveyance mechanism 10 includes a suction mechanism 15 that sucks out gas from the space inside the conveyance belt 12. When the suction mechanism 15 is operated, the space inside the conveyor belt 12 becomes a negative pressure lower than atmospheric pressure. The plurality of tablets 9 are suction-held in the suction holes 14 by this negative pressure.

このように、複数の錠剤9は、搬送ベルト12の表面に、搬送方向および幅方向に整列した状態で保持される。そして、搬送機構10は、搬送ベルト12を回動させることによって、複数の錠剤9を搬送方向に搬送する。後述する4つのヘッド31の下方では、複数の錠剤9は、水平方向に搬送される。 In this way, the plurality of tablets 9 are held on the surface of the conveyor belt 12 in a state where they are aligned in the conveyance direction and the width direction. The transport mechanism 10 then transports the plurality of tablets 9 in the transport direction by rotating the transport belt 12. A plurality of tablets 9 are conveyed in the horizontal direction below four heads 31, which will be described later.

第1撮像部20は、印刷前の錠剤9の撮影画像を取得する部位である。第1撮像部20は、搬入機構80よりも搬送経路の下流側かつ後述する印刷位置P2よりも搬送経路の上流側の第1撮像位置P1において、搬送ベルト12により搬送される複数の錠剤9を、上方から撮影する。第1撮像部20には、例えば、CCDやCMOS等の撮像素子が幅方向に配列されたラインセンサが用いられる。ただし、第1撮像部20に、エリアセンサ等の他の撮像装置が用いられていてもよい。撮影により取得された撮影画像は、第1撮像部20から後述するコンピュータ70へ送信される。コンピュータ70は、第1撮像部20から得られた撮影画像に基づいて、各吸着孔14における錠剤9の有無、錠剤9の位置、錠剤9の回転角度、および錠剤9に欠け等の欠陥が無いかどうか等を検査する。 The first imaging unit 20 is a part that acquires a photographed image of the tablet 9 before printing. The first imaging unit 20 captures a plurality of tablets 9 transported by the transport belt 12 at a first imaging position P1 downstream of the transport path from the carry-in mechanism 80 and upstream of the transport path from a print position P2, which will be described later. , taken from above. The first imaging unit 20 uses, for example, a line sensor in which imaging elements such as CCD and CMOS are arranged in the width direction. However, other imaging devices such as an area sensor may be used in the first imaging unit 20. The photographed image obtained by photographing is transmitted from the first imaging section 20 to a computer 70, which will be described later. Based on the captured image obtained from the first imaging unit 20, the computer 70 determines the presence or absence of the tablet 9 in each suction hole 14, the position of the tablet 9, the rotation angle of the tablet 9, and whether the tablet 9 has no defects such as chips. Inspect whether or not.

印刷部30は、第1撮像位置P1よりも搬送経路の下流側かつ後述する第2撮像位置P3よりも搬送経路の上流側の印刷位置P2において、錠剤9の表面に、インクジェット方式で画像を印刷する処理部である。図1に示すように、本実施形態の印刷部30は、4つのヘッド31を有する。4つのヘッド31は、搬送ベルト12の上方に位置し、錠剤9の搬送方向に沿って、一列に配置されている。4つのヘッド31は、錠剤9の表面に向けて、互いに異なる色(例えば、シアン、マゼンタ、イエロー、およびブラックの各色)のインク滴を吐出する。すると、これらの各色により形成される単色画像の重ね合わせによって、錠剤9の表面に、多色画像が印刷される。なお、各ヘッド31から吐出されるインクには、日本薬局方、食品衛生法等で認可された原料により製造された可食性インクが使用される。 The printing unit 30 prints an image on the surface of the tablet 9 using an inkjet method at a printing position P2 that is downstream of the first imaging position P1 in the transport path and upstream of the second imaging position P3, which will be described later, in the transport path. This is a processing section that performs As shown in FIG. 1, the printing section 30 of this embodiment has four heads 31. The four heads 31 are located above the conveyor belt 12 and arranged in a line along the conveyance direction of the tablets 9. The four heads 31 eject ink droplets of different colors (for example, cyan, magenta, yellow, and black) toward the surface of the tablet 9. Then, a multicolor image is printed on the surface of the tablet 9 by superimposing the monochrome images formed by these colors. Note that the ink ejected from each head 31 is an edible ink manufactured from raw materials approved by the Japanese Pharmacopoeia, the Food Sanitation Law, etc.

図3は、1つのヘッド31の下面図である。図3には、搬送ベルト12と、搬送ベルト12に保持された複数の錠剤9とが、二点鎖線で示されている。図3中に拡大して示したように、ヘッド31の下面である吐出面310には、インク滴を吐出可能な複数のノズル311が設けられている。本実施形態では、ヘッド31の下面に、複数のノズル311が、搬送方向および幅方向に二次元的に配列されている。各ノズル311は、幅方向に位置をずらして配列されている。このように、複数のノズル311を二次元的に配置すれば、各ノズル311の幅方向の位置を、互いに接近させることができる。ただし、複数のノズル311は、幅方向に沿って一列に配列されていてもよい。 FIG. 3 is a bottom view of one head 31. In FIG. 3, the conveyor belt 12 and the plurality of tablets 9 held by the conveyor belt 12 are shown by two-dot chain lines. As shown in an enlarged view in FIG. 3, a plurality of nozzles 311 capable of ejecting ink droplets are provided on the ejection surface 310, which is the lower surface of the head 31. In this embodiment, a plurality of nozzles 311 are two-dimensionally arranged on the lower surface of the head 31 in the transport direction and the width direction. The nozzles 311 are arranged with their positions shifted in the width direction. In this way, by arranging the plurality of nozzles 311 two-dimensionally, the positions of the nozzles 311 in the width direction can be made close to each other. However, the plurality of nozzles 311 may be arranged in a line along the width direction.

ノズル311からのインク滴の吐出方式には、例えば、ピエゾ素子に電圧を加えて変形させることにより、ノズル311内のインクを加圧して吐出する、いわゆるピエゾ方式が用いられる。ただし、インク滴の吐出方式は、ヒータに通電してノズル311内のインクを加熱膨張させることにより吐出する、いわゆるサーマル方式であってもよい。 As a method for ejecting ink droplets from the nozzle 311, for example, a so-called piezo method is used in which ink in the nozzle 311 is pressurized and ejected by applying a voltage to a piezo element to deform it. However, the ink droplet ejection method may be a so-called thermal method in which the ink droplets are ejected by energizing a heater to heat and expand the ink in the nozzle 311 .

第2撮像部40は、印刷後の錠剤9の撮影画像を取得する部位である。第2撮像部40は、印刷位置P2よりも搬送経路の下流側かつ後述する不良品排出位置P4よりも搬送経路の上流側の第2撮像位置P3において、搬送ベルト12により搬送される複数の錠剤9を、上方から撮影する。撮像部40には、例えば、CCDやCMOS等の撮像素子が幅方向に配列されたラインセンサが用いられる。ただし、第2撮像部40に、エリアセンサ等の他の撮像装置が用いられていてもよい。撮影により取得された撮影画像は、第2撮像部40から後述するコンピュータ70へ送信される。コンピュータ70は、第2撮像部40から得られた第2撮影画像に基づいて、錠剤9の表面に形成された印刷画像の良否を検査する。 The second imaging unit 40 is a part that acquires a photographed image of the tablet 9 after printing. The second imaging unit 40 captures a plurality of tablets being transported by the transport belt 12 at a second imaging position P3 that is downstream of the transport path from the printing position P2 and upstream of the transport path from a defective product discharge position P4, which will be described later. 9 is photographed from above. The imaging unit 40 uses, for example, a line sensor in which imaging elements such as CCD and CMOS are arranged in the width direction. However, other imaging devices such as an area sensor may be used in the second imaging unit 40. The photographed image acquired by photographing is transmitted from the second imaging section 40 to a computer 70, which will be described later. The computer 70 inspects the quality of the printed image formed on the surface of the tablet 9 based on the second photographed image obtained from the second imaging section 40 .

不良品排出部50は、第2撮像位置P3よりも搬送経路の下流側かつ後述する良品排出位置P5よりも搬送経路の上流側の不良品排出位置P4において、不良品と判定された錠剤9を排出する部位である。不良品排出部50は、搬送ベルト12の内側に配置された不良品ブロー機構51と、不良品ブロー機構51から搬送ベルト12をはさんで下方に配置された不良品回収部52とを有する。不良品ブロー機構51は、搬送ベルト12の複数の吸着孔14のうち、不良品と判定された錠剤9を保持する吸着孔14のみに、気体を吹き付ける。そうすると、当該吸着孔14が、大気圧よりも高い陽圧となる。これにより、当該吸着孔14における錠剤9の吸着が解除され、搬送ベルト12から不良品回収部52へ、不良品と判定された錠剤9が落下する。 The defective product discharging unit 50 removes the tablets 9 that have been determined to be defective at a defective product discharging position P4 that is downstream of the second imaging position P3 on the transport path and upstream of the non-defective product discharging position P5, which will be described later. This is the part where it is excreted. The defective product discharging section 50 includes a defective product blowing mechanism 51 disposed inside the conveyor belt 12 and a defective product collecting section 52 disposed below the defective product blowing mechanism 51 with the conveyor belt 12 interposed therebetween. The defective product blowing mechanism 51 blows gas only to the suction hole 14 that holds the tablet 9 determined to be a defective product among the plurality of suction holes 14 of the conveyor belt 12 . Then, the suction hole 14 has a positive pressure higher than atmospheric pressure. As a result, the suction of the tablet 9 in the suction hole 14 is released, and the tablet 9 determined to be a defective product falls from the conveyor belt 12 to the defective product collection section 52.

良品排出部60は、不良品排出位置P4よりも搬送経路の下流側の良品排出位置P5において、良品と判定された錠剤9を排出する部位である。良品排出部60は、搬送ベルト12の内側に配置された良品ブロー機構61と、良品ブロー機構61から搬送ベルト12をはさんで下方に配置された良品回収部62とを有する。良品ブロー機構61は、搬送ベルト12の複数の吸着孔14へ向けて、気体を吹き付ける。そうすると、当該吸着孔14が、大気圧よりも高い陽圧となる。これにより、当該吸着孔14における錠剤9の吸着が解除され、搬送ベルト12から良品回収部62へ、良品と判定された錠剤9が落下する。 The non-defective product discharging section 60 is a part that discharges the tablets 9 determined to be non-defective products at a non-defective product discharging position P5 downstream of the defective product discharging position P4 on the conveying path. The non-defective product discharge section 60 includes a non-defective product blowing mechanism 61 disposed inside the conveyor belt 12 and a non-defective product collecting section 62 disposed below the non-defective product blow mechanism 61 with the transport belt 12 in between. The non-defective blow mechanism 61 blows gas toward the plurality of suction holes 14 of the conveyor belt 12 . Then, the suction hole 14 has a positive pressure higher than atmospheric pressure. As a result, the suction of the tablet 9 in the suction hole 14 is released, and the tablet 9 determined to be a good product falls from the conveyor belt 12 to the good product collection section 62.

コンピュータ70は、錠剤印刷装置1内の各部の動作制御と、後述する機械学習とを行うための情報処理装置である。図4は、コンピュータ70と、錠剤印刷装置1の各部との電気的接続を示したブロック図である。図4中に概念的に示したように、コンピュータ70は、CPU等のプロセッサ701、RAM等のメモリ702、およびハードディスクドライブ等の記憶部703を有する。記憶部703内には、印刷処理および後述する機械学習を実行するためのコンピュータプログラムCPが、記憶されている。また、記憶部703内には、機械学習により得られる学習済みモデルMも記憶される。 The computer 70 is an information processing device that controls the operation of each part in the tablet printing device 1 and performs machine learning described later. FIG. 4 is a block diagram showing electrical connections between the computer 70 and each part of the tablet printing apparatus 1. As conceptually shown in FIG. 4, the computer 70 includes a processor 701 such as a CPU, a memory 702 such as a RAM, and a storage section 703 such as a hard disk drive. In the storage unit 703, a computer program CP for executing print processing and machine learning to be described later is stored. Furthermore, the storage unit 703 also stores a trained model M obtained by machine learning.

コンピュータ70は、上述した搬送機構10、第1撮像部20、4つのヘッド31、第2撮像部40、不良品ブロー機構51、良品ブロー機構61、および搬入機構80と、有線または無線により通信可能に接続されている。コンピュータ70は、コンピュータプログラムCPおよび学習済みモデルMに従って、これらの各部を動作制御する。 The computer 70 can communicate with the above-described transport mechanism 10, first imaging section 20, four heads 31, second imaging section 40, defective product blowing mechanism 51, good product blowing mechanism 61, and carry-in mechanism 80 by wire or wirelessly. It is connected to the. The computer 70 controls the operation of each of these parts according to the computer program CP and the learned model M.

<2.コンピュータについて>
図5は、上述したコンピュータ70の機能を、概念的に示したブロック図である。図5に示すように、コンピュータ70は、オートエンコーダ71、判定部72、印刷指示部73、検査領域設定部74、および検査部75を有する。オートエンコーダ71、判定部72、印刷指示部73、検査領域設定部74、および検査部75の各機能は、コンピュータ70のプロセッサ701が、コンピュータプログラムCPに従って動作することにより実現される。
<2. About computers>
FIG. 5 is a block diagram conceptually showing the functions of the computer 70 described above. As shown in FIG. 5, the computer 70 includes an autoencoder 71, a determination section 72, a print instruction section 73, an inspection area setting section 74, and an inspection section 75. The functions of the autoencoder 71, the determination section 72, the print instruction section 73, the inspection area setting section 74, and the inspection section 75 are realized by the processor 701 of the computer 70 operating according to the computer program CP.

オートエンコーダ71は、入力される撮影画像D1に対して、多層ニューラルネットワークによる次元削減(エンコード)と再構成(デコード)とを行うことにより、再構成画像D3を出力する処理部である。図6は、オートエンコーダ71が実行する次元削減と再構成の処理を、概念的に示した図である。 The autoencoder 71 is a processing unit that outputs a reconstructed image D3 by performing dimension reduction (encoding) and reconstruction (decoding) on the input captured image D1 using a multilayer neural network. FIG. 6 is a diagram conceptually showing the dimension reduction and reconstruction processing executed by the autoencoder 71.

図6に示すように、次元削減は、入力された高次元の撮影画像D1を、潜在変数D2と呼ばれる低次元のデータに圧縮する処理である。再構成は、潜在変数D2から、錠剤9の画像を再現して再構成画像D3を生成する処理である。オートエンコーダ71は、次元削減の処理において、錠剤9の形状、色、割線の向きなどの本質的な情報を残しつつ、光沢、ざらつき、欠陥などのランダムな情報を削減する。このため、再構成により生成される再構成画像D3は、光沢、ざらつき、欠陥などのランダムな要素が低減された錠剤9の画像となる。 As shown in FIG. 6, dimension reduction is a process of compressing an input high-dimensional captured image D1 into low-dimensional data called latent variables D2. Reconstruction is a process of reproducing the image of the tablet 9 from the latent variable D2 to generate a reconstructed image D3. In the dimension reduction process, the autoencoder 71 reduces random information such as gloss, roughness, and defects while leaving essential information such as the shape, color, and direction of the dividing line of the tablet 9. Therefore, the reconstructed image D3 generated by the reconstruction is an image of the tablet 9 in which random elements such as gloss, roughness, and defects are reduced.

オートエンコーダ71は、機械学習を行うことにより、次元削減および再構成の各処理に使用されるパラメータを調整可能である。機械学習では、多数の良品の錠剤9の撮影画像D1を使用し、オートエンコーダ71へ入力する錠剤9の撮影画像D1と、オートエンコーダ71から出力される錠剤9の再構成画像D3との差が小さくなるように、次元削減および再構成のパラメータを調整する。これにより、調整されたパラメータを含む学習済みモデルMが得られる。 The autoencoder 71 can adjust parameters used in each process of dimension reduction and reconstruction by performing machine learning. In machine learning, a large number of photographed images D1 of tablets 9 of good quality are used, and the difference between the photographed image D1 of the tablet 9 input to the autoencoder 71 and the reconstructed image D3 of the tablet 9 output from the autoencoder 71 is calculated. Adjust the dimensionality reduction and reconstruction parameters to make it smaller. As a result, a learned model M including the adjusted parameters is obtained.

学習済みモデルMは、コンピュータ70の記憶部703に記憶される。錠剤印刷装置1において錠剤9の印刷処理を行うときには、オートエンコーダ71は、事前の機械学習により得られた学習済みモデルMが示すパラメータを使用して、次元削減および再構成の処理を実行する。したがって、第1撮像部20が取得した錠剤9の撮影画像D1をオートエンコーダ71へ入力すると、光沢、ざらつき、欠陥などのランダムな要素が低減された錠剤9の再構成画像D3を、オートエンコーダ71から出力することができる。 The learned model M is stored in the storage unit 703 of the computer 70. When printing the tablet 9 in the tablet printing apparatus 1, the autoencoder 71 executes dimension reduction and reconstruction processing using the parameters indicated by the learned model M obtained through prior machine learning. Therefore, when the photographed image D1 of the tablet 9 acquired by the first imaging unit 20 is input to the autoencoder 71, the reconstructed image D3 of the tablet 9 in which random elements such as gloss, roughness, and defects are reduced is input to the autoencoder 71. It can be output from.

判定部72は、搬送機構10により搬送される錠剤9の形状、位置、および回転角度を判定する処理部である。判定部72は、オートエンコーダ71から出力される再構成画像D3に対して、画像処理を行うことにより、錠剤9の形状、位置、および回転角度を判定する。具体的には、判定部72は、再構成画像D3から錠剤9のエッジに相当する部分を抽出し、そのエッジの形状および位置に基づいて、錠剤9の形状および位置を判定する。また、判定部72は、再構成画像D3から錠剤9の割線に相当する部分を抽出し、その割線の形状および位置に基づいて、錠剤9の回転角度を判定する。なお、本願において「回転角度」とは、錠剤9の中心を通り、かつ、搬送方向および幅方向に対して垂直な軸に対する錠剤9の回転角度を意味する。判定部72は、これらの判定結果D4を、印刷指示部73へ出力する。 The determination unit 72 is a processing unit that determines the shape, position, and rotation angle of the tablet 9 conveyed by the conveyance mechanism 10. The determination unit 72 determines the shape, position, and rotation angle of the tablet 9 by performing image processing on the reconstructed image D3 output from the autoencoder 71. Specifically, the determining unit 72 extracts a portion corresponding to the edge of the tablet 9 from the reconstructed image D3, and determines the shape and position of the tablet 9 based on the shape and position of the edge. Further, the determination unit 72 extracts a portion corresponding to the score line of the tablet 9 from the reconstructed image D3, and determines the rotation angle of the tablet 9 based on the shape and position of the score line. In addition, in this application, "rotation angle" means the rotation angle of the tablet 9 with respect to the axis which passes through the center of the tablet 9 and is perpendicular to the conveyance direction and the width direction. The determination unit 72 outputs these determination results D4 to the print instruction unit 73.

印刷指示部73は、印刷部30に、インクの吐出処理を実行させるための処理部である。印刷指示部73には、判定部72の判定結果D4と、錠剤9に印刷すべき画像を示す画像データD5とが、入力される。印刷指示部73は、判定部72から入力される判定結果D4に応じて、画像データD5を調整する。具体的には、印刷指示部73は、判定結果D4により示される錠剤9の位置に応じて、画像データD5の座標をずらす。また、印刷指示部73は、判定結果D4により示される錠剤9の回転角度に応じて、画像データD5を回転させる。そして、印刷指示部73は、調整後の画像データD5に基づいて、印刷部30の複数のヘッド31に、印刷指示D6を出力する。 The print instruction unit 73 is a processing unit that causes the printing unit 30 to perform ink ejection processing. The determination result D4 of the determination unit 72 and image data D5 indicating an image to be printed on the tablet 9 are input to the print instruction unit 73. The print instruction unit 73 adjusts the image data D5 according to the determination result D4 input from the determination unit 72. Specifically, the print instruction unit 73 shifts the coordinates of the image data D5 according to the position of the tablet 9 indicated by the determination result D4. Further, the print instruction unit 73 rotates the image data D5 according to the rotation angle of the tablet 9 indicated by the determination result D4. Then, the print instruction section 73 outputs a print instruction D6 to the plurality of heads 31 of the printing section 30 based on the adjusted image data D5.

複数のヘッド31は、印刷指示部73から出力される印刷指示D6に基づいて、搬送される錠剤9の上面にインク滴を吐出する。これにより、錠剤9の表面の適切な位置に、適切な回転角度で、画像が印刷される。 The plurality of heads 31 eject ink droplets onto the upper surface of the tablet 9 being transported based on the print instruction D6 output from the print instruction section 73. As a result, the image is printed at an appropriate position on the surface of the tablet 9 at an appropriate rotation angle.

なお、コンピュータ70の記憶部703に、回転角度が異なる複数の画像データD5を、予め記憶させておいてもよい。その場合、印刷指示部73は、判定結果D4が示す錠剤9の回転角度に応じて、記憶部703から、適切な回転角度の画像データD5を選択して読み出してもよい。このようにすれば、画像データD5の回転にかかるコンピュータ70の処理負担を軽減できる。 Note that a plurality of image data D5 having different rotation angles may be stored in advance in the storage unit 703 of the computer 70. In that case, the print instruction section 73 may select and read image data D5 having an appropriate rotation angle from the storage section 703 according to the rotation angle of the tablet 9 indicated by the determination result D4. In this way, the processing load on the computer 70 for rotating the image data D5 can be reduced.

検査領域設定部74は、撮影画像D1の検査すべき領域(以下「検査領域」と称する)を設定するための処理部である。図7は、撮影画像D1の検査領域の例を示した図である。図7の例では、撮影画像D1に対して、錠剤9のエッジに相当する検査領域A1と、錠剤9の割線とエッジとに囲まれた半円状の2つの検査領域A2,A3と、錠剤9の側面に相当する検査領域A4とが、設定されている。検査領域設定部74は、オートエンコーダ71から出力される再構成画像D3において、画像処理により、錠剤9のエッジに相当する部分および割線に相当する部分の座標を特定する。そして、特定された座標に基づいて、撮影画像D1における複数の検査領域A1~A4を設定する。すなわち、検査対象となる画像は撮影画像D1であるが、検査領域設定部74は、その撮影画像D1における検査領域A1~A4の設定を、再構成画像D3を利用して行う。 The inspection area setting section 74 is a processing section for setting an area to be inspected (hereinafter referred to as "inspection area") of the captured image D1. FIG. 7 is a diagram showing an example of the inspection area of the photographed image D1. In the example of FIG. 7, for the photographed image D1, an inspection area A1 corresponding to the edge of the tablet 9, two semicircular inspection areas A2 and A3 surrounded by the score line and the edge of the tablet 9, and a tablet An inspection area A4 corresponding to the side surface of No. 9 is set. The inspection area setting unit 74 specifies the coordinates of a portion corresponding to the edge of the tablet 9 and a portion corresponding to the dividing line in the reconstructed image D3 output from the autoencoder 71 through image processing. Then, a plurality of inspection areas A1 to A4 in the photographed image D1 are set based on the specified coordinates. That is, although the image to be inspected is the captured image D1, the inspection area setting section 74 sets the inspection areas A1 to A4 in the captured image D1 using the reconstructed image D3.

検査部75は、撮影画像D1に基づいて、錠剤9の欠陥を検査する処理部である。検査対象となる撮影画像D1は、第1撮像部20により取得される印刷前の錠剤9の画像であってもよく、第2撮像部40により取得される印刷後の錠剤9の画像であってもよい。検査部75は、撮影画像D1中の、上述した検査領域設定部74により設定された複数の検査領域A1~A4のそれぞれにおいて、錠剤9の欠陥を検査する。 The inspection unit 75 is a processing unit that inspects the tablet 9 for defects based on the photographed image D1. The photographed image D1 to be inspected may be an image of the tablet 9 before printing acquired by the first imaging unit 20, or an image of the tablet 9 after printing acquired by the second imaging unit 40. Good too. The inspection unit 75 inspects the tablet 9 for defects in each of the plurality of inspection areas A1 to A4 set by the above-described inspection area setting unit 74 in the photographed image D1.

検査の方法は、例えば、撮影画像D1と、正常な錠剤9の画像である参照画像とを比較し、両画像の画素値の差が、予め設定された閾値よりも大きい部分を、欠陥として検出する。あるいは、撮影画像D1と、オートエンコーダ71から出力される再構成画像D3とを比較し、両画像の画素値の差が、予め設定された閾値よりも大きい部分を、欠陥として検出してもよい。 The inspection method, for example, compares the photographed image D1 with a reference image, which is an image of a normal tablet 9, and detects a portion where the difference in pixel values between the two images is larger than a preset threshold as a defect. do. Alternatively, the photographed image D1 and the reconstructed image D3 output from the autoencoder 71 may be compared, and a portion where the difference in pixel values between the two images is larger than a preset threshold may be detected as a defect. .

本実施形態では、1つの撮影画像D1に対して、複数の検査領域A1~A4が設定される。このため、検査領域A1~A4毎に異なる条件で、錠剤9の欠陥を検査できる。例えば、誤検出が発生しやすい検査領域については、閾値を緩めることができる。また、誤検出が発生しにくい検査領域については、閾値を厳しくすることができる。これにより、欠陥の誤検出を抑制しつつ、精度のよい検査を行うことができる。ただし、1つの撮影画像D1に対して、検査領域設定部74により設定される検査領域の数は、1つであってもよい。 In this embodiment, a plurality of inspection areas A1 to A4 are set for one captured image D1. Therefore, defects in the tablet 9 can be inspected under different conditions for each of the inspection areas A1 to A4. For example, the threshold value can be relaxed for inspection areas where false detections are likely to occur. Furthermore, the threshold value can be made stricter for inspection areas where false detection is less likely to occur. This allows highly accurate inspection to be performed while suppressing erroneous detection of defects. However, the number of inspection areas set by the inspection area setting section 74 for one captured image D1 may be one.

<3.機械学習について>
続いて、オートエンコーダ71において行われる機械学習について、説明する。図8は、機械学習の流れを示すフローチャートである。この機械学習は、錠剤印刷装置1において複数の錠剤9に対する印刷処理が実行される前に、予め実行される。
<3. About machine learning>
Next, machine learning performed in the autoencoder 71 will be explained. FIG. 8 is a flowchart showing the flow of machine learning. This machine learning is executed in advance before the printing process for the plurality of tablets 9 is executed in the tablet printing apparatus 1.

機械学習を行うときには、欠陥のない良品の錠剤9の撮影画像D1を、多数(例えば、100~1000枚)用意する。そして、図8に示すように、良品の錠剤9の撮影画像D1を、オートエンコーダ71に入力する(ステップS1)。オートエンコーダ71は、入力された撮影画像D1に対して、次元削減と再構成の処理を実行することにより、再構成画像D3を生成する(ステップS2)。オートエンコーダ71から再構成画像D3が出力されると、コンピュータ70は、機械学習のアルゴリズムに基づき、撮影画像D1と再構成画像D3との差分が小さくなるように、次元削減および再構成の各処理のパラメータを調整する(ステップS3)。 When performing machine learning, a large number (for example, 100 to 1000) of photographed images D1 of good tablets 9 with no defects are prepared. Then, as shown in FIG. 8, the photographed image D1 of the good tablet 9 is input to the autoencoder 71 (step S1). The autoencoder 71 generates a reconstructed image D3 by performing dimension reduction and reconstruction processing on the input captured image D1 (step S2). When the reconstructed image D3 is output from the autoencoder 71, the computer 70 performs dimension reduction and reconstruction processing based on a machine learning algorithm so that the difference between the photographed image D1 and the reconstructed image D3 becomes small. (step S3).

コンピュータ70は、上記のステップS1~S3の処理を、所定の終了条件が満たされるまで繰り返す(ステップS4:No)。終了条件は、例えば、撮影画像D1と再構成画像D3との差分が、予め設定された許容範囲内に収束すること、とすればよい。また、終了条件は、ステップS1~S3の学習処理の繰り返し実行回数が、予め設定された回数に到達すること、としてもよい。 The computer 70 repeats the processing of steps S1 to S3 described above until a predetermined termination condition is satisfied (step S4: No). The termination condition may be, for example, that the difference between the photographed image D1 and the reconstructed image D3 converges within a preset tolerance range. Further, the termination condition may be that the number of times the learning process in steps S1 to S3 is repeated reaches a preset number of times.

やがて、終了条件が満たされると、コンピュータ70は、機械学習を終了する(ステップS4:Yes)。これにより、調整されたパラメータを含む学習済みモデルMが得られる。学習済みモデルMを得たオートエンコーダ71は、錠剤9の撮影画像D1を、光沢、ざらつき、欠陥などのランダムな要素が低減された錠剤9の再構成画像D3に変換して出力することが可能となる。 Eventually, when the termination condition is satisfied, the computer 70 terminates the machine learning (step S4: Yes). As a result, a learned model M including the adjusted parameters is obtained. The autoencoder 71 that has obtained the trained model M can convert the photographed image D1 of the tablet 9 into a reconstructed image D3 of the tablet 9 in which random elements such as gloss, roughness, and defects are reduced and output it. becomes.

<4.印刷処理について>
続いて、上述した機械学習の完了後に、錠剤印刷装置1において実行される印刷処理について説明する。図9は、印刷処理の流れを示したフローチャートである。なお、この錠剤印刷装置1は、複数の錠剤9を順次に搬送しつつ処理を行うものであるが、図9では、1つの錠剤9に着目したときの処理の流れが示されている。
<4. About printing process>
Next, the printing process executed in the tablet printing apparatus 1 after the above-described machine learning is completed will be described. FIG. 9 is a flowchart showing the flow of print processing. Note that this tablet printing apparatus 1 processes a plurality of tablets 9 while sequentially conveying them, and FIG. 9 shows the flow of processing when focusing on one tablet 9.

印刷処理の実行時には、まず、搬入機構80を介して搬送ベルト12の上面に、錠剤9が搬入される(ステップS5)。そして、搬送ベルト12の回動により、錠剤9が、搬送方向の下流側へ向けて搬送される。錠剤9が搬送経路上の第1撮像位置P1に到達すると、第1撮像部20は、錠剤9を撮影する。これにより、第1撮像部20は、印刷前の錠剤9の撮影画像D1を取得する(ステップS6)。第1撮像部20は、得られた撮影画像D1を、コンピュータ70へ送信する。 When executing the printing process, first, the tablets 9 are carried onto the upper surface of the conveyor belt 12 via the carrying mechanism 80 (step S5). Then, by the rotation of the conveyor belt 12, the tablet 9 is conveyed toward the downstream side in the conveyance direction. When the tablet 9 reaches the first imaging position P1 on the transport path, the first imaging section 20 photographs the tablet 9. Thereby, the first imaging unit 20 obtains a photographed image D1 of the tablet 9 before printing (step S6). The first imaging unit 20 transmits the obtained photographed image D1 to the computer 70.

コンピュータ70は、第1撮像部20から得られた撮影画像D1を、オートエンコーダ71へ入力する。オートエンコーダ71は、入力された撮影画像D1に対して、学習済みモデルMが示すパラメータを用いて、次元削減および再構成の処理を行う。これにより、光沢、ざらつき、欠陥などのランダムな要素が低減された錠剤9の再構成画像D3が生成される(ステップS7)。オートエンコーダ71は、生成された再構成画像D3を、判定部72および検査領域設定部74へ出力する。 The computer 70 inputs the photographed image D1 obtained from the first imaging section 20 to the autoencoder 71. The autoencoder 71 performs dimension reduction and reconstruction processing on the input captured image D1 using parameters indicated by the learned model M. As a result, a reconstructed image D3 of the tablet 9 in which random elements such as gloss, roughness, and defects are reduced is generated (step S7). The autoencoder 71 outputs the generated reconstructed image D3 to the determination section 72 and the inspection area setting section 74.

続いて、判定部72が、再構成画像D3に対して画像処理を行うことにより、錠剤9の形状、位置、および回転角度を判定する(ステップS8)。具体的には、判定部72は、再構成画像D3から錠剤9のエッジに相当する部分を抽出し、そのエッジの形状および位置に基づいて、錠剤9の形状および位置を判定する。また、判定部72は、再構成画像D3から錠剤9の割線に相当する部分を抽出し、その割線の形状および位置に基づいて、錠剤9の回転角度を判定する。そして、判定部72は、これらの判定結果D4を、印刷指示部73へ出力する。 Subsequently, the determining unit 72 determines the shape, position, and rotation angle of the tablet 9 by performing image processing on the reconstructed image D3 (step S8). Specifically, the determining unit 72 extracts a portion corresponding to the edge of the tablet 9 from the reconstructed image D3, and determines the shape and position of the tablet 9 based on the shape and position of the edge. Further, the determination unit 72 extracts a portion corresponding to the score line of the tablet 9 from the reconstructed image D3, and determines the rotation angle of the tablet 9 based on the shape and position of the score line. The determination unit 72 then outputs these determination results D4 to the print instruction unit 73.

このように、判定部72は、撮影画像D1ではなく、再構成画像D3に基づいて、錠剤9の形状、位置、および回転角度を判定する。このため、光沢、ざらつき、欠陥などのランダムな要素の影響を抑えて、錠剤9の形状、位置、および回転角度を、精度よく判定できる。 In this way, the determination unit 72 determines the shape, position, and rotation angle of the tablet 9 based on the reconstructed image D3 instead of the photographed image D1. Therefore, the shape, position, and rotation angle of the tablet 9 can be determined with high accuracy while suppressing the effects of random factors such as gloss, roughness, and defects.

続いて、印刷指示部73が、判定部72から入力される判定結果D4に応じて、画像データD5を調整する(ステップS9)。具体的には、印刷指示部73は、判定結果D4により示される錠剤9の位置に応じて、画像データD5の座標をずらす。また、印刷指示部73は、判定結果D4により示される錠剤9の回転角度に応じて、画像データD5を回転させる。そして、印刷指示部73は、調整後の画像データD5に基づいて、印刷部30の複数のヘッド31に、印刷指示D6を出力する。 Subsequently, the print instruction unit 73 adjusts the image data D5 according to the determination result D4 input from the determination unit 72 (step S9). Specifically, the print instruction unit 73 shifts the coordinates of the image data D5 according to the position of the tablet 9 indicated by the determination result D4. Further, the print instruction unit 73 rotates the image data D5 according to the rotation angle of the tablet 9 indicated by the determination result D4. Then, the print instruction section 73 outputs a print instruction D6 to the plurality of heads 31 of the printing section 30 based on the adjusted image data D5.

錠剤9が搬送経路上の印刷位置P2に到達すると、複数のヘッド31は、印刷指示部73から出力される印刷指示D6に従って、錠剤9の上面にインク滴を吐出する。これにより、画像データD5により示される画像が、錠剤9の表面の適切な位置に、適切な回転角度で、印刷される(ステップS10)。 When the tablet 9 reaches the printing position P2 on the transport path, the plurality of heads 31 discharge ink droplets onto the upper surface of the tablet 9 according to the printing instruction D6 output from the printing instruction section 73. As a result, the image indicated by the image data D5 is printed at an appropriate position on the surface of the tablet 9 at an appropriate rotation angle (step S10).

その後、錠剤9が搬送経路上の第2撮像位置P3に到達すると、第2撮像部40が、錠剤9を撮影する。これにより、第2撮像部40は、印刷後の錠剤9の撮影画像D1を取得する(ステップS11)。第2撮像部40は、得られた撮影画像D1を、コンピュータ70へ送信する。 Thereafter, when the tablet 9 reaches the second imaging position P3 on the transport route, the second imaging section 40 photographs the tablet 9. Thereby, the second imaging unit 40 obtains a photographed image D1 of the printed tablet 9 (step S11). The second imaging unit 40 transmits the obtained photographed image D1 to the computer 70.

続いて、コンピュータ70の検査領域設定部74が、撮影画像D1に対して検査領域A1~A4を設定する(ステップS12)。ここでは、検査対象となる撮影画像D1は、第1撮像部20から得られる印刷前の錠剤9の画像と、第2撮像部40から得られる印刷後の錠剤9の画像との両方とする。検査領域設定部74は、オートエンコーダ71から出力される再構成画像D3に基づいて、複数の検査領域A1~A4を設定する。このため、光沢、ざらつき、欠陥などのランダムな要素の影響を抑えて、複数の検査領域A1~A4を精度よく設定できる。特に、錠剤9のエッジに相当する検査領域A1は、撮影画像D1自体に基づいて設定すると、錠剤9の光沢、ざらつき、欠けなどの影響を受けることにより、ズレが生じやすい。しかしながら、再構成画像D3を利用すれば、錠剤9の光沢、ざらつき、または欠けの影響を抑えて、検査領域A1を、精度よく設定できる。 Subsequently, the inspection area setting unit 74 of the computer 70 sets inspection areas A1 to A4 for the captured image D1 (step S12). Here, the photographed images D1 to be inspected are both an image of the tablet 9 before printing obtained from the first imaging section 20 and an image of the tablet 9 after printing obtained from the second imaging section 40. The inspection area setting unit 74 sets a plurality of inspection areas A1 to A4 based on the reconstructed image D3 output from the autoencoder 71. Therefore, the influence of random factors such as gloss, roughness, and defects can be suppressed, and a plurality of inspection areas A1 to A4 can be set with high precision. In particular, if the inspection area A1 corresponding to the edge of the tablet 9 is set based on the photographed image D1 itself, it is likely to be misaligned due to the influence of gloss, roughness, chipping, etc. of the tablet 9. However, if the reconstructed image D3 is used, the influence of gloss, roughness, or chipping of the tablet 9 can be suppressed, and the inspection area A1 can be set with high accuracy.

その後、コンピュータ70の検査部75は、撮影画像D1中の、上述したステップS12において設定された複数の検査領域A1~A4のそれぞれにおいて、錠剤9の欠陥を検査する(ステップS13)。これにより、その錠剤9が、欠陥のない良品であるか、あるいは、欠陥がある不良品であるかを判定する。上記の通り、複数の検査領域A1~A4は、再構成画像D3に基づいて、精度よく設定されている。このため、検査部75は、各領域において、錠剤9の欠陥を精度よく検査できる。検査部75は、検査領域A1~A4毎に異なる条件で、錠剤9の欠陥を検査してもよい。 Thereafter, the inspection unit 75 of the computer 70 inspects the tablet 9 for defects in each of the plurality of inspection areas A1 to A4 set in the above-described step S12 in the photographed image D1 (step S13). This determines whether the tablet 9 is a good product with no defects or a defective product with defects. As described above, the plurality of inspection areas A1 to A4 are set with high accuracy based on the reconstructed image D3. Therefore, the inspection unit 75 can accurately inspect the tablet 9 for defects in each region. The inspection unit 75 may inspect the tablet 9 for defects under different conditions for each of the inspection areas A1 to A4.

錠剤9が不良品と判定された場合、コンピュータ70は、錠剤9が搬送経路上の不良品排出位置P4に到達した時点で、不良品ブロー機構51を動作させる。不良品ブロー機構51は、搬送ベルト12の複数の吸着孔14のうち、不良品と判定された錠剤9を保持する吸着孔14に、気体を吹き付ける。これにより、搬送ベルト12から不良品回収部52へ、不良品と判定された錠剤9が排出される(ステップS14)。 If the tablet 9 is determined to be a defective product, the computer 70 operates the defective product blow mechanism 51 when the tablet 9 reaches the defective product discharge position P4 on the conveyance path. The defective product blowing mechanism 51 blows gas to the suction hole 14 that holds the tablet 9 determined to be a defective product among the plurality of suction holes 14 of the conveyor belt 12 . Thereby, the tablet 9 determined to be a defective product is discharged from the conveyor belt 12 to the defective product collection section 52 (step S14).

錠剤9が良品と判定された場合、コンピュータ70は、錠剤9が搬送経路上の良品排出位置P5に到達した時点で、良品ブロー機構61を動作させる。良品ブロー機構61は、搬送ベルト12の複数の吸着孔14へ向けて、気体を吹き付ける。これにより、搬送ベルト12から良品回収部62へ、良品と判定された錠剤9が排出される(ステップS15)。 If the tablet 9 is determined to be a non-defective product, the computer 70 operates the non-defective product blowing mechanism 61 when the tablet 9 reaches the non-defective product discharge position P5 on the transport path. The non-defective blow mechanism 61 blows gas toward the plurality of suction holes 14 of the conveyor belt 12 . As a result, the tablets 9 determined to be non-defective are discharged from the conveyor belt 12 to the non-defective product collection unit 62 (step S15).

以上のように、この錠剤印刷装置1では、オートエンコーダ71により、撮影画像D1から光沢、ざらつき、欠陥などのランダムな要素が低減された再構成画像D3を生成できる。そして、生成された再構成画像D3を、錠剤9の形状、位置、および回転角度の判定に利用する。このため、上記のランダムな要素の影響を抑えて、錠剤9の形状、位置、および回転角度を、精度よく判定できる。したがって、錠剤9の表面に精度よく印刷を行うことができる。 As described above, in this tablet printing apparatus 1, the autoencoder 71 can generate a reconstructed image D3 in which random elements such as gloss, roughness, and defects are reduced from the photographed image D1. The generated reconstructed image D3 is then used to determine the shape, position, and rotation angle of the tablet 9. Therefore, the shape, position, and rotation angle of the tablet 9 can be determined with high accuracy while suppressing the influence of the random factors described above. Therefore, printing can be performed on the surface of the tablet 9 with high accuracy.

また、この錠剤印刷装置1では、オートエンコーダ71により生成された再構成画像D3を、検査領域A1~A4の設定に利用する。このため、上記のランダムな要素の影響を抑えて、検査領域A1~A4を精度よく設定できる。したがって、錠剤9の欠陥を、精度よく検査できる。 Furthermore, in this tablet printing apparatus 1, the reconstructed image D3 generated by the autoencoder 71 is used to set the inspection areas A1 to A4. Therefore, the influence of the random factors mentioned above can be suppressed, and the inspection areas A1 to A4 can be set with high accuracy. Therefore, defects in the tablet 9 can be inspected with high accuracy.

<5.変形例>
以上、本発明の実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
<5. Modified example>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments.

上記の実施形態では、コンピュータ70の判定部72が、錠剤9の形状、位置、および回転角度を判定していた。しかしながら、判定部72は、必ずしも錠剤9の形状、位置、および回転角度の全てを判定しなくてもよい。判定部72は、印刷部30による印刷処理のために、錠剤9の形状、位置、および回転角度の少なくとも1つ判定するものであればよい。 In the above embodiment, the determination unit 72 of the computer 70 determined the shape, position, and rotation angle of the tablet 9. However, the determination unit 72 does not necessarily need to determine all of the shape, position, and rotation angle of the tablet 9. The determining unit 72 may be any unit that determines at least one of the shape, position, and rotation angle of the tablet 9 for printing processing by the printing unit 30.

また、上記の実施形態では、コンピュータ70の検査領域設定部74が、撮影画像D1に対して、複数の検査領域A1~A4を設定していた。そして、検査部75は、これらの検査領域A1~A4のそれぞれを検査していた。しかしながら、複数の検査領域A1~A4の中に、検査を行わない領域があってもよい。 Further, in the above embodiment, the inspection area setting section 74 of the computer 70 sets a plurality of inspection areas A1 to A4 for the photographed image D1. Then, the inspection section 75 inspected each of these inspection areas A1 to A4. However, among the plurality of inspection areas A1 to A4, there may be an area where no inspection is performed.

また、検査部75による検査の方法は、上記の実施形態で例示した比較検査には限定されない。 Furthermore, the inspection method by the inspection unit 75 is not limited to the comparative inspection exemplified in the above embodiment.

また、オートエンコーダ71は、単純なオートエンコーダに限らず、VAE(Variational Auto Encoder)や、UR(UnRegularized anomaly score)-VAEなどの発展的なオートエンコーダであってもよい。 Furthermore, the autoencoder 71 is not limited to a simple autoencoder, but may be an advanced autoencoder such as VAE (Variational Auto Encoder) or UR (UnRegularized Anomaly Score)-VAE.

また、錠剤印刷装置1は、上記の実施形態の構成に加えて、錠剤9に付着したインクを乾燥させる乾燥機構を有していてもよい。乾燥機構は、印刷部30よりも搬送方向の下流側、かつ、不良品排出部50よりも搬送方向の上流側に設けるとよい。乾燥機構には、例えば、搬送ベルト12により搬送される錠剤9に向けて熱風を吹き付ける機構とすればよい。 Further, in addition to the configuration of the above embodiment, the tablet printing device 1 may include a drying mechanism that dries the ink attached to the tablets 9. The drying mechanism is preferably provided downstream of the printing unit 30 in the transport direction and upstream of the defective product discharge unit 50 in the transport direction. The drying mechanism may be, for example, a mechanism that blows hot air toward the tablets 9 conveyed by the conveyor belt 12.

また、上記の実施形態では、印刷部30に、4つのヘッド31が設けられていた。しかしながら、印刷部30に含まれるヘッド31の数は、1~3つであってもよく、5つ以上であってもよい。 Further, in the above embodiment, the printing section 30 was provided with four heads 31. However, the number of heads 31 included in the printing section 30 may be one to three, or five or more.

また、本発明における「錠剤」は、医薬品としての錠剤だけではなく、サプリメントとしての錠剤や、ラムネなどの錠菓であってもよい。 Moreover, the "tablet" in the present invention is not limited to a tablet as a medicine, but may also be a tablet as a supplement or a tablet confectionery such as Ramune.

その他、錠剤印刷装置および錠剤印刷方法の細部については、本発明の趣旨を逸脱しない範囲で、適宜に変更を加えることが可能である。また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。 Other details of the tablet printing device and the tablet printing method may be modified as appropriate without departing from the spirit of the present invention. Furthermore, the elements appearing in the above-described embodiments and modifications may be combined as appropriate to the extent that no contradiction occurs.

1 錠剤印刷装置
9 錠剤
10 搬送機構
20 第1撮像部
30 印刷部
31 ヘッド
40 第2撮像部
50 不良品排出部
60 良品排出部
70 コンピュータ
71 オートエンコーダ
72 判定部
73 印刷指示部
74 検査領域設定部
75 検査部
80 搬入機構
A1~A4 検査領域
D1 撮影画像
D2 潜在変数
D3 再構成画像
D4 判定結果
D5 画像データ
D6 印刷指示
M 学習済みモデル
1 Tablet printing device 9 Tablet 10 Transport mechanism 20 First imaging section 30 Printing section 31 Head 40 Second imaging section 50 Defective product discharge section 60 Good product discharge section 70 Computer 71 Autoencoder 72 Judgment section 73 Print instruction section 74 Inspection area setting section 75 Inspection section 80 Carrying mechanism A1 to A4 Inspection area D1 Photographed image D2 Latent variable D3 Reconstructed image D4 Judgment result D5 Image data D6 Print instruction M Learned model

Claims (8)

錠剤を搬送しつつ錠剤の表面に印刷を行う錠剤印刷装置であって、
錠剤を搬送する搬送機構と、
前記搬送機構により搬送される錠剤を撮影して、撮影画像を取得する撮像部と、
前記撮影画像に対して、次元削減と再構成とを行うことにより、再構成画像を出力するオートエンコーダと、
前記再構成画像に基づいて、錠剤の形状、位置、および回転角度の少なくとも1つを判定する判定部と、
前記判定部の判定結果に基づいて、錠剤の表面に印刷を行う印刷部と、
前記再構成画像に基づいて、錠剤の検査領域を設定する検査領域設定部と、
前記撮影画像の、前記検査領域設定部により設定された前記検査領域において、錠剤の欠陥を検査する検査部と、
を備え、
前記オートエンコーダは、入力される錠剤の画像と出力される錠剤の画像との差が小さくなるように、予め機械学習により調整されたパラメータを使用して、前記次元削減および前記再構成を行う、錠剤印刷装置。
A tablet printing device that prints on the surface of a tablet while conveying the tablet,
a conveyance mechanism that conveys the tablet;
an imaging unit that photographs the tablets conveyed by the conveyance mechanism to obtain a photographed image;
an autoencoder that outputs a reconstructed image by performing dimension reduction and reconstruction on the captured image;
a determination unit that determines at least one of the shape, position, and rotation angle of the tablet based on the reconstructed image;
a printing unit that prints on the surface of the tablet based on the determination result of the determination unit;
an inspection area setting unit that sets an inspection area of the tablet based on the reconstructed image;
an inspection unit that inspects the tablet for defects in the inspection area set by the inspection area setting unit in the photographed image;
Equipped with
The autoencoder performs the dimension reduction and the reconstruction using parameters adjusted in advance by machine learning so that the difference between the input tablet image and the output tablet image is small. Tablet printing equipment.
請求項1に記載の錠剤印刷装置であって、
前記判定部は、前記再構成画像に含まれる錠剤の割線に基づいて、錠剤の回転角度を判定する、錠剤印刷装置。
The tablet printing device according to claim 1,
In the tablet printing apparatus, the determination unit determines a rotation angle of the tablet based on a score line of the tablet included in the reconstructed image.
請求項1または請求項2に記載の錠剤印刷装置であって、
前記検査領域設定部は、前記再構成画像に基づいて複数の前記検査領域を設定し、
前記検査部は、前記検査領域毎に異なる閾値を用いて、錠剤の欠陥を検査する、錠剤印刷装置。
The tablet printing device according to claim 1 or 2 ,
The inspection area setting unit sets the plurality of inspection areas based on the reconstructed image,
In the tablet printing apparatus, the inspection unit inspects the tablet for defects using a different threshold value for each inspection area.
請求項に記載の錠剤印刷装置であって、
前記複数の検査領域は、錠剤のエッジに相当する領域を含む、錠剤印刷装置。
The tablet printing device according to claim 3 ,
A tablet printing device, wherein the plurality of inspection areas include an area corresponding to an edge of a tablet.
錠剤を搬送しつつ錠剤の表面に印刷を行う錠剤印刷方法であって、
a)次元削減と再構成とを行うオートエンコーダに、錠剤の画像を入力し、入力される錠剤の画像と出力される錠剤の再構成画像との差が小さくなるように、前記オートエンコーダのパラメータを調整する工程と、
b)錠剤を搬送しつつ、錠剤を撮影して、撮影画像を取得する工程と、
c)前記工程a)において前記パラメータが調整済みの前記オートエンコーダに、前記撮影画像を入力し、前記オートエンコーダから出力される再構成画像を得る工程と、
d)前記再構成画像に基づいて、錠剤の形状、位置、および回転角度の少なくとも1つを判定する工程と、
e)前記工程d)の判定結果に基づいて、錠剤の表面に印刷を行う工程と、
f)前記再構成画像に基づいて、錠剤の検査領域を設定する工程と、
g)前記撮影画像の、前記工程f)により設定された前記検査領域において、錠剤の欠陥を検査する工程と、
を備える、錠剤印刷方法。
A tablet printing method that prints on the surface of a tablet while conveying the tablet,
a) Input a tablet image into an autoencoder that performs dimension reduction and reconstruction, and set the parameters of the autoencoder so that the difference between the input tablet image and the output reconstructed tablet image is small. a process of adjusting the
b) a step of photographing the tablet while conveying the tablet to obtain a photographed image;
c) inputting the captured image to the autoencoder whose parameters have been adjusted in step a) to obtain a reconstructed image output from the autoencoder;
d) determining at least one of the shape, position, and rotation angle of the tablet based on the reconstructed image;
e) a step of printing on the surface of the tablet based on the determination result of step d);
f) setting an inspection area of the tablet based on the reconstructed image;
g) inspecting the tablet for defects in the inspection area set in step f) of the photographed image;
A tablet printing method comprising:
請求項に記載の錠剤印刷方法であって、
前記工程d)では、前記再構成画像に含まれる錠剤の割線に基づいて、錠剤の回転角度を判定する、錠剤印刷方法。
6. The tablet printing method according to claim 5 ,
In the tablet printing method, in step d), the rotation angle of the tablet is determined based on the score line of the tablet included in the reconstructed image.
請求項5または請求項6に記載の錠剤印刷方法であって、
前記工程f)では、前記再構成画像に基づいて複数の前記検査領域を設定し、
前記工程g)では、前記検査領域毎に異なる閾値を用いて、錠剤の欠陥を検査する、錠剤印刷方法。
The tablet printing method according to claim 5 or 6 ,
In the step f), setting a plurality of the inspection areas based on the reconstructed image,
In the step g), a tablet printing method includes inspecting the tablet for defects using a different threshold value for each inspection area.
請求項に記載の錠剤印刷方法であって、
前記複数の検査領域は、錠剤のエッジに相当する領域を含む、錠剤印刷方法。
The tablet printing method according to claim 7 ,
The tablet printing method, wherein the plurality of inspection areas include areas corresponding to edges of the tablet.
JP2020156539A 2020-09-17 2020-09-17 Tablet printing device and tablet printing method Active JP7451364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020156539A JP7451364B2 (en) 2020-09-17 2020-09-17 Tablet printing device and tablet printing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020156539A JP7451364B2 (en) 2020-09-17 2020-09-17 Tablet printing device and tablet printing method

Publications (2)

Publication Number Publication Date
JP2022050122A JP2022050122A (en) 2022-03-30
JP7451364B2 true JP7451364B2 (en) 2024-03-18

Family

ID=80854255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020156539A Active JP7451364B2 (en) 2020-09-17 2020-09-17 Tablet printing device and tablet printing method

Country Status (1)

Country Link
JP (1) JP7451364B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202369A (en) 2014-04-16 2015-11-16 株式会社松岡機械工作所 Method and device for determining front and back of tablet, device for detecting secant of tablet, tablet printing device, and quality determination method of tablet to print on both front and back sides
WO2019039300A1 (en) 2017-08-22 2019-02-28 富士フイルム株式会社 Drug inspection assistance device, drug identification device, image processing device, image processing method, and program
JP6737487B1 (en) 2019-05-20 2020-08-12 株式会社アルム Image processing device, image processing system, and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202369A (en) 2014-04-16 2015-11-16 株式会社松岡機械工作所 Method and device for determining front and back of tablet, device for detecting secant of tablet, tablet printing device, and quality determination method of tablet to print on both front and back sides
WO2019039300A1 (en) 2017-08-22 2019-02-28 富士フイルム株式会社 Drug inspection assistance device, drug identification device, image processing device, image processing method, and program
JP6737487B1 (en) 2019-05-20 2020-08-12 株式会社アルム Image processing device, image processing system, and image processing program

Also Published As

Publication number Publication date
JP2022050122A (en) 2022-03-30

Similar Documents

Publication Publication Date Title
JP7496458B2 (en) Information processing device, information processing method, information processing program, learning device, learning method, and trained model
JP7607110B2 (en) Conveyor and Processing Equipment
JP6644648B2 (en) Tablet printing apparatus and tablet printing method
JP7516646B2 (en) Conveyance processing device and conveyance processing method
KR102505698B1 (en) Granular material transfer device and granular material processing device
JP6978970B2 (en) Printing equipment and printing method
WO2019176280A1 (en) Granular article processing device and granular article processing method
JP2020045243A (en) Transport device and transport method
JP7353451B2 (en) Tablet printing device and tablet printing method
JP7451364B2 (en) Tablet printing device and tablet printing method
CN110386421B (en) Vibration feeder and printing device
JP7565247B2 (en) Area determination method, tablet inspection method, and tablet inspection device
JP7336000B2 (en) Particulate matter processing device and particulate matter processing method
JP2018079240A (en) Printing apparatus and validation method
JP2021041052A (en) Printing method and printer
JP2019155114A (en) Granular material processing device and granular material processing method
JP7256139B2 (en) Defect inspection device for printed matter, defect inspection method and program, and printing system
JP2023160134A (en) Particulate matter processing equipment and particulate matter processing method
JP7376370B2 (en) printing device
JP2024128532A (en) Inspection method and inspection device
WO2025154463A1 (en) Printed matter defect inspection device, defect inspection method, program, and printing system
JP2024017833A (en) Granule printing equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150