CN117606545A - 一种柔性感知设备、感知系统及其应用 - Google Patents
一种柔性感知设备、感知系统及其应用 Download PDFInfo
- Publication number
- CN117606545A CN117606545A CN202311455310.8A CN202311455310A CN117606545A CN 117606545 A CN117606545 A CN 117606545A CN 202311455310 A CN202311455310 A CN 202311455310A CN 117606545 A CN117606545 A CN 117606545A
- Authority
- CN
- China
- Prior art keywords
- sensor
- flexible
- pressure
- sensing device
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 103
- 239000010410 layer Substances 0.000 claims abstract description 85
- 230000007613 environmental effect Effects 0.000 claims abstract description 33
- 108090000623 proteins and genes Proteins 0.000 claims abstract description 33
- 102000004169 proteins and genes Human genes 0.000 claims abstract description 33
- 239000011241 protective layer Substances 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 29
- 239000002131 composite material Substances 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 11
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000011259 mixed solution Substances 0.000 claims description 7
- 239000012460 protein solution Substances 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- UXVMQQNJUSDDNG-UHFFFAOYSA-L Calcium chloride Chemical compound [Cl-].[Cl-].[Ca+2] UXVMQQNJUSDDNG-UHFFFAOYSA-L 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 claims description 4
- 238000000576 coating method Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 8
- 238000001179 sorption measurement Methods 0.000 abstract description 4
- 239000007789 gas Substances 0.000 description 31
- 235000018102 proteins Nutrition 0.000 description 26
- 239000000203 mixture Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- KFZMGEQAYNKOFK-UHFFFAOYSA-N Isopropanol Chemical compound CC(C)O KFZMGEQAYNKOFK-UHFFFAOYSA-N 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000004205 dimethyl polysiloxane Substances 0.000 description 3
- 235000013870 dimethyl polysiloxane Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000011187 glycerol Nutrition 0.000 description 3
- 239000000383 hazardous chemical Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- CXQXSVUQTKDNFP-UHFFFAOYSA-N octamethyltrisiloxane Chemical compound C[Si](C)(C)O[Si](C)(C)O[Si](C)(C)C CXQXSVUQTKDNFP-UHFFFAOYSA-N 0.000 description 3
- 238000004987 plasma desorption mass spectroscopy Methods 0.000 description 3
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 2
- 108010022355 Fibroins Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 241000238413 Octopus Species 0.000 description 1
- 229920001872 Spider silk Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 235000021120 animal protein Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910000037 hydrogen sulfide Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 238000000527 sonication Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及材料技术领域，特别涉及一种柔性感知设备、感知系统及其应用。柔性感知设备包括依次层叠设置的柔性基底层、柔性电路层和保护层；柔性基底层的底面设有丝蛋白薄膜；柔性基底层的底面与待装配物体贴附；柔性电路层包括柔性电路板和位于柔性电路板上的至少两种感知器件；至少两种感知器件分别与处理设备电连接；感知器件包括压力类传感器和环境检测类传感器；保护层包括开口，开口用于暴露至少两种传感器件；保护层的外表面设有丝蛋白薄膜。从而不仅可以提高对待装配物体的贴附强度，还可以提高对目标抓取物体的吸附力，辅助抓取；同时上述集成了多种感知器件可以实现对复杂场景的检测。
Description
技术领域
本发明涉及材料技术领域，特别涉及一种柔性感知设备、感知系统及其应用。
背景技术
近年来，随着新型柔性材料的应用和先进制备技术的推广，研究人员越来越热衷于将柔性可穿戴设备应用在机器人领域，赋予机械超越生物的感官，综合处理感知信息，推动着智能机器人技术的进步，多维信息的灵敏感知和智能处理是其中不可忽视的关键技术。因此，开发低功耗、小型化、低成本和智能化的柔性传感器系统具有很大的实用价值。
基于微机电系统(Micro Electro Mechanical Systems，MEMS)的传感器因其成熟的工艺流程和精准的制备技术在生产生活和工业学术领域都有着广泛应用。如基于MEMS工艺的压力传感器，但现有具有压力传感器的可穿戴设备功能单一且贴附性较差，不能应对复杂的场景下的检测。
发明内容
为解决上述技术问题，本申请于一方面公开了一种柔性感知设备，其包括依次层叠设置的柔性基底层、柔性电路层和保护层；
柔性基底层的底面设有丝蛋白薄膜；柔性基底层的底面与待装配物体贴附；
柔性电路层包括柔性电路板和位于柔性电路板上的至少两种感知器件；至少两种感知器件分别与处理设备电连接；感知器件包括压力类传感器和环境检测类传感器；
保护层包括开口，开口用于暴露至少两种传感器件；保护层的外表面设有丝蛋白薄膜。
在一个可选的实施例方式中，环境检测类传感器包括气体传感器、温度传感器、湿度传感器和麦克风器件。
在一个可选的实施例方式中，柔性电路层包括复合传感器和多个第一压力传感器；第一压力传感器为基于微机电系统工艺成型的压力传感器；
复合传感器上集成有第二压力传感器、加速度传感器、气体传感器、温度传感器、湿度传感器和麦克风器件中的至少两种；第一压力传感器的灵敏度大于第二压力传感器的灵敏度。
在一个可选的实施例方式中，柔性感知设备能够弯折形成环形，并套设于机器人的手指上；
在将柔性感知设备套设在机器人的手指上后，柔性基底层的底面与机器人的手指贴附。
在一个可选的实施例方式中，丝蛋白薄膜是通过将蚕丝蛋白混合溶液涂覆在目标层上制备得到的；目标层包括柔性基底层和保护层；
蚕丝蛋白混合液是通过将蚕丝蛋白溶液与甘油、无水氯化钙进行混合制备得到的。
本申请于另一方面还公开了一种感知系统，其包括处理设备和上述的柔性感知设备；
柔性感知设备用于采集环境信息，并将环境信息发送给处理设备；
处理设备用于接收柔性感知设备发送的环境信息，并对环境信息进行处理分析，得到检测结果。
本申请于另一方面还公开了一种感知系统的应用，感知系统在环境检测和物体检测中的应用。
本申请于另一方面还公开了感知系统的应用方法，包括以下步骤：
利用至少两种感知器件采集环境信息和接触信息；
基于检测模型对接触信息和环境信息进行分析处理，得到环境检测结果和物体检测结果；物体检测结果表征柔性感知设备接触的物体的类别；环境检测结果表征柔性感知设备所处场景中的环境状态；检测模型为已训练的神经网络模型。
在一个可选的实施例方式中，柔性电路层包括复合传感器和多个第一压力传感器；复合传感器上集成有第二压力传感器、加速度传感器、气体传感器、温度传感器、湿度传感器和麦克风器件；利用至少两种感知器件采集环境信息和接触信息，得到环境检测结果和物体检测结果，包括：
利用多个第一压力传感器获取多个第一压力传感器分别对应的第一压力；
利用第二压力传感器获取第二压力传感器的第二压力；
基于加速度传感器、气体传感器、温度传感器、湿度传感器和麦克风器件分别获取加速度、气体响应数据、温度、湿度和声音。
在一个可选的实施例方式中，基于检测模型对接触信息和环境信息进行分析处理，得到环境检测结果和物体检测结果，包括：
将多个第一压力、第二压力、加速度、气体响应数据、温度、湿度和声音输入检测模型，输出第一环境检测结果和接触结果；第一环境检测结果包含加速度、温度、湿度和声音分别对应的值；
在接触结果指示不存在接触物体的情况下，检测模型还输出第二环境检测结果；第二环境检测结果包含气体类型；
在接触结果指示存在接触物体的情况下，检测模型还输出物体检测结果。
采用上述技术方案，本申请提供的柔性感知设备具有如下有益效果：
本申请提供的柔性感知设备包括依次层叠设置的柔性基底层、柔性电路层和保护层；柔性基底层的底面设有丝蛋白薄膜；柔性基底层的底面与待装配物体贴附；柔性电路层包括柔性电路板和位于柔性电路板上的至少两种感知器件；至少两种感知器件分别与处理设备电连接；感知器件包括压力类传感器和环境检测类传感器；保护层包括开口，开口用于暴露至少两种传感器件；保护层的外表面设有丝蛋白薄膜。如此，不仅可以提高对待装配物体的贴附强度，还可以提高对目标抓取物体的吸附力，辅助抓取；同时上述集成了多种感知器件可以实现对复杂场景的检测。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种柔性感知设备的结构示意图；
图2是本申请实施例提供的另一种柔性感知设备的结构示意图；
图3是本申请实施例提供的一种复合传感器的结构示意图；
图4是本申请实施例提供的一种感知系统的应用方法的流程示意图；
图5是本申请实施例提供的一种检测模型的结构示意图；
图6是本申请实施例提供的另一种检测模型的结构示意图。
以下对附图作补充说明：
1-柔性基底层；2-柔性电路层；21-柔性电路板；22-感知器件；221-复合传感器；222-第一压力传感器；223-第二压力传感器；224-加速度传感器；225-气体传感器；226-温度传感器；227-湿度传感器；228-麦克风器件；3-保护层；31-开口。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
当本文中公开一个数值范围时，上述范围视为连续，且包括该范围的最小值及最大值，以及这种最小值与最大值之间的每一个值。进一步地，当范围是指整数时，包括该范围的最小值与最大值之间的每一个整数。此外，当提供多个范围描述特征或特性时，可以合并该范围。换言之，除非另有指明，否则本文中所公开之所有范围应理解为包括其中所归入的任何及所有的子范围。例如，从“1至10”的指定范围应视为包括最小值1与最大值10之间的任何及所有的子范围。范围1至10的示例性子范围包括但不限于1至6.1、3.5至7.8、5.5至10等。
请参阅图1-2，柔性感知设备包括依次层叠设置的柔性基底层1、柔性电路层2和保护层3；柔性基底层1的底面设有丝蛋白薄膜；柔性基底层1的底面与待装配物体贴附；柔性电路层2包括柔性电路板21和位于柔性电路板21上的至少两种感知器件22；至少两种感知器件22分别与处理设备电连接；感知器件22包括压力类传感器和环境检测类传感器；保护层3包括开口31，开口31用于暴露至少两种传感器件；保护层3的外表面设有丝蛋白薄膜。
在一个可选的实施例方式中，环境检测类传感器包括气体传感器225、温度传感器226、湿度传感器227和麦克风器件228。可选的，感知器件22还还可以加速度传感器224，根据实际应用场景的需求还可以包括红外传感器等，在此不做限制。
在一个可选的实施例方式中，柔性电路层2包括复合传感器221和多个第一压力传感器222；第一压力传感器222为基于微机电系统工艺成型的压力传感器；复合传感器221上集成有第二压力传感器223、加速度传感器224、气体传感器225、温度传感器226、湿度传感器227和麦克风器件228中的至少两种；第一压力传感器222的灵敏度大于第二压力传感器223的灵敏度。复合传感器221上的所有传感器或者部分传感器可以是基于微机电系统工艺成型的传感器。可选的，多个第一压力传感器222可以分布在复合传感器221的一侧或者两侧，可以用来检测是否接触到物体，第二压力传感器223可以用以检测环境压强，使得该柔性感知设备可以应用于搜救场景，可以将柔性感知设备能够弯折形成环形，并套设于机器人的手指上；在将柔性感知设备套设在机器人的手指上后，柔性基底层1的底面与机器人的手指贴附，后续可以控制机器人将其手臂深入废墟中进行探测，通过复合传感器221和多个第一压力传感器222传过来的信号来判断当前废墟中的环境以及抓取到的物体类型，以将目标物体(如人或者动物)抓取出。柔性感知设备除了制备成如图2所示的环状结构外，还可以是带状结构。
需要说明的是，本申请实施例提供的通过多种感知器件22的组合，可以将其穿戴在机器上，可实现对环境的检测，如应用于搜救场景中，通过多种感知器件22对物体的材质、气味、温度和湿度等可以判断物体是人还是杂物，从而可以判断废墟场景中是否有人员被困。当然，根据实际需要，也可以将上述柔性感知设备穿戴在人员上，或者其他动物上，在此不做限制。可选的，第一压力传感器222的数量可以根据需要设定，如2个、3个、4个、5个等，一般来说第一压力传感器222的数量越多，最终基于其分析出检测结果准确度越高，但第一压力传感器222的数量过多，也可以导致排布难度的增加，同时分析时长也可以更长，因此，第一压力传感器222的数量可以控制在3～6个。可选的，柔性基底层1与保护层3的材料可以是相同的，都可以是PDMS。
在一个可选的实施例方式中，丝蛋白薄膜是通过将蚕丝蛋白混合溶液涂覆在目标层上制备得到的；目标层包括柔性基底层和保护层。可选的，蚕丝蛋白混合液是通过将蚕丝蛋白溶液与甘油、无水氯化钙进行混合制备得到的。从而使得制备得到的蚕丝蛋白混合液具有较好的粘附性，后续将其涂覆在柔性基底层1和保护层3上可以提高其对应特定物体的粘附性，提高柔性感知设备对特殊物体的粘附效果，辅助进行感知。具体的，蚕丝蛋白混合液可以采用如下方法制备得到，将蚕丝蛋白溶液与甘油以5％的重量比混合，然后用商用振动器轻轻混合。接下来，以12％的重量比加入无水氯化钙，得到混合物。然后，在室温下通过超声处理混合物10分钟以获得充分分散的溶液。最后，将混合溶液储存在4℃下备用，后续使用将混合溶液依次涂覆于清洁的PDMS基质(即柔性基底层1)，将涂覆了PDMS基质在环境室中固化12小时，以控制相对湿度和温度，并形成厚度约为30μm的柔性电子衬底。可选的，对于保护层3上也同样采用上述相同的方法将混合溶液涂覆其表面。可选的，可以是在半成品(即包括柔性基底层1、柔性电路层2和保护层3)的柔性基底层1和保护层3上涂覆蚕丝蛋白混合液，也可以是先在柔性基底层1和保护层3上相应表面涂覆蚕丝蛋白混合液，然后再将其与柔性电路层2贴附，形成柔性感知设备。
需要说明的是，该丝蛋白薄膜可以是采用蚕丝蛋白溶液为基础进行制备。除此之外，还可以使用蛛丝蛋白等其他动物蛋白，并不局限于蚕丝蛋白这一种。
本申请实例的丝蛋白薄膜根据修饰方法不同，功能也有所不同。
一方面可以采用双光子打印技术在丝蛋白薄膜表面构筑微结构，比如打印章鱼吸盘结构协助吸附和抓取，打印微流体结构与柔性电路板结合使用协助分析液体或者气体的具体成分。
另一方面可以分区域地添加不同酶和调节蛋白溶液浓度实现丝蛋白薄膜的可控降解。具体来说，当这种丝蛋白薄膜接触特定液体时，我们可以根据需要在制备阶段调整丝蛋白薄膜表面的降解速率，使得丝蛋白薄膜做出显性的判断。比如降解后丝蛋白薄膜表面呈现圆形图案代表接触的是纯净水，方形代表乙醇，三角代表异丙醇等等。
总体来说，可以通过扩充丝蛋白薄膜的功能来弥补MEMS传感器在面对液体时的困境。
柔性电路板21上设有布线层(布线层的导线的材料可以是导电金属材料，如金、银、铜等)。可选的，感知器件22可以通过绝缘胶与柔性电路板21对应区域粘结，后续利用打线封装工艺将感知器件22的引脚与柔性电路板21上对应线路连接，并用银浆固化打线点，用绝缘胶保护布线层，最后可以用硅胶覆盖压力传感器敏感结构。
本申请实施例通过将双层柔性薄膜和柔性电路板21一体组装的结构设计，使得智能指环对人体和机械都具有贴附性，因为柔性薄膜的可拉伸性和可改性，该指环对特定物体有着强吸附作用，根据添加的化学物质可具有不同的功能，具有不小的应用潜力。另外，设置的多种感知器件22可以环境多维信息快速感知，后续可以配合神经网络算法可以对复杂环境能做出快速且精准的识别和决策。
本申请实施例提供了一种感知系统，其包括处理设备和上述的柔性感知设备。柔性感知设备用于采集环境信息，并将环境信息发送给处理设备。处理设备用于接收柔性感知设备发送的环境信息，并对环境信息进行处理分析，得到检测结果。可选的，环境信息可以包括压力、加速度、气体响应数据、温度、湿度和声音等。
本公开实施例中，柔性感知设备的可选的结构上述已详细阐述，在此不再赘述。
可选的，处理设备可以是台式电脑、笔记本电脑、手机或者平板电脑等。处理设备还可以是一种可以部署于其他电子设备中的装置。
本申请实施例提供了一种感知系统的应用，感知系统在环境检测和物体检测中的应用。如柔性电路层2包括复合传感器221和多个第一压力传感器222；复合传感器221上集成有第二压力传感器223、加速度传感器224、气体传感器225、温度传感器226、湿度传感器227和麦克风器件228；从而利用气体传感器225可以检测出周围是否存在危险气体，温度传感器226和湿度传感器227可以检测出环境中的温湿度，麦克风器件228可以检测环境中的噪声情况等，且当柔性感知设备接触到物体，通过上述气体传感器225、温度传感器226、湿度传感器227、麦克风器件228、第一压力传感器222和第二压力传感器223还可以判断出物体的材质、温度、湿度和声音等从而确定物体类型，实现对物体的识别，具有检测准确度高和效率高的优点。
请参阅图4，本申请实施例提供了一种感知系统的应用方法，包括以下步骤：
S401：利用至少两种感知器件22采集环境信息和接触信息。
本公开实施例中，该方法应用于上述感知系统，且应用场景可以是搜救场景，具体可以是对废墟中的人员进行搜救。所以柔性电路层2包括复合传感器221和多个第一压力传感器222；复合传感器221上集成有第二压力传感器223、加速度传感器224、气体传感器225、温度传感器226、湿度传感器227和麦克风器件228，则步骤S401的具体实施方式可以包括：利用多个第一压力传感器222获取多个第一压力传感器222分别对应的第一压力；利用第二压力传感器223获取第二压力传感器223的第二压力；基于加速度传感器224、气体传感器225、温度传感器226、湿度传感器227和麦克风器件228分别获取加速度、气体响应数据、温度、湿度和声音。后续通过压力可以判断柔性感知设备是否接触到物体，上述第一压力可以是指接触信息，上述第二压力、加速度、气体响应数据、温度、湿度和声音可以是指环境信息，也可以是上述第一压力和第二压力均可以指接触信息，加速度、气体响应数据、温度、湿度和声音可以是指环境信息。
S403：基于检测模型对接触信息和环境信息进行分析处理，得到环境检测结果和物体检测结果；物体检测结果表征柔性感知设备接触的物体的类别；环境检测结果表征柔性感知设备所处场景中的环境状态；检测模型为已训练的神经网络模型。
在一个可选的实施例方式中，步骤S403可以具体阐述为包括：将多个第一压力、第二压力、加速度、气体响应数据、温度、湿度和声音输入检测模型，输出第一环境检测结果和接触结果；第一环境检测结果包含加速度、温度、湿度和声音分别对应的值；在接触结果指示不存在接触物体的情况下，检测模型还输出第二环境检测结果；第二环境检测结果包含气体类型；在接触结果指示存在接触物体的情况下，检测模型还输出物体检测结果。
在未接触物体阶段，该检测模型的设计如图5所示，第一压力传感器222和第二压力传感器223没有明显变化，通过利用检测模型将声音、温度、湿度和即气体响应数据处理形成热力图，并对其进行卷积操作形成多张特征图，后续依次进行池化和全连接，从而可以输出检测结果，具体包括第一环境检测结果、接触结果和第二环境检测结果，由此，在进行运动反馈的同时可对所处环境的危化品、噪声、高温、高湿等危险因素进行快速感知并对整体安全进行评估。
在接触物体阶段，该检测模型的设计如图6所示，第一压力传感器222和第二压力传感器223的输出发生突变，通过利用检测模型将压力1、压力2、压力3、压力4、声音、温度、湿度和即气体响应数据处理形成热力图，并对其进行卷积操作形成多张特征图，后续依次进行池化和全连接，从而可以输出检测结果，具体包括第一环境检测结果和接触结果。由于算法通过融合分析多维信息，在进行运动反馈的同时可对接触的物体进行材质、形状、种类和气味等要素进行快速识别并进行决策。
本公开实施例中，检测模型通常包括输入层、隐藏层和输出层，输出层的输出即为每个样本的预测类别信息，隐藏层用于对每个样本进行相关特征的提取，以获得对应的特征信息，特性信息通过输出层中的分类器对特征信息进行类别预测，得到对应的预测类别信息。可选的，隐藏层包括卷积层和池化层，用于对样本特征进行卷积以及池化操作，输出层可以是一个全连接层，后续通过预测结果进行归一化处理。即将经指数函数转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比，以得到预测结果对应的概率，从而可以得到样本对应的预测类别信息。
需要说明的是，本检测模型对于物体的类型的判断输出是一种预测，而对于各传感器对应的检测信息的处理，得到的是真实的检测值(如温度、湿度等)。当然，检测模型也可以是根据输入的各检测数据，输出的一种场景状态预测结果，如场景是否安全，具体可以通过综合判断场景中是否存在危化品，以及温度湿度和噪音情况等来确定。如若存在人员被困，当前场景生存状态以及人员身体状态，具体可以通过综合判断人的温湿度、声音和气体等或者环境中的温湿度、声音和气体等来判断。
为了更好的说明本申请的技术效果，以下以一具体检测模型结构实现对多维数据的处理过程进行说明。
请参阅图5，柔性智能感知设备共9通道输出信号，分别代表加速度、声音(即麦克风的输出值)、温度、湿度、气体、压力1、压力2、压力3和压力4，将输出信号归一化到[0,1]，选择连续的18个数据点，得到9*18的矩阵，从而获得9*18的多维信息归一化热力图。可选的，压力1可以是指复合传感器221中的第二压力传感器223中输出的压力，压力2、压力3和压力4可以分别是指分布在复合传感器221周围的3个第一压力传感器222输出的压力，具体压力的总通道数根据第二压力传感器223的数量变化。
检测模型的输入为9*18的热力图。检测模型的隐藏层具体可以包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层，后续再接第一全连接层和第二全连接层，可选的，第一卷积层的卷积核大小为3*3，通道数为32，设置步长为1，填充为1。第一池化层的卷积核大小为2*2，步长为2，至此数据规模为4*9*32。第二卷积层的卷积核大小为3*3，通道数为64，步长为1，填充为1。第二池化层的卷积核大小为2*2，步长为2，至此数据规模为2*4*64。第一全连接层大小为512，第二全连接层大小为512，输出层大小为10的向量。可选的，在每层卷积层或者池化层后接激活函数ReLU，以实现非线性变换。可选的，最终输出的10个数据中的前4个数字分别代表加速度、声音、温度、湿度的实际值，比如检测信号646mV对应加速度值为60g，检测信号0.3682mA对应温度为60℃。第5个数字为0时表示未接触物体，为1时表示已接触物体。在未接触物体时后5个向量分别表示环境中存在的气体类别，分别代表干净、氨气、乙醇、硫化氢、一氧化碳的概率。在接触物体时，后5个向量可以分布代表网球、纸盒、苹果、石块、衣服的概率。可选的，在接触物体时，后5个向量具体可以根据检测需要设置所需分类的类别，在此不做限制，但如果分类类别变化，则需要重新训练检测模型。可选的，输出标签可以为[10,10,20,60,0,1,0,0,0,0],表示检测到的加速度值为10g，声音为10dB，温度为20℃，湿度为60RH，未接触物体，环境中的空气为干净的。
在检测模型训练过程中，可以通过训练样本集对其进行迭代训练，训练样本集中包括多个样本数据和对应的类别标签，每个样本数据包括上述加速度、声音(即麦克风的输出值)、温度、湿度、气体、压力1、压力2、压力3和压力4对应的真实值，后续，将训练样本集输入到初始检测模型进行类别预测，得到所述训练样本集对应的预测类别信息；基于所述训练样本集对应的预测类别信息与所述训练样本对应的类别标签之间的差异，确定分类损失；根据所述分类损失对所述初始检测模型进行迭代训练，得到目标检测模型。可选的，本申请实施例可以是在pytorch框架下选择Adam优化参数，学习率为0.001，共训练100轮次。
上述检测模型对应的损失函数可以是MESLoss(均方误差损失)和CrossEntropyLoss(多分类交叉熵损失)的结果，损失函数具体可以表示为如下公式：
Loss(x,y)＝α*MESLoss+β*CrossEntropyLoss
其中，x表示第i类的类别标签，即真实值，yi表示第i类的预测类别信息，即预测值；α为均方误差损失的权重，β为多分类交叉熵损失的权重，n和m表示类别数，均为5，则上述公式还可以具体表示为如下：
本申请实施例通过基于MEMS高性能压力传感器和多功能单片集成复合传感器221，融合了压力、加速度、温度、气体、湿度和麦克风共六种传感功能，具备对复杂外界环境的多维综合感知能力。搭载的MEMS传感器对多维度感知性能灵敏且均呈显著线性，配合后端的人工智能算法，在未接触物体阶段，可对所处环境的危化品、噪声、高温等危险因素进行快速感知并对整体安全程度进行评估；在接触物体阶段，可对物体的材质、形状、种类和气味等要素进行快速识别和决策，为人机交互和可穿戴设备提供一种新的解决方案。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种柔性感知设备，其特征在于，包括依次层叠设置的柔性基底层、柔性电路层和保护层；
所述柔性基底层的底面设有丝蛋白薄膜；所述柔性基底层的底面与待装配物体贴附；
所述柔性电路层包括柔性电路板和位于所述柔性电路板上的至少两种感知器件；至少两种所述感知器件分别与处理设备电连接；所述感知器件包括压力类传感器和环境检测类传感器；
所述保护层包括开口，所述开口用于暴露至少两种所述传感器件；所述保护层的外表面设有丝蛋白薄膜。
2.根据权利要求1所述的柔性感知设备，其特征在于，所述环境检测类传感器包括气体传感器、温度传感器、湿度传感器和麦克风器件。
3.根据权利要求2所述的柔性感知设备，其特征在于，所述柔性电路层包括复合传感器和多个第一压力传感器；所述第一压力传感器为基于微机电系统工艺成型的压力传感器；
所述复合传感器上集成有第二压力传感器、加速度传感器、气体传感器、温度传感器、湿度传感器和麦克风器件中的至少两种；所述第一压力传感器的灵敏度大于所述第二压力传感器的灵敏度。
4.根据权利要求1所述的柔性感知设备，其特征在于，所述柔性感知设备能够弯折形成环形，并套设于机器人的手指上；
在将所述柔性感知设备套设在所述机器人的手指上后，所述柔性基底层的底面与所述机器人的手指贴附。
5.根据权利要求1所述的柔性感知设备，其特征在于，所述丝蛋白薄膜是通过将蚕丝蛋白混合溶液涂覆在目标层上制备得到的；所述目标层包括所述柔性基底层和所述保护层；
所述蚕丝蛋白混合液是通过将蚕丝蛋白溶液与甘油、无水氯化钙进行混合制备得到的。
6.一种感知系统，其特征在于，包括所述处理设备和如权利要求1-5任一项所述的柔性感知设备；
所述柔性感知设备用于采集环境信息，并将所述环境信息发送给所述处理设备；
所述处理设备用于接收所述柔性感知设备发送的环境信息，并对所述环境信息进行处理分析，得到检测结果。
7.一种如权利要求6所述的感知系统的应用，其特征在于，所述感知系统在环境检测和物体检测中的应用。
8.一种如权利要求6所述的感知系统的应用方法，其特征在于，包括以下步骤：
利用至少两种所述感知器件采集环境信息和接触信息；
基于所述检测模型对所述接触信息和所述环境信息进行分析处理，得到所述环境检测结果和物体检测结果；所述物体检测结果表征所述柔性感知设备接触的物体的类别；所述环境检测结果表征所述柔性感知设备所处场景中的环境状态；所述检测模型为已训练的神经网络模型。
9.根据权利要求8所述的应用方法，其特征在于，所述柔性电路层包括复合传感器和多个第一压力传感器；所述复合传感器上集成有第二压力传感器、加速度传感器、气体传感器、温度传感器、湿度传感器和麦克风器件；所述利用至少两种所述感知器件采集环境信息和接触信息，得到所述环境检测结果和物体检测结果，包括：
利用多个所述第一压力传感器获取多个所述第一压力传感器分别对应的第一压力；
利用所述第二压力传感器获取所述第二压力传感器的第二压力；
基于所述加速度传感器、所述气体传感器、所述温度传感器、所述湿度传感器和所述麦克风器件分别获取加速度、气体响应数据、温度、湿度和声音。
10.根据权利要求9所述的应用方法，其特征在于，所述基于所述检测模型对所述接触信息和所述环境信息进行分析处理，得到所述环境检测结果和物体检测结果，包括：
将多个所述第一压力、所述第二压力、所述加速度、所述气体响应数据、所述温度、所述湿度和所述声音输入所述检测模型，输出第一环境检测结果和接触结果；所述第一环境检测结果包含所述加速度、所述温度、所述湿度和所述声音分别对应的值；
在所述接触结果指示不存在接触物体的情况下，所述检测模型还输出第二环境检测结果；所述第二环境检测结果包含气体类型；
在所述接触结果指示存在接触物体的情况下，所述检测模型还输出所述物体检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455310.8A CN117606545A (zh) | 2023-11-02 | 2023-11-02 | 一种柔性感知设备、感知系统及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455310.8A CN117606545A (zh) | 2023-11-02 | 2023-11-02 | 一种柔性感知设备、感知系统及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117606545A true CN117606545A (zh) | 2024-02-27 |
Family
ID=89956964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311455310.8A Pending CN117606545A (zh) | 2023-11-02 | 2023-11-02 | 一种柔性感知设备、感知系统及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117606545A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100245114A1 (en) * | 2007-06-15 | 2010-09-30 | Board Of Regents, The University Of Texas System | Thin Flexible Sensor |
| CN110621227A (zh) * | 2017-05-23 | 2019-12-27 | 豪夫迈·罗氏有限公司 | 传感器系统及其制造方法 |
| CN113252081A (zh) * | 2021-05-12 | 2021-08-13 | 电子科技大学 | 一种基于蚕丝蛋白的柔性复合传感器及其制备方法 |
| CN214277031U (zh) * | 2021-03-03 | 2021-09-24 | 珠海美佳音科技有限公司 | 温湿度记录仪 |
| CN114812689A (zh) * | 2022-05-20 | 2022-07-29 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 用于元宇宙交互的多功能柔性电子皮肤、制备方法及应用 |
-
2023
- 2023-11-02 CN CN202311455310.8A patent/CN117606545A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100245114A1 (en) * | 2007-06-15 | 2010-09-30 | Board Of Regents, The University Of Texas System | Thin Flexible Sensor |
| CN110621227A (zh) * | 2017-05-23 | 2019-12-27 | 豪夫迈·罗氏有限公司 | 传感器系统及其制造方法 |
| CN214277031U (zh) * | 2021-03-03 | 2021-09-24 | 珠海美佳音科技有限公司 | 温湿度记录仪 |
| CN113252081A (zh) * | 2021-05-12 | 2021-08-13 | 电子科技大学 | 一种基于蚕丝蛋白的柔性复合传感器及其制备方法 |
| CN114812689A (zh) * | 2022-05-20 | 2022-07-29 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 用于元宇宙交互的多功能柔性电子皮肤、制备方法及应用 |
Non-Patent Citations (1)
| Title |
|---|
| 张阳阳 等: "基于多传感器信息融合的人类抓握特征学习及物体识别", 《机器人》, vol. 42, no. 3, 31 May 2020 (2020-05-31), pages 267 - 277 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments | |
| US11181984B2 (en) | Virtual reality input and haptic feedback system | |
| Khan et al. | Advanced IoT-based human activity recognition and localization using Deep Polynomial neural network | |
| Pan et al. | State-of-the-art in data gloves: A review of hardware, algorithms, and applications | |
| Jin et al. | Progress on flexible tactile sensors in robotic applications on objects properties recognition, manipulation and human-machine interactions | |
| Hosseini et al. | One-shot learning from demonstration approach toward a reciprocal sign language-based HRI | |
| Lu et al. | Artificial intelligence–enabled gesture‐language‐recognition feedback system using strain‐sensor‐arrays‐based smart glove | |
| Yang et al. | Triboelectric nanogenerator assisted by machine learning | |
| Ryu et al. | Embedded identification of surface based on multirate sensor fusion with deep neural network | |
| Mu et al. | Recent advancements in wearable sensors: integration with machine learning for human–machine interaction | |
| Atoche-Ensenat et al. | A smart tactile sensing system based on carbon nanotube/polypropylene composites for wearable applications | |
| Guo et al. | A rapid adaptation approach for dynamic air-writing recognition using wearable wristbands with self-supervised contrastive learning | |
| Khalife et al. | Real-time implementation of tiny machine learning models for hand motion classification | |
| Zhang et al. | Improving the resolution of flexible large-area tactile sensors through machine-learning perception | |
| Gul et al. | Liquid‐Metal‐Based Soft Pressure Sensor and Multidirectional Detection by Machine Learning | |
| Cho et al. | Current Landscape of the Robotic Tactile Array Sensors and Algorithm‐Based Performance Enhancement | |
| Wang et al. | Continuous Hand Gestures Detection and Recognition in Emergency Human-Robot Interaction Based on the Inertial Measurement Unit | |
| Huang et al. | Deep Learning‐Assisted Electronic Skin System Capable of Capturing Spatiotemporal and Mechanical Features of Social Touch to Enhance Human–Robot Emotion Recognition | |
| Lu et al. | A flexible silver-nanoparticle/polyacrylonitrile biomimetic strain sensor by patterned UV reduction for artificial intelligence flexible electronics | |
| Lee et al. | DeepTouch: Enabling touch interaction in underwater environments by learning touch-induced inertial motions | |
| CN117606545A (zh) | 一种柔性感知设备、感知系统及其应用 | |
| Lin et al. | PP-Tac: Paper Picking Using Tactile Feedback in Dexterous Robotic Hands | |
| US20220083138A1 (en) | Virtual Reality Input and Haptic Feedback System | |
| Wang et al. | Personal protective gloves with objects recognizing for rescuing in disaster | |
| Saha et al. | Decision tree based single person gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |