[go: up one dir, main page]

CN119205279A - 图像处理方法、设备、介质及程序产品 - Google Patents

图像处理方法、设备、介质及程序产品 Download PDF

Info

Publication number
CN119205279A
CN119205279A CN202411707523.XA CN202411707523A CN119205279A CN 119205279 A CN119205279 A CN 119205279A CN 202411707523 A CN202411707523 A CN 202411707523A CN 119205279 A CN119205279 A CN 119205279A
Authority
CN
China
Prior art keywords
target
area
image
decorative
decorative painting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411707523.XA
Other languages
English (en)
Inventor
肖庆
杨跃
李雨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202411707523.XA priority Critical patent/CN119205279A/zh
Publication of CN119205279A publication Critical patent/CN119205279A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
    • G06Q30/0643Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping graphically representing goods, e.g. 3D product representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例涉及一种图像处理方法、设备、介质及程序产品,其中该方法包括:获取待处理的场景图像;识别所述场景图像中的墙壁区域,并确定所述墙壁区域内待呈现装饰画的目标区域;获取所述目标区域对应的目标装饰画;基于所述目标区域,对所述场景图像和所述目标装饰画进行融合处理,得到目标图像;其中,所述目标图像是所述场景图像中的目标区域呈现有所述目标装饰画的画面内容的效果图像。本公开实施例有助于提升用户布置装饰画的效率,提升用户的装饰画布置体验。

Description

图像处理方法、设备、介质及程序产品
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、设备、介质及程序产品。
背景技术
在装修场景中,大多业主都有在墙壁上悬挂装饰画的需求。但是,发明人经研究发现,现有业主挑选装饰画的主流方式是通过线上电商平台查看当前市场上存在的装饰画,然后反复脑补装饰画悬挂在自家墙壁上的效果,但这种方式对于用户而言较为不便,效率低下。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种图像处理方法、设备、介质及程序产品。
本公开实施例提供了一种图像处理方法,所述方法包括:获取待处理的场景图像;识别所述场景图像中的墙壁区域,并确定所述墙壁区域内待呈现装饰画的目标区域;获取所述目标区域对应的目标装饰画;基于所述目标区域,对所述场景图像和所述目标装饰画进行融合处理,得到目标图像;其中,所述目标图像是所述场景图像中的目标区域呈现有所述目标装饰画的画面内容的效果图像。
可选的,所述确定所述墙壁区域内待呈现装饰画的目标区域,包括:通过预设的目标网络模型确定所述墙壁区域内待呈现装饰画的推荐区域;基于所述推荐区域确定目标区域。
可选的,所述通过预设的目标网络模型确定所述墙壁区域内待呈现装饰画的推荐区域,包括:基于所述场景图像与所述场景图像中的墙壁区域,利用预设的目标网络模型生成第一图像;其中,所述第一图像是在所述场景图像中的墙壁区域内的局部区域呈现有样例装饰画的图像;基于所述样例装饰画在所述第一图像中占据的区域,得到所述墙壁区域内待呈现装饰画的推荐区域。
可选的,所述基于所述推荐区域确定目标区域,包括:在所述推荐区域符合预设约束条件的情况下,将所述推荐区域作为目标区域;在所述推荐区域不符合所述预设约束条件的情况下,获取所述墙壁区域内的最大矩形区域,基于所述墙壁区域内的最大矩形区域确定目标区域。
可选的,所述基于所述墙壁区域内的最大矩形区域确定目标区域,包括:从多个预设的画幅尺寸比例中选取目标画幅尺寸比例;基于所述目标画幅尺寸比例,在所述墙壁区域内的最大矩形区域内指定目标区域。
可选的,所述预设约束条件包含推荐区域尺寸约束条件和/或不同的推荐区域之间的相对位置关系约束条件。
可选的,所述目标网络模型是基于预设的模型微调技术对预设的修复网络模型进行训练得到的。
可选的,所述获取所述目标区域对应的目标装饰画,包括:获取用户设置信息;其中,所述用户设置信息包含装饰画风格信息和/或装饰画数量信息;基于所述用户设置信息和所述目标区域,从预设的装饰画图库中进行检索,得到推荐装饰画;基于所述推荐装饰画得到所述目标区域对应的目标装饰画。
可选的,所述基于所述推荐装饰画得到所述目标区域对应的目标装饰画,包括:获取所述场景图像的视觉属性信息;基于所述场景图像的视觉属性信息,对所述推荐装饰画的视觉属性信息进行调整,得到所述目标区域对应的目标装饰画。
可选的,所述基于所述目标区域,对所述场景图像和所述目标装饰画进行融合处理,包括:在所述目标区域为非矩形区域的情况下,基于所述目标区域的顶点与所述目标装饰画的顶点之间的映射关系,对所述目标装饰画进行透视变换处理;将透视变换处理后的所述目标装饰画贴于所述场景图像中的目标区域处,得到目标图像。
可选的,所述方法还包括:基于所述目标图像中的目标区域边缘进行平滑处理,和/或,基于所述目标图像中的目标区域进行画框添加处理。
本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的图像处理方法。
本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的图像处理方法。
本公开实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本公开实施例提供的图像处理方法。
本公开实施例提供的上述技术方案,能够先获取待处理的场景图像,然后识别场景图像中的墙壁区域,并确定墙壁区域内待呈现装饰画的目标区域,之后可以进一步获取目标区域对应的目标装饰画,从而基于目标区域,对场景图像和目标装饰画进行融合处理,得到目标图像(也即场景图像中的目标区域呈现有目标装饰画的画面内容的效果图像),上述方式能够基于场景图像便捷地确定待呈现装饰画的目标区域及相应的目标装饰画,并直观地为用户提供场景图像内呈现有目标装饰画的画面内容的效果图像,无需用户再费时查找装饰画并脑补装饰画悬挂效果,有助于提升用户布置装饰画的效率,提升用户的装饰画布置体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图像处理方法的流程示意图;
图2为本公开实施例提供的一种装饰画布局确定示意图;
图3为本公开实施例提供的一种装饰画布局确定示意图;
图4为本公开实施例提供的一种目标图像的生成流程示意图;
图5为本公开实施例提供的一种图像处理装置的结构示意图;
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
图1为本公开实施例提供的一种图像处理方法的流程示意图,该方法可以由图像处理装置执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中。如图1所示,该方法主要包括如下步骤S102~步骤S108:
步骤S102,获取待处理的场景图像。场景图像可以是用户上传的图像,诸如,用户可以位于需要布置装饰画的场景内进行图像拍摄,得到场景图像,该场景图像诸如可以为室内图像。
步骤S104,识别场景图像中的墙壁区域,并确定墙壁区域内待呈现装饰画的目标区域。示例性地,可以通过诸如目标检测算法、分割模型等方式识别墙壁区域,在此不进行限制。在已知场景图像中的墙壁区域的基础上,可以进一步通过诸如神经网络模型等人工智能技术预测目标区域和/或利用指定的区域选取策略方式选取目标区域,以此高效且合理地确定该墙壁区域内适合悬挂装饰画的目标区域。上述确定目标区域也即为确定装饰画在场景图像中的位置或布局。
步骤S106,获取目标区域对应的目标装饰画。示例性地,可以基于目标区域的区域信息(诸如长宽比例、目标区域数量等信息)从预设的装饰画图库中检索与目标区域匹配的装置画,以此得到适合的目标装饰画。在实际应用中,在装饰画检索过程中,还可以获取用户的装饰画偏好,装饰画偏好可通过用户设置信息确定,结合用户设置信息以及目标区域的区域信息,能够更有效地检索得到符合用户需求的目标装饰画。
步骤S108,基于目标区域,对场景图像和目标装饰画进行融合处理,得到目标图像;其中,目标图像是场景图像中的目标区域呈现有目标装饰画的画面内容的效果图像。示例性地,可以基于目标区域对目标装饰画进行调整,以使调整后的目标装饰画能够无缝贴入场景图像中的目标区域,从而得到目标图像。
本公开实施例提供的上述方式,能够基于场景图像便捷地确定待呈现装饰画的目标区域及相应的目标装饰画,并直观地为用户提供场景图像呈现有目标装饰画的画面内容的效果图像,无需用户再费时查找装饰画并脑补装饰画悬挂效果,有助于提升用户布置装饰画的效率,提升用户的装饰画布置体验。
在一些实施方式中,上述步骤S104中确定墙壁区域内待呈现装饰画的目标区域的步骤,可以参照如下步骤a和步骤b执行:
步骤a,通过预设的目标网络模型确定墙壁区域内待呈现装饰画的推荐区域。其中,目标网络模型为神经网络模型,具体可以为生成网络模型,进一步,可以为修复网络模型(inpainting模型),本公开实施例对目标网络模型的结构不进行限制。
在一些具体的实施示例中,目标网络模型是基于预设的模型微调技术对预设的修复网络模型进行训练得到的。也即,可以在现有的修复网络模型的基础上采用特定样本数据进行微调,便可得到具有装饰画生成能力的目标网络模型,本公开实施例对模型微调技术不进行限制,示例性地,模型微调技术可以为LoRA(Low-RankAdaptation,低秩适配)微调技术,该技术能够在保持待微调的修复网络模型的原有参数的情况下注入可训练的秩分解矩阵,从而极大减少下游任务的可训练参数。具体实现时,该技术可以在待微调的修复网络模型中插入一些网络层辅助模型训练,从而达到高效训练的效果。相比于从头开始训练模型的方式而言,上述在已有修复网络模型的基础上利用LoRA微调技术进行模型微调的方式可有效减少训练时间,降低资源消耗。在具体训练时,可先获取多张场景图像样本A,场景图像样本A用于呈现墙面上合理悬挂有装饰画的场景,诸如可以是带有合理装饰画布局的室内图像,以及获取场景图像样本A中的墙面被涂抹后的场景图像样本B,场景图像样本B与A相比,不再呈现出装饰画。在训练阶段,可获取修复网络模型针对场景图像样本B生成的带有装饰画的场景图像C,可基于模型输出的场景图像C与场景图像样本A之间的装饰画布局差异调整修复网络模型的参数,以逐步使修复网络模型针对没有装饰画的场景图像输出带有合理装饰画布局的场景图像,从而借助模型高效得到场景图像中待呈现装饰画的推荐区域。
在一些具体的实施示例中,步骤a可以参照如下步骤a1~步骤a2执行:
步骤a1,基于场景图像与场景图像中的墙壁区域,利用预设的目标网络模型生成第一图像;其中,第一图像是在场景图像中的墙壁区域内的局部区域呈现有样例装饰画的图像。借助前述训练方式所得的目标网络模型,有能力直接生成并输出带有装饰画的图像,但应当说明的是,第一图像并非最终所需的展示给用户的图像,获取第一图像的主要目的在于借助目标网络模型确定场景图像中用于呈现装饰画的合理位置,换言之,借助目标网络模型确定场景图像中合理的装饰画布局。
步骤a2,基于样例装饰画在第一图像中占据的区域,得到墙壁区域内待呈现装饰画的推荐区域。在具体实现时,可以直接将样例装饰画在第一图像中占据的区域作为推荐区域。本公开实施例充分考虑到目标网络模型生成的第一图像中的装饰画(也即样例装饰画)的效果可能不佳,因此本公开实施例主要借鉴目标网络模型生成的第一图像中的装饰画位置(也可称为装饰画布局),得到墙壁区域内待呈现装饰画的推荐区域。
为便于理解,可以参照图2所示的一种装饰画布局确定示意图。示意出场景图像、场景图像经目标网络模型处理所得的第一图像以及基于第一图像所得的装饰画布局图,其中,第一图像也即在场景图像的基础上呈现有样例装饰画的图像,但目标网络模型虽然可在场景图像的基础上输出合理的装饰画位置,但装饰画内容仍有待调整,因此无需完全采用第一图像,而是参考第一图像中的装饰画布局即可。图2中以装饰画掩膜图的形式呈现出装饰画布局,装饰画布局也可理解为装饰画在场景图像中所占据的区域,在图2中以白色区域示意,白色区域也即场景图像中墙壁区域内待呈现装饰画的推荐区域。
步骤b,基于推荐区域确定目标区域。在一些实施方式中,可以直接将目标网络模型的推荐区域作为目标区域,在另一些实施方式中,为了保障最终确定的目标区域的可靠性,可以参照如下步骤b1和步骤b2执行:
步骤b1,在推荐区域符合预设约束条件的情况下,将推荐区域作为目标区域。
示例性地,预设约束条件包含推荐区域尺寸约束条件和/或不同的推荐区域之间的相对位置关系约束条件。本公开实施例充分考虑到目标网络模型有一定概率会生成坏例,诸如生成的第一图像中的样例装饰画的尺寸不合理,尺寸过大或过小;或者生成的不同的样例装饰画的位置不合理,诸如第一图像中出现两幅样例装饰画部分重叠或者间隔较远等相对位置关系不合理的情况,此时样例装饰画在第一图像中占据的区域(也即模型的装饰画推荐区域)则不适合作为墙壁区域内待呈现装饰画的目标区域。本公开实施例为此可以预先设置约束条件,通过约束条件来衡量是否将推荐区域作为目标区域,以此充分保障最终所得的目标区域的可靠性。
步骤b2,在推荐区域不符合预设约束条件的情况下,获取墙壁区域内的最大矩形区域,基于墙壁区域内的最大矩形区域确定目标区域。本公开实施例可以优选选择模型的推荐区域作为目标区域,若模型的推荐区域不符合要求,则还进一步提供的兜底方案,也即按照预设的区域选择策略确定目标区域,具体而言,可以采用动态规划的方式得到墙壁区域内的最大矩形区域,然后在该最大矩形区域内确定目标区域,在一些具体示例中,基于墙壁区域内的最大矩形区域确定目标区域的步骤,可以参照如下步骤(1)和步骤(2)执行:
步骤(1),从多个预设的画幅尺寸比例中选取目标画幅尺寸比例。诸如,多个预设的画幅尺寸比例可以为[3:4, 4:3, 16:9, 9:16, 1:1]等长宽比例尺寸,以上仅为示例,在此不进行限制。本公开实施例对于目标画幅尺寸比例的具体选取方式不进行约束,在一些实施示例中,可以从多个预设的画幅尺寸比例中随机选取目标画幅尺寸比例,在另一些实施示例中,可以基于最大矩形区域的尺寸比例,从多个预设的画幅尺寸比例中选取目标画幅尺寸比例。
步骤(2),基于目标画幅尺寸比例,在墙壁区域内的最大矩形区域内指定目标区域。在一些实施示例中,可以在最大矩形区域内随机指定目标区域,在另一些实施示例中,可以基于最大矩形区域内的中心线指定目标区域,以使目标区域位于最大矩形区域内的中心区域。
为便于理解,可以参照图3所示的一种装饰画布局确定示意图。图3中的a图表征场景图像,经分割模型等方式处理可得到b图,b图中的白色区域用于表征场景图像的墙壁区域,之后可采用动态规划等方式确定墙壁区域内的最大矩形区域,c图中的矩形用于表征墙壁区域内的最大矩形区域,d图中的白色区域用于表征最大矩形区域内指定的目标区域,d图可视为利用区域选取策略所得的装饰画布局图。
通过上述方式,即便无法借助模型生成合理的装饰画布局,也能够利用上述区域选择策略确定合理的装饰画布局,充分保障装饰画布局的合理性。
在一些实施方式中,上述步骤S106,也即获取目标区域对应的目标装饰画的步骤,可以参照如下步骤A~步骤C执行:
步骤A,获取用户设置信息;其中,用户设置信息包含装饰画风格信息和/或装饰画数量信息。诸如,可以为用户提供装饰画偏好控件,用户可通过装饰画偏好控件设置其偏好信息,诸如设置所需的装饰画风格,如风景画、肖像画、抽象画、线条画等,还可以设置所需的装饰画数量。
步骤B,基于用户设置信息和目标区域,从预设的装饰画图库中进行检索,得到推荐装饰画。具体的,可以基于用户设置信息和目标区域的区域信息(诸如目标区域的数量、目标区域的长宽比例等信息),从装饰画图库中检索得到既符合用户需求又能够与目标区域匹配的推荐装饰画。本公开实施例可以预先构建并不断扩充装饰画图库,装饰画图库可以包含通过各种途径所得的装饰画,诸如可以通过模型生成、线上搜索、商业购买等方式进行图库中的装饰画扩充,尽可能保障装饰画的丰富性,在此对装饰画图库中的装饰画来源不进行限制。
步骤C,基于推荐装饰画得到目标区域对应的目标装饰画。在一些实施方式中,可以直接将推荐装饰画作为目标区域对应的目标装饰画,在另一些实施方式中,可以对推荐装饰画进行调整处理,将调整处理后的推荐装饰画作为目标区域对应的目标装饰画,具体的,可以参照如下步骤1和步骤2执行:
步骤1,获取场景图像的视觉属性信息。视觉属性信息包括颜色信息、亮度信息、对比度信息中的一种或多种。
步骤2,基于场景图像的视觉属性信息,对推荐装饰画的视觉属性信息进行调整,得到目标区域对应的目标装饰画。诸如,可以将推荐装饰画的视觉属性信息调整至与场景图像的视觉属性信息一致或者相差预设范围内,通过上述方式,可以使最终所得的目标装饰画与场景图像的整体视觉属性相匹配,后续融合所得的目标图像更和谐,避免装饰画的突兀感,可有效提升目标图像的视觉观感。
在一些情况下,上述步骤S108,也即基于目标区域,对场景图像和目标装饰画进行融合处理,得到目标图像的步骤,可以参照如下步骤执行:在目标区域为非矩形区域的情况下,基于目标区域的顶点与目标装饰画的顶点之间的映射关系,对目标装饰画进行透视变换处理;将透视变换处理后的目标装饰画贴于场景图像中的目标区域处,得到目标图像。可以理解的是,出现目标区域为非矩形区域的主要原因在于用户并非以正视视角拍摄场景中的墙壁,也即场景图像中呈现的墙壁为斜墙。而获取到的目标装饰画通常是以正视视角为用户呈现的画幅,也即为矩形画幅,若该目标装饰画的宽为w,高为h,则其四个顶点坐标分别为(0,0), (w,0), (w,h), (0, h)。为了能够将目标装饰画无缝贴附于非正视视角的目标区域,给用户呈现出合理的透视视觉观感,需要基于目标区域对目标装饰画进行透视变换处理,具体而言,可以基于目标区域的四个顶点与目标装饰画的四个顶点之间的映射关系,确定目标装饰画由正视视角转到透视视角下的透视变换矩阵,基于该透视变换矩阵,可以确定目标装饰画中的每个像素对应于目标区域中的位置,从而得到透视变换处理后的目标装饰画贴于场景图像中的目标区域处的效果,也即得到目标图像。而若场景图像是用户针对墙壁以正视视角拍摄的图像,也即场景图像中呈现的是正墙,目标区域也相应为矩形,则无需再进行透视变换处理。
为便于理解,可以参照图4所示的一种目标图像的生成流程示意图,首先可基于场景图像生成装饰画布局,装饰画对应的目标区域以黑色区域示意,通过解析布局的数量和宽高比,可以获取目标装饰画,并可对目标装饰画进行预处理,诸如基于场景图像的颜色信息等视觉属性信息对目标装饰画进行调整,之后再对预处理后的目标装饰画进行透视变换处理,以使透视变换处理后的目标装饰画与目标区域的透视效果一致,从而将其贴回至场景图像的目标区域中,得到目标图像。在实际应用中,还可以进一步对目标图像进行优化处理,诸如,针对目标图像中的目标装饰画添加边框、进行装饰画边缘平滑等,从而使优化后的目标图像更逼真。
本公开实施例提供的上述方法还包括:基于目标图像中的目标区域边缘进行平滑处理,和/或,基于目标图像中的目标区域进行画框添加处理,从而得到优化后的目标图像。其中,诸如可以采用去锯齿算法等平滑算法对目标区域边缘进行平滑处理,降低不平衡边缘导致的生硬感,给用户呈现的整体视觉效果更为柔和,另外,还可以在目标图像中的目标区域的边缘处添加画框效果,可以添加默认画框效果,还可以基于目标图像中呈现的场景(诸如家装风格)智能设置匹配的画框,还可以在用户设置信息包括画框风格、画框宽度等画框偏好信息的情况下,基于该画框偏好信息设置相应的画框。通过上述方式,有助于进一步提升目标图像的视觉效果。
在实际应用中,可以将最终生成的带有装饰画的图像呈现给用户,用户可以根据需求选择更换目标装饰画,此外,后续还可以进一步为用户提供目标装饰画的购买渠道或者定制渠道,本公开实施例对后端业务不进行限制。
综上所述,本公开实施例提供的上述方式,能够基于场景图像便捷地确定待呈现装饰画的目标区域及相应的目标装饰画,并直观地为用户呈现出场景图像中的目标区域呈现有目标装饰画的画面内容的效果图像,无需用户再费时查找装饰画并脑补装饰画悬挂效果,有助于提升用户布置装饰画的效率,提升用户的装饰画布置体验。
对应于前述图像处理方法,本公开实施例进一步提供了一种图像处理装置,图5为本公开实施例提供的一种图像处理装置的结构示意图,该装置可由软件和/或硬件实现,一般可集成在电子设备中,如图5所示,图像处理装置包括:
场景图像获取模块502,用于获取待处理的场景图像;
目标区域确定模块504,用于识别场景图像中的墙壁区域,并确定墙壁区域内待呈现装饰画的目标区域;
装饰画获取模块506,用于获取目标区域对应的目标装饰画;
图像融合模块508,用于基于目标区域,对场景图像和目标装饰画进行融合处理,得到目标图像;其中,目标图像是场景图像中的目标区域呈现有目标装饰画的画面内容的效果图像。
上述装置能够基于场景图像便捷地确定待呈现装饰画的目标区域及相应的目标装饰画,并直观地为用户呈现出场景图像中的目标区域呈现有目标装饰画的画面内容的效果图像,无需用户再费时查找装饰画并脑补装饰画悬挂效果,有助于提升用户布置装饰画的效率,提升用户的装饰画布置体验。
在一些实施方式中,所述目标区域确定模块504具体用于:通过预设的目标网络模型确定所述墙壁区域内待呈现装饰画的推荐区域;基于所述推荐区域确定目标区域。
在一些实施方式中,所述目标区域确定模块504具体用于:基于所述场景图像与所述场景图像中的墙壁区域,利用预设的目标网络模型生成第一图像;其中,所述第一图像是在所述场景图像中的墙壁区域内的局部区域呈现有样例装饰画的图像;基于所述样例装饰画在所述第一图像中占据的区域,得到所述墙壁区域内待呈现装饰画的推荐区域。
在一些实施方式中,所述目标区域确定模块504具体用于:在所述推荐区域符合预设约束条件的情况下,将所述推荐区域作为目标区域;在所述推荐区域不符合所述预设约束条件的情况下,获取所述墙壁区域内的最大矩形区域,基于所述墙壁区域内的最大矩形区域确定目标区域。
在一些实施方式中,所述目标区域确定模块504具体用于:从多个预设的画幅尺寸比例中选取目标画幅尺寸比例;基于所述目标画幅尺寸比例,在所述墙壁区域内的最大矩形区域内指定目标区域。
在一些实施方式中,所述预设约束条件包含推荐区域尺寸约束条件和/或不同的推荐区域之间的相对位置关系约束条件。
在一些实施方式中,所述目标网络模型是基于预设的模型微调技术对预设的修复网络模型进行训练得到的。
在一些实施方式中,所述装饰画获取模块506具体用于:获取用户设置信息;其中,所述用户设置信息包含装饰画风格信息和/或装饰画数量信息;基于所述用户设置信息和目标区域,从预设的装饰画图库中进行检索,得到推荐装饰画;基于所述推荐装饰画得到所述目标区域对应的目标装饰画。
在一些实施方式中,所述装饰画获取模块506具体用于:获取所述场景图像的视觉属性信息;基于所述场景图像的视觉属性信息,对所述推荐装饰画的视觉属性信息进行调整,得到所述目标区域对应的目标装饰画。
在一些实施方式中,所述图像融合模块508具体用于:在所述目标区域为非矩形区域的情况下,基于所述目标区域的顶点与所述目标装饰画的顶点之间的映射关系,对所述目标装饰画进行透视变换处理;将透视变换处理后的所述目标装饰画贴于所述场景图像中的目标区域处,得到目标图像。
在一些实施方式中,所述装置还包括后处理模块,用于基于所述目标图像中的目标区域边缘进行平滑处理,和/或,基于所述目标图像中的目标区域进行画框添加处理。
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置实施例的具体工作过程,可以参考方法实施例中的对应过程,在此不再赘述。
本公开实施例提供了一种电子设备,电子设备包括:存储装置,其上存储有计算机程序;处理装置,用于执行所述存储装置中的所述计算机程序,以实现本公开中任一项方法的步骤。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的方法。所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的图像处理方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本公开实施例中的图像处理方法。
可以理解的是,在使用本公开各施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其他满足相关法律法规的方式也可应用于本公开的实现方式中。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种图像处理方法,其特征在于,包括:
获取待处理的场景图像;
识别所述场景图像中的墙壁区域,并确定所述墙壁区域内待呈现装饰画的目标区域;
获取所述目标区域对应的目标装饰画;
基于所述目标区域,对所述场景图像和所述目标装饰画进行融合处理,得到目标图像;其中,所述目标图像是所述场景图像中的目标区域呈现有所述目标装饰画的画面内容的效果图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述墙壁区域内待呈现装饰画的目标区域,包括:
通过预设的目标网络模型确定所述墙壁区域内待呈现装饰画的推荐区域;
基于所述推荐区域确定目标区域。
3.根据权利要求2所述的图像处理方法,其特征在于,所述通过预设的目标网络模型确定所述墙壁区域内待呈现装饰画的推荐区域,包括:
基于所述场景图像与所述场景图像中的墙壁区域,利用预设的目标网络模型生成第一图像;其中,所述第一图像是在所述场景图像中的墙壁区域内的局部区域呈现有样例装饰画的图像;
基于所述样例装饰画在所述第一图像中占据的区域,得到所述墙壁区域内待呈现装饰画的推荐区域。
4.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述推荐区域确定目标区域,包括:
在所述推荐区域符合预设约束条件的情况下,将所述推荐区域作为目标区域;
在所述推荐区域不符合所述预设约束条件的情况下,获取所述墙壁区域内的最大矩形区域,基于所述墙壁区域内的最大矩形区域确定目标区域。
5.根据权利要求4所述的图像处理方法,其特征在于,所述基于所述墙壁区域内的最大矩形区域确定目标区域,包括:
从多个预设的画幅尺寸比例中选取目标画幅尺寸比例;
基于所述目标画幅尺寸比例,在所述墙壁区域内的最大矩形区域内指定目标区域。
6.根据权利要求4所述的图像处理方法,其特征在于,所述预设约束条件包含推荐区域尺寸约束条件和/或不同的推荐区域之间的相对位置关系约束条件。
7.根据权利要求2所述的图像处理方法,其特征在于,所述目标网络模型是基于预设的模型微调技术对预设的修复网络模型进行训练得到的。
8.根据权利要求1所述的图像处理方法,其特征在于,所述获取所述目标区域对应的目标装饰画,包括:
获取用户设置信息;其中,所述用户设置信息包含装饰画风格信息和/或装饰画数量信息;
基于所述用户设置信息和所述目标区域,从预设的装饰画图库中进行检索,得到推荐装饰画;
基于所述推荐装饰画得到所述目标区域对应的目标装饰画。
9.根据权利要求8所述的图像处理方法,其特征在于,所述基于所述推荐装饰画得到所述目标区域对应的目标装饰画,包括:
获取所述场景图像的视觉属性信息;
基于所述场景图像的视觉属性信息,对所述推荐装饰画的视觉属性信息进行调整,得到所述目标区域对应的目标装饰画。
10.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述目标区域,对所述场景图像和所述目标装饰画进行融合处理,包括:
在所述目标区域为非矩形区域的情况下,基于所述目标区域的顶点与所述目标装饰画的顶点之间的映射关系,对所述目标装饰画进行透视变换处理;
将透视变换处理后的所述目标装饰画贴于所述场景图像中的目标区域处,得到目标图像。
11.根据权利要求1至10任一项所述的图像处理方法,其特征在于,所述方法还包括:
基于所述目标图像中的目标区域边缘进行平滑处理,和/或,基于所述目标图像中的目标区域进行画框添加处理。
12.一种电子设备,其特征在于,所述电子设备包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1-11中任一项所述的图像处理方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-11中任一所述的图像处理方法。
14.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-11中任一项所述的图像处理方法。
CN202411707523.XA 2024-11-26 2024-11-26 图像处理方法、设备、介质及程序产品 Pending CN119205279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411707523.XA CN119205279A (zh) 2024-11-26 2024-11-26 图像处理方法、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411707523.XA CN119205279A (zh) 2024-11-26 2024-11-26 图像处理方法、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN119205279A true CN119205279A (zh) 2024-12-27

Family

ID=94074269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411707523.XA Pending CN119205279A (zh) 2024-11-26 2024-11-26 图像处理方法、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN119205279A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082144A (zh) * 2022-05-23 2022-09-20 阿里巴巴(中国)有限公司 对象显示方法及商品处理方法
CN115131260A (zh) * 2022-07-22 2022-09-30 北京字跳网络技术有限公司 图像处理方法、装置、设备、计算机可读存储介质及产品
CN116932804A (zh) * 2022-03-31 2023-10-24 华为技术有限公司 一种物品的搭配方法以及相关设备
CN117934690A (zh) * 2024-03-25 2024-04-26 全屋优品科技(深圳)有限公司 家居软装管理方法、装置、设备及存储介质
WO2024104423A1 (zh) * 2022-11-18 2024-05-23 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932804A (zh) * 2022-03-31 2023-10-24 华为技术有限公司 一种物品的搭配方法以及相关设备
CN115082144A (zh) * 2022-05-23 2022-09-20 阿里巴巴(中国)有限公司 对象显示方法及商品处理方法
CN115131260A (zh) * 2022-07-22 2022-09-30 北京字跳网络技术有限公司 图像处理方法、装置、设备、计算机可读存储介质及产品
WO2024104423A1 (zh) * 2022-11-18 2024-05-23 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN117934690A (zh) * 2024-03-25 2024-04-26 全屋优品科技(深圳)有限公司 家居软装管理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11062423B2 (en) Image display apparatus and method of operating the same
CN113822898B (zh) 图像的智能裁剪
US20170131963A1 (en) System and method for display mirroring
US9799099B2 (en) Systems and methods for automatic image editing
CN111857532B (zh) 虚拟键盘显示方法、装置及电子设备
CN109324722B (zh) 思维导图的节点添加方法、装置、设备及存储介质
US11043013B2 (en) Display apparatus control method and display apparatus using the same
CN104781850A (zh) 自动化的图形用户界面布局
US20240345853A1 (en) Page processing method, apparatus, device, and storage medium
US20230334789A1 (en) Image Processing Method, Mobile Terminal, and Storage Medium
CN114299100A (zh) 一种屏幕定位方法、终端设备及显示设备
US20190369847A1 (en) Image display apparatus and operating method of the same
CN113110731A (zh) 媒体内容生成的方法和装置
WO2024222356A1 (zh) 特效生成方法、装置、计算机设备及存储介质
CN111567054A (zh) 图像处理方法及其显示装置
CN107622473A (zh) 图像渲染方法、装置、终端及计算机可读存储介质
CN110209861A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN119205279A (zh) 图像处理方法、设备、介质及程序产品
CN117765847A (zh) 一种显示设备及封闭图形生成方法
KR102189292B1 (ko) 차트 표시 방법 및 이를 이용하는 장치
CN106201534A (zh) 一种应用功能显示组件的发布方法及装置
CN120634659A (zh) 一种图像处理方法、装置、电子设备及存储介质
US20260004491A1 (en) Image processing method and apparatus, device, and medium
US12445690B2 (en) Display apparatus
CN120013745A (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination