CN107943762A - 一种基于es搜索的文本相似度排序方法 - Google Patents

Abstract

本发明属于大数据技术领域，其公开了一种基于ES搜索的文本相似度排序方法，通过将文本字词之间的位置顺序作为算法考虑因素，计算文本之间的相似程度，以解决ES搜索无法排序同词不同序文本的问题，提高ES文本相似度排序的准确率。该方法包括以下步骤：a.ES初步搜索获得相似文本集合；b.进行文本分词，得到分词集合；c.以分词集合为基础，对分词后的文本进行向量化表示；d.通过余弦相似度度量文本向量之间相似程度；e.根据余弦相似度值，对文本进行相似度重排序。

Description

一种基于ES搜索的文本相似度排序方法

技术领域

本发明属于大数据技术领域,具体涉及一种基于ES搜索的文本相似度排序方法。

背景技术

ES作为一个实时的分布式搜索和分析引擎，可以用于全文搜索，结构化搜索以及分析。其工作原理为在对文本建立索引的基础上，通过将查询文本进行分词，计算词在数据库文本中出现的频率，以及数据库文本中含有该词的文本数量，然后通过TF-IDF模型的计算公式计算出数据库中文本与查询文本的相似度值，根据相似度值降序快速返回搜索结果。

由于ES的搜索速度快，所以其应用领域也在不断增多。但是，ES默认的评分规则采用了TF-IDF算法模型，该模型以词频作为文本相似度计算的基本单位，没有考虑词与词之间的位置顺序，导致搜索出的排序结果并不能满足需求，时常需要在原有排序的基础上结合应用场景，对评分进行二次打分与重新排序。比如，在相关度相差不大的情况下，词与词或者字与字之间的顺序越接近就应该越靠前等。此时就需要对搜索结果进行重新打分排序。例如：用户搜索”清理内存”，如果数据库中同时存在“清理内存”与“内存清理”两条数据，那么经过TF-IDF算法模型，计算出的“内存清理”的得分与“清理内存”的得分是一样的。那么，ES就无法对这两条数据进行排序，那么返回给用户的数据可能是这两条数据中的随机一条。而显然，本次搜索最应该返回给用户的是“清理内存”而不是“内存清理”。由此可见，传统技术中的文本相似度排序不准确。

发明内容

本发明所要解决的技术问题是：提出一种基于ES搜索的文本相似度排序方法，通过将文本字词之间的位置顺序作为算法考虑因素，计算文本之间的相似程度，以解决ES搜索无法排序同词不同序文本的问题，提高ES文本相似度排序的准确率。

本发明解决上述技术问题采用的技术方案是：

一种基于ES搜索的文本相似度排序方法，包括以下步骤：

a.ES初步搜索获得相似文本集合；

b.进行文本分词，得到分词集合；

c.以分词集合为基础，对分词后的文本进行向量化表示；

d.通过余弦相似度度量文本向量之间相似程度；

e.根据余弦相似度值，对文本进行相似度重排序。

作为进一步优化，步骤b中，在进行文本分词时，对每个文本按照从前往后每相邻的两个字为一词的规则进行分词,即保留了字词的先后位置信息。

作为进一步优化，步骤d中，所述通过余弦相似度度量文本向量之间相似程度，具体包括：

假设搜索文本q的向量表示为向量vec_q，初步搜索结果集合中的某一文本t的向量表示为向量vec_t，则向量vec_q与向量vec_t之间的余弦相似度计算公式为：

式中，vec_q与vec_t为搜索文本q与搜索结果集合中的某一文本的向量表示；||vec_q||与||vec_t||分别为向量vec_q与vec_t的模。

本发明的有益效果是：本发明将文本字词之间先后位置的顺序信息作为考虑因素，对文本进行相似度排序：首先通过ES默认的TF-IDF模型搜索出一定数量的相似文本集合，然后对文本集合中的每个文本进行相邻两字成一词规则进行分词，即包含字词之间的先后位置信息，以分词集合中的词作为基本单位对文本进行向量化表示，采用余弦相似度公式度量文本之间的相似程度，根据余弦相似度值对文本进行相似度排序。采用该方案排序的结果更准确。

附图说明

图1为本发明中的基于ES搜索的文本相似度排序方法流程图。

具体实施方式

本发明旨在提出一种基于ES搜索的文本相似度排序方法，通过将文本字词之间的位置顺序作为算法考虑因素，计算文本之间的相似程度，以解决ES搜索无法排序同词不同序文本的问题，提高ES文本相似度排序的准确率。

本发明采用ES默认的TF-IDF模型计算查询文本与数据库文本之间的相似度值，并搜索匹配出一定数量分值靠前的文本集合，文本分词，文本向量化表示，通过余弦相似度计算文本之间的相似程度并进行重排序。如图1所示，其具体包括以下步骤：

a)利用ES默认TF-IDF模型搜索数据库，得到一定数量的文本数据集合。如下：

假设查询文本为：

query＝“清理内存”

通过TF-IDF模型初步搜索出的前五条数据为：

result_top_5＝{“内存清理”、“清理内存”、“清理下内存”、“帮我清理内存”、“帮我清理下内存”}

由以上可以看出，搜索结果默认排序中“内存清理”优先于“清理内存”。显然，这样的排序结果不符合需求。

b)对搜索结果文本集合中每个文本进行每两字成一词的规则进行分词，即保留了字词的先后位置信息，得到分词集合。

result_top_5中文本集合进行分词，得到的分词集合为：

result_top_5_words＝{“内存”、“存清”、“理内”、“理下”、“下内”、“清理”、“帮我”、“我清”}

c)以分词集合result_top_5_words中的词作为词向量基本单位，对文本进行向量化表示。则,查询文本query＝“清理内存”的向量化表示为：

vec_query＝(1，1，0，0，0，1，0，0)

result_top_5文本集合中某一文本“帮我清理内存”(txt_4)的向量化表示为：

vec_txt_4＝(1,0,1,0,0,1,1,1)

d)通过余弦相似度度量文本向量之间相似程度。两向量之间的余弦值越大，则向量越相似；反之，越不相似。则查询文本query＝“清理内存”与文本txt_4＝“帮我清理内存”的余弦相似度计算公式为：

式中，vec_query与vec_txt_4为搜索文本query与搜索结果集合中的某一文本txt_4的向量表示；||vec_query||与||vec_txt_4||分别为向量vec_query与vec_txt_4的模。

将vec_query＝(1，1，0，0，0，1，0，0)与vec_txt_4＝(1,0,1,0,0,1,1,1)代入上式可得这两文本之间的余弦相似度值为：0.5164。

依次将查询文query与集合中的其他文本进行余弦相似度值计算。

e)对计算出的余弦相似度值进行降序排序，得出文本相似度排序结果。

Claims (3)

1.一种基于ES搜索的文本相似度排序方法，其特征在于，包括以下步骤：

a.ES初步搜索获得相似文本集合；

b.进行文本分词，得到分词集合；

c.以分词集合为基础，对分词后的文本进行向量化表示；

d.通过余弦相似度度量文本向量之间相似程度；

e.根据余弦相似度值，对文本进行相似度重排序。

2.如权利要求1所述的一种基于ES搜索的文本相似度排序方法，其特征在于，步骤b中，在进行文本分词时，对每个文本按照从前往后每相邻的两个字为一词的规则进行分词,即保留了字词的先后位置信息。

3.如权利要求1或2所述的一种基于ES搜索的文本相似度排序方法，其特征在于，步骤d中，所述通过余弦相似度度量文本向量之间相似程度，具体包括：

假设搜索文本q的向量表示为向量vec_q，初步搜索结果集合中的某一文本t的向量表示为向量vec_t，则向量vec_q与向量vec_t之间的余弦相似度计算公式为：

<mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>q</mi> <mo>,</mo> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>q</mi> <mo>&amp;CenterDot;</mo> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>t</mi> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>q</mi> <mo>|</mo> <mo>|</mo> <mo>&amp;times;</mo> <mo>|</mo> <mo>|</mo> <mi>v</mi> <mi>e</mi> <mi>c</mi> <mo>_</mo> <mi>t</mi> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> </mrow>

式中，vec_q与vec_t为搜索文本q与搜索结果集合中的某一文本的向量表示；||vec_q||与||vec_t||分别为向量vec_q与vec_t的模。