CN107301087A - 一种多线程系统的性能提升方法和装置 - Google Patents

Abstract

本申请公开了一种多线程系统的性能提升方法和装置，该方法包括将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；创建与所述线程的数量相等的任务队列；将每个所述线程关联至一组所述任务队列；当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。上述多线程系统的性能提升方法和装置，能够减少因为锁等待导致的性能下降问题，提高存储系统中多线程并发性，提升系统性能。

Description

一种多线程系统的性能提升方法和装置

技术领域

本发明属于存储系统技术领域，特别是涉及一种多线程系统的性能提升方法和装置。

背景技术

随着数据量逐渐增大，人们对存储系统性能的要求越来越高。现阶段的处理器单个核性能越来越难以提升，因此，多核成了处理器发展的一个方向。一个CPU中存在多个核，所以一个系统中同时运行多个线程能够提高系统的并发性，从而显著提升存储系统的性能。

然而。限制多线程系统的性能的一个重要因素是锁，对于一些共享资源的使用，导致线程直接相互牵制，需要用到锁。当多个线程在等待同一个锁时，相当于是单个线程的效率，极大的限制了多线程系统能够得到的性能提升，所以如何解决锁的问题是多线程系统中的一个重要问题。

发明内容

为解决上述问题，本发明提供了一种多线程系统的性能提升方法和装置，能够减少因为锁等待导致的性能下降问题，提高存储系统中多线程并发性，提升系统性能。

本发明提供的一种多线程系统的性能提升方法，包括：

将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；

创建与所述线程的数量相等的任务队列；

将每个所述线程关联至一组所述任务队列；

当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；

当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。

优选的，在上述多线程系统的性能提升方法中，还包括：

将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

优选的，在上述多线程系统的性能提升方法中，所述创建与所述线程的数量相等的任务队列为：

创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。

优选的，在上述多线程系统的性能提升方法中，所述固定个数的范围为40个至60个。

优选的，在上述多线程系统的性能提升方法中，所述预设阈值的范围为600毫秒至1000毫秒。

本发明提供的一种多线程系统的性能提升装置，包括：

绑定单元，用于将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；

创建单元，用于创建与所述线程的数量相等的任务队列；

关联单元，用于将每个所述线程关联至一组所述任务队列；

添加单元，用于当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；

执行单元，用于当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。

优选的，在上述多线程系统的性能提升装置中，还包括：

任务拆分单元，用于将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

优选的，在上述多线程系统的性能提升装置中，所述创建单元具体用于创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。

通过上述描述可知，本发明提供的上述多线程系统的性能提升方法和装置，由于该方法包括将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；创建与所述线程的数量相等的任务队列；将每个所述线程关联至一组所述任务队列；当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行，因此能够减少因为锁等待导致的性能下降问题，提高存储系统中多线程并发性，提升系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的第一种多线程系统的性能提升方法的示意图；

图2为任务队列的结构示意图；

图3为本申请实施例提供的第一种多线程系统的性能提升装置的示意图。

具体实施方式

本发明的核心思想在于提供一种多线程系统的性能提升方法和装置，能够减少因为锁等待导致的性能下降问题，提高存储系统中多线程并发性，提升系统性能。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的第一种多线程系统的性能提升方法如图1所示，图1为本申请实施例提供的第一种多线程系统的性能提升方法的示意图，该方法包括如下步骤：

S1：将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；

具体的，在系统启动的时候，首先计算当前系统处理器有多少个核，然后我们启动跟核数相同个数的线程，并且将每个线程绑定到固定的处理器核上，以减少线程在不同核上切换导致的性能开销。

S2：创建与所述线程的数量相等的任务队列；

任意一个线程运行过程中都应该允许往任意队列中添加新任务，按常规做法，线程操作同一个队列过程中需要加锁，而本实施例中，为了避免锁的使用，将每一个线程关联到一组任务队列。

S3：将每个所述线程关联至一组所述任务队列；

需要说明的是，这个绑定关系可以改变，但一个时间点，每个线程关联到一组确定的队列，不同线程关联的队列不同，这样同一个时间多个线程不会从同一个队列取任务，可以避免取任务加锁的问题。

S4：当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；

具体的，当某个线程需要往任务队列添加任务T时，先确定需要添加任务到队列m，即给队列queues[m][*]对应的线程安排任务，然后取到当前线程自己对应的队列号n，则该线程将任务T添加到queues[m][n]。这样任一线程往任一队列添加任务时，不会发生冲突，添加任务时不需要加锁。

S5：当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。

具体的，每个线程启动后会执行一个无限循环，一直尝试从它对应的任务队列中取任务。每个任务是一个回调函数，取到任务后，该线程将会调用这个函数。系统中可以分配MAX_Q*MAX_Q个这样的队列，TaskQqueues[MAX_Q][MAX_Q]，每个线程对应MAX_Q个队列，线程i固定从queues[i][*]中取任务，*表示[0,MAX_Q)，这样每个线程在取任务的时候不会相互干扰，可以避免加锁。

通过上述描述可知，本申请实施例提供的第一种多线程系统的性能提升方法，由于包括将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；创建与所述线程的数量相等的任务队列；将每个所述线程关联至一组所述任务队列；当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行，因此能够减少因为锁等待导致的性能下降问题，提高存储系统中多线程并发性，提升系统性能。

本申请实施例提供的第二种多线程系统的性能提升方法，是在上述第一种多线程系统的性能提升方法的基础上，还包括如下技术特征：

还包括：

将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

需要说明的是，为了避免某个线程长时间被某个任务占用，导致其他任务得不到处理，导致IO超时，这里可以将每个IO处理拆分成小块的任务，每个任务时间尽量短，每个线程每次取固定个数的任务处理，处理完算完成一个周期，一个周期的时间不能超过某个固定的阈值，这样能保证每个线程都忙碌，且每个任务都能快速得到执行，避免有的IO长时间得不到处理，导致超时问题。一个例子如下：一个IO处理需要2s，但这2s可能不是连续干完的，中间可能会等待一些其他条件，处理器是空闲的，这样可以把这个IO拆成若干个小的任务，比如这个任务原来是：干活0.1s，等待0.7s，干活0.2s，等待0.7s干活0.3s，我们可以把它拆成3段，干活0.1s，处理别的IO，再干活0.2s，再去处理别的IO，再干活0.3s，完成。

本申请实施例提供的第三种多线程系统的性能提升方法，是在上述第一种或第二种多线程系统的性能提升方法的基础上，还包括如下技术特征：

所述创建与所述线程的数量相等的任务队列为：

创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。

具体的，参考图2，图2为任务队列的结构示意图，环形队列采用固定长度，填满后会将多出的任务链接到溢出队列，线程工作过程中会不断的从对应的队列中取任务，处理后会将溢出队列中的任务补充到环形队列中去，这样既可以得到线性表遍历快速的好处，又弥补了其容量固定的缺陷。

本申请实施例提供的第四种多线程系统的性能提升方法，是在上述第二种多线程系统的性能提升方法的基础上，还包括如下技术特征：

所述固定个数的范围为40个至60个。

本申请实施例提供的第五种多线程系统的性能提升方法，是在上述第四种多线程系统的性能提升方法的基础上，还包括如下技术特征：

所述预设阈值的范围为600毫秒至1000毫秒。

更进一步的，目前的优选设置方案是50个任务执行总时间不超过800毫秒。采用拆分任务的方法，将任务尽可能拆分成小块，能够避免长时间占用某个线程导致其他任务得不到调度而导致IO超时的问题，从而提高IO的响应速度，而且可以相互检查超时，及时发现某个线程被长时间占用的情况，并及时做出反应，方便查找定位问题。

本申请实施例提供的第一种多线程系统的性能提升装置如图3所示，图3为本申请实施例提供的第一种多线程系统的性能提升装置的示意图，该装置包括：

绑定单元301，用于将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上，具体的，在系统启动的时候，用于计算当前系统处理器有多少个核，然后启动跟核数相同个数的线程，并且将每个线程绑定到固定的处理器核上，以减少线程在不同核上切换导致的性能开销；

创建单元302，用于创建与所述线程的数量相等的任务队列，任意一个线程运行过程中都应该允许往任意队列中添加新任务，按常规做法，线程操作同一个队列过程中需要加锁，而本实施例中，为了避免锁的使用，将每一个线程关联到一组任务队列；

关联单元303，用于将每个所述线程关联至一组所述任务队列，需要说明的是，这个绑定关系可以改变，但一个时间点，每个线程关联到一组确定的队列，不同线程关联的队列不同，这样同一个时间多个线程不会从同一个队列取任务，可以避免取任务加锁的问题；

添加单元304，用于当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]，具体的，当某个线程需要往任务队列添加任务T时，先确定需要添加任务到队列m，即给队列queues[m][*]对应的线程安排任务，然后取到当前线程自己对应的队列号n，则该线程将任务T添加到queues[m][n]。这样任一线程往任一队列添加任务时，不会发生冲突，添加任务时不需要加锁；

执行单元305，用于当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行，具体的，每个线程启动后会执行一个无限循环，一直尝试从它对应的任务队列中取任务。每个任务是一个回调函数，取到任务后，该线程将会调用这个函数。系统中可以分配MAX_Q*MAX_Q个这样的队列，TaskQ queues[MAX_Q][MAX_Q]，每个线程对应MAX_Q个队列，线程i固定从queues[i][*]中取任务，*表示[0,MAX_Q)，这样每个线程在取任务的时候不会相互干扰，可以避免加锁。

本申请实施例提供的第二种多线程系统的性能提升装置，时在上述第一种多线程系统的性能提升装置的基础上，还包括如下技术特征：

还包括：

任务拆分单元，用于将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

需要说明的是，为了避免某个线程长时间被某个任务占用，导致其他任务得不到处理，导致IO超时，这里可以将每个IO处理拆分成小块的任务，每个任务时间尽量短，每个线程每次取固定个数的任务处理，处理完算完成一个周期，一个周期的时间不能超过某个固定的阈值，这样能保证每个线程都忙碌，且每个任务都能快速得到执行，避免有的IO长时间得不到处理，导致超时问题。一个例子如下：一个IO处理需要2s，但这2s可能不是连续干完的，中间可能会等待一些其他条件，处理器是空闲的，这样可以把这个IO拆成若干个小的任务，比如这个任务原来是：干活0.1s，等待0.7s，干活0.2s，等待0.7s干活0.3s，我们可以把它拆成3段，干活0.1s，处理别的IO，再干活0.2s，再去处理别的IO，再干活0.3s，完成。

本申请实施例提供的第三种多线程系统的性能提升装置，时在上述第一种或第二种多线程系统的性能提升装置的基础上，还包括如下技术特征：

所述创建单元具体用于创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。

环形队列采用固定长度，填满后会将多出的任务链接到溢出队列，线程工作过程中会不断的从对应的队列中取任务，处理后会将溢出队列中的任务补充到环形队列中去，这样既可以得到线性表遍历快速的好处，又弥补了其容量固定的缺陷。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种多线程系统的性能提升方法，其特征在于，包括：

将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；

创建与所述线程的数量相等的任务队列；

将每个所述线程关联至一组所述任务队列；

当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；

当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。

2.根据权利要求1所述的多线程系统的性能提升方法，其特征在于，还包括：

将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

3.根据权利要求1或2所述的多线程系统的性能提升方法，其特征在于，

所述创建与所述线程的数量相等的任务队列为：

创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。

4.根据权利要求2所述的多线程系统的性能提升方法，其特征在于，

所述固定个数的范围为40个至60个。

5.根据权利要求4所述的多线程系统的性能提升方法，其特征在于，

所述预设阈值的范围为600毫秒至1000毫秒。

6.一种多线程系统的性能提升装置，其特征在于，包括：

绑定单元，用于将与当前系统的处理器核数量相等的线程一一对应的绑定至处理器核上；

创建单元，用于创建与所述线程的数量相等的任务队列；

关联单元，用于将每个所述线程关联至一组所述任务队列；

添加单元，用于当所述线程向所述任务队列添加任务时，确定需要添加到的任务队列号m和所述线程本身对应的队列号n，将所述任务添加至任务队列[m][n]；

执行单元，用于当所述线程执行任务时，只从与所述线程绑定的任务队列中取出任务并执行。

7.根据权利要求6所述的多线程系统的性能提升装置，其特征在于，还包括：

任务拆分单元，用于将所述任务拆分成多个小块任务，并利用所述线程每次取出固定个数的小块任务进行处理，且处理周期不超过预设阈值。

8.根据权利要求6或7所述的多线程系统的性能提升装置，其特征在于，

所述创建单元具体用于创建与所述线程的数量相等的任务队列，所述任务队列包括固定长度的环形队列和非固定长度的溢出队列。