KR19990057839A

KR19990057839A - How to deal with cache misses

Info

Publication number: KR19990057839A
Application number: KR1019970077918A
Authority: KR
Inventors: 배종홍; 강종훈
Original assignee: 김영환; 현대전자산업 주식회사
Priority date: 1997-12-30
Filing date: 1997-12-30
Publication date: 1999-07-15

Abstract

본 발명은 파이프라인 방식의 MPU/MCU에서 캐쉬 미스 시의 명령어 처리 사이클 수를 줄일 수 있는 캐쉬 미스 시 처리 방법을 제공하기 위한 것으로, 이를 위해 본 발명은 다수의 스테이지를 가진 파이프라인된 마이크로프로세서 및 마이크로컨트롤러의 명령어 캐쉬 미스 처리 방법에 있어서, 제1 명령어를 페치하는 어느 한 스테이지에서 명령어 캐쉬 히트 및 미스 여부에 관계없이 무조건 명령어 캐쉬 미스 시 필요한 외부 어드레스를 생성하는 제1 캐쉬 미스 사이클을 함께 수행하며, 다수의 스테이지를 가진 파이프라인된 마이크로프로세서 및 마이크로컨트롤러의 데이터 캐쉬 미스 처리 방법에 있어서, 상기 데이터 캐쉬를 읽어오는 어느 한 스테이지에서 데이터 캐쉬 히트 및 미스 여부에 관계없이 무조건 데이터 캐쉬 미스 시 필요한 외부 어드레스를 생성하는 제1 캐쉬 미스 사이클을 함께 수행한다.The present invention provides a cache miss processing method that can reduce the number of instruction processing cycles at the time of a cache miss in a pipelined MPU / MCU, and the present invention provides a pipelined microprocessor having a plurality of stages and In the microcontroller instruction cache miss processing method, at any stage to fetch the first instruction, the microcontroller performs a first cache miss cycle that generates an external address required for the instruction cache miss regardless of whether the instruction cache hits or misses. A data cache miss processing method of a pipelined microprocessor and a microcontroller having a plurality of stages, the external address required to unconditionally miss a data cache regardless of whether the data cache hits or misses at any stage of reading the data cache. To It is performed with a first cache miss cycle to sex.

Description

How to deal with cache misses

본 발명은 마이크로컨트롤러 혹은 마이크로프로세서에 관한 것으로서, 특히 캐쉬 억세스 시 미스가 발생한 경우에 대한 처리 방법에 관한 것이다.The present invention relates to a microcontroller or a microprocessor, and more particularly, to a method of handling a case of a miss in cache access.

최근 프로세서(processor)의 성능 향상을 위해 마이크로컨트롤러(microcontroller, 이하 MCU) 혹은 마이크로프로세서(microprocessor, 이하 MPU) 설계 시 파이프라인(pipeline) 기법을 많이 채용하고 있다. 파이프라인 방식은 명령어 처리 과정을 다수 개의 스테이지(stage)로 나누고, 한 사이클동안 다수 개 명령어의 각기 다른 스테이지를 병렬 처리함으로써 사이클 당 정보처리량을 극대화하는 기법이다.Recently, in order to improve the performance of a processor, a pipeline technique is widely used when designing a microcontroller (microcontroller) or a microprocessor (MPU). The pipeline method divides the instruction processing process into multiple stages and maximizes the information throughput per cycle by parallelizing different stages of multiple instructions during one cycle.

도 1은 종래 기술의 일실시예로 5-스테이지 파이프라인 처리 과정을 도시한 도면으로, 먼저 IF(instruction fetch) 스테이지는 명령어를 페치(fetch)하는 단계이다. 이때 명령어 캐쉬(instruction cache)에 페치하려는 명령어가 존재하면 캐쉬 히트(cache hit)가 발생하고, 명령어가 존재하지 않으면 캐쉬 미스(cache miss)가 발생한다. RD(Read and Decode) 스테이지는 명령어를 디코딩한 후 명령어 처리를 위한 오퍼랜드(operand)를 페치하는 단계이다. EXE(execution) 스테이지는 오퍼랜드를 실제적으로 처리하는 단계이다. MEM(memory) 스테이지는 메모리 오퍼레이션이 필요한 경우 즉, 로드 명령어(Load instruction) 혹은 스토어 명령어(store instruction)가 수행되는 경우 EXE 스테이지에서 구해진 로드 혹은 스토어할 어드레스로 해당 메모리를 읽어오는 단계이다. WB(write back) 스테이지는 처리된 데이터를 레지스터 파일에 라이트(write)하는 단계이다.1 is a diagram illustrating a five-stage pipeline processing process according to an embodiment of the prior art. First, an IF (instruction fetch) stage is a step of fetching an instruction. At this time, if there is an instruction to fetch in the instruction cache, a cache hit occurs, and if the instruction does not exist, a cache miss occurs. The Read and Decode (RD) stage decodes an instruction and then fetches an operand for instruction processing. An EXE (execution) stage is a step that actually processes the operand. The MEM (memory) stage is a step of reading the memory with an address to be loaded or stored obtained from the EXE stage when a memory operation is required, that is, when a load instruction or a store instruction is performed. The write back (WB) stage is a step of writing the processed data to a register file.

도 2는 종래의 명령어 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 것이다. 먼저 제1 명령어의 처리과정을 살펴보면, 제1 명령어가 명령어 캐쉬 내에 존재하여 캐쉬 히트가 발생되는 경우로서 IF 스테이지에서 해당 명령어를 페치한 후 다음 RD 스테이지로 넘어간다. 다음으로, 제1 명령어와 파이프라인 방식으로 수행되는 제2 명령어의 처리과정을 살펴보면, 제2 명령어가 명령어 캐쉬 내에 존재하지 않아 IF 스테이지에서 캐쉬 미스가 발생되는 경우로서 파이프라인을 잠시 멈추고(stall) 제2 명령어를 외부(예를 들자면, 메인 메모리)에서 페치해서 내부로 가져오는 과정인 캐쉬 미스 처리 과정(CM1 스테이지 및 CM2 스테이지)을 추가로 수행한다. 이때, 제2 명령어와 파이프라인되어 처리되던 제1 명령어의 수행은 캐쉬 미스 처리 과정 동안 스톨(stall)된다. 캐쉬 미스 처리 과정 동안의 명령어 사이클 손실을 파이프라인 스톨이라고 하며, 도 2는 일실시예로 파이프라인 스톨이 "2"인 경우이다.2 illustrates a pipeline processing process of a processor including a conventional instruction cache. First, the processing of the first instruction, when the first instruction exists in the instruction cache and the cache hit occurs, the instruction is fetched from the IF stage, and then the process proceeds to the next RD stage. Next, referring to the processing of the second instruction executed in a pipelined manner with the first instruction, when the second instruction does not exist in the instruction cache and a cache miss occurs in the IF stage, the pipeline is stalled. The cache miss processing process (CM1 stage and CM2 stage), which is a process of fetching the second instruction from the outside (for example, main memory) and bringing it into the inside, is further performed. At this time, execution of the first instruction, which is processed in a pipeline with the second instruction, is stalled during the cache miss process. The instruction cycle loss during the cache miss process is referred to as pipeline stall, and FIG. 2 is one example where the pipeline stall is "2".

도 3은 종래의 데이터 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 것이다. 먼저 제1 명령어의 처리과정을 살펴보면, 제1 명령어가 로드 명령 혹은 스토어 명령일 경우에, MEM 스테이지에서 로드 혹은 스토어할 어드레스로 데이터 캐쉬를 읽어올 때 캐쉬 미스가 발생되는 경우로서 이때, 파이프라인을 잠시 멈추고(stall) 캐쉬 미스 처리 과정(CM1 스테이지 및 CM2 스테이지)을 추가로 수행하게 된다. 이때, 파이프라인되어 처리되고 있는 모든 명령어의 수행은 캐쉬 미스 처리 과정 동안 스톨(stall)된다. 전술한 명령어 캐쉬의 경우와 마찬가지로 파이프라인 스톨은 "2" 이다.3 illustrates a pipeline processing process of a processor including a conventional data cache. First of all, when the first instruction is a load instruction or a store instruction, a cache miss occurs when a data cache is read from the MEM stage to an address to be loaded or stored. Stall the cache miss process (CM1 stage and CM2 stage) further. At this time, execution of all instructions being pipelined and processed is stalled during the cache miss process. As in the case of the instruction cache described above, the pipeline stall is "2".

종래의 파이프라인 처리 과정은 전술하였듯이 명령어 캐쉬 혹은 데이터 캐쉬에서 캐쉬 미스가 발생하였을 경우 캐쉬 미스 처리 과정 내내(도 2의 경우는 2사이클 동안) 파이프라인을 스톨시킴으로써 많은 사이클이 손실되는 문제점이 발생한다.In the conventional pipeline processing process, as described above, when a cache miss occurs in the instruction cache or the data cache, many cycles are lost by stalling the pipeline throughout the cache miss processing process (for 2 cycles in FIG. 2). .

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 파이프라인 방식의 MPU/MCU에서 캐쉬 미스 시의 명령어 처리 사이클 수를 줄일 수 있는 캐쉬 미스 시 처리 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a cache miss processing method that can reduce the number of instruction processing cycles during cache misses in a pipelined MPU / MCU.

도 1은 종래의 5-스테이지 파이프라인 처리 과정을 도시한 개념도.1 is a conceptual diagram showing a conventional five-stage pipeline processing process.

도 2는 종래의 명령어 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 개념도.2 is a conceptual diagram illustrating a pipeline processing process of a processor including a conventional instruction cache.

도 3은 종래의 데이터 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 개념도.3 is a conceptual diagram illustrating a pipeline processing process of a processor including a conventional data cache.

도 4는 본 발명의 일실시예로, 명령어 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 개념도.4 is a conceptual diagram illustrating a pipeline processing process of a processor including an instruction cache according to an embodiment of the present invention.

도 5는 본 발명의 또다른 일실시예로, 데이터 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 개념도.5 is a conceptual diagram illustrating a pipeline processing process of a processor including a data cache according to another embodiment of the present invention.

상기 목적을 달성하기 위한 본 발명은 다수의 스테이지를 가진 파이프라인된 마이크로프로세서 및 마이크로컨트롤러의 명령어 캐쉬 미스 처리 방법에 있어서, 제1 명령어를 페치하는 어느 한 스테이지에서 명령어 캐쉬 히트 및 미스 여부에 관계없이 무조건 명령어 캐쉬 미스 시 필요한 외부 어드레스를 생성하는 제1 캐쉬 미스 사이클을 함께 수행하는 명령어 캐쉬 미스 처리 방법을 포함하여 이루어진다.In order to achieve the above object, the present invention provides a method for processing instruction cache misses of a pipelined microprocessor and a microcontroller having a plurality of stages, regardless of whether the instruction cache hits or misses at any stage of fetching the first instruction. An instruction cache miss processing method of performing a first cache miss cycle that generates an external address required for an unconditional instruction cache miss is performed.

또한, 본 발명은 다수의 스테이지를 가진 파이프라인된 마이크로프로세서 및 마이크로컨트롤러의 데이터 캐쉬 미스 처리 방법에 있어서, 상기 데이터 캐쉬를 읽어오는 어느 한 스테이지에서 데이터 캐쉬 히트 및 미스 여부에 관계없이 무조건 데이터 캐쉬 미스 시 필요한 외부 어드레스를 생성하는 제1 캐쉬 미스 사이클을 함께 수행하는 데이터 캐쉬 미스 처리 방법을 포함하여 이루어진다.In addition, the present invention provides a method for processing data cache misses of a pipelined microprocessor and a microcontroller having a plurality of stages, wherein the data cache misses at any stage of reading the data cache, regardless of whether the data cache hits or misses. And a data cache miss processing method for performing a first cache miss cycle for generating an external address required at the same time.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 살펴본다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명의 일실시예로, 명령어 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 것이다.4 is a diagram illustrating a pipeline processing process of a processor including an instruction cache according to one embodiment of the present invention.

명령어 캐쉬의 미스 처리 과정은 해당하는 명령어의 외부 어드레스를 생성한 후, 해당하는 명령어의 페치 등의 과정으로 이루어진다. 이때, 외부 어드레스 생성 등의 과정은 MPU/MCU의 내부 상태 변화에 직접적인 영향을 미치지 못하는 점에 착안하여, 종래의 IF 스테이지로부터 명령어 캐쉬의 히트/미스 여부에 상관없이 무조건적으로 외부 어드레스를 생성하는 IF/CM1스테이지를 새롭게 정의한다. 즉, IF/CM1에서 종래의 IF 스테이지에서 수행하던 명령어 페치 수행과 함께 무조건적으로 첫번째 캐쉬 미스 사이클을 수행하게 한다. 도면에 도시한 바와 같이, 먼저 제1 명령어의 처리과정을 살펴보면, 제1 명령어가 명령어 캐쉬 내에 존재하여 캐쉬 히트가 발생되는 경우로서 IF/CM1 스테이지에서 해당 명령어를 페치한 후 첫 번째 캐쉬 미스 사이클을 수행(캐쉬 히트임에도 불구하고)하고, 캐쉬 히트이므로 첫 번째 캐쉬 미스 사이클 처리 동작은 무시하고 다음 RD 스테이지로 넘어간다. 다음으로, 제1 명령어와 파이프라인 방식으로 수행되는 제2 명령어의 처리과정을 살펴보면, 제2 명령어가 명령어 캐쉬 내에 존재하지 않아 캐쉬 미스가 발생되는 경우로서 IF/CM1 스테이지에서 외부 어드레스 생성하는 첫 번째 캐쉬 미스 사이클을 수행하고, 파이프라인을 잠시 멈추고(stall) IF/CM1 스테이지에서 생성된 외부 어드레스로 두 번째 캐쉬 미스 처리 사이클(CM2 스테이지)을 수행한다. 상기와 같은 방법으로, 전술한 종래의 캐쉬 미스 처리에 필요한 2사이클의 파이프라인 스톨을 도 3에 도시된 바와 같이 1사이클로 줄일 수 있다.The miss processing of the instruction cache is performed by generating an external address of a corresponding instruction and then fetching the corresponding instruction. At this time, the process of generating an external address does not directly affect the internal state change of the MPU / MCU, so that the IF generates an external address unconditionally regardless of whether the instruction cache hits or misses from the conventional IF stage. / CM1 Defines a new stage. That is, the IF / CM1 performs the first cache miss cycle unconditionally along with the instruction fetch performed in the conventional IF stage. As shown in the figure, first, the processing of the first instruction, when the first instruction is present in the instruction cache and the cache hit occurs, the first cache miss cycle after fetching the instruction in the IF / CM1 stage It is a cache hit, and because it is a cache hit, it ignores the first cache miss cycle processing operation and proceeds to the next RD stage. Next, referring to the processing of the second instruction executed in a pipelined manner with the first instruction, a cache miss occurs because the second instruction does not exist in the instruction cache. Perform a cache miss cycle, stall the pipeline and perform a second cache miss processing cycle (CM2 stage) with the external address generated in the IF / CM1 stage. In this manner, the pipeline stall of two cycles required for the aforementioned conventional cache miss treatment can be reduced to one cycle as shown in FIG. 3.

도 5는 본 발명의 또다른 일실시예로, 데이터 캐쉬를 포함한 프로세서의 파이프라인 처리 과정을 도시한 것이다. 전술한 캐쉬 미스 처리 방법을 데이터 캐쉬에 적용할 경우로 MEM 스테이지와 CM1 스테이지를 하나로 처리하는 M/CM1 스테이지를 정의하여 MEM 스테이지에서 무조건적으로 첫 번째 캐쉬 미스 사이클을 미리 처리함으로써 데이터 캐쉬 미스일 경우에 데이터 페치 사이클을 1사이클 줄일 수 있게 한다.FIG. 5 illustrates a pipeline processing procedure of a processor including a data cache according to another embodiment of the present invention. In the case of applying the aforementioned cache miss processing method to the data cache, the M / CM1 stage which processes the MEM stage and the CM1 stage as one is defined and the data cache miss is processed by unconditionally processing the first cache miss cycle in the MEM stage. Allows you to reduce the data fetch cycle by one cycle.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes can be made in the art without departing from the technical spirit of the present invention. It will be apparent to those of ordinary knowledge.

상기와 같이 이루어지는 본 발명은 캐쉬 미스의 경우 필요한 명령어 페치 사이클을 줄여 전체 프로세서의 처리 효율을 높이고, 고성능 다기능의 MPU/MCU 설계에 적용되어 고 부가가치의 MPU/MCU 구현이 가능하다.The present invention made as described above can increase the processing efficiency of the entire processor by reducing the instruction fetch cycle required in the case of a cache miss, it is possible to implement a high value-added MPU / MCU by applying to a high-performance multi-function MPU / MCU design.

Claims

In the instruction cache miss processing method of a pipelined microprocessor and a microcontroller having a plurality of stages,

An instruction cache miss processing method of performing a first cache miss cycle for generating an external address required for an instruction cache miss, regardless of whether an instruction cache hit and miss is performed at any stage of fetching the first instruction.

The method of claim 1,

And ignoring the first cache miss cycle operation performed when an instruction cache hit is generated in the stage, and proceeding to the next stage of the pipelined stage.

The method of claim 1,

And a step of continuously performing a second cache miss processing cycle by the external address when an instruction cache miss is generated in the stage.

A method of processing data cache misses in a pipelined microprocessor and microcontroller having multiple stages,

And a first cache miss cycle for generating an external address required for data cache miss, regardless of whether or not a data cache hit or miss is performed at one stage of reading the data cache.

The method of claim 4, wherein

And disregarding the first cache miss cycle processing operation performed when a data cache hit occurs in the stage, and proceeding to the next stage of the pipelined stage.

The method of claim 4, wherein

And a step of continuously performing a second cache miss processing cycle by the external address when a data cache miss occurs in the stage.