The Gemmini project๋ ์ ์ฒด ์์คํ ๋ฐ ์ ์ฒด ์คํ DNN ํ๋์จ์ด ํ์ ๋ฐ ํ๊ฐ ํ๋ซํผ์ ๊ฐ๋ฐ ์ค์ ๋๋ค. Gemmini๋ ์ํคํ ํธ๊ฐ ์์คํ ๋ฐ ์ํํธ์จ์ด ์คํ์ ๋ค์ํ ๊ตฌ์ฑ ์์(๊ฐ์๊ธฐ ์์ฒด ์ธ๋ถ)๊ฐ ์ํธ์์ฉํ์ฌ ์ ์ฒด DNN ์ฑ๋ฅ์ ๋ฏธ์น๋ ์ํฅ์ ์ ์ฉํ๊ฒ ๋ถ์ํ ์ ์๋๋ก ํฉ๋๋ค.
Gemmini๋ Chipyard ์ํ๊ณ์ ์ผ๋ถ์ด๋ฉฐ, Chisel ํ๋์จ์ด ์ค๋ช ์ธ์ด๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ๋ฐ๋์์ต๋๋ค.
์ด ๋ฌธ์๋ Gemmini๋ฅผ ์ฒ์ ์๋ํ๋ ค๋ ์ด๋ณด์๋ค์๊ฒ ์ ๋ณด๋ฅผ ์ ๊ณตํ๊ณ , Gemmini์ ์์ค ์ฝ๋๋ฅผ ํดํนํ๋ ค๋ ์ฌ๋๋ค์ ์ํ ๋ ๊น์ด ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๊ธฐ ์ํ ๊ฒ์ ๋๋ค.
์ฌ๊ธฐ์์๋ Gemmini์ ์ข ์์ฑ(Chipyard ๋ฐ Spike)์ ์ค์นํ๊ณ , Gemmini ํ๋์จ์ด ๋ฐ ์ํํธ์จ์ด๋ฅผ ๋น๋ํ ๋ค์, ํด๋น ์ํํธ์จ์ด๋ฅผ ํ๋์จ์ด ์๋ฎฌ๋ ์ดํฐ์์ ์คํํ๋ ๋น ๋ฅธ ๊ฐ์ด๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
์์ํ๊ธฐ ์ ์ Chipyard ์ข ์์ฑ์ ์ค์นํ์ญ์์ค.
๋ค์ ๋จ๊ณ๋ค์ ์คํํ์ฌ Chipyard์ Spike๋ฅผ ์ค์นํ์ธ์(์๋์ ํ์๋ ์ฌ๋ฐ๋ฅธ Chipyard ๋ฐ Spike ์ปค๋ฐ์ ์ฒดํฌ์์ํ๋ ๊ฒ์ ์์ง ๋ง์ญ์์ค):
git clone https://github.com/ucb-bar/chipyard.git
cd chipyard
git checkout 1.9.1
./build-setup.sh riscv-tools
source env.sh
cd generators/gemmini
git config remote.origin.fetch "+refs/heads/*:refs/remotes/origin/*"
git fetch && git checkout v0.7.1
git submodule update --init --recursive
make -C software/libgemmini install
# ๋ง์ง๋ง ๋จ๊ณ๋ ํ์ค์ ์ธ DRAM ๋ชจ๋ธ์ด ์๋ MIDAS ์๋ฎฌ๋ ์ด์
์ ์คํํ๋ ค๋ ๊ฒฝ์ฐ์๋ง ํ์ํฉ๋๋ค.
cd -
cd sims/firesim
source sourceme-f1-manager.sh --skip-ssh-setup # ์ด ๋ช
๋ น์์ ๋ฐ์ํ๋ ์ค๋ฅ ๋ฉ์์ง๋ฅผ ๋ฌด์ํ์ญ์์ค.
./build-setup.sh --library --skip-validate์๋ ๋จ๊ณ๋ค์ ์คํํ์ฌ Gemmini ๊ตฌ์ฑ ํ์ผ, ์ฌ๋ณผ๋ฆญ ๋งํฌ ๋ฐ ํ์ ๋๋ ํฐ๋ฆฌ๋ฅผ ์ค์ ํ์ญ์์ค:
cd chipyard/generators/gemmini
./scripts/setup-paths.sh์๋ ๋จ๊ณ๋ค์ ์คํํ์ฌ Gemmini ํ๋ก๊ทธ๋จ, ResNet50๊ณผ ๊ฐ์ ๋๊ท๋ชจ DNN ๋ชจ๋ธ ๋ฐ ์์ ํ๋ ฌ ๊ณฑ์ ํ ์คํธ๋ฅผ ์ปดํ์ผํ์ญ์์ค.
cd chipyard/generators/gemmini/software/gemmini-rocc-tests
./build.sh์ดํ, build/ ๋๋ ํฐ๋ฆฌ์์ "baremetal" ํ๊ฒฝ, Linux ํ๊ฒฝ ๋ฐ "proxy-kernel" ํ๊ฒฝ์ฉ RISC-V ๋ฐ์ด๋๋ฆฌ๋ฅผ ์ฐพ์ ์ ์์ต๋๋ค.
Linux ๋ฐ์ด๋๋ฆฌ๋ Linux๋ฅผ ์คํํ๋ SoC์์ ์คํํ๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ด ๋ฐ์ด๋๋ฆฌ๋ค์ ๋์ ์ผ๋ก ๋งํฌ๋๋ฉฐ ๋ชจ๋ ์์คํ ํธ์ถ์ ์ง์ํฉ๋๋ค. ๋๋ถ๋ถ์ ์ฌ์ฉ์๋ ์ด๋ค์ FireSim ์๋ฎฌ๋ ์ดํฐ์์ ์คํํฉ๋๋ค.
Baremetal ๋ฐ์ด๋๋ฆฌ๋ ์ด์ ์ฒด์ ๊ฐ ์๋ ํ๊ฒฝ์์ ์คํํ๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ด๋ค์ ๋๋ถ๋ถ์ ์์คํ ํธ์ถ์ ์ง์ํ์ง ์์ผ๋ฉฐ ๊ฐ์ ๋ฉ๋ชจ๋ฆฌ๋ ์ง์ํ์ง ์์ต๋๋ค. ๋๋ถ๋ถ์ ์ฌ์ฉ์๋ ์ด๋ค์ Verilator ๋๋ VCS์ ๊ฐ์ ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ์์ ์คํํฉ๋๋ค.
"Proxy-kernel" ๋ฐ์ด๋๋ฆฌ๋ "RISC-V Proxy Kernel"์ด๋ผ๋ ์ถ์๋ ๋ฒ์ ์ Linux์์ ์คํ๋๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ด ๋ฐ์ด๋๋ฆฌ๋ค์ ๊ฐ์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ง์ํ๋ฉฐ, ๋ณดํต Verilator์ ๊ฐ์ ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ์์ ์คํ๋ฉ๋๋ค.
๊ฒฝ๊ณ : Proxy-kernel ๋ฐ์ด๋๋ฆฌ๋ ํ ๊ณต๊ฐ์ด ์ ํ๋์ด ์์ผ๋ฏ๋ก baremetal ๋๋ Linux ํ๊ฒฝ์์๋ ์ ๋๋ก ์๋ํ๋ ์ผ๋ถ Gemmini ํ๋ก๊ทธ๋จ์ด proxy-kernel์์ ์คํจํ ์ ์์ต๋๋ค.
Verilator๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ์ดํด ์ ํ๋ Gemmini ์๋ฎฌ๋ ์ดํฐ๋ฅผ ๋น๋ํ๋ ค๋ฉด ์๋ ์ง์นจ์ ์คํํ์ญ์์ค.
cd chipyard/generators/gemmini
./scripts/build-verilator.sh
# ๋๋ ํํ์ ์์ฑํ ์ ์๋ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์ํ๋ค๋ฉด ๋ค์์ ์คํํ์ญ์์ค:
# ./scripts/build-verilator.sh --debug์ด ์์
์ ์ํํ ํ, ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ ์ธ์๋ SoC์ Verilog ์ค๋ช
์ generated-src/์์ ์ฐพ์ ์ ์์ต๋๋ค.
Gemmini์ ๊ธฐ๋ฅ์ ISA ์๋ฎฌ๋ ์ดํฐ("Spike"๋ผ๊ณ ํจ)๋ฅผ ๋น๋ํ๋ ค๋ฉด ์๋ ์ง์นจ์ ์คํํ์ญ์์ค.
cd chipyard/generators/gemmini
./scripts/build-spike.shSpike๋ Verilator๋ VCS์ ๊ฐ์ ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ๋ณด๋ค ํจ์ฌ ๋น ๋ฅด๊ฒ ์คํ๋ฉ๋๋ค. ๊ทธ๋ฌ๋ Spike๋ ๊ธฐ๋ฅ์ ์ ํ์ฑ๋ง ํ์ธํ ์ ์์ผ๋ฉฐ, ์ ํํ ์ฑ๋ฅ ์งํ๋ ํ๋กํ์ผ๋ง ์ ๋ณด๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค.
์ด์ ์ ๋น๋ํ Gemmini RISCV ๋ฐ์ด๋๋ฆฌ๋ฅผ ์์์ ๋น๋ํ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ ์คํํ๋ ค๋ฉด ์๋ ์ง์นจ์ ๋ฐ๋ฅด์ญ์์ค:
cd chipyard/generators/gemmini
# ๊ธฐ๋ฅ์ ์๋ฎฌ๋ ์ดํฐ์์ ๋๊ท๋ชจ DNN ์์
๋ถํ ์คํ
./scripts/run-spike.sh resnet50
# ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ์์ baremetal ๋ชจ๋๋ก ์์ ์์
๋ถํ ์คํ
./scripts/run-verilator.sh template
# proxy-kernel์์ ์์ ์์
๋ถํ๋ฅผ ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ดํฐ์์ ์คํ
./scripts/run-verilator.sh --pk template
# ๋๋, `waveforms/`์ ํํ์ ์์ฑํ๋ ค๋ฉด:
# ./scripts/run-verilator.sh --pk --debug templateGemmini๋ฅผ ์ฌ์ฉํ์ฌ ๋ค์ํ ์ ํ์ ๊ฐ์๊ธฐ๋ฅผ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ, Gemmini์ ์ฌ์ฉ์ ์ ์ ๋ฐ์ดํฐ ์ ํ์ ์ถ๊ฐํ๋ ๋ฐฉ๋ฒ, Gemmini ํ๋ก๊ทธ๋จ์ ์์ฑํ๋ ๋ฐฉ๋ฒ, Gemmini์ ์ฑ๋ฅ ์นด์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ ์์ ๋ถํ๋ฅผ ํ๋กํ์ผ๋งํ๋ ๋ฐฉ๋ฒ์ ๋ฐฐ์ฐ๋ ค๋ฉด MLSys 2022 ํํ ๋ฆฌ์ผ (๋๋ ์ด์ ์ ๋ ์ค๋๋ IISWC 2021 ํํ ๋ฆฌ์ผ)์ ํ์ธํ์ญ์์ค.
๋๋ FireSim์ ๋ํด ์์๋ณด์ธ์. ์ด ํ๋ซํผ์ FPGA ๊ฐ์ ์ฌ์ดํด ์ ํ๋ ์๋ฎฌ๋ ์ด์ ์ ์ํ ํ๋ซํผ์ ๋๋ค. ์ฐ๋ฆฌ๋ Verilator/VCS์์ ์คํํ๋ ๋ฐ ๋๋ฌด ์ค๋ ์๊ฐ์ด ๊ฑธ๋ฆฌ๋ ์ข ๋จ ๊ฐ DNN ์์ ๋ถํ๋ฅผ ์คํํ๊ธฐ ์ํด FireSim์ ์ฌ์ฉํฉ๋๋ค. FireSim์ ๋ํ Gemmini ํ๋์จ์ด/์ํํธ์จ์ด๊ฐ Linux ํ๊ฒฝ์์ ์คํ๋ ๋ ์๋ํ๋์ง ํ์ธํ ์ ์์ต๋๋ค.
๋๋ Gemmini์ ์ํคํ ์ฒ, ISA ๋ฐ ๊ตฌ์ฑ ๋งค๊ฐ๋ณ์์ ๋ํ ์ค๋ช ์ ์ํด ์ด ๋ฌธ์์ ๋๋จธ์ง ๋ถ๋ถ์ ๊ณ์ ์ฝ์ผ์ญ์์ค.
Gemmini๋ ๋นํ์ค RISC-V ์ฌ์ฉ์ ์ ์ ๋ช ๋ น์ด๋ฅผ ์ฌ์ฉํ๋ RoCC ๊ฐ์๊ธฐ๋ก ๊ตฌํ๋ฉ๋๋ค. Gemmini ์ ๋์ Rocket ๋๋ BOOM ํ์ผ์ RoCC ํฌํธ๋ฅผ ์ฌ์ฉํ๋ฉฐ, ๊ธฐ๋ณธ์ ์ผ๋ก ์์คํ ๋ฒ์ค(์ฆ, L2 ์บ์์ ์ง์ ์ฐ๊ฒฐ)๋ฅผ ํตํด ๋ฉ๋ชจ๋ฆฌ ์์คํ ์ ์ฐ๊ฒฐ๋ฉ๋๋ค.
๊ฐ์๊ธฐ์ ํต์ฌ์๋ ํ๋ ฌ ๊ณฑ์ ์ ์ํํ๋ ์์คํจ๋ฆญ ๋ฐฐ์ด์ด ์์ต๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ํ๋ ฌ ๊ณฑ์ ์ _output-stationary_์ weight-stationary ๋ฐ์ดํฐ ํ๋ฆ์ ๋ชจ๋ ์ง์ํ๋ฉฐ, ํ๋ก๊ทธ๋๋จธ๋ ๋ฐํ์์ ์ด๋ค ๊ฐ์ ์ ํํ ์ ์์ต๋๋ค. ๊ทธ๋ฌ๋ ๋ฐ์ดํฐ ํ๋ฆ์ ์ค๋ช ์์ ์ ๊ณ ์ ๋ ์๋ ์์ต๋๋ค.
์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ ๋ ฅ๊ณผ ์ถ๋ ฅ์ ๋ฑ ํน๋ SRAM์ผ๋ก ๊ตฌ์ฑ๋ ๋ช ์์ ์ผ๋ก ๊ด๋ฆฌ๋๋ ์คํฌ๋์นํจ๋์ ์ ์ฅ๋ฉ๋๋ค. DMA ์์ง์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ(ํธ์คํธ CPU์์ ๋ณผ ์ ์๋ ๋ฉ๋ชจ๋ฆฌ)์ ์คํฌ๋์นํจ๋ ๊ฐ์ ๋ฐ์ดํฐ ์ ์ก์ ์ฉ์ดํ๊ฒ ํฉ๋๋ค.
weight-stationary ๋ฐ์ดํฐ ํ๋ฆ์ ์์คํจ๋ฆญ ๋ฐฐ์ด ์ธ๋ถ์ ๋์ฐ๊ธฐ๋ฅผ ํ์๋ก ํ๊ธฐ ๋๋ฌธ์, ์ฐ๋ฆฌ๋ ๋์ฐ๊ธฐ ๋ฉ๋ชจ๋ฆฌ ๊ณต๊ฐ์ ํ์ฅ์ผ๋ก ๊ฐ์ฃผ๋ ์ ์๋ ์ด๋๋ ์ฑ์ด ๊ฐ๋ฅํ ์ต์ข SRAM ๋ฑ ํฌ๋ฅผ ์ถ๊ฐํฉ๋๋ค. ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋์ฐ๊ธฐ์ ๋ชจ๋ ์ฃผ์์ ๊ฒฐ๊ณผ๋ฅผ ์ ์ฅํ ์ ์์ผ๋ฉฐ, ๋์ฐ๊ธฐ์์ ์๋ก์ด ์ ๋ ฅ์ ์ฝ์ด์ฌ ์๋ ์์ต๋๋ค. DMA ์์ง์ ๋ํ ์ข ์ข ๋ฐ์ด์ด์ค๋ฅผ ๋ก๋ํ๊ธฐ ์ํด ํ์ํ ๋์ฐ๊ธฐ์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ์ง์ ์ ์กํ ์ ์์ต๋๋ค.
Gemmini๋ ๋ํ ReLU ๋๋ ReLU6๊ณผ ๊ฐ์ ํ์ฑํ ํจ์๋ฅผ ์ ํ์ ์ผ๋ก ์ ์ฉํ๊ฑฐ๋, ์์ํ๋ ์์ ๋ถํ๋ฅผ ์ง์ํ๊ธฐ ์ํด ๊ฒฐ๊ณผ๋ฅผ 2์ ๊ฑฐ๋ญ์ ๊ณฑ์ผ๋ก ์ถ์ํ๊ฑฐ๋, ํ๋ ฌ์ ์ ์นํ์ฌ output-stationary ๋ฐ์ดํฐ ํ๋ฆ์ ์ง์ํ๋ ์ฃผ๋ณ ํ๋ก๋ฅผ ํฌํจํฉ๋๋ค.
์ฃผ์ ๊ด์ฌ ๋งค๊ฐ๋ณ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- ์์คํจ๋ฆญ ๋ฐฐ์ด ์ฐจ์(
tileRows,tileColumns,meshRows,meshColumns): ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๊ฐ ํ์ผ์ด ์์ ํ ์กฐํฉ์ ์ธ 2๋จ๊ณ ๊ณ์ธต ๊ตฌ์กฐ๋ก ๊ตฌ์ฑ๋๋ฉฐ, ํ์ผ์ ๋ฉ์์๋ ๊ฐ ํ์ผ ๊ฐ์ ํ์ดํ๋ผ์ธ ๋ ์ง์คํฐ๊ฐ ์์ต๋๋ค.
-
๋ฐ์ดํฐ ํ๋ฆ ๋งค๊ฐ๋ณ์(
dataflow): Gemmini์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ด output-stationary์ธ์ง weight-stationary์ธ์ง๋ฅผ ๊ฒฐ์ ํ๊ฑฐ๋, ๋ ๋ฐ์ดํฐ ํ๋ฆ์ ๋ชจ๋ ์ง์ํ์ฌ ํ๋ก๊ทธ๋๋จธ๊ฐ ๋ฐํ์์ ์ ํํ ์ ์๋๋ก ํฉ๋๋ค. -
์คํฌ๋์นํจ๋ ๋ฐ ๋์ฐ๊ธฐ ๋ฉ๋ชจ๋ฆฌ ๋งค๊ฐ๋ณ์(
sp_banks,sp_capacity,acc_capacity): Gemmini ์คํฌ๋์นํจ๋ ๋ฉ๋ชจ๋ฆฌ์ ์์ฑ์ ๊ฒฐ์ ํฉ๋๋ค: ์คํฌ๋์นํจ๋ ๋๋ ๋์ฐ๊ธฐ์ ์ ์ฒด ์ฉ๋(ํค๋น๋ฐ์ดํธ ๋จ์) ๋ฐ ์คํฌ๋์นํจ๋๊ฐ ๋ถํ ๋๋ ๋ฑ ํฌ ์๋ฅผ ํฌํจํฉ๋๋ค. -
์ ํ ๋งค๊ฐ๋ณ์(
inputType,outputType,accType): Gemmini ๊ฐ์๊ธฐ์ ๋ค์ํ ๋ถ๋ถ์ ํต๊ณผํ๋ ๋ฐ์ดํฐ ์ ํ์ ๊ฒฐ์ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด,inputType์ 8๋นํธ ๊ณ ์ ์์์ ์ซ์์ผ ์ ์์ผ๋ฉฐ,accType์ ํ๋ ฌ ๊ณฑ์ ์์ ๋ถ๋ถ ํฉ๊ณ๋ฅผ ๊ฒฐ์ ํ๋ 32๋นํธ ์ ์์ผ ์ ์์ต๋๋ค.outputType์ ์ฒ๋ฆฌ ์์(PE) ๊ฐ์ ์ ๋ฌ๋๋ ๋ฐ์ดํฐ ์ ํ๋ง ๊ฒฐ์ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด, 8๋นํธ ๊ณฑ์ ์ 16๋นํธ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ๋ฉฐ, ์ด ๊ฒฐ๊ณผ๋ ์์คํจ๋ฆญ ๋ฐฐ์ด์ PE ๊ฐ์ ๊ณต์ ๋์ด์ผ ํฉ๋๋ค.- ๊ฐ๋ฅํ ๋ฐ์ดํฐ ์ ํ์ ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
SInt(8.W): ๋ถํธ ์๋ 8๋นํธ ์ ์UInt(32.W): ๋ถํธ ์๋ 32๋นํธ ์ ์Float(8, 24): ๋จ์ ๋ฐ๋ IEEE ๋ถ๋ ์์์ ์
- ๋ฐ์ดํฐ ์ ํ์ด ๋ถ๋ ์์์ ์ซ์์ธ ๊ฒฝ์ฐ, PE ๋ด์ ์ถ๊ฐํ ์ํํธ ๋ ์ง์คํฐ ์๋ฅผ ์ง์ ํ๋
pe_latency๋งค๊ฐ๋ณ์๋ฅผ ๋ณ๊ฒฝํด์ผ ํ ์๋ ์์ต๋๋ค. ์ด๊ฒ์ ๋ฐ์ดํฐ ์ ํ์ด ํ๋์ ์ฌ์ดํด ๋ด์์ ๊ณฑ์ -๋์ฐ ์์ ์ ์๋ฃํ ์ ์๋ ๊ฒฝ์ฐ์ ํ์ํ ์ ์์ต๋๋ค.
- ๊ฐ๋ฅํ ๋ฐ์ดํฐ ์ ํ์ ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
-
Access-execute ํ ๋งค๊ฐ๋ณ์(
ld_queue_length,st_queue_length,ex_queue_length,rob_entries): Access-execute ๋์ปคํ๋ง์ ๊ตฌํํ๊ธฐ ์ํด Gemmini ๊ฐ์๊ธฐ๋ ๋ก๋ ๋ช ๋ น ํ, ์คํ ์ด ๋ช ๋ น ํ, ์คํ ๋ช ๋ น ํ๋ฅผ ๊ฐ์ถ๊ณ ์์ต๋๋ค. ์ด ํ์ ์๋์ ์ธ ํฌ๊ธฐ๋ access-execute ๋์ปคํ๋ง์ ์์ค์ ๊ฒฐ์ ํฉ๋๋ค. Gemmini๋ ๋ํ ๋ฆฌ์ค๋ ๋ฒํผ(ROB)๋ฅผ ๊ตฌํํ๋ฉฐ, ROB์ ํญ๋ชฉ ์๋ ๊ฐ๋ฅํ ์ข ์์ฑ ๊ด๋ฆฌ ์ ํ์ ๊ฒฐ์ ํฉ๋๋ค. -
DMA ๋งค๊ฐ๋ณ์(
dma_maxbytes,dma_buswidth,mem_pipeline): Gemmini๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini ์คํฌ๋์นํจ๋๋ก, Gemmini ๋์ฐ๊ธฐ์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฐ์ดํฐ๋ฅผ ์ด๋ํ๊ธฐ ์ํด DMA๋ฅผ ๊ตฌํํฉ๋๋ค. ์ด DMA ํธ๋์ญ์ ์ ํฌ๊ธฐ๋ DMA ๋งค๊ฐ๋ณ์์ ์ํด ๊ฒฐ์ ๋ฉ๋๋ค. ์ด DMA ๋งค๊ฐ๋ณ์๋ Rocket Chip SoC ์์คํ ๋งค๊ฐ๋ณ์์ ๋ฐ์ ํ๊ฒ ์ฐ๊ฒฐ๋์ด ์์ต๋๋ค. ํนํdma_buswidth๋SystemBusKeybeatBytes๋งค๊ฐ๋ณ์์ ๊ด๋ จ์ด ์์ผ๋ฉฐ,dma_maxbytes๋cacheblockbytesRocket Chip ๋งค๊ฐ๋ณ์์ ๊ด๋ จ์ด ์์ต๋๋ค.
๋ํ ์ค๋ช ์์ ์ Gemmini์์ ํ์ฑํํ๊ฑฐ๋ ์ ์ธํ ์ ์๋ ์ ํ์ ๊ธฐ๋ฅ๋ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด:
- "์ด๋ ์" ์ค์ผ์ผ๋ง(
mvin_scale_args,mvin_scale_acc_args): DRAM ๋๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini์ ๋ก์ปฌ ์คํฌ๋์นํจ๋ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฐ์ดํฐ๊ฐ ์ด๋๋ ๋ ์ ํ์ ์ผ๋ก ์ค์ผ์ผ๋ง ์ธ์๋ฅผ ๊ณฑํ ์ ์์ต๋๋ค. ์ด ๋งค๊ฐ๋ณ์๋ ์ค์ผ์ผ๋ง ์ธ์์ ๋ฐ์ดํฐ ์ ํ์ด ๋ฌด์์ธ์ง, ์ค์ผ์ผ๋ง์ด ์ค์ ๋ก ์ด๋ป๊ฒ ์ด๋ฃจ์ด์ง๋์ง๋ฅผ ์ง์ ํฉ๋๋ค. ์ด ๊ฐ๋ค์ดNone์ผ๋ก ์ค์ ๋ ๊ฒฝ์ฐ, ์ด ์ ํ์ ๊ธฐ๋ฅ์ ์ค๋ช ์์ ์ ๋นํ์ฑํ๋ฉ๋๋ค. ์คํฌ๋์นํจ๋ ์ ๋ ฅ๊ณผ ๋์ฐ๊ธฐ ์ ๋ ฅ์ด ๋์ผํ ๋ฐฉ์์ผ๋ก ์ค์ผ์ผ๋ง๋์ด์ผ ํ๋ ๊ฒฝ์ฐ,mvin_scale_shared๋งค๊ฐ๋ณ์๋ฅผtrue๋ก ์ค์ ํ์ฌ ๊ณฑ์ ๊ธฐ์ ๊ธฐ๋ฅ ์ ๋์ด ๊ณต์ ๋๋๋ก ํ ์ ์์ต๋๋ค.
์ด ํ์ ์น์ ์ Gemmini์ RTL์ ํดํนํ๋ ค๋ ์ฌ๋๋ค์ ์ํ ๊ฒ์ ๋๋ค. ์ฌ๊ธฐ์์๋ Gemmini์ ์ฃผ์ ํ๋์จ์ด ๊ตฌ์ฑ ์์์ ์ด๋ค์ด ์ด๋ป๊ฒ ๊ฒฐํฉ๋๋์ง ๊ฐ๋ตํ ์ค๋ช ํฉ๋๋ค. Gemmini์ ํ๋์จ์ด๋ฅผ ๋ณ๊ฒฝํ ๊ณํ์ด ์๋ค๋ฉด(๊ตฌ์ฑ ๋งค๊ฐ๋ณ์๋ฅผ ๋ณ๊ฒฝํ๋ ๊ฒ ์ธ์๋), ์ด ์น์ ์ ๊ฑด๋๋ฐ์ด๋ ์ข์ต๋๋ค.
Gemmini๋ ๋์ปคํ๋ง๋ ์ก์ธ์ค/์คํ ์ํคํ ์ฒ๋ก, "๋ฉ๋ชจ๋ฆฌ ์ก์ธ์ค"์ "์คํ" ๋ช ๋ น์ด ํ๋์จ์ด์ ๋ค๋ฅธ ์์ญ์์ ๋์์ ์คํ๋ฉ๋๋ค. ์ฐ๋ฆฌ๋ ํ๋์จ์ด๋ฅผ ํฌ๊ฒ ์ธ ๊ฐ์ง "์ปจํธ๋กค๋ฌ"๋ก ๋๋๋๋ค: "์คํ" ๋ช ๋ น์ ๋ด๋นํ๋ ์ปจํธ๋กค๋ฌ, "๋ก๋" ๋ช ๋ น์ ๋ด๋นํ๋ ์ปจํธ๋กค๋ฌ, ๊ทธ๋ฆฌ๊ณ "์คํ ์ด" ๋ช ๋ น์ ๋ด๋นํ๋ ์ปจํธ๋กค๋ฌ์ ๋๋ค. ๊ฐ ์ปจํธ๋กค๋ฌ๋ ํ๋ก๊ทธ๋๋จธ๋ก๋ถํฐ ์ง์ ISA ๋ช ๋ น์ ์์ ํ๊ณ , ์ด๋ฅผ ๋์ฝ๋ฉํ์ฌ ์คํํ๋ฉฐ, ์คํฌ๋์นํจ๋ ๋ฐ ๋์ฐ๊ธฐ SRAM์ ๋ํ ์ ๊ทผ์ ๊ณต์ ํฉ๋๋ค.
-
ExecuteController: ์ด ๋ชจ๋์ ํ๋ ฌ ๊ณฑ์ ๊ณผ ๊ฐ์ "์คํ" ์ ํ์ ISA ๋ช ๋ น์ ์คํํ๋ ์ญํ ์ ํฉ๋๋ค. ์ด ๋ชจ๋์๋ ๋ํธ ํ๋ก๋ํธ(dots product)๋ฅผ ์ํ ์์คํจ๋ฆญ ๋ฐฐ์ด๊ณผ ์ ์น๊ธฐ(Transposer)๊ฐ ํฌํจ๋ฉ๋๋ค. -
LoadController: ์ด ๋ชจ๋์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini์ ๊ฐ์ธ ์คํฌ๋์นํจ๋๋ ๋์ฐ๊ธฐ๋ก ๋ฐ์ดํฐ๋ฅผ ์ด๋ํ๋ ๋ชจ๋ ๋ช ๋ น์ ๋ด๋นํฉ๋๋ค. -
StoreController: ์ด ๋ชจ๋์ Gemmini์ ๊ฐ์ธ SRAM์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฐ์ดํฐ๋ฅผ ์ด๋ํ๋ ๋ชจ๋ ๋ช ๋ น์ ๋ด๋นํฉ๋๋ค. ์ด ๋ชจ๋์ ๋ํ "๋งฅ์ค ํ๋ง(max-pooling)" ๋ช ๋ น์ ๋ด๋นํฉ๋๋ค. ์๋ํ๋ฉด Gemmini๋ ๋ฏธํฌ๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ธ SRAM์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ์ด๋ํ ๋ ํ๋ง์ ์ํํ๊ธฐ ๋๋ฌธ์ ๋๋ค.
Gemmini๋ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ ๋ ฅ ๋ฐ ์ถ๋ ฅ์ ์ ์ฅํ๊ธฐ ์ํด "์คํฌ๋์นํจ๋"์ "๋์ฐ๊ธฐ"๋ผ๊ณ ๋ถ๋ฆฌ๋ ์ผ๋ จ์ ๊ฐ์ธ SRAM์ ์ฌ์ฉํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ์ ๋ ฅ์ ์คํฌ๋์นํจ๋์ ์ ์ฅ๋๋ฉฐ, ๋ถ๋ถ ํฉ๊ณ ๋ฐ ์ต์ข ๊ฒฐ๊ณผ๋ ๋์ฐ๊ธฐ์ ์ ์ฅ๋ฉ๋๋ค.
์คํฌ๋์นํจ๋์ ๋์ฐ๊ธฐ๋ ๋ชจ๋ Scratchpad.scala์ ์ธ์คํด์คํ๋ฉ๋๋ค.
์คํฌ๋์นํจ๋ ๋ฑ
ํฌ๋ ScratchpadBank ๋ชจ๋์ ์ํด ๊ตฌํ๋๋ฉฐ, ๋์ฐ๊ธฐ ๋ฑ
ํฌ๋ AccumulatorMem ๋ชจ๋์ ์ํด ๊ตฌํ๋ฉ๋๋ค.
์คํฌ๋์นํจ๋์ ๋์ฐ๊ธฐ SRAM์ ๊ฐ ํ์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋๋น๋ฅผ ๋ฐ๋ผ DIM "์์"๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
๊ฐ "์์"๋ Gemmini๊ฐ ์๋ํ๋ ๋จ์ผ ์ค์นผ๋ผ ๊ฐ์ ๋ํ๋
๋๋ค.
์คํฌ๋์นํจ๋์ ๊ฐ "์์"๋ inputType ์ ํ์
๋๋ค(๊ธฐ๋ณธ ์ค์ ์์๋ 8๋นํธ ์ ์).
๋์ฐ๊ธฐ์ ๊ฐ "์์"๋ accType ์ ํ์
๋๋ค(๊ธฐ๋ณธ ์ค์ ์์๋ 32๋นํธ ์ ์).
์๋ฅผ ๋ค์ด, ๊ธฐ๋ณธ ์ค์ ์์ 16x16 ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ, ์คํฌ๋์นํจ๋ ๋ฑ
ํฌ์ ํ ๋๋น๋ 16*bits(inp
8000
utType)=128 ๋นํธ์ด๊ณ , ๋์ฐ๊ธฐ ๋ฑ
ํฌ์ ํ ๋๋น๋ 16*bits(accType)=512 ๋นํธ์
๋๋ค.
์คํฌ๋์นํจ๋์ ์
๋ ฅ๊ณผ ์ถ๋ ฅ์ ๋ชจ๋ inputType์ด์ด์ผ ํฉ๋๋ค.
๋์ฐ๊ธฐ์ ์
๋ ฅ๊ณผ ์ถ๋ ฅ์ accType ๋๋ inputType์ผ ์ ์์ต๋๋ค.
inputType ๊ฐ์ด ๋์ฐ๊ธฐ๋ก ์
๋ ฅ๋๋ฉด accType์ผ๋ก ๋ณํ๋ฉ๋๋ค.
inputType ๊ฐ์ด ๋์ฐ๊ธฐ์์ ์ถ๋ ฅ๋๋ฉด ๋จผ์ inputType ๊ฐ์ผ๋ก "์ค์ผ์ผ๋ง"๋ฉ๋๋ค.
๊ธฐ๋ณธ ์ค์ ์์๋ ์ค์ผ์ผ๋ง ํจ์๊ฐ ๋จ์ํ float32 ๊ฐ์ ๊ณฑํ์ฌ int32๋ฅผ int8๋ก ๋ณํํ๋ ํจ์๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
์คํฌ๋์นํจ๋ ๋ฑ ํฌ๋ ๋งค์ฐ ๊ฐ๋จํ์ฌ SRAM๊ณผ ํ๋ก๋ง ๊ตฌ์ฑ๋ฉ๋๋ค.
๋์ฐ๊ธฐ ๋ฑ
ํฌ๋ ์ข ๋ ๋ณต์กํฉ๋๋ค. ๊ธฐ๋ณธ SRAM ์ธ์๋, ์ด๋ค์ ์ธํ๋ ์ด์ค ๋์ฐ์ ์ง์ํ๊ธฐ ์ํ ์ผ๋ จ์ ๋ํ๊ธฐ ์ฅ์น๋ค์ ํฌํจํฉ๋๋ค.
๋ํ ์ค์ผ์ผ๋ฌ(์์ ์ค๋ช
ํ ๋๋ก)์ ํ์ฑํ ํจ์ ์ ๋๋ ํฌํจํฉ๋๋ค.
์ค์ผ์ผ๋ง ๋ฐ ํ์ฑํ ํจ์๋ ํ๋ก๊ทธ๋๋จธ๊ฐ ๋์ฐ๊ธฐ์์ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ฌ ๋ accType ๊ฐ์ inputType ๊ฐ์ผ๋ก ๋ณํํ๊ธฐ๋ฅผ ์ํ ๋ ์ ์ฉ๋ฉ๋๋ค.
์ด๋ ์ผ๋ฐ์ ์ผ๋ก ํ ๋ ์ด์ด์ ๋ถ๋ถ ํฉ๊ณ ์ถ๋ ฅ์ ๋ค์ ๋ ์ด์ด์ ๋ฎ์ ๋นํธ ํญ์ ์์ํ๋ ์
๋ ฅ์ผ๋ก ๋ณํํ๊ธฐ ์ํด ์ํ๋ฉ๋๋ค.
MeshWithDelays๋ ExecuteController ๋ด์์ ์ธ์คํด์คํ๋๋ฉฐ, ์์คํจ๋ฆญ ๋ฐฐ์ด(Mesh), ์ ์น๊ธฐ(Transposer), ๊ทธ๋ฆฌ๊ณ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์
๋ ฅ์ ์ง์ฐ์ํค๋ ์ผ๋ จ์ ์ง์ฐ ๋ ์ง์คํฐ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
MeshWithDelays ๋ชจ๋์ ํ ๋ฒ์ ํ๋์ ํ์ฉ ์ธ ๊ฐ์ ํ๋ ฌ(A, B, ๋ฐ D)์ ๋ฐ์๋ค์ด๊ณ , ํ ๋ฒ์ ํ๋์ ํ์ฉ ๊ฒฐ๊ณผ C = A * B + D๋ฅผ ์ถ๋ ฅํฉ๋๋ค.
weight-stationary ๋ชจ๋์์๋ B ๊ฐ์ด ์์คํจ๋ฆญ ๋ฐฐ์ด์ "์ฌ์ ๋ก๋"๋๊ณ , A์ D ๊ฐ์ด ํต๊ณผ๋ฉ๋๋ค.
output-stationary ๋ชจ๋์์๋ D ๊ฐ์ด ์์คํจ๋ฆญ ๋ฐฐ์ด์ "์ฌ์ ๋ก๋"๋๊ณ , A์ B ๊ฐ์ด ํต๊ณผ๋ฉ๋๋ค.
A, B, ๋ฐ D๋ ๋ชจ๋ inputType ์ ํ์ด๋ฉฐ, C๋ outputType ์ ํ์
๋๋ค.
ํ๋ก๊ทธ๋๋จธ๊ฐ C๋ฅผ ์คํฌ๋์นํจ๋์ ๊ธฐ๋กํ๋ ค๋ฉด, C๋ inputType์ผ๋ก ๋ณํ๋ฉ๋๋ค.
๊ทธ๋ฌ๋ ํ๋ก๊ทธ๋๋จธ๊ฐ C๋ฅผ ๋์ฐ๊ธฐ์ ๊ธฐ๋กํ๋ ค๋ ๊ฒฝ์ฐ, C๋ accType์ผ๋ก ๋ณํ๋ฉ๋๋ค.
weight-stationary ๋ชจ๋์์๋ inputType D๊ฐ ๋ถ๋ถ ํฉ๊ณ๋ฅผ ์ ํํ๊ฒ ๋ํ๋ด๊ธฐ์ ๋นํธ ํญ์ด ๋ถ์กฑํ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค.
๋ฐ๋ผ์ weight-stationary ๋ชจ๋์์๋ D๊ฐ ๋ณดํต 0 ํ๋ ฌ์ด๊ณ , ๋์ฐ๊ธฐ SRAM์ด ๋์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋ถ๋ถ ํฉ๊ณ ์ถ๋ ฅ์ ๋์ ํ๋ ๋ฐ ์ฌ์ฉ๋ฉ๋๋ค.
์
๋ ฅ(A, B, ๋ฐ D)์ ํ๋ ฌ์ ๊ฐ ์
๋ ฅ์ด ์ ํํ ์๊ฐ์ ์ฌ๋ฐ๋ฅธ PE์ ๋๋ฌํ์ฌ ๋ค๋ฅธ ํ๋ ฌ์ ์ฌ๋ฐ๋ฅธ ์
๋ ฅ๊ณผ ๊ณฑ์
๋ฐ ๋์ฐ๋๋๋ก ์ง์ฐ ๋ ์ง์คํฐ๋ก ์ง์ฐ๋ฉ๋๋ค.
์๋ ๋ค์ด์ด๊ทธ๋จ์ 2x2 output-stationary ํ๋ ฌ ๊ณฑ์
์ ์(๋จ, D๋ ์ ์ธ)๋ฅผ ์ง์ฐ ๋ ์ง์คํฐ์ ํจ๊ป ๋ณด์ฌ์ค๋๋ค:
์์คํจ๋ฆญ ๋ฐฐ์ด ์์ฒด๋ Mesh.scala์ ๊ตฌํ๋์ด ์์ผ๋ฉฐ, ํ์ผ(Tiles)๊ณผ PE(PEs)์ 2๋จ๊ณ ๊ณ์ธต ๊ตฌ์กฐ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
Mesh๋ ํ์ผ ์ธํธ๋ก ๊ตฌ์ฑ๋๋ฉฐ, ๊ฐ ํ์ผ ์ฌ์ด์ ํ์ดํ๋ผ์ธ ๋ ์ง์คํฐ๊ฐ ์์ต๋๋ค.
๊ฐ Tile์ ์กฐํฉ ๋
ผ๋ฆฌ์ PE ์ธํธ๋ก ๊ตฌ์ฑ๋๋ฉฐ, ๊ฐ PE๋ weight-stationary ๋๋ output-stationary ๋ฐ์ดํฐ ํ๋ฆ์ผ๋ก ๋จ์ผ ํ๋ ฌ ๊ณฑ์
์์
์ ์ํํฉ๋๋ค.
MeshWithDelays ๋ชจ๋์๋ ์นด์ดํฐ์ ๊ตฌ์ฑ ๋ ์ง์คํฐ๋ ํฌํจ๋ฉ๋๋ค.
MeshWithDelays๋ ๊ฐ ํ๋ ฌ ๊ณฑ์
์์
์ด ์ ํํ DIM x DIM ํฌ๊ธฐ์ผ ๊ฒ์ผ๋ก ๊ฐ์ ํฉ๋๋ค. ์ฌ๊ธฐ์ DIM์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋๋น์
๋๋ค(๊ธฐ๋ณธ ์ค์ ์์๋ 16).
์ด ์นด์ดํฐ๋ DIM๊น์ง ๊ณ์ฐํ ํ ์
๋ ฅ์์ MeshWithDelays๋ก ๊ตฌ์ฑ ๋ ์ง์คํฐ๋ฅผ ์
๋ฐ์ดํธํฉ๋๋ค.
์ด ๊ตฌ์ฑ ๋ ์ง์คํฐ๋ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์
๋ ฅํ๊ธฐ ์ ์ A์ B ์ค ์ด๋ ๊ฒ์ด ์ ์น๋ ์ง๋ฅผ ์ ์ดํฉ๋๋ค.
๋ํ, ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ฌ์ ๋ก๋๋ ๊ฐ์ด ๋ค์ ํ๋ ฌ ๊ณฑ์
์ ์ํด ์ ์ง๋ ์ง ์๋๋ฉด ๋ฎ์ด์ฐ๊ณ ๊ต์ฒด๋ ์ง๋ฅผ ์ ์ดํฉ๋๋ค.
์ ์น๊ธฐ ์์ฒด๋ ๋งค์ฐ ๊ฐ๋จํ ์์คํจ๋ฆญ ๋ฐฐ์ด๋ก ๊ตฌํ๋๋ฉฐ, ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก DIM ์ฌ์ดํด ๋์ ์
๋ ฅ์ ์ ์กํ ํ, ๋ค์ ์์์ ์๋๋ก DIM ์ฌ์ดํด ๋์ ์ ์กํฉ๋๋ค.
์ด๊ฒ์ ์๋ ๋ค์ด์ด๊ทธ๋จ์ ๋์ ์์ต๋๋ค:
output-stationary ํ๋ ฌ ๊ณฑ์
์ ๊ฒฝ์ฐ, ํ๋ก๊ทธ๋๋จธ๊ฐ ์ ์น๋ฅผ ์์ฒญํ์ง ์๋๋ผ๋ ์ ์น๊ธฐ๊ฐ ์ฌ์ฉ๋๋ค๋ ์ ์ ์ ์ํ์ญ์์ค.
์ด๋ ์์คํจ๋ฆญ ๋ฐฐ์ด์ด output-stationary ๋ชจ๋์์ A์ ๋์ผํ ํ์ ์
๋ ฅ์ ๋์ผํ PE์ ์
๋ ฅํ๋ ๊ฒ์ ์์ํ๊ธฐ ๋๋ฌธ์
๋๋ค. ๊ทธ๋ฌ๋ A์ ๋จ์ผ ํ์ ๋ชจ๋ ๊ฐ์ด ๋์ผํ ์คํฌ๋์นํจ๋ SRAM ํ์ ์ ์ฅ๋ฉ๋๋ค.
๋ฐ๋ผ์ ํ๋ ฌ ์์๋ฅผ ๋์ผํ ํ์ ์๋ ์์๋ค์ด ์ฐ์์ ์ผ๋ก PE์ ์
๋ ฅ๋๋๋ก ์คํฌ๋์นํจ๋์์ ์ฝ์ ํ ์ ์นํด์ผ ํฉ๋๋ค.
Gemmini์๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini์ ๊ฐ์ธ SRAM์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ค๋ DMA์, Gemmini์ ๊ฐ์ธ SRAM์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฐ์ดํฐ๋ฅผ ์ด๋ํ๋ DMA๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
์ด ๋ชจ๋๋ค์ ๋ชจ๋ DMA.scala์ ๊ตฌํ๋์ด ์์ต๋๋ค.
๋ DMA๋ ๊ฐ์ ์ฃผ์์์ ์๋ํ๋ฉฐ, ์ด๋ฅผ ๋ฌผ๋ฆฌ์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ ์ฃผ์๋ก ๋ณํํ๊ธฐ ์ํด TLB์ ์ ๊ทผํฉ๋๋ค. TLB์์ ๋ฏธ์ค๊ฐ ๋ฐ์ํ๋ฉด, Gemmini์ ํธ์คํธ CPU์ ๊ณต์ ๋๋ PTW๋ก ํฌ๋ช ํ๊ฒ ๋์ฒด๋ฉ๋๋ค.
Gemmini์ ๊ฐ์ธ TLB์์ ๋ฌผ๋ฆฌ์ ์ฃผ์๋ฅผ ์ป์ ํ, DMA๋ ํฐ ๋ฉ๋ชจ๋ฆฌ ์์ฒญ์ ๋ ์์ TileLink ์ฝ๊ธฐ ๋ฐ ์ฐ๊ธฐ ์์ฒญ์ผ๋ก ๋๋๋๋ค. TileLink ํ๋กํ ์ฝ์ ๋ง์กฑ์ํค๊ธฐ ์ํด, ๊ฐ ๋ฉ๋ชจ๋ฆฌ ์์ฒญ์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ ์์ฒญ๋/์ ์ฅ๋ ๋ฐ์ดํธ ์๋ก ์ ๋ ฌ๋์ด์ผ ํ๋ฉฐ, ๊ฐ ๋ฉ๋ชจ๋ฆฌ ์์ฒญ์ ํฌ๊ธฐ(๋ฐ์ดํธ ๋จ์)๋ 2์ ๊ฑฐ๋ญ์ ๊ณฑ์ด์ด์ผ ํฉ๋๋ค. DMA๋ ์ผ๋ฐ์ ์ผ๋ก ๊ฐ๋ฅํ๋ฉด TileLink ์์ฒญ์ ์๋ฅผ ์ต์ํํ๋ ค๊ณ ํฉ๋๋ค. ์ด๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ ๋ ๋ง์ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ผ ํ๋๋ผ๋ ์ฑ๋ฅ์ ์ ํ์ํฌ ์ ์๋ TileLink ์์ฒญ์ ๊ณผ๋ํ ์๋ฅผ ๋ฐฉ์งํ๊ธฐ ์ํจ์ ๋๋ค.
DMAWriter, ์ฆ ๊ฐ์ธ SRAM์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฐ์ดํฐ๋ฅผ ์ฐ๋ ์ญํ ์ ํ๋ ๋ชจ๋์๋ ๋ฉ๋ชจ๋ฆฌ ์ฐ๊ธฐ ์์
์ค์ ๋ฐ์ดํฐ์ ๋ํ ๋งฅ์ค ํ๋ง์ ์ํํ๊ธฐ ์ํ > ๋น๊ต๊ธฐ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
Gemmini์ ๋์ปคํ๋ง๋ ์ก์ธ์ค-์คํ ์ํคํ
์ฒ๋ก ์ธํด, LoadController, StoreController, ExecuteController์ ๋ช
๋ น์ด ๋ค๋ฅธ ์ปจํธ๋กค๋ฌ์ ๋ช
๋ น๊ณผ ๋น๊ตํ์ฌ ๋์์ ์คํ๋๊ณ ์์ ์์ด ์ฒ๋ฆฌ๋ ์ ์์ต๋๋ค.
Gemmini๋ ๋ค๋ฅธ ์ปจํธ๋กค๋ฌ์ ๋ช
๋ น ์ฌ์ด์ ์ข
์์ฑ์ ๊ฐ์งํ๊ธฐ ์ํ ๋ฆฌ์ค๋ ๋ฒํผ(ROB)๋ฅผ ํฌํจํฉ๋๋ค.
ROB์ ์๋ ๋ช
๋ น์ ๋ค๋ฅธ ์ปจํธ๋กค๋ฌ์ ๋ช
๋ น์ ์ข
์์ฑ์ด ์์ ๋์๋ง ํด๋น ์ปจํธ๋กค๋ฌ์ ๋ฐํ๋ฉ๋๋ค.
๋์ผํ ์ปจํธ๋กค๋ฌ์ ๋์์ด ๋ ๋ช ๋ น์ ์์๋๋ก ๋ฐํ๋ฉ๋๋ค. ROB๋ ๋์ผํ ์ปจํธ๋กค๋ฌ ๋ด์์ ๋ช ๋ น ๊ฐ์ ์ข ์์ฑ์ ๊ฒ์ฌํ์ง ์์ต๋๋ค. ๊ฐ ์ปจํธ๋กค๋ฌ๋ ํ๋ก๊ทธ๋จ ์์๋๋ก ๋ช ๋ น์ ์์ ํ๋ค๋ ๊ฐ์ ํ์ ์์ฒด ๋ด๋ถ ์ข ์์ฑ๊ณผ ์ํ์ ์ฒ๋ฆฌํด์ผ ํ๊ธฐ ๋๋ฌธ์ ๋๋ค.
Gemmini์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ต๋ DIMxDIM ์์์ ํ๋ ฌ ๊ณฑ์
๋ง ์ํํ ์ ์์ต๋๋ค.
์ด๋ณด๋ค ๋ ํฐ ํ๋ ฌ ๊ณฑ์
๊ณผ ์ปจ๋ณผ๋ฃจ์
์ ์ํํ ๋๋ ํ๋ก๊ทธ๋๋จธ๊ฐ ์์ ์ ํ๋ ฌ ๊ณฑ์
์ ๋ ์์ DIMxDIM ํ๋ ฌ ๊ณฑ์
์ํ์ค๋ก ํ์ผ๋งํด์ผ ํฉ๋๋ค.
๊ทธ๋ฌ๋ ์ด๋ฌํ ์ฐ์ฐ์ ํจ์จ์ ์ผ๋ก ํ์ผ๋งํ๋ ๊ฒ์ CPU ๋ฐ ๋ฃจํ ์ค๋ฒํค๋์ ์ํํธ์จ์ด ๋ฃจํ๋ฅผ ํ์ด๋ด๊ณ ํ์ดํ๋ผ์ด๋ํ๋ ์ด๋ ค์์ผ๋ก ์ธํด ํ๋ก๊ทธ๋๋จธ์๊ฒ ์ด๋ ค์ธ ์ ์์ต๋๋ค.
์ด ์ด๋ ค์์ ์ค์ด๊ธฐ ์ํด, Gemmini์ ISA์๋ ๋๊ท๋ชจ ํ๋ ฌ ๊ณฑ์
๊ณผ ์ปจ๋ณผ๋ฃจ์
์ ์๋์ผ๋ก ํ์ผ๋งํ๊ณ ํ์ด๋ด๋ ๊ณ ์์ค CISC ์ ํ์ ๋ช
๋ น์ด ํฌํจ๋์ด ์์ต๋๋ค.
์ด๋ค์ LoopMatmul ๋ฐ LoopConv ๋ชจ๋์ ์ํด ๊ตฌํ๋ฉ๋๋ค.
์ด ๋ชจ๋๋ค์ FSM์ผ๋ก ๊ตฌํ๋์์ผ๋ฉฐ, ์ฑ๋ฅ์ ๊ทน๋ํํ๊ธฐ ์ํด ํ๋ ฌ ๊ณฑ์ /์ปจ๋ณผ๋ฃจ์ ํ์ผ์ ๋๋ธ ๋ฒํผ๋งํ๊ณ , ๋ฉ๋ชจ๋ฆฌ ์ก์ธ์ค์ ๋ํธ ํ๋ก๋ํธ ๊ณ์ฐ ๊ฐ์ ์ต๋ ์ค์ฒฉ์ ์ํด ROB์ ๋ก๋/์คํ ์ด/์คํ ๋ช ๋ น์ ๋น์จ์ ๋ชจ๋ํฐ๋งํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ROB์ด ํ๋ ฌ ๊ณฑ์ ๋ช ๋ น์ผ๋ก ๊ฐ๋ ์ฐจ ์์ด ๋ค์ด์ค๋ ๋ก๋ ๋ช ๋ น์ ์ฌ๋กฏ์ ๋จ๊ธฐ์ง ์๋ ๊ฒฝ์ฐ, FSM์ Gemmini์ ๋ฐ์ดํฐ ๊ฒฝ๋ก์ ์๋ ๋์ ๋ก๋ ๋ช ๋ น์ ์ํด ๋ ๋ง์ ๊ณต๊ฐ์ ํ์ฉํ๊ธฐ ์ํด ํ๋ ฌ ๊ณฑ์ ๋ช ๋ น์ ๋ฐํ์ ์ผ์ ์ค์งํ ๊ฒ์ ๋๋ค.
Gemmini ISA๋ ์๋ ISA ์น์
์์ ์ค๋ช
๋ฉ๋๋ค.
์ด ISA์๋ ๊ตฌ์ฑ ๋ช
๋ น, ๋ฐ์ดํฐ ์ด๋ ๋ช
๋ น(๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini์ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ์ด๋ํ๊ฑฐ๋ ๊ทธ ๋ฐ๋ ๋ฐฉํฅ), ๋ฐ ํ๋ ฌ ๊ณฑ์
์คํ ๋ช
๋ น์ด ํฌํจ๋ฉ๋๋ค.
Gemmini ๋ช ๋ น์ด๋ GNU binutils ์ด์ ๋ธ๋ฌ๋ฅผ ํตํด ๋ ธ์ถ๋์ง ์์ผ๋ฏ๋ก, ์ด๋ฌํ ๋ช ๋ น์ด ์ธ์ฝ๋ฉ์ ๊ตฌ์ฑํ๊ธฐ ์ํด ์ฌ๋ฌ C ๋งคํฌ๋ก๊ฐ ์ ๊ณต๋ฉ๋๋ค.
Gemmini ์์ฑ๊ธฐ๋ ์ด๋ฌํ ์ฌ์ฉ์ ์ ์ Gemmini ๋ช
๋ น ํธ์ถ์ ๊ณตํต DNN ์ฐ์ฐ์(์: ํ๋ ฌ ๊ณฑ์
, ์ปจ๋ณผ๋ฃจ์
(ํ๋ง ํฌํจ ๋๋ ์ ์ธ), ํ๋ ฌ ๋ง์
๋ฑ)๋ก ๊ฐ์ธ๋ C ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํฌํจํฉ๋๋ค.
์์ฑ๊ธฐ์ software ๋๋ ํ ๋ฆฌ์๋ ์์์ ์ธ๊ธํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฐ ๋งคํฌ๋ก, baremetal ํ
์คํธ, ๊ทธ๋ฆฌ๊ณ Linux ํ๊ฒฝ์์ ํ
์คํธ๋ฅผ ์คํํ๊ธฐ ์ํ ์ผ๋ถ FireMarshal ์ํฌ๋ก๋๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ํนํ C ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ software/gemmini-rocc-tests/include/gemmini.h ํ์ผ์ ์์ต๋๋ค.
Gemmini ์์ฑ๊ธฐ๋ ์์ฑ๊ธฐ ๋งค๊ฐ๋ณ์๋ฅผ ๊ธฐ๋ฐ์ผ๋ก C ํค๋ ํ์ผ์ ์์ฑํฉ๋๋ค. ์ด ํค๋ ํ์ผ์ C ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ํจ๊ป ์ปดํ์ผ๋์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ฑ๋ฅ์ ์กฐ์ ํฉ๋๋ค. ์์ฑ๋ ํค๋ ํ์ผ์ software/gemmini-rocc-tests/include/gemmini_params.h์์ ์ฐพ์ ์ ์์ต๋๋ค.
Gemmini๋ ๋ํ Microsoft์ ONNX-Runtime ํ๋ ์์ํฌ์ ํฌํธ๋ฅผ ํตํด ONNX์์ ์ง์ ๋ ์ ๊ฒฝ๋ง์ ์คํํ๋ ๋ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ด ํฌํธ๋ software ๋๋ ํ ๋ฆฌ์ ์๋ธ๋ชจ๋๋ก ํฌํจ๋ onnxruntime-riscv ๋ฆฌํฌ์งํ ๋ฆฌ์ ํฌํจ๋์ด ์์ต๋๋ค.
ONNX-Runtime ์ฌ์ฉ์ ์์ํ๋ ค๋ฉด git submodule update --init --recursive software/onnxruntime-riscv ๋ช
๋ น์ ์คํํ๊ณ ์ฌ๊ธฐ์์ ๋ฌธ์๋ฅผ ์ฐธ์กฐํ์ญ์์ค.
Gemmini ํ ์คํธ๋ฅผ ๋น๋ํ๋ ค๋ฉด:
cd software/gemmini-rocc-tests/
./build.sh์ดํ, ํ
์คํธ ๋ฐ์ด๋๋ฆฌ๋ software/gemmini-rocc-tests/build ๋๋ ํ ๋ฆฌ์ ์์ฑ๋ฉ๋๋ค.
์ด๋ฆ์ด -baremetal๋ก ๋๋๋ ๋ฐ์ด๋๋ฆฌ๋ bare-metal ํ๊ฒฝ์์ ์คํ๋๋๋ก ์ค๊ณ๋์์ผ๋ฉฐ, ์ด๋ฆ์ด -linux๋ก ๋๋๋ ๋ฐ์ด๋๋ฆฌ๋ Linux ํ๊ฒฝ์์ ์คํ๋๋๋ก ์ค๊ณ๋์์ต๋๋ค.
ํ
์คํธ๋ ์ฌ์ดํด ์ ํ๋์ RTL ์๋ฎฌ๋ ์ดํฐ ๋๋ (ํจ์ฌ ๋ ๋น ๋ฅธ) ๊ธฐ๋ฅ์ ISA ์๋ฎฌ๋ ์ดํฐ์ธ Spike์์ ์คํํ ์ ์์ต๋๋ค.
์ฐ๋ฆฌ๋ Gemmini ๋ช
๋ น์ด๋ฅผ ์ง์ํ๋ ํน๋ณํ Spike ํ์ฅ์ ์ฌ์ฉํฉ๋๋ค. ์ฌ๊ธฐ์์ ์ฐพ์ ์ ์์ต๋๋ค. Chipyard๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ, Chipyard์ ๋ฃจํธ ๋๋ ํ ๋ฆฌ์์ ./scripts/build-toolchains.sh riscv-tools๋ฅผ ์คํํ ๋ค์, Gemmini ๋๋ ํ ๋ฆฌ์์ make -C software/libgemmini install์ ์คํํ์ฌ Spike๋ฅผ ์ฝ๊ฒ ๋น๋ํ ์ ์์ต๋๋ค.
๊ทธ๋ฐ ๋ค์, Gemmini์ ์คํฌ๋์นํจ๋๋ก ํ๋ ฌ์ ์ด๋์ํค๊ณ , ๋ค์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ์ด๋์ํค๋ ๋จ์ํ ํ
์คํธ์ธ mvin_mvout ํ
์คํธ๋ฅผ ์คํํ๋ ค๋ฉด ๋ค์ ๋ช
๋ น์ ์คํํ์ญ์์ค:
cd build/bareMetalC
spike --extension=gemmini mvin_mvout-baremetalsoftware/gemmini-rocc-tests/bareMetalC/template.c๋ Gemmini ํ
์คํธ๋ฅผ ์์ฑํ ๋ ๊ธฐ๋ฐ์ผ๋ก ์ฌ์ฉํ ์ ์๋ ํ
ํ๋ฆฟ์
๋๋ค. ์์ ์ Gemmini ํ
์คํธ๋ฅผ ์์ฑํ๋ ค๋ฉด ๋ค์์ ์คํํ์ญ์์ค:
cd software/gemmini-rocc-tests/
cp bareMetalC/template.c bareMetalC/my_test.c๊ทธ๋ฐ ๋ค์, bareMetalC/Makefile์ ์๋จ์ ์๋ tests ๋ชฉ๋ก์ my_test๋ฅผ ์ถ๊ฐํ์ญ์์ค. ์ดํ, ./build.sh๋ฅผ ์คํํ๋ฉด build/bareMetalC ๋๋ ํ ๋ฆฌ์ my_test-baremetal์ด ์ค์น๋ฉ๋๋ค.
ResNet50๊ณผ ๊ฐ์ ์์ DNN์ software/gemmini-rocc-tests/imagenet ๋ฐ software/gemmini-rocc-tests/mlps์ ์์ต๋๋ค.
์ด ํ
์คํธ๋ค์ ์์์ ์ค๋ช
ํ ๋ค๋ฅธ ํ
์คํธ๋ค๊ณผ ๋์ผํ ๋ฐฉ์์ผ๋ก ๋น๋๋๊ณ ์คํ๋์ง๋ง, VCS๋ Verilator์ ๊ฐ์ ์ํํธ์จ์ด ์๋ฎฌ๋ ์ดํฐ์์๋ ์คํ ์๊ฐ์ด ๋๋ฌด ์ค๋ ๊ฑธ๋ฆฝ๋๋ค.
์ด ํ
์คํธ๋ค์ ๋์ Firesim์ด๋ผ๋ FPGA ๊ฐ์ ์๋ฎฌ๋ ์ด์
ํ๋ซํผ์ ํตํด ์คํํ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค. ์ด ํ๋ซํผ์ ์คํ ์๊ฐ์ ๋ฉฐ์น ์์ ๋ช ๋ถ์ผ๋ก ๋จ์ถ์์ผ์ค๋๋ค.
DNN ํ
์คํธ๋ gemmini.h์ ์๋ ๊ณตํต DNN ์ฐ์ฐ์๋ค์ C ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค.
์ด๋ค์ ๊ฑฐ์ ์ง์ ์ ์ธ Gemmini ISA ๋ช
๋ น์ด ํธ์ถ์ ํ์ง ์์ผ๋ฉฐ, ๋๋ถ๋ถ C ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์๋ ๋ํผ๋ฅผ ํธ์ถํฉ๋๋ค.
Gemmini์ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ๋ "ํ ๋จ์ ์ฃผ์ ์ง์ " ๋ฐฉ์์ผ๋ก, ๊ฐ ํ์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋๋น์ธ DIM ์์๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ๊ธฐ๋ณธ ์ค์ ์์๋ DIM์ด 16์
๋๋ค.
์คํฌ๋์นํจ๋์์๋ ์ด๋ฌํ ์์๋ค์ด inputType ์ ํ์ด๋ฉฐ, ๋์ฐ๊ธฐ์์๋ accType ์ ํ์
๋๋ค.
Gemmini์ ๋ชจ๋ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ ์ฃผ์๋ 32๋นํธ ๊ธธ์ด๋ฅผ ๊ฐ์ง๋ฉฐ, ๊ฐ์ฅ ์์ 3๋นํธ๋ ์์ฝ๋์ด ์์ผ๋ฉฐ ํน๋ณํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋๋ค:
- ๋นํธ 31(MSB)์ ์คํฌ๋์นํจ๋๋ฅผ ์ฃผ์ ์ง์ ํ๋ ๊ฒฝ์ฐ 0, ๋์ฐ๊ธฐ๋ฅผ ์ฃผ์ ์ง์ ํ๋ ๊ฒฝ์ฐ 1์ ๋๋ค.
- ๋นํธ 30์ ์คํฌ๋์นํจ๋๋ฅผ ์ฃผ์ ์ง์ ํ๋ ๊ฒฝ์ฐ ๋๋ ๋์ฐ๊ธฐ์์ ์ฝ์ด์ค๋ ๊ฒฝ์ฐ ๋ฌด์๋ฉ๋๋ค. ๋ฐ๋๋ก ๋์ฐ๊ธฐ์ ์ฐ๋ ๊ฒฝ์ฐ, ๋นํธ 30์ด 0์ด๋ฉด ํด๋น ์ฃผ์์ ๋ฐ์ดํฐ๋ฅผ ๋ฎ์ด์ฐ๊ณ , 1์ด๋ฉด ํด๋น ์ฃผ์์ ๋ฐ์ดํฐ์ ๋์ ํฉ๋๋ค.
- ๋นํธ 29๋ ์คํฌ๋์นํจ๋๋ฅผ ์ฃผ์ ์ง์ ํ๋ ๊ฒฝ์ฐ ๋๋ ๋์ฐ๊ธฐ์ ์ฐ๋ ๊ฒฝ์ฐ ๋ฌด์๋ฉ๋๋ค. ๋ฐ๋๋ก ๋์ฐ๊ธฐ์์ ์ฝ์ด์ค๋ ๊ฒฝ์ฐ, ๋นํธ 29๊ฐ 0์ด๋ฉด ๋์ฐ๊ธฐ์์ ์ค์ผ์ผ ๋ค์ด๋
inputType๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ค๊ณ , 1์ด๋ฉดaccType๋ฐ์ดํฐ๋ฅผ ์ฝ์ด์ต๋๋ค.- ๋นํธ 29๊ฐ 1์ธ ๊ฒฝ์ฐ, ๋์ฐ๊ธฐ์ ์ถ๋ ฅ์ ํ์ฑํ ํจ์๋ ์ค์ผ์ผ๋ง์ด ์ ์ฉ๋์ง ์์ต๋๋ค.
๋ค์ ๊ทธ๋ฆผ์ 2x2 ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ฌ์ฉํ๋ Gemmini ์ค์ ์ ๋ฉ๋ชจ๋ฆฌ ์ฃผ์ ์ง์ ๋ฐฉ์์ ๋ณด์ฌ์ค๋๋ค:
Gemmini๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ ์ฃผ์(์ด๋ CPU์์๋ ๋ณผ ์ ์๋ ์ฃผ์)์ ์ํํธ์จ์ด์์ ๋ณผ ์ ์๋ ๊ฐ์ ์ฃผ์๋ฅผ ํตํด ์ ๊ทผํฉ๋๋ค. ๋ฌผ๋ฆฌ ์ฃผ์ ๋ณํ์ Gemmini์์ ํฌ๋ช ํ๊ฒ ์ฒ๋ฆฌ๋ฉ๋๋ค.
์ด ์น์ ์์๋ Gemmini์ ์ด์ ๋ธ๋ฆฌ ๋ ๋ฒจ ISA, ์ฆ RISC-V ์ฌ์ฉ์ ์ ์ ๋ช ๋ น์ด๋ก ๊ตฌ์ฑ๋ ISA์ ๋ํด ์ค๋ช ํฉ๋๋ค.
ํ์: mvin rs1, rs2
rs1= ์คํฌ๋์นํจ๋๋ก ๋ก๋ํ ๊ฐ์ DRAM ์ฃผ์(๋ฐ์ดํธ ์ฃผ์)rs2[31:0]= ๋ก์ปฌ ์คํฌ๋์นํจ๋ ๋๋ ๋์ฐ๊ธฐ ์ฃผ์rs2[47:32]= ๋ก๋ํ ์ด์ ์rs2[63:48]= ๋ก๋ํ ํ์ ์.DIM๋ณด๋ค ์๊ฑฐ๋ ๊ฐ์์ผ ํฉ๋๋ค.funct= 2
๋์: Scratchpad[rs2] <= DRAM[Translate[rs1]]
- ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ์์ Gemmini์ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก 2D ํ๋ ฌ์ ๋ก๋ํฉ๋๋ค.
- ๋ก๋๋ rs1/rs2 ๊ธฐ๋ณธ ์ฃผ์์์ ์์ฐจ์ ์ผ๋ก ์ด๋ฃจ์ด์ง๋๋ค.
- ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋๋
config_mvin๋ช ๋ น์ด๋ก ์ค์ ํด์ผ ํฉ๋๋ค. - ๋ก๋ํ ์ด์ ์๊ฐ
DIM๋ณด๋ค ํฌ๋ฉด ์ฌ๋ฌ ์๋ธ๋งคํธ๋ฆญ์ค๊ฐ ์ด๋๋ฉ๋๋ค. ์ด ์๋ธ๋งคํธ๋ฆญ์ค ๊ฐ์ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋๋config_mvin๋ช ๋ น์ด๋ก ์ค์ ๋ฉ๋๋ค.
๋ค์ ๊ทธ๋ฆผ์ mvin ๋ช
๋ น์ด์ ๋์ ๋ฐฉ์์ ๋ณด์ฌ์ค๋๋ค:
์ถ๊ฐ๋ก, ๋ค์ ๊ทธ๋ฆผ์ ๋ก๋ํ ์ด์ ์๊ฐ DIM๋ณด๋ค ํด ๋์ ํน์ ์ฌ๋ก๋ฅผ ๋ณด์ฌ์ค๋๋ค:
์ฐธ๊ณ :
- Gemmini์๋ ์ค์ ๋ก ์ธ ๊ฐ์ง
mvin๋ช ๋ น์ด๊ฐ ์์ต๋๋ค:mvin,mvin2, ๋ฐmvin3.mvin2์mvin3๋mvin๊ณผ ์์ ํ ๋์ผํ์ง๋ง, ๊ฐ๊ฐ ๋ ๋ฆฝ์ ์ธ ์ค์ ๋ ์ง์คํฐ ์ธํธ๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค.config_mvin(์๋์ ์ค๋ช ๋จ)์ ํธ์ถํ ๋, ํ๋ก๊ทธ๋๋จธ๋ ์ค์ ํ๋ ค๋mvin๋ช ๋ น์ด๋ฅผ ์ ํํ ์ ์์ต๋๋ค. - ์ธ ๊ฐ์ง
mvin๋ช ๋ น์ด๊ฐ ์๋ ์ด์ ๋ ํ๋ก๊ทธ๋๋จธ๊ฐ A, B, ๋ฐ D ํ๋ ฌ์ ๋ก๋๋ฅผ ์ค์ฒฉํ ์ ์๋๋ก ํ๊ธฐ ์ํจ์ ๋๋ค(์๋ฅผ ๋ค์ด,A*B+Dํ๋ ฌ ๊ณฑ์ ์ ๊ฒฝ์ฐ, A, B, D๋ ๊ฐ๊ฐ ๋ค๋ฅธ ๋ฉ 8BD0 ์ธ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋๋ฅผ ๊ฐ์ง ์ ์์ต๋๋ค).
ํ์: mvout rs1, rs2
rs1= ์คํฌ๋์นํจ๋์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ์ฐ๊ธฐ ์ํ ๊ฐ์ DRAM ์ฃผ์(๋ฐ์ดํธ ์ฃผ์)rs2[31:0]= ๋ก์ปฌ ์คํฌ๋์นํจ๋ ์ฃผ์rs2[47:32]= ์ ์ฅํ ์ด์ ์rs2[63:48]= ์ ์ฅํ ํ์ ์funct= 3
๋์: DRAM[Translate[rs1]] <= Scratchpad[rs2]
- ์คํฌ๋์นํจ๋์์ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก 2D ํ๋ ฌ์ ์ ์ฅํฉ๋๋ค.
- ์ ์ฅ์ rs1/rs2 ๊ธฐ๋ณธ ์ฃผ์์์ ์์ฐจ์ ์ผ๋ก ์ด๋ฃจ์ด์ง๋๋ค. ์คํธ๋ผ์ด๋๋
config_mvout๋ช ๋ น์ด๋ก ์ค์ ํด์ผ ํฉ๋๋ค.
ํ์: config_ex rs1 rs2
rs1[1:0]์00์ด์ด์ผ ํฉ๋๋ค.rs1[2]๋ ์ถ๋ ฅ(0) ๋๋ ๊ฐ์ค์น(1) ๊ณ ์ ์ฌ๋ถ๋ฅผ ๊ฒฐ์ ํฉ๋๋ค.rs1[3]= ํ์ฑํ ํจ์: relu(1) ๋๋ ํ์ฑํ ํจ์ ์์(0)rs1[8]= A๋ฅผ ์ ์นํ ์ง ์ฌ๋ถrs1[9]= B๋ฅผ ์ ์นํ ์ง ์ฌ๋ถrs1[31:16]= ์์คํจ๋ฆญ ๋ฐฐ์ด์ ํ๋ ฌ A์ ํ์ ๊ณต๊ธํ๋ ๋์ ์ฌ์ฉํ๋ ์คํฌ๋์นํจ๋์ ํ ๊ฐ ๊ฐ๊ฒฉ. ์ฌ๊ธฐ์ "A"๋ ํ๋ ฌ ๊ณฑ์ A * B = C์์ ์ผ์ชฝ ํ๋ ฌ A๋ฅผ ๋ํ๋ ๋๋ค. ์ด ๊ฐ๊ฒฉ์ด 1์ด๋ฉด, ์คํฌ๋์นํจ๋์์ ์ฐ์์ ์ธ ํ์ด ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๊ณต๊ธ๋ฉ๋๋ค. ๊ฐ๊ฒฉ์ด 2์ด๋ฉด, ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๊ณต๊ธ๋๋ ํ์ ํ๋์ฉ ๊ฑด๋๋๋๋ค.rs1[63:32]= ๋์ฐ๊ธฐ์accType์ถ๋ ฅ์inputType๊ฐ์ผ๋ก ์ถ์ํ๋ ๋ฐ ์ฌ์ฉํ๋ ์ค์นผ๋ผ ๊ฐ.- ๊ธฐ๋ณธ ์ค์ ์์๋
rs1[63:32]๊ฐfloat32์ ํ์ ๋๋ค.
- ๊ธฐ๋ณธ ์ค์ ์์๋
rs2[31:0]= ์์คํจ๋ฆญ ๋ฐฐ์ด์ ๋ ๋ ๋ ํ๋ ฌ ๊ณฑ์ ๊ฒฐ๊ณผ๋ฅผ ์ฐ์ธก์ผ๋ก ์ํํธํ ๋นํธ ์- ์ด ๋งค๊ฐ๋ณ์๋ ์ถ๋ ฅ ๊ณ ์ ๋ชจ๋์์๋ง ๊ด๋ จ์ด ์์ผ๋ฉฐ, ์์คํจ๋ฆญ ๋ฐฐ์ด ๋ด์์ ๋ถ๋ถ ํฉ๊ณ๋ฅผ ๋์ ํ๊ณ ์คํฌ๋์นํจ๋์ ๊ธฐ๋กํ ๋ ์ถ์ํด์ผ ํฉ๋๋ค.
funct= 0
๋์: ๋ชจ๋ <= rs1(2); ์ํํธ <= rs2; A_stride <= rs1[31:16]
์ฐธ๊ณ ์ฌํญ:
- ํ์ฌ๋ก์๋ ํน์ ์ ์น ์ต์ ์ ์กฐํฉ์ ์ฌ๋ฐ๋ฅธ ๋ฐ์ดํฐ ํ๋ฆ์ ์ ํํ์ง ์์ผ๋ฉด ์ํํ ์ ์์ต๋๋ค. ์ด ์ ํ์ ๋์ค์ ํด์ ๋ ์ ์์ต๋๋ค.
| ๋ฐ์ดํฐ ํ๋ฆ | ์ ์น A | ์ ์น B | ํ์ฉ ์ฌ๋ถ |
|---|---|---|---|
| OS | ์๋์ค | ์๋์ค | ์ |
| OS | ์๋์ค | ์ | ์๋์ค |
| OS | ์ | ์๋์ค | ์ |
| OS | ์ | ์ | ์ |
| WS | ์๋์ค | ์๋์ค | ์ |
| WS | ์๋์ค | ์ | ์ |
| WS | ์ | ์๋์ค | ์ |
| WS | ์ | ์ | ์๋์ค |
ํ์: config_mvin rs1 rs2
rs1[1:0]์01์ด์ด์ผ ํฉ๋๋ค.rs1[2]๋mvin์ด ๋์ฐ๊ธฐ ์ ํaccType์ธ์ง, ์ ๋ ฅ ์ ํinputType์ธ์ง ๊ฒฐ์ ํฉ๋๋ค.rs1[4:3]์ 0์ด๋ฉดmvin์ ์คํธ๋ผ์ด๋ ์ค์ , 1์ด๋ฉดmvin2์ ์คํธ๋ผ์ด๋ ์ค์ , 2์ด๋ฉดmvin3์ ์คํธ๋ผ์ด๋ ์ค์ ์ ์๋ฏธํฉ๋๋ค.rs1[31:16]์ ์คํฌ๋์นํจ๋ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋(์์์ ๋งํ "๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋")rs1[63:32]์ ์คํฌ๋์นํจ๋๋ก ์ด๋ํ ๋ ๋ฐ์ดํฐ์ ๊ณฑํ ์ค์ผ์ผ์ ๋๋ค. Gemmini๊ฐmvin๋์ ๊ฐ์ ์ค์ผ์ผ๋งํ ์ ์๋๋ก ๊ตฌ์ฑ๋์ง ์์ ๊ฒฝ์ฐ ์ด ๊ฐ์ ๋ฌด์๋ฉ๋๋ค.rs2๋ ๋ฉ์ธ ๋ฉ๋ชจ๋ฆฌ ์คํธ๋ผ์ด๋(๋ฐ์ดํธ ๋จ์)funct= 0
๋์: ์คํธ๋ผ์ด๋ <= rs2; ์ค์ผ์ผ <= rs1[63:32]
ํ์: config_mvout rs1 rs2
rs1[1:0]์10์ด์ด์ผ ํฉ๋๋ค.rs2= ์คํธ๋ผ์ด๋(๋ฐ์ดํธ ๋จ์)funct= 0
mvout ์์
๋์, Gemmini๋ ๋ํ ๋งฅ์ค ํ๋ง์ ์ํํ ์ ์์ต๋๋ค.
์ด ๊ธฐ๋ฅ์ ์คํ์ ์ด๋ฉฐ ๋ณ๊ฒฝ๋ ์ ์์ต๋๋ค.
์ด ๊ธฐ๋ฅ์ ๋ฐ์ดํฐ๊ฐ NHWC ํ์์ผ๋ก ์คํฌ๋์นํจ๋ ๋๋ ๋์ฐ๊ธฐ์ ์ ์ฅ๋๋ค๊ณ ๊ฐ์ ํฉ๋๋ค.
์ด ๊ธฐ๋ฅ์ ์ ์ดํ๋ ๋งค๊ฐ๋ณ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
rs1[5:4]= ๋งฅ์ค ํ๋ง ์คํธ๋ผ์ด๋. 0์ธ ๊ฒฝ์ฐ ๋งฅ์ค ํ๋ง์ด ๋นํ์ฑํ๋ฉ๋๋ค.rs1[7:6]= ๋งฅ์ค ํ๋ง ์๋์ฐ ํฌ๊ธฐrs1[9:8]= ์๋จ์ ์ ๋ก ํจ๋ฉrs1[11:10]= ์ข์ธก์ ์ ๋ก ํจ๋ฉrs1[31:24]= ํ๋ง ํ ์ด๋ฏธ์ง์ ์ถ๋ ฅ ์ฐจ์rs1[39:32]= ์ถ๋ ฅํ ํ๋ง๋ ํ์ ์rs1[47:40]= ์ถ๋ ฅํ ํ๋ง๋ ์ด์ ์rs1[55:48]= ํ๋งํ ๋นํ๋ง๋ ํ์ ์rs1[63:56]= ํ๋งํ ๋นํ๋ง๋ ์ด์ ์
๋์: ์คํธ๋ผ์ด๋ <= rs2; ๋งฅ์ค ํ๋ง ๋งค๊ฐ๋ณ์ <= rs1
ํ์: config_norm rs1 rs2
config_norm์ ์คํ์ ๋ช
๋ น์ผ๋ก, ์ฃผ๋ก I-BERT๋ผ๋ ์ ์ ์ ์ฉ BERT ๋ณํ์ Gemmini์์ ์ง์ํ๊ธฐ ์ํด ์ถ๊ฐ๋์์ต๋๋ค.
์ด ๋ช
๋ น์ I-BERT์ GELU, ๋ ์ด์ด ์ ๊ทํ, ์ํํธ๋งฅ์ค ๋ณํ์ ์ฌ์ฉ๋๋ ์ค์นผ๋ผ ์์๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค.
ํ์: flush rs1
rs1=rs1[0]์ด 1์ธ ๊ฒฝ์ฐ, ํ์ฌ TLB ์์ฒญ์ด ์คํต๋ฉ๋๋ค(ํ์ด์ง ํดํธ๊ฐ ๋ฐ์ํ์ฌ ์ธํฐ๋ฝํธ๋ฅผ ๊ธฐ๋ค๋ฆฌ๊ณ ์๋ ๊ฒฝ์ฐ). ๊ทธ๋ ์ง ์์ ๊ฒฝ์ฐ, ํ์ฌ TLB ์์ฒญ์ด ๋ฐ๋ณต๋ฉ๋๋ค.
์ฐธ๊ณ :
- ์ด ๋ช ๋ น์ ๋ค๋ฅธ ํ์ ๋๊ธฐ ์ค์ธ ๋ช ๋ น ์์ด ์ฆ์ ์คํ๋ฉ๋๋ค. ํ๋ก๊ทธ๋๋จธ๊ฐ ํ์ํ ๊ฒฝ์ฐ ํ์ค๋ฅผ ์ฝ์ ํ ์ฑ ์์ด ์์ต๋๋ค.
๋ชจ๋ ํ๋ ฌ ๊ณฑ์
์ฐ์ฐ์ matmul.preload์ matmul.compute์ ์กฐํฉ์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค(๋จ์ผ ๋ช
๋ น์ด์ ๊ธธ์ด๊ฐ ๊ธธ๊ธฐ ๋๋ฌธ์ ๋ ๊ฐ์ ๋ช
๋ น์ด๋ก ๋๋์์ต๋๋ค).
matmul.preload๋ matmul.compute๋ณด๋ค ๋จผ์ ์คํ๋์ด์ผ ํฉ๋๋ค.
์์ :
//// OS ํ๋ ฌ ๊ณฑ์
์์ ////
// rs1 = InputD
// rs2 = OutputC
// rs3 = InputA
// rs4 = InputB
// ํ๋ ฌ ๊ณฑ์
InputA * InputB + InputD = OutputC
1. matmul.preload $rs1 $rs2
2. matmul.compute $rs3 $rs4
๋์: Scratchpad[rs2] <= Scratchpad[rs3] * Scratchpad[rs4] + Scratchpad[rs1]
์ฃผ์ ์ง์ ์ ๋ํ ์ฐธ๊ณ ์ฌํญ:
- B ๋๋ D์ ๊ฒฝ์ฐ, ์ฃผ์๋ฅผ ๋ชจ๋ ๋์ ๋นํธ๋ก ๋์ฒดํ์ฌ 0 ํ๋ ฌ์ ์ ๋ ฅํ ์ ์์ต๋๋ค.
- A์ ๊ฒฝ์ฐ, ์ฃผ์๋ฅผ ๋ชจ๋ ๋์ ๋นํธ๋ก ๋์ฒดํ์ฌ ์ ์๋์ง ์์ ์์์ ๋ฐ์ดํฐ๋ฅผ ์ ๋ ฅํ ์ ์์ต๋๋ค.
ํ์: matmul.preload rs1, rs2
rs1[31:0]= D ํ๋ ฌ์ ๋ก์ปฌ ์คํฌ๋์นํจ๋ ์ฃผ์(output-stationary์ ๊ฒฝ์ฐ) ๋๋ B ํ๋ ฌ(weight-stationary์ ๊ฒฝ์ฐ)rs1[47:32]= D/B ํ๋ ฌ์ ์ด ์rs1[63:48]= D/B ํ๋ ฌ์ ํ ์rs2[31:0]= C ํ๋ ฌ์ ๋ก์ปฌ ์คํฌ๋์นํจ๋ ์ฃผ์. ์ด ๊ฐ์ด ๋ชจ๋ ๋์ ๋นํธ๋ก ์ค์ ๋๋ฉด C๊ฐ ์คํฌ๋์นํจ๋๋ ๋์ฐ๊ธฐ์ ๊ธฐ๋ก๋์ง ์์ต๋๋ค.rs2[47:32]= C ํ๋ ฌ์ ์ด ์rs2[63:48]= C ํ๋ ฌ์ ํ ์funct= 6
์ปค๋ฐ ๋์: ์ด ๋ช ๋ น์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ด ๋ช ๋ น์ ์์ ํ ํ ๋ค์ ์ฌ์ดํด์ ์ปค๋ฐ๋ฉ๋๋ค. ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ดํ OS/WS ํน์ ๋ช ๋ น์ด ๋์ฐฉํ ๋๊น์ง ์ ํด ์ํ๋ก ์ ์ง๋ฉ๋๋ค.
ํ์: matmul.compute.preloaded rs1, rs2
rs1[31:0]= A ํ๋ ฌ์ ๋ก์ปฌ ์คํฌ๋์นํจ๋ ์ฃผ์(์์คํจ๋ฆญ ๋ฐฐ์ด ๋จ์ผ ์ถ ์ฃผ์ ์ง์ )rs1[47:32]= A ํ๋ ฌ์ ์ด ์rs1[63:48]= A ํ๋ ฌ์ ํ ์rs2[31:0]= B ํ๋ ฌ์ ๋ก์ปฌ ์คํฌ๋์นํจ๋ ์ฃผ์(์์คํจ๋ฆญ ๋ฐฐ์ด ๋จ์ผ ์ถ ์ฃผ์ ์ง์ ) ๋๋ D ํ๋ ฌ(weight-stationary์ ๊ฒฝ์ฐ)rs2[47:32]= B/D ํ๋ ฌ์ ์ด ์rs2[63:48]= B/D ํ๋ ฌ์ ํ ์funct= 4- ์ด ๋ช ๋ น์ ์ฌ์ ๋ก๋ฉ๋ ๊ฐ(D ๋๋ B)์ผ๋ก ์ฐ์ฐ์ ์ํํฉ๋๋ค.
ํ์: matmul.compute.accumulated rs1, rs2
funct= 5rs1๊ณผrs2๋matmul.compute.preloaded์ ๋์ผํ ์ธ์ฝ๋ฉ์ ๊ฐ์ง๋๋ค.- output-stationary์ ๊ฒฝ์ฐ, ์ด ๋ช ๋ น์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ด์ ์ ๊ณ์ฐ๋ ๊ฒฐ๊ณผ(C)๋ก ์ฐ์ฐ์ ์ํํ๋ฉฐ, ๊ทธ ์์ ๋์ ํฉ๋๋ค.
- weight-stationary์ ๊ฒฝ์ฐ, ์ด ๋ช ๋ น์ ์์คํจ๋ฆญ ๋ฐฐ์ด์ ์ด์ ์ ์ฌ์ ๋ก๋ฉ๋ ๊ฐ์ค์น(B)๋ก ์ฐ์ฐ์ ์ํํฉ๋๋ค.
Gemmini์๋ DIMxDIM๋ณด๋ค ํจ์ฌ ํฐ ๋ฐ์ดํฐ๋ฅผ ๋์์ผ๋ก ํ๋ ฌ ๊ณฑ์
๋ฐ ์ปจ๋ณผ๋ฃจ์
์ ์ํํ ์ ์๋ CISC ์ ํ์ ๋ช
๋ น์ด ํฌํจ๋์ด ์์ต๋๋ค.
์ด๋ฌํ CISC ๋ช ๋ น์ ํ๋ก๊ทธ๋๋จธ๊ฐ ์์์ ์ค๋ช ํ ๋ค๋ฅธ ISA ๋ช ๋ น์ ํตํด ํ์ผ๋งํ๊ณ ๋ฃจํ๋ฅผ ๊ตฌ์ฑํ ์ ์๋ ๋ชจ๋ ์์ ์ ์ํํ ์ ์์ง๋ง, ๋น์ ๋ฌธ ํ๋ก๊ทธ๋๋จธ๊ฐ ์์ฑํ ํ์ผ๋ง๋ ๋ฃจํ๋ณด๋ค ๋ ๋์ ์ฒ๋ฆฌ๋์ ๋ฌ์ฑํ ์ ์์ต๋๋ค. CISC ๋ช ๋ น์ ์ฑ๋ฅ ํฅ์์ ์ํ ๋๊ตฌ๋ก ๊ฐ์ฃผํด์ผ ํ๋ฉฐ, ๊ฐ์๊ธฐ์ ์ถ๊ฐ์ ์ธ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง ์์ต๋๋ค.
CISC ๋ช ๋ น์๋ ํ๋์ RISC-V ์ฌ์ฉ์ ์ ์ ๋ช ๋ น์ด๋ก๋ ๋๋ฌด ๋ง์ ํผ์ฐ์ฐ์๊ฐ ์์ต๋๋ค. ๋ฐ๋ผ์ ์ด๋ค์ ์ผ๋ จ์ ๋ง์ RISC-V ์ฌ์ฉ์ ์ ์ ๋ช ๋ น์ด๋ก ๊ตฌํ๋๋ฉฐ, ํ๋ก๊ทธ๋๋จธ๊ฐ ์ฐ์์ ์ผ๋ก ํธ์ถํด์ผ ํฉ๋๋ค.
์ด ๋ช
๋ น๋ค์ software/gemmini-rocc-tests/include/gemmini.h์์ ์ฐพ์ ์ ์์ผ๋ฉฐ, ์์ ์ฌ์ฉ๋ฒ๋ ํฌํจ๋์ด ์์ต๋๋ค.
์๋์ ๊ทธ๋ค์ ์ธ์๋ฅผ ๋์ดํฉ๋๋ค.
์ด ๋ฃจํ ๋ช ๋ น์ด๋ค์ ์คํ์ ์ด๋ฉฐ ๋ณ๊ฒฝ๋ ์ ์์ต๋๋ค.
์ด ๋ช
๋ น์ A * B + D = C๋ฅผ ๊ณ์ฐํ์ง๋ง, A, B, D, C๋ ๋ชจ๋ DIMxDIM๋ณด๋ค ํด ์ ์์ต๋๋ค.
A์ B๋ inputType์ด์ด์ผ ํ์ง๋ง, D์ C๋ inputType ๋๋ accType์ผ ์ ์์ต๋๋ค.
์ด ํ๋ ฌ๋ค์ ํฌ๊ธฐ๋ I, J, K๋ก ํํ๋ฉ๋๋ค:
A์ ์คํฌ๋์นํจ๋ ํ ์ = I * K * DIM
B์ ์คํฌ๋์นํจ๋ ํ ์ = K * J * DIM
D์ ๋์ฐ๊ธฐ ํ ์ = I * J * DIM
C์ ๋์ฐ๊ธฐ ํ ์ = I * J * DIM
๊ทธ๋ฌ๋ ๋จ์ผ gemmini_loop_ws๋ก ์ฒ๋ฆฌํ ์ ์๋ ์ด ์คํฌ๋์นํจ๋ ํ ์๋ ์ ์ฒด ์คํฌ๋์นํจ๋ ํฌ๊ธฐ์ ์ ๋ฐ์ ์ด๊ณผํ ์ ์์ต๋๋ค. ์ด๋ Gemmini๊ฐ CISC ๋ช
๋ น์ด ๋์ ๋๋ธ ๋ฒํผ๋ง์ ์ํํ๊ธฐ ๋๋ฌธ์
๋๋ค.
๋ ํฐ ํ๋ ฌ ๊ณฑ์
์ ์ํํ๋ ค๋ฉด, ๋ฃจํ ๋ช
๋ น์ด๋ฅผ ์ธ๋ถ ๋ฃจํ ๋ด์์ ํ์ผ๋งํด์ผ ํฉ๋๋ค.
gemmini_loop_ws ๋ช
๋ น์ ์ธ๋ถ ํ์ผ๋ง์ ์ง์ํ๊ธฐ ์ํด ex_accumulate๋ผ๋ ์ธ์๊ฐ ํฌํจ๋์ด ์์ผ๋ฉฐ, ์ด๋ ๋์ผํ ์ธ๋ถ ๋ฃจํ ๋ด์์ gemmini_loop_ws๋ฅผ ์ฌ๋ฌ ๋ฒ ํธ์ถํ์ฌ ์ด๋ฏธ ๋์ฐ๊ธฐ์ ์๋ ๋ถ๋ถ ํฉ๊ณ ์์ ํ๋ ฌ ๊ณฑ์
์ ์ํํ ์ง ์ฌ๋ถ๋ฅผ ๊ฒฐ์ ํฉ๋๋ค.
Gemmini๋ ์ปจ๋ณผ๋ฃจ์ ์ ์ํ CISC ๋ช
๋ น๋ ํฌํจํ๊ณ ์์ผ๋ฉฐ, ์ด๋ ํ๋ ฌ ๊ณฑ์
CISC ๋ช
๋ น๊ณผ ์ ์ฌํ๊ฒ ๊ตฌํ๋์์ต๋๋ค.
gemmini_loop_conv_ws๋ WS ๋ฐ์ดํฐ ํ๋ฆ์ผ๋ก ์ปจ๋ณผ๋ฃจ์
์ ์ํํ๋ฉฐ, ๋งฅ์ค ํ๋ง, ์ ์น ์ปจ๋ณผ๋ฃจ์
๋ฐ ๊ฐ์ค์น์ ์
๋ ฅ ๋ฐ์ดํฐ์ ๋ํ ๋ค์ํ ์ ์ฒ๋ฆฌ ๋ณํ๊ณผ ๊ฐ์ ๊ธฐ๋ฅ๋ ์ง์ํฉ๋๋ค.
gemmini_loop_ws์ ๋ง์ฐฌ๊ฐ์ง๋ก, ๋จ์ผ gemmini_loop_conv_ws ํธ์ถ์ ์
๋ ฅ์ Gemmini์ ๊ฐ์ธ ๋ฉ๋ชจ๋ฆฌ์ ์ ๋ฐ์ ๋ง์์ผ ํ๋ฉฐ, ์ด๋ ๋๋ธ ๋ฒํผ๋ง์ ์ง์ํ๊ธฐ ์ํด์์
๋๋ค.
ํ๋ก๊ทธ๋๋จธ๊ฐ ๋ ํฐ ์ปจ๋ณผ๋ฃจ์
์ ์ํํ๋ ค๋ ๊ฒฝ์ฐ, ์ธ๋ถ ๋ฃจํ ๋ด์์ gemmini_loop_conv_ws๋ฅผ ํ์ผ๋งํ๊ณ ๋ํํด์ผ ํฉ๋๋ค.
Gemmini๊ฐ ๊ทํ์ ํ์ ์ฐ๊ตฌ์ ๋์์ด ๋์๋ค๋ฉด, ๋ ผ๋ฌธ์์ Gemmini๋ฅผ ์ธ์ฉํ๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค. ๋ค์์ ์ธ์ฉ ์์ ์ ๋๋ค:
@INPROCEEDINGS{gemmini-dac,
author={Genc, Hasan and Kim, Seah and Amid, Alon and Haj-Ali, Ameer and Iyer, Vighnesh and Prakash, Pranav and Zhao, Jerry and Grubb, Daniel and Liew, Harrison and Mao, Howard and Ou, Albert and Schmidt, Colin and Steffl, Samuel and Wright, John and Stoica, Ion and Ragan-Kelley, Jonathan and Asanovic, Krste and Nikolic, Borivoje and Shao, Yakun Sophia},
booktitle={Proceedings of the 58th Annual Design Automation Conference (DAC)},
title={Gemmini: Enabling Systematic Deep-Learning Architecture Evaluation via Full-Stack Integration},
year={2021},
volume={},
number={},
pages={}
}
- ์ด ํ๋ก์ ํธ๋ ๋ถ๋ถ์ ์ผ๋ก DARPA RTML ํ๋ก๊ทธ๋จ(๊ณ์ฝ ๋ฒํธ FA8650-20-2-7006) ํ์ ๋ฏธ ์ ๋ถ์ ์๊ธ ์ง์์ ๋ฐ์์ต๋๋ค. ์ด ๋ฌธ์์ ํฌํจ๋ ๊ฒฌํด์ ๊ฒฐ๋ก ์ ์ ์์ ๊ฒ์ด๋ฉฐ, ๋ฏธ ์ ๋ถ์ ๊ณต์ ์ ์ฑ ์ ๋ํ๋ด๋ ๊ฒ์ผ๋ก ํด์๋์ด์๋ ์ ๋ฉ๋๋ค.
- Gemmini ๋ก๊ณ ๋ Dima Nikiforov(@CobbledSteel)๊ฐ ๋์์ธํ์ต๋๋ค.