"이 나이에도 호기심과 끈기, 실행력이 있다면 할 수 있는 게 정말 많다는 것을 코드로 증명합니다."
한국어 언어 모델 연구부터 단일 노트북 기반 1B 사전학습, 고효율 LoRA 튜닝, 그리고 새로운 모델 구조 논문 발표를 꿈꾸는 중학교 2학년(15세) 개발자입니다.
Important
핵심 프로젝트 및 개발 환경 요약
- 🔬 Korean-llm: 한국어 언어 모델의 아키텍처와 학습 메커니즘을 탐구하기 위해 한동안 집중 제작한 연구용 프로젝트입니다.
- 🚀 Hanok LLM:
Korean-llm연구 성과를 바탕으로 모듈화와 경량화, GGUF/Ollama 로컬 서빙까지 완성한 실전 배포용 프로젝트입니다. - 💻 단일 노트북 기반 파이프라인: 데이터 준비부터 1B 모델 사전학습, SFT, 메모리 최적화, 배포까지 모든 과정은 고성능 단일 노트북 환경에서 진행합니다.
- 🙋 저를 소개합니다: 중2 개발자의 도전
- 🗺️ 미래 로드맵: 앞으로 할 일과 원대한 목표
- 🧩 핵심 프로젝트: 연구(Korean-llm)에서 배포(Hanok LLM)로
- 💻 개발 환경: 단일 노트북 완결형 AI 엔지니어링
- 📈 개발 여정 (Project Evolution)
- 🏯 Hanok LLM 모듈형 아키텍처
- 🔬 실험과 검증의 원칙
- 🔗 링크
- 🌐 English Summary
저는 현재 **중학교 2학년(15세)**으로, 컴퓨터 과학과 인공지능에 매료되어 매일 코드를 작성하고 실행 결과를 분석하며 성장하고 있는 개발자입니다.
"나이는 숫자에 불과하며, 깊이 있는 호기심과 직접 구현하는 끈기가 있다면 중학생이어도 얼마든지 수준 높은 기술을 연구하고 완성도 높은 결과물을 만들 수 있습니다."
대부분의 사람들은 대규모 언어 모델(LLM)을 다루려면 거대한 클라우드 서버와 데이터센터가 필수라고 생각합니다. 하지만 저는 단 하나의 고성능 노트북을 개발 환경으로 삼아, 1B 파라미터 모델의 사전학습부터 VRAM 최적화, 경량화 및 실전 배포까지 모든 파이프라인을 스스로 구축해 냈습니다.
- 원리를 밑바닥부터 구현: 단순히 라이브러리를 임포트하는 것이 아니라, 트랜스포머의 텐서 연산 흐름, 손실 함수, 역전파, KV-cache를 직접 PyTorch 코드로 구현합니다.
- 연구에서 배포, 그리고 새로운 아키텍처로:
Korean-llm연구를 거쳐 배포용Hanok LLM을 완성해가고 있으며, 다음 목표인 오픈소스 모델 파인튜닝(KoLoRA), 멀티모달·Tool Calling, 그리고 독자적인 모델 구조를 창안해 학술 논문을 집필하는 것을 향해 달려가고 있습니다.
flowchart LR
M1["1. Hanok LLM 마무리<br/><b>[현재 단계]</b><br/>배포 파이프라인 완결"] --> M2["2. KoLoRA 프로젝트<br/><b>[차기 계획]</b><br/>오픈소스 고사양 모델 파인튜닝"]
M2 --> M3["3. 고급 AI 기술 도입<br/><b>[기술 확장]</b><br/>독자 토크나이저 · 멀티모달 · Tool Calling"]
M3 --> M4["4. 독자 모델 구조 창안 & 논문 발표<br/><b>[궁극적 목표]</b><br/>신규 아키텍처 연구 및 학술 논문 집필"]
| 단계 | 마일스톤 | 핵심 목표 및 구체적인 작업 내용 | 상태 |
|---|---|---|---|
| 01 | Hanok LLM 프로젝트 마무리 | • 연구 성과 기반 배포 파이프라인 최종 점검 • Ollama 연동 및 GGUF 경량 양자화 서빙 안정화 • 한국어 벤치마크 정량 지표 문서화 및 코드베이스 릴리스 |
진행 중 (마무리 단계) |
| 02 | KoLoRA 프로젝트 착수 | • 오픈소스로 공개된 최신 고사양 파운데이션 모델(Llama 3, Gemma 2 등) 분석 • 한국어 태스크에 특화된 고효율 LoRA / QLoRA 정밀 파인튜닝 파이프라인 구축 • 노트북 환경에서 고사양 모델의 고속 어댑터 훈련 및 서빙 구현 |
다음 프로젝트 |
| 03 | 고급 AI 기술 연구 및 탑재 | • 독자 토크나이저(Custom Tokenizer): 한국어 형태소와 문맥 압축률을 극대화한 독자 토크나이저 개발 • 멀티모달(Multimodal Vision): 텍스트와 시각 정보를 함께 이해하는 비전-언어 통합 모델 실험 • Tool Calling & 에이전틱 기능: 외부 API 및 도구를 스스로 판단하고 호출하는 지능형 에이전트 구현 |
기술 확장 목표 |
| 04 | 새로운 모델 구조 설계 & 논문 발표 | • 기존 Transformer의 계산 복잡도 및 메모리 한계를 극복하는 독자적인 신경망 아키텍처 설계 • 실험적 가설 수립, 벤치마크 검증 및 이론적 규명 • 정식 AI 학술 연구 논문(Paper) 집필 및 학회/저널 발표 |
궁극적인 비전 |
┌─────────────────────────────────┐ ┌─────────────────────────────────┐
│ 🔬 Korean-llm [연구용] │ ───► │ 🚀 Hanok LLM [배포용] │
│ - 한국어 언어 모델 기본 구조 연구 │ │ - 연구 성과 집대성 및 코드 모듈화 │
│ - 토크나이저 & Pretrain/SFT 규명│ │ - GGUF / Ollama 로컬 서빙 지원 │
│ - 1B 파라미터 스케일링 실험 │ │ - 24GB VRAM 노트북 완결 배포 │
└─────────────────────────────────┘ └─────────────────────────────────┘
"한국어 LLM 아키텍처와 학습 메커니즘의 기초를 다진 집중 R&D 프로젝트"
- 역할과 배경: LLM 내부의 수학적 연산과 학습 과정을 직접 파헤치기 위해 한동안 집중적으로 제작했던 연구용 프로젝트입니다.
- 주요 실험: 한국어 형태소/서브워드 토크나이징, 텐서 순전파·역전파 검증, 수천만~10억(1B) 스케일링에 따른 손실값 수렴 분석.
- 얻은 교훈: 단순히 학습 스크립트가 에러 없이 돌아가는 것보다, 데이터 주입 무결성과 체크포인트 복원력이 핵심임을 배웠습니다.
"연구 결과를 바탕으로 모듈화 및 실전 서빙을 위해 구축한 배포용 프로젝트"
- 역할과 배경:
Korean-llm연구를 통해 축적된 기술과 데이터 검증 노하우를 바탕으로, 구조를 깔끔하게 모듈화하고 실전 환경에 배포할 수 있도록 제작한 배포용 프로젝트입니다. - 주요 특징 및 배포 기능:
- 모듈화 스택:
model,data,train,infer,export패키지를 완전히 분리하여 유지보수성과 확장성 극대화 - 네이티브 구조: RMSNorm, RoPE(Rotary Position Embedding), SwiGLU, 가중치 공유(Tied Embeddings), KV-cache 내장
- 실전 배포 파이프라인: Hugging Face 호환 변환, GGUF 포맷 양자화 익스포트, Ollama 로컬 서비스 배포 지원
- 온디바이스 최적화: BF16 혼합 정밀도와 Gradient Checkpointing, 선택적 8-bit AdamW를 도입해 24GB VRAM 환경에 최적화
- 모듈화 스택:
Note
모든 과정은 고성능 단일 노트북으로 진행합니다.
대규모 분산 GPU 클라우드 없이, 데이터 전처리부터 1B 모델 학습, 메모리 최적화, 경량화 및 로컬 서빙까지의 전 과정을 단 하나의 고성능 게이밍/워크스테이션 노트북에서 직접 수행하고 있습니다.
| 구분 | 하드웨어 / 소프트웨어 사양 | 용도 및 프로젝트 내 역할 |
|---|---|---|
| GPU | NVIDIA GeForce RTX 5090 Laptop GPU (24GB GDDR7) | 1B 파라미터 언어 모델 사전학습, SFT, 텐서코어 BF16 연산 및 로컬 서빙 |
| CPU | Intel Core Ultra 9 275HX (24코어: 8P + 16E / 32스레드) | 대규모 텍스트 토큰화, Parquet 데이터셋 캐싱, 체크포인트 입출력 직렬화 |
| RAM 8000 | 64GB DDR5 System Memory | 데이터 전처리 버퍼, 캐시 메모리 및 OS/학습 프로세스 안정적 구동 |
| OS | Windows 11 (CUDA 12.1 Native) | 로컬 파이프라인 구축 및 Windows 환경 최적화 |
| Framework | PyTorch 2.4.0 + CUDA | 모델 정의, 분산 옵티마이저, 혼합 정밀도 학습 |
| 배포 도구 | Ollama, GGUF, Hugging Face Transformers | 로컬 모델 경량 양자화 및 서빙 엔드포인트 연동 |
- BF16 Autocast: RTX 5090의 최신 텐서코어를 활용해 활성값 및 가중치 메모리를 절반으로 절감
- Gradient Checkpointing: 순전파 중간 활성값을 저장하지 않고 역전파 시 재계산하여 피크 VRAM 대폭 억제
- 8-bit AdamW 옵티마이저: 옵티마이저 상태 메모리(FP32 대비 75% 감소)를 줄여 배치 크기 및 시퀀스 길이 확보
- 결과: 동일 모델 기준 학습 메모리를 약 23GB에서 10GB 미만으로 감축하여, 노트북 단일 환경에서도 안정적인 배치 크기로 학습을 완주할 수 있었습니다.
- Phase 1: Korean-llm (연구용 집중 개발)
- 언어 모델의 기본 입출력과 텐서 흐름 규명
- 한국어 토크나이징과 다음 토큰 예측(NTP) 손실 계산의 상관관계 분석
- 대규모 데이터 적재 시 발생하는 파이프라인 병목과 누락 문제 확인
- Phase 2: 노트북 환경 한계 돌파 (메모리 최적화)
- 단일 노트북(24GB VRAM) 환경에서 1B 모델을 학습시키기 위한 메모리 최적화 연구
- BF16, 그래디언트 누적, 체크포인팅 도입으로 VRAM 사용량 대폭 절감
- Phase 3: 모듈화 및 재현성 확보
- 연구용 코드를 모델(Model), 데이터(Data), 학습(Train), 평가(Eval)로 명확히 분리
- 체크포인트 저장/복구 무결성 검증 루프 구현
- Phase 4: Hanok LLM (연구 기반 배포용 출시)
- 연구 성과를 결합한 통합 배포용 오픈소스 구축
- GGUF 양자화 변환 및 Ollama 로컬 서빙 지원으로 실전 활용성 완성
model/(아키텍처): RMSNorm, RoPE, SwiGLU 피드포워드, 가중치 공유(Tied Embeddings)가 적용된 현대적 디코더 전용 트랜스포머data/(파이프라인): Parquet 캐싱, 병렬 데이터 로딩, 사전학습 스트리밍 및 응답 부분만 손실을 계산하는 Response-only SFT 마스킹train/(학습 엔진): 사전학습 및 지시 미세조정(SFT), 안정적인 에포크/스텝 체크포인팅, CLI 및 인터페이스 지원infer/&export/(추론 및 배포): KV 캐시를 통한 생성 가속, Hugging Face / GGUF 내보내기, Ollama 로컬 모델 구동
| 원칙 | 실천 방식 |
|---|---|
| 직접 실행과 검증 | 설명이나 직관에 의존하지 않고, 실제 코드 실행 결과와 로그, 손실 곡선으로 검증합니다. |
| 철저한 모듈화 | 모델, 데이터, 학습, 추론, 평가를 독립적인 단위로 분리해 문제 발생 지점을 빠르게 좁힙니다. |
| 실패와 한계 기록 | 기대와 다른 실험 결과도 숨기지 않고 원인을 추적해 다음 설계를 위한 지표로 남깁니다. |
| 재현 가능성 확보 | 배치 크기, 시퀀스 길이, 정밀도, 시드, 하드웨어 사양을 명확히 기록해 다시 실행해도 같은 결과가 나오도록 합니다. |
| 과장하지 않는 태도 | 완료된 구현, 관찰된 수치, 향후 계획을 엄격하게 구분해 설명합니다. |
- 👤 GitHub 프로필: @seoan1024
- 🚀 Hanok LLM (배포용): github.com/seoan1024/Hanok-LLM
- 🔬 Korean-llm (연구용): github.com/seoan1024/Korean-llm
- 🤗 Hugging Face 모델 카드: huggingface.co/seoan1024/Hanok-LLM
🌐 English Summary (Click to expand)
I am a 15-year-old student developer (8th grade / 중학교 2학년) in South Korea who believes age does not define capability. Driven by curiosity and rigorous engineering, I explore AI by implementing native PyTorch models, running experiments, and building production-ready deployment pipelines.
- 🔬 Korean-llm (Research Project): An intensive R&D project exploring Korean LLM architecture, subword tokenization, pretraining dynamics, and scaling behavior up to 1B parameters.
- 🚀 Hanok LLM (Deployment Project): A modular, deployment-ready native PyTorch stack built on the findings of
Korean-llm. Features clean package separation, KV-cache inference, GGUF quantization, and Ollama local serving.
- Finish Hanok LLM (Current): Stabilize export pipelines, GGUF/Ollama serving, and documentation.
- KoLoRA Project (Next): Fine-tune high-end open-source foundation models with Korean-specialized LoRA/QLoRA on local hardware.
- Advanced AI Capabilities: Build a custom Korean tokenizer, integrate Multimodal Vision, and implement Tool Calling / Agentic workflows.
- Novel Architecture & Academic Paper (Ultimate Goal): Research and design a novel neural network architecture beyond traditional transformers, publishing a formal academic research paper.
Every stage of the engineering pipeline is conducted on a single high-performance laptop workstation:
- GPU: NVIDIA GeForce RTX 5090 Laptop GPU (24GB GDDR7 VRAM)
- CPU: Intel Core Ultra 9 275HX (24 cores / 32 threads, 36MB Smart Cache)
- RAM: 64GB DDR5 System Memory
- OS / Runtime: Windows 11, CUDA 12.1, PyTorch 2.4.0
- Optimization: Lowered training VRAM from ~23GB to <10GB through BF16 autocast, gradient checkpointing, and 8-bit AdamW.