LAW-Alpaca (English summary). 2,195 Korean everyday-law Q&A instruction pairs, scraped and reformatted from the Korean government's 생활법령 guidance site (easylaw.go.kr), released in July 2023 together with a LoRA adapter (jiwoochris/ko_law_alpaca-12.8b) on beomi/KoAlpaca-Polyglot-12.8B. Dataset: jiwoochris/easylaw_kr. The dataset was used as legal-domain training and evaluation data in Chamain (NLP4ConvAI @ ACL 2024). The Llama-2 link and
fine-tuning.shbelow are a December 2023 update of the training setup; the May 2023 first experiment was a LoRA adapter on LLaMA-7B (jiwoochris/Law-alpaca-lora-7b). Korean description follows.
AI 법률 어드바이저 모델 개발
KoAlpaca 모델에 법률 데이터를 학습시켜 (LoRA fi 8DB3 netuning) 법률 자문을 해줄 수 있는 언어모델을 개발한다.
Pretrained model link : hyunseoki/ko-en-llama2-13b
공개 모델과 베이스 모델 안내
- 2023년 7월 4일에 공개한 모델 jiwoochris/ko_law_alpaca-12.8b 는 beomi/KoAlpaca-Polyglot-12.8B 에 이 저장소의 데이터셋으로 QLoRA(4-bit, LoRA r=8) 학습한 어댑터입니다.
- 위 링크의 hyunseoki/ko-en-llama2-13b 와
fine-tuning.sh는 2023년 12월에 Llama 2 계열 베이스로 갱신한 학습 설정입니다.- 2023년 5월의 첫 실험 jiwoochris/Law-alpaca-lora-7b 는 LLaMA 7B(decapoda-research/llama-7b-hf) 에 LoRA 학습한 어댑터입니다.
생활 법령 100문 100답 데이터 2,195개를 스크랩 하여 LLM 학습을 위한 대화 형식의 json 파일로 만들어놓았습니다.
huggingface dataset에도 올려놓았습니다.
datasets library에서 이 dataset을 바로 불러올 수 있습니다 :
from datasets import load_dataset
dataset = load_dataset("jiwoochris/easylaw_kr")생활법령 데이터 저작권 정책 : https://www.easylaw.go.kr/CSP/InfoCopyright.laf
"누구에게나 개방되어있으며, 영리 목적을 포함하여 모든 자유로운 활동이 보장됩니다."
이 프로젝트에 대한 Contributions는 언제나 환영입니다. 특히 데이터 힘들게 수집했으니 많은 후속 연구 부탁드립니다!!
문제가 발견되거나 제안사항이 있으면 이 repository에 issue를 열어 주세요.
감사합니다.