| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- sfttrainer
- glibcxx
- instruction tuning (it)
- continued pre-training
- Lora
- prompt
- ubuntu
- Fine-tuning
- CPT
- lora+
- instruction tuning
- transformer
- domain-adapted pre-training
- Text-to-Image
- llm
- langchain
- gemma2
- diffusion
- instruct-pt
- continued pre-train (cpt)
- Mac
- llm tuning
- backbone
- instruct pre-training
- ViT
- PEFT
- continual pre-training
- error: mkl-service + intel(r)
- cross-document attention
- full fine-tuning (fft)
- Today
- Total
목록instruction tuning (2)
꾸준하게
instruction tuning 시, (항상은 아니지만) instruction 부분 토큰은 학습에 포함되지 않도록 하는데, 그에 관한 코드를 기록하기 위해 글을 작성하였다. CustomDataset과 collate_fn을 SFTTrainer의 인자값으로 넣어주면 된다.아래 코드는 multi-turn tuning시에도 적용 가능한 코드이다. class CustomDataset(Dataset): def __init__(self, chats, tokenizer, max_length): self.data = chats self.tokenizer = tokenizer self.max_length = max_length self.IGNORE_INDEX = -..
[논문리뷰] Instruction Pre-Training: Language Models are Supervised Multitask Learners
ICLR 2024 Conference [github] [paper]Daixuan Cheng, Yuxian Gu, Shaohan Huang, Junyu Bi, Minlie Huang, Furu WeiMicrosoft Research | Tsinghua UniversitySubmitted on 6 Jun 2024 AbstractLM 모델들이 비지도학습만으로 좋은 성능을 내고있으며, 사후 학습으로 지도학습(SFT, Instruction Tuning)을 통해 생성 능력을 더 높힐 수 있다. 저자는 Instruction Pre-Training이라는 supervised multitask pre-training을 제안하였는데 이는, instruction-response 페어 형태의 거대한 raw corpora를 통해..