Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- instruction tuning (it)
- gemma2
- diffusion
- continued pre-training
- Fine-tuning
- llm tuning
- instruct-pt
- cross-document attention
- sfttrainer
- ubuntu
- instruct pre-training
- prompt
- Lora
- continued pre-train (cpt)
- PEFT
- transformer
- lora+
- Text-to-Image
- instruction tuning
- CPT
- Mac
- continual pre-training
- error: mkl-service + intel(r)
- backbone
- ViT
- langchain
- full fine-tuning (fft)
- llm
- domain-adapted pre-training
- glibcxx
Archives
- Today
- Total
목록llm tuning (1)
꾸준하게
[논문리뷰] Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum
arXiv 2024 [paper]Hadi Pouransari, Chun-Liang Li, Jen-Hao Rick Chang, Pavan Kumar Anasosalu Vasu, Cem Koc, Vaishaal Shankar, Oncel TuzelApplesubmitted on 21 May 2024 Abstract본 논문에서는 고정된 길이의 토큰 시퀀스로 구성된 데이터셋을 사용하는 기존 방식의 한계를 지적하며, 이를 해결하기 위해 '데이터셋 분해'라는 새로운 가변 시퀀스 길이 학습 기법을 제안하였다. 기존 방법은 다양한 길이의 문서를 무작위로 연결한 후 고정된 길이로 잘라내는 방식인데, 이로 인해 시퀀스 내에서 문서 간 attention이 발생하는 비효율성과 계산 비용이 증가하는 문제가 있다. 특히 긴 시..
논문 리뷰
2024. 9. 16. 16:30