Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Text-to-Image
- backbone
- sfttrainer
- continued pre-train (cpt)
- langchain
- ubuntu
- CPT
- llm tuning
- instruct pre-training
- llm
- glibcxx
- prompt
- full fine-tuning (fft)
- continued pre-training
- instruction tuning (it)
- transformer
- instruction tuning
- Fine-tuning
- domain-adapted pre-training
- diffusion
- error: mkl-service + intel(r)
- cross-document attention
- Lora
- instruct-pt
- lora+
- Mac
- continual pre-training
- ViT
- PEFT
- gemma2
Archives
- Today
- Total
목록cross-document attention (1)
꾸준하게
[논문리뷰] Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum
arXiv 2024 [paper]Hadi Pouransari, Chun-Liang Li, Jen-Hao Rick Chang, Pavan Kumar Anasosalu Vasu, Cem Koc, Vaishaal Shankar, Oncel TuzelApplesubmitted on 21 May 2024 Abstract본 논문에서는 고정된 길이의 토큰 시퀀스로 구성된 데이터셋을 사용하는 기존 방식의 한계를 지적하며, 이를 해결하기 위해 '데이터셋 분해'라는 새로운 가변 시퀀스 길이 학습 기법을 제안하였다. 기존 방법은 다양한 길이의 문서를 무작위로 연결한 후 고정된 길이로 잘라내는 방식인데, 이로 인해 시퀀스 내에서 문서 간 attention이 발생하는 비효율성과 계산 비용이 증가하는 문제가 있다. 특히 긴 시..
논문 리뷰
2024. 9. 16. 16:30