꾸준하게

LLM 호출이 과도하게 몰리는 등 LLM 호출에 있어서 에러가 나는 경우가 발생할 수 있다.이런 경우, 재시도하는 코드를 작성하는것은 어렵지 않지만 while문이나 for 문을 사용하다 보니 코드가 지저분하게 된다.이를 tenacity라는 데코레이터로 쉽게 해결할 수 있다. import asynciofrom openai import AsyncOpenAIfrom tenacity import ( retry, stop_after_attempt, wait_exponential, retry_if_exception_type, before_sleep_log, after_log)import loggingfrom typing import List# 로깅 설정logging.basicConf..

Rich를 사용하면 Python 출력을 더 이쁘게 할 수 있다.이를 OpenAI API를 이용하여 비동기 Streaming 방식으로 작동하도록 코드를 구현해보았다.Code"""OpenAI API 비동기 스트리밍 + Rich 라이브러리 예제필요한 패키지 설치:pip install openai rich"""from dotenv import load_dotenvimport asyncioimport osfrom openai import AsyncOpenAIfrom rich.console import Consolefrom rich.panel import Panelfrom rich.markdown import Markdownfrom rich.live import Livefrom rich.spinner import ..

ValueError: 'aimv2' is already used by a Transformers config, pick another name. vllm 실행 시 위 에러가 발생했으며, transformers 4.55 버전을 4.54로 다운그레이드 했더니 해결이 되었다.pip install "transformers

dpkg -l | grep -i fabricmanager || rpm -qa | grep -i fabricmanagersudo apt-get install -y nvidia-fabricmanager-57sudo systemctl enable --now nvidia-fabricmanagerpython -c "import torch; print(torch.cuda.is_available())"​ nvidia-smi, nvcc -V 모두 이상이 없지만 위와 같이 torch에서 cuda를 사용할 수 없다고 나온다.reboot 하면 해결된다는 글들이 많지만 나는 fabricmanager라는게 dead 상태였고, 이를 다시 작동시켜 해결하였다. 참고로 사용 GPU는 a100*8 환경이다.>>> import torc..

```# LlamaCUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m vllm.entrypoints.openai.api_server\ --model unsloth/Llama-4-Scout-17B-16E-Instruct \ --served-model-name Llama-4-Scout-17B-16E-Instruct \ --tensor_parallel_size 8 \ --dtype bfloat16 \ --max-model-len 128000 \ # 131072 > 65GB --max-num-batched-tokens=1408000 \ # 262144 > 65GB --task generate \ --port 4000 \ --enable-auto-too..

H100 * 8 환경의 서버 2개에서 각각 같은 환경의 Docker로 LLama4, Gemma3를 구동하였는데 A서버의 경우, 4개 이상의 gpu로 잘 동작하는 반면, B서버의 경우, 2개까지의 gpu만 동작하고 4개 이상의 gpu를 할당할 경우 아래와 같은 오류가 발생하였다. ```ERROR 05-07 10:11:11 [core.py:396] File "/opt/conda/lib/python3.11/site-packages/vllm/v1/executor/multiproc_executor.py", line 370, in wait_for_ready ERROR 05-07 10:11:11 [core.py:396] raise e from None ERROR 05-07 10:11:11 [core.py:396] E..

에러 전문mysql 부분에서 아래와 같은 에러가 발생하였다.ImportError: ~/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /lib/x86_64-linux-gnu/libmysqlclient.so.21)ERROR 12-03 01:36:14 multiproc_worker_utils.py:116] Worker VllmWorkerProcess pid 2536513 died, exit code: -15INFO 12-03 01:36:14 multiproc_worker_utils.py:120] Killing local vLLM worker processes~/lib/python3.11/multiprocessing/reso..

vLLM에서 gemma-2 아키텍처를 사용하는데 아래와 같은 에러가 발생하였다.Gemma2ForCausalLM이 지원되는 아키텍처이지만 에러가 발생하였다. pydantic_core._pydantic_core.ValidationError: 1 validation error for VLLM Value error, Model architectures ['Gemma2ForCausalLM'] are not supported for now. Supported architectures: ['AquilaModel', 'AquilaForCausalLM', 'ArcticForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'Cohe..