꾸준하게

H100 * 8 환경의 서버 2개에서 각각 같은 환경의 Docker로 LLama4, Gemma3를 구동하였는데 A서버의 경우, 4개 이상의 gpu로 잘 동작하는 반면, B서버의 경우, 2개까지의 gpu만 동작하고 4개 이상의 gpu를 할당할 경우 아래와 같은 오류가 발생하였다. ```ERROR 05-07 10:11:11 [core.py:396] File "/opt/conda/lib/python3.11/site-packages/vllm/v1/executor/multiproc_executor.py", line 370, in wait_for_ready ERROR 05-07 10:11:11 [core.py:396] raise e from None ERROR 05-07 10:11:11 [core.py:396] E..

에러 전문mysql 부분에서 아래와 같은 에러가 발생하였다.ImportError: ~/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /lib/x86_64-linux-gnu/libmysqlclient.so.21)ERROR 12-03 01:36:14 multiproc_worker_utils.py:116] Worker VllmWorkerProcess pid 2536513 died, exit code: -15INFO 12-03 01:36:14 multiproc_worker_utils.py:120] Killing local vLLM worker processes~/lib/python3.11/multiprocessing/reso..

발생 이슈NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running. 해결방법 :  Azure가 아닌 일반 local machine에서 해결 가능한 방법Secure Boot : Enable 상태일 경우 Bios 모드에 진입해서 Disable로 바꾸어야한다. Secure Mode일때 Nvidia driver를 설치할 때 Sign을 막아서 생기는 문제로 Disable로 수정하면 해결이 된다. 만약 Azure를 사용중이라면 VM 생성 시 Security type을 Trusted launch virtual machin..

.vscode/launch.json 에서 "justMyCode": false 를 추가해주면 해결이 된다.{ "version": "0.2.0", "configurations": [ { "name": "Python: Debug Current File", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "stopOnEntry": true, "justMyCode": false }, ]}

아래 코드를 실행하니 위와 같은 오류가 발생하여 brew install ghostscript 명령어로 설치를 해주었다.하지만 설치를 했음에도 같은 오류가 발생. Stackoverflow에서 해결방법을 얻게되어 글을 작성하였다. https://stackoverflow.com/questions/75391805/need-to-install-ghostscript-to-mac-path 실행 명령어from llama_index.readers.pdf_table import PDFTableReaderfrom pathlib import Pathreader = PDFTableReader()pdf_path = Path(file_path)documents = reader.load_data(file=pdf_path, pages..

증상Mac 환경에서 conda 설치 후, pip install transformers 실행 시 나타난 오류이다.(llm) ➜ ~ python -m pip install --upgrade piperror: externally-managed-environment× This environment is externally managed╰─> To install Python packages system-wide, try brew install xyz, where xyz is the package you are trying to install. If you wish to install a Python library that isn't in Homebrew, use a virtual envir..