태그 / TAG
#vLLM
2026-07 2편
-
colab CLI로 무료 GPU 원격 조종
google-colab-cli로 랩탑에서 무료 Colab GPU를 원격 조종하는 법. T4에 PaddleOCR-VL을 띄워 인보이스를 OCR하는 예제 포함
-
codex CLI에 로컬 Qwen 물리기 — ollama·vLLM 배선기
codex를 ollama·vLLM 로컬 모델에 연결. ollama는 config.toml 하나, vLLM은 developer 롤 오류를 패치나 프록시로 해결
2026-06 1편
-
MTP와 diffusion으로 LLM 추론 가속하기
Gemma 4·Qwen 3.6 H100 fp8 측정. MTP는 정확도를 거의 유지하며 1.43~2.62배, diffusion은 약 4배 빠르나 정확도가 낮았습니다
2026-05 1편
-
Apple Silicon LLM 추론 백엔드 5종 벤치마크
Qwen3.5-9B를 백엔드 5종으로 측정했습니다. 단일 요청은 MLX가 25 tok/s로 가장 빨랐고, 동시 요청을 batching한 것은 omlx뿐이었습니다
맞는 글이 없습니다.