태그 / TAG
#LLM
2026-10 1편
-
LLM이 지우는 소수자의 삶
김수민·팽은지·김승섭의 「침묵의 설계자」가 제기한 LLM 기반 설문조사의 문제점을 소개하고, 이를 바탕으로 진행한 독자연구를 소개합니다.
2026-07 1편
-
codex CLI에 로컬 Qwen 물리기 — ollama·vLLM 배선기
codex를 ollama·vLLM 로컬 모델에 연결. ollama는 config.toml 하나, vLLM은 developer 롤 오류를 패치나 프록시로 해결
2026-06 1편
-
MTP와 diffusion으로 LLM 추론 가속하기
Gemma 4·Qwen 3.6 H100 fp8 측정. MTP는 정확도를 거의 유지하며 1.43~2.62배, diffusion은 약 4배 빠르나 정확도가 낮았습니다
2026-05 5편
-
환경으로서의 하네스
벡터 DB에 경험을 수천 건 채워도 에이전트는 달라지지 않는다. 무엇을 바꿀지, 성공을 어떻게 판별할지, 실패하면 어디까지 되돌릴지 정하는 하네스가 필요하다
-
Weights, Prompts, Codes as Parameters
에이전트 문제를 넓은 의미의 POMDP로 보면 가중치, 프롬프트, 코드는 한 정책 공간의 서로 다른 층위 파라미터다. 세 층위가 이 순서로 열린 이유도 다룬다
-
Apple Silicon LLM 추론 백엔드 5종 벤치마크
Qwen3.5-9B를 백엔드 5종으로 측정했습니다. 단일 요청은 MLX가 25 tok/s로 가장 빨랐고, 동시 요청을 batching한 것은 omlx뿐이었습니다
-
긴 컨텍스트 평가의 진짜 질문 — NIAH와 Lost in the Middle
NIAH 벤치마크의 한계, Lost in the Middle 현상, 대안 벤치마크, 4모드 측정 결과
-
NVIDIA NIM API — GLM·Kimi·Nemotron·Gemma 4 무료 추론
build.nvidia.com의 오픈소스 모델 100개 이상을 무료로 쓰는 OpenAI 호환 API. 최대 40 RPM, Claude Code·Cursor 연결법
맞는 글이 없습니다.