latent.fs / posts / ai / inference — 1 item

/feed.xml

분류 / CATEGORY

AI / Inference

2026-06 1편

  1. MTP와 diffusion으로 LLM 추론 가속하기

    Gemma 4·Qwen 3.6 H100 fp8 측정. MTP는 정확도를 거의 유지하며 1.43~2.62배, diffusion은 약 4배 빠르나 정확도가 낮았습니다

    AI·Inference #31

태그 / TAGS 191

모든 태그 191개 →