태그 / TAG
#Benchmark
2026-10 2편
-
벡터 삽입 후 HNSW 검색 재현율은 어떻게 달라질까? (100만+100만)
pgvector와 Qdrant에 신규 벡터 100만 개를 추가하고, 삽입 순서·분할과 fresh 인덱스의 Recall 차이를 측정했습니다. 실제 세그먼트 기록과 소스 코드로 서로 다른 거동을 해석합니다.
-
벡터 삽입 후 HNSW 검색 재현율은 어떻게 달라질까? (1만+1만)
pgvector와 Qdrant에서 벡터 1만 개를 추가한 전후와 동일한 최종 데이터의 fresh·증분 인덱스를 비교했습니다.
2026-09 2편
-
tgrep·CodeGraph·Mantic·ripwire는 ripgrep을 대신할 수 있나
저장소 8개에서 측정해 보니 tgrep은 쿼리, CodeGraph는 언어 커버리지, Mantic은 파일 이름, ripwire는 질문 방식이 성패를 갈랐습니다
-
ego-browser와 Aside는 다르게 실패한다
ego-browser는 에이전트 탭을 따로 두고 Aside는 사용자의 실제 탭을 씁니다. ego는 빗나간 클릭에도 성공을 반환했고 Aside는 오류로 멈췄습니다
2026-06 1편
-
MTP와 diffusion으로 LLM 추론 가속하기
Gemma 4·Qwen 3.6 H100 fp8 측정. MTP는 정확도를 거의 유지하며 1.43~2.62배, diffusion은 약 4배 빠르나 정확도가 낮았습니다
2026-05 7편
-
PG-Strom SSB 벤치마크 — GPU보다 Arrow FDW가 먼저다
테스트 555건에서 Arrow FDW 없는 GPU는 1.6배였고 wide table에서는 CPU보다 느렸습니다. Arrow FDW를 쓰면 SF=100에서 10배
-
GraphDB 8종 벤치마크 (2/2) — 워크로드 매트릭스와 최종 선택 기준
그래프 엔진 8종을 OLTP, 메모리, 분석, 차별화 쿼리로 측정. OLTP는 RCTE와 MemGraph가 22.5K RPS로 동률이었고 워크로드별 선택표로 정리
-
PDF-Markdown 변환 도구 5종 비교
학술 논문 PDF 변환 도구 5종을 100점 만점 루브릭으로 평가했습니다. 수식과 표를 살린 mineru가 92점, markitdown은 14점
-
Apple Silicon LLM 추론 백엔드 5종 벤치마크
Qwen3.5-9B를 백엔드 5종으로 측정했습니다. 단일 요청은 MLX가 25 tok/s로 가장 빨랐고, 동시 요청을 batching한 것은 omlx뿐이었습니다
-
Apache AGE 없이 LightRAG — Recursive CTE로 그래프 저장소 구현
LightRAG의 BaseGraphStorage를 plain PostgreSQL + RCTE로 구현. 1-hop lookup 중심의 retrieval 패턴이 평면 SQL과 잘 맞는 이유
-
긴 컨텍스트 평가의 진짜 질문 — NIAH와 Lost in the Middle
NIAH 벤치마크의 한계, Lost in the Middle 현상, 대안 벤치마크, 4모드 측정 결과
-
GraphDB 8종 벤치마크 (1/2) — RCTE 290x 격차의 원인 분해
엣지 114만 개 그래프에서 RCTE 처리량이 Apache AGE의 290배였습니다. 원인은 호출당 13ms인 cypher() wrapper와 plan 생성 비용
맞는 글이 없습니다.