v4 · omm.run 실제 토큰(다크, 무채색 4단 배경, 앰버 1색)으로 다시 그림. 위계: 히어로 → 순위판(배경보다 한 단 밝은 판) → 분석은 한 줄에 하나씩 크게, 좌우 번갈아. 숫자·모델은 예시.

omm arena · leaderboard

내 기기에서 사람들이 고른 모델

로컬 모델 두 개를 이름을 가린 채 같은 질문에 답하게 하고, 사용자가 더 나은 답을 고른 결과입니다. 기기 메모리 구간별로 따로 집계합니다.

투표

903

참여 기기

순위 모델

갱신 2026-10-16 04:00 UTC · Ed25519 서명 검증됨

지금 보는 구간

Mac · 통합 메모리 16–32GB

이 구간 기기 12대가 남긴 투표 340건

모델	품질	효율 tok/s·GB	배틀
1티어서로 통계적으로 구분되지 않는 최상위
Qwen2.5 7B Instruct Qwen · Q4_K_M	0.42±0.31	22.4	57
Llama 3.1 8B Instruct meta-llama · Q4_K_M	0.38±0.33	18.9	44	실패 잦음
2티어
Gemma 2 9B google · Q5_K_M	0.11±0.28	12.1	31
Mistral Nemo 12B mistralai · Q4_K_M	0.06±0.30	9.8	27
3티어
Phi-3.5 mini microsoft · Q4_K_M	-0.29±0.26	30.2	39

+ 표본 부족 모델 6개 (순위 미정) ▾

분석

순위 뒤의 숫자

01 · 기기별 순위

메모리가 넉넉한 기기에서는 큰 모델이 제 실력을 내고, 작은 기기에서는 가벼운 모델이 앞섭니다. 칸이 비어 있으면 그 구간 표가 아직 부족한 것입니다.

3개 구간

Qwen2.5 7B가 1위인 구간 수 (전체 6개 중)

모델	전체	Mac 8–16	Mac 16–32	PC 8–12	PC 16–24
Qwen2.5 7B	1	1	2	1	—
Llama 3.1 8B	1	3	1	2	—
Gemma 2 9B	2	—	1	3	—
Mistral Nemo 12B	2	—	3	—	—
Phi-3.5 mini	3	2	5	4	—

02 · 맞대결

행의 모델이 열의 모델과 붙었을 때 이긴 비율입니다. 앰버가 진할수록 크게 이겼고, 회색은 졌다는 뜻입니다. 셀에 마우스를 올리면 배틀 수가 보입니다.

79%

가장 일방적인 맞대결 — Qwen2.5 7B 대 Phi-3.5 mini

Qwen

Llama

Gemma

Nemo

Phi

Qwen2.5 7B

Llama 3.1 8B

Gemma 2 9B

Mistral Nemo

Phi-3.5 mini

03 · 품질 × 효율

위로 갈수록 투표에서 이기고, 오른쪽으로 갈수록 메모리 1GB당 더 빠릅니다. 빠르기만 한 모델이 순위를 뒤집지 않도록, 순위는 품질로 먼저 나누고 효율은 같은 티어 안에서만 씁니다.

1티어2티어3티어

좋고 가벼움 ↗

Qwen2.5 7B

Llama 3.1 8B

Gemma 2 9B

Nemo 12B

Phi-3.5 mini

효율 tok/s·GB →

품질 →