Qwen3.6-35B-A3B Q8_0 Ryzen AI Max+ 395-ի վրա (llama.cpp Vulkan) — inter-token latency: 18.7 մվ/թոքեն

Չափումը

Beelink GTR9 Pro — AMD Ryzen AI Max+ 395, Radeon 8060S (gfx1151), 128 GB LPDDR5X-8000 unified համակարգի վրա, llama.cpp (server, Vulkan backend), b9049 (server_fingerprint b9049-2496f9c14) runtime-ով և ggml-org/Qwen3.6-35B-A3B-GGUF @ baec3ebee244 (Q8_0) մոդելով չափված «inter-token latency» մեծությունը կազմել է 18.7 մվ/թոքեն (median over valid requests)։ Չափումը կատարվել է interactive-assistant-v2@2026-08-02 սառեցված workload-ի տակ; ապացույցի մակարդակը՝ lab_repeated, 3 վավեր գործարկում 1 ֆիզիկական յունիթի վրա։ Արժեքը վերաստացվում է գործարկումների հում գրառումներից ամեն CI build-ում։

Ձևակերպում

Median inter-token latency (client-side decode-speed proxy) for Q8_0 on the Vulkan backend.

Claim-երի ձևակերպումները հրապարակվում են միայն անգլերեն — սա կանոնական, մեջբերելի տարբերակն է։

Ապացույցներ

Համակարգ

Beelink GTR9 Pro — AMD Ryzen AI Max+ 395, Radeon 8060S (gfx1151), 128 GB LPDDR5X-8000 unified

Runtime

llama.cpp (server, Vulkan backend), b9049 (server_fingerprint b9049-2496f9c14)

Մոդելի արտեֆակտ

ggml-org/Qwen3.6-35B-A3B-GGUF @ baec3ebee244 (Q8_0)

Շրջանակ

interactive-assistant-v2@2026-08-02

Ագրեգացիա

median over valid requests

Ապացույցի մակարդակ

lab_repeated

Կարգավիճակ

active

Սահմանափակումներ

Three repeated runs on one unit, reasoning disabled.

Գործարկումներ

• run-20260803-q8-v2-nothink-a
• run-20260803-q8-v2-nothink-a-r2
• run-20260803-q8-v2-nothink-a-r3

Արժեքի ստացումը

Արժեքն ամեն CI build-ում վերաստացվում է գործարկումների հում գրառումներից այս հարցումով — հրապարակված թիվը չի կարող լուռ շեղվել իր ապացույցներից։

catalog/claims/sql/itl-median.sql

Ինչպես մեջբերել

AGmind Systems Lab. "Median inter-token latency (client-side decode-speed proxy) for Q8_0 on the Vulkan backend." Claim strix.qwen36q8.vulkan.c1.itl-nothink (18.7 ms/token), evidence level lab_repeated, scope interactive-assistant-v2@2026-08-02. https://agmind.ai/claims/strix.qwen36q8.vulkan.c1.itl-nothink/

@misc{agmind_strix_qwen36q8_vulkan_c1_itl_nothink,
  author       = {{AGmind Systems Lab}},
  title        = {Median inter-token latency (client-side decode-speed proxy) for Q8\_0 on the Vulkan backend.},
  howpublished = {\url{https://agmind.ai/claims/strix.qwen36q8.vulkan.c1.itl-nothink/}},
  note         = {Claim strix.qwen36q8.vulkan.c1.itl-nothink: 18.7 ms/token; evidence level lab\_repeated; scope interactive-assistant-v2@2026-08-02},
  year         = {2026}
}

Մեքենայաընթեռնելի. /claims/strix.qwen36q8.vulkan.c1.itl-nothink.json · ամբողջ ռեեստրը