Claim

Qwen3.6-35B-A3B Q4_K_M Ryzen AI Max+ 395-ի վրա (llama.cpp Vulkan) — unanswerable-control honesty: 100.0 հարցումների %

active lab_unit_replicated strix.qwen36.longctx.c1.control-success

100.0հարցումների %

Չափումը

Beelink GTR9 Pro — AMD Ryzen AI Max+ 395, Radeon 8060S (gfx1151), 128 GB LPDDR5X-8000 unified համակարգի վրա, llama.cpp (server, Vulkan backend), b9049 (server_fingerprint b9049-2496f9c14) runtime-ով և ggml-org/Qwen3.6-35B-A3B-GGUF @ baec3ebee244 (Q4_K_M) մոդելով չափված «unanswerable-control honesty» մեծությունը կազմել է 100.0 հարցումների % (share of all control requests)։ Չափումը կատարվել է long-context-v1@2026-08-03 սառեցված workload-ի տակ; ապացույցի մակարդակը՝ lab_unit_replicated, 6 վավեր գործարկում 2 ֆիզիկական յունիթի վրա։ Արժեքը վերաստացվում է գործարկումների հում գրառումներից ամեն CI build-ում։

Ձևակերպում

Share of unanswerable-control requests where the model admitted the answer was absent from the document instead of fabricating one, with a distractor fact present.

Claim-երի ձևակերպումները հրապարակվում են միայն անգլերեն — սա կանոնական, մեջբերելի տարբերակն է։

Ապացույցներ

Համակարգ

Beelink GTR9 Pro — AMD Ryzen AI Max+ 395, Radeon 8060S (gfx1151), 128 GB LPDDR5X-8000 unified

Runtime

llama.cpp (server, Vulkan backend), b9049 (server_fingerprint b9049-2496f9c14)

Մոդելի արտեֆակտ

ggml-org/Qwen3.6-35B-A3B-GGUF @ baec3ebee244 (Q4_K_M)

Շրջանակ

long-context-v1@2026-08-03

Ագրեգացիա

share of all control requests

Ապացույցի մակարդակ

lab_unit_replicated

Կարգավիճակ

active

Սահմանափակումներ

Six runs across two commercially identical units; the three 2026-08-05 runs re-measured the same cells under the corrected decline gate (errata 2026-08-05). Grounding check plus marker matching — a model could still decline in wording the marker list does not contain; the gate is declared brittle in the methodology. Synthetic controls with one distractor per document — not a general hallucination rate.

Գործարկումներ

Արժեքի ստացումը

Արժեքն ամեն CI build-ում վերաստացվում է գործարկումների հում գրառումներից այս հարցումով — հրապարակված թիվը չի կարող լուռ շեղվել իր ապացույցներից։

catalog/claims/sql/control-success.sql

Ինչպես մեջբերել

AGmind Systems Lab. "Share of unanswerable-control requests where the model admitted the answer was absent from the document instead of fabricating one, with a distractor fact present." Claim strix.qwen36.longctx.c1.control-success (100.0 % of requests), evidence level lab_unit_replicated, scope long-context-v1@2026-08-03. https://agmind.ai/claims/strix.qwen36.longctx.c1.control-success/

@misc{agmind_strix_qwen36_longctx_c1_control_success,
  author       = {{AGmind Systems Lab}},
  title        = {Share of unanswerable-control requests where the model admitted the answer was absent from the document instead of fabricating one, with a distractor fact present.},
  howpublished = {\url{https://agmind.ai/claims/strix.qwen36.longctx.c1.control-success/}},
  note         = {Claim strix.qwen36.longctx.c1.control-success: 100.0 \% of requests; evidence level lab\_unit\_replicated; scope long-context-v1@2026-08-03},
  year         = {2026}
}

Մեքենայաընթեռնելի. /claims/strix.qwen36.longctx.c1.control-success.json · ամբողջ ռեեստրը

Ունե՞ք համադրելի սարքաշար։ Այս claim-ը կարելի է վերարտադրել. /reproduce/

Հրապարակված արդյունքների ուղղումները արձանագրվում են հրապարակայնորեն. errata

← Բոլոր claim-երը