Նշում շրջանակի մասին։ Հետազոտությունն ընթացել է լաբորատորիայի DGX Spark զույգի վրա՝ ռեպոզիտորիայի սեփական բենչ-փաթեթով — ազնիվ թողունակություն որպես
completion_tokens / wall_time, առանց streaming-ի (SSE իրադարձություններով հաշվարկը խիստ թերագնահատում է իրական թոքենները — հենց դրա համար է մեթոդն ամրագրված)։ Քարտերի հետևում կանգնած claim registry-ի մեջ սա չի մտնում. ստորև թվերը մեջբերվում են հրապարակված ռեպոզիտորիայից, որտեղ կողքին ընկած են հում չեկփոինթները։
Երկու բաղադրատոմս՝ ազնիվ ատրիբուցիայով
DeepSeek-ի սպեկուլյատիվ DSpark-ը սպասարկում է DeepSeek-V4-Flash-ը երկու DGX Spark հանգույցի վրա (GB10, sm_121), TP=2՝ 200G RoCE-ով, կարգավորված միլիոն թոքենանոց պատուհանով։ Ռեպոզիտորիայում երկու գիծ կա, և բացահայտ ասված է, թե որն ում է. fp8 DSpark bring-up-ը մերն է՝ draft-գլուխը և proposer-ը, vLLM-ի մեջ ներդրված patch-երով, գումարած թվային ֆիքսերը, որոնք draft-ը «կանխատեսում է աղմուկ»-ից հասցրին «համընկնում է էտալոնին»։ Ավելի արագ NVFP4-KV գիծը tonyd2wild-ի բաղադրատոմսն է. մենք այն վերարտադրեցինք բիթ առ բիթ մեր կլաստերի վրա և չափեցինք; մենք այն չենք հեղինակել և արագության շահույթ չենք հայտարարում — նրա կոնկուրենտության բենչմարկի մեր վերարտադրությունն ընկնում է նրա իսկ վազքերի միջև ցրվածքի սահմանները։
Խորության կորը, որը չկար
Կոմյունիթին ուներ կետեր առանձին խորությունների վրա; պակասում էր կորը։ NVFP4 բիլդի վրա միահոսք դեկոդը գնում է 42.7 tok/s 16K կոնտեքստի վրա, 17.6՝ 512K-ի վրա և 17.2՝ իրական 1 032 953 թոքենանոց prompt-ի վրա — 512K-ից հետո կորը հարթվում է, ոչ թե փլուզվում։ Լրիվ խորության վրա սառը prefill-ը տևում է մոտ 642 վայրկյան; տաք prefix cache-ով նույն հարցումը մեկնարկում է մոտ 4 վայրկյանում։ Կարգավորված միլիոնանոց պատուհանը սպառողական սիլիցիումի վրա իրական է — եթե պլանավորես prefill-ի հաշիվը և իմանաս դեկոդի հատակը, որի վրա ստիպված կլինես ապրել։
Ինչու է արագությունն այսպես վարվում
Մեխանիզմը acceptance-ն է, ոչ թե bandwidth-ը. անջատված սպեկուլյացիայով երկու KV բիլդերն էլ դեկոդում են գործնականում նույն կերպ՝ ~26.6 tok/s — NVFP4 գիծը հաղթում է նրանով, որ պահում է քայլին ավելի շատ ընդունված սպեկուլյատիվ թոքեն, իսկ պոզիցիաներով acceptance-ի անկումն էլ հենց քաշում է կորը ներքև։ Կոնկուրենտությունն այն տեղն է, որտեղ տուփն արդարացնում է իրեն. մեր fp8 գիծը պահում է ~99 tok/s ագրեգատ 8 հոսքի վրա և 141–146 tok/s՝ 12-ի վրա, իսկ միահոսք սպեկուլյացիան տալիս է +21–24% no-spec-ի դիմաց։
Երկու բացասական արդյունք՝ հրապարակված որպես արդյունք
- Սեմփլերի ոչ մի կոնֆիգուրացիա հուսալիորեն չի շտկում կոհերենտությունը
խորության վրա այս բիլդում. կոլապսը խորության ֆիքսված շեմ չէ, իսկ
min_p-ն spec-decode-ի տակ պարզապես արգելափակված է։ Փորձը ռեպոզիտորիայում ընկած է որպես լիարժեք բենչ-ֆայլ, ոչ թե ծանոթագրություն։ - Վերարտադրված բիլդը բարելավելու մեր փորձերը չհաղթեցին. ռեպոզիտորիայի ազնիվ ամփոփումը դա ասում է հենց այդ բառերով՝ ոչ-ոքիով, որը ցուցադրված է հեղինակի սեփական ցրվածքի դիմաց։
Ինչու է սրա տեղը լաբորատորիայի գրառումներում
Սա հենց այն դիրքն է, որ լաբորատորիան վաճառում է՝ կիրառված ինքն իր վրա. վերարտադրիր ուրիշի արդյունքը՝ նախքան նրա հետ համեմատվելը, հրապարակիր կորը հում չեկփոինթների հետ, նշիր ծագումնաբանությունը, դիր ձախողումները հաղթանակների կողքին։ DGX Spark գիծը դեռ առանց v1 մեթոդաբանության բջիջների է — դա մնում է պլանավորված քայլ, — բայց խորության կորը, acceptance-ի մեխանիզմը և երկու բացասական արդյունքն էլ արդեն այսօր մեջբերելի են ռեպոզիտորիայից։
Ապացույցներ
Բաղադրատոմսերը, patch-երը, բենչ-չեկփոինթները և հում ելքերը՝ DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8։ NVFP4-KV-ի ապսթրիմ բաղադրատոմսը՝ tonyd2wild (կրեդիտը ռեպոզիտորիայում)։ Լաբորատորիայի առնչվող նյութեր՝ MoE միջուկի գտածոն նույն զույգի վրա և ավելի վաղ 1M սերվինգի հետազոտությունը։ Լոնգրիդներ՝ մաս 5 և 0731 հետազոտությունը Habr-ում։