Ամեն բենչմարկային թիվ քողարկված կոնֆիգ է

Բավական է որոշ ժամանակ հետևել լոկալ LLM-ների ցանկացած ֆորումի, և ծեսը կտեսնեք։ Մեկը հրապարակում է մոդելի արագությունը հայտնի տուփի վրա։ Մեկ ուրիշը պատասխանում է, որ իր մոտ գրեթե կրկնակի արագ է, կամ կիսով չափ դանդաղ — նույն մոդելը, նույն տուփը։ Հետևում են մեղադրանքները՝ սխալ build, ջարդված install, թաքնված գովազդ։ Գրեթե ամեն անգամ երկու թվերն էլ իրական են։ Երկուսն էլ չափված են։ Դրանք նկարագրում են տարբեր համակարգեր, որոնք պատահաբար կիսում են ապրանքի անունը։

Բենչմարկային թիվը կոնֆիգուրացիա է՝ սեղմված մինչև մեկ արժեք։ Սեղմումը կորստաբեր է, և այն ամենը, ինչ սեղմումը դեն է գցել, հենց այն տեղն է, որտեղ ապրում է անհամաձայնությունը։

Դեֆոլտը, որ դու չես դրել, միևնույն է քո կոնֆիգն է

Ամենասուր նմուշը մեր սեփական մատյանից. բենչմարկ, որը հարևան հանգույցների վրա նույն image-ի երկու տեղակայումների միջև ցույց էր տալիս 2,6 անգամ ճեղք։ Թյունինգային տեսությունների վրա ծախսված օրերը մեռան աշխատող սերվերին տրված մեկ հարցումից. runtime-ի դեֆոլտը զուգահեռ սլոտների համար փոխվել էր տարբերակների արանքում, և մեկ հոսքին բաժին ընկնող թողունակությունը բաժանվում էր դեռ չափումը սկսվելուց առաջ։ Ամբողջ պատմությունը լուդդիտների էսսեում է; բարոյախոսությունը սեղմումին դիմացավ ավելի լավ, քան թիվը։ Դու այդ դրոշակը չես դրել, ուրեմն թիվը հրապարակելիս այն չես հիշատակել։ Դրոշակը միևնույն է այնտեղ էր։

llama.cpp-ը, vLLM-ը և նրանց հասակակիցները բերում են տասնյակ այդպիսի դեֆոլտներ, և դեֆոլտները շարժվում են ռելիզից ռելիզ։ Երկու մարդ, որոնք մեկ ամիս տարբերությամբ քշում են «նույն հրամանը», նույն հրամանը չեն քշում։

Բենչմարկն առանց firmware-հեշի բամբասանք է

DGX Spark-ի շուրջ դիսկուրսն այս տարի շրջվեց «գերգնահատված է ու throttle է անում»-ից դեպի «թարմացումն ամեն ինչ փոխեց»։ Նույն սարքը՝ գովերգված ու թաղված նույն համայնքի կողմից, ամիսների տարբերությամբ։ Ինչը նշանակում է՝ այսօր շրջանառվող Spark-թվերի մեծ մասը վերցված է ստեկների վրա, որոնք այլևս գոյություն չունեն, և դրանք այդ firmware-սահմանի վրայով համեմատելը հնագիտություն է, ոչ թե բենչմարկինգ։

Նույն պատին մենք դիպանք չափողի կողմից. մոդելի համար, որը սպասարկում ենք մեր սեփական Spark-զույգի վրա, հրապարակված արագություններն իրար հակասում էին այնքան, որ հերթական թվի փոխարեն գրեցինք հաշտեցման էջ։ Ցրվածքի մեծ մասը լուծվեց հենց որ ամեն ցուցանիշ ամրացվեց իր workload-պրոֆիլին և runtime-կոնֆիգուրացիային։ Միջուկի ընտրության մեկ դրոշակ, որն ավտոմատ ռեժիմը միտումնավոր շրջանցում է, նույն երկաթը տեղափոխում է արտադրողականության մի շերտից մյուսը — և այդ դրոշակը ոչ մի անգամ չի հայտնվել որևէ ֆորումային գրառման մեջ, որտեղ մեջբերվում է ստացվող թիվը։

Մեր Strix Halo տուփի վրա պատմությունը կրկնվում է ավելի փոքր մասշտաբով. սխալ backend ընտրելը արժե մոտավորապես նույնքան, որքան կշիռների ճշգրտության կրկնապատկումը։ Տարբերակ, firmware, backend, միջուկի դրոշակ — դրանցից ոչ մեկը մեկ թվի մեջ չի տեղավորվում, և դրանք բոլորը հենց այդ թիվն են։

Ինչ պիտի կրի թիվը

Մեր claim-ռեեստրն ունի դաշտերի ֆիքսված հավաքածու, և հավաքածուն վերևից չի նախագծվել։ Ամեն դաշտ իր տեղը վաստակել է որպես փաստագրված եղանակ, որով երկու ազնիվ չափում իրարից շեղվել են. ճշգրիտ սարքն ու firmware-ը, runtime-ը build-ով և image-ի digest-ով, մոդելի արտեֆակտը հեշով, քվանտավորումը, workload-ի ինքնությունը պրոմպտի և ելքի ձևով, կոնկուրենտությունը, սեմփլինգի կարգավորումները, լարի որ կողմն է չափել, և ինչպես են արժեքներն ագրեգացվել։ Հանիր դրանցից որևէ մեկը — և գոյություն ունի իրար հակասող թվերի իրական զույգ, որի հակասությունը բացատրում է հենց այդ դաշտը։

Սա է թեստը, որն արժե կիրառել ցանկացած հրապարակված ցուցանիշի վրա, ներառյալ մերը. ոչ թե «ճշգրի՞տ է», այլ «բավականաչափ կոնֆի՞գ է կրում, որ հնարավոր լինի դրա հետ չհամաձայնել»։ Թիվը, որի հետ չհամաձայնել չես կարող, — որովհետև չես կարող ասել, թե այն ինչ է նկարագրում, — ապացույց չէ։ Դա տրամադրություն է։

Ինչպես կարդալ ֆորումային թիվը

Վերաբերվեք դրան որպես միջակայքի, ոչ թե կետի, մինչև կոնֆիգուրացիան երևան գա։ Եթե մեկ հարց տալու հնարավորություն ունեք, հարցրեք այն երեք դաշտի մասին, որոնք մեր փորձում ամենաուժեղն են շարժում արդյունքը՝ backend, կոնկուրենտություն և կոնտեքստի խորություն։ Հարցրեք, թե սերվերն իրականում ինչ էր քշում, ոչ թե ինչ էր մտադրվել հեղինակը. աշխատող պրոցեսն ինքը կասի, և վեճում այն հաղթում է բոլորի հիշողությանը։

Իսկ երբ ինքներդ եք հրապարակում, շրջեք խաղը։ Ամրագրեք ամեն ինչ, անվանեք ամեն ինչ, և կոնֆիգը դրեք թվի կողքին այնպես, որ մեկն առանց մյուսի մեջբերելը ջանք արժենա։ Հենց սա է մեր claim-էջերի ամբողջ դիզայնը. արժեքը, նրա scope-ը, սահմանափակումներն ու հում գործարկումները կիսում են մեկ permalink, այնպես որ թիվը չի կարող մենակ թափառելու գնալ ու լուրեր տարածել։

Թվերը չեն ճամփորդում։ Ճամփորդում են կոնֆիգները։ Մեջբերեք կոնֆիգներ։