Հետևեք լոկալ ագենտների շուրջ խոսակցությանը մեկ շաբաթ, և օրինաչափությունը երևան կգա։ Մեկը հարցնում է, թե ինչ երկաթ է պետք կոդ գրող ագենտների թիմ պահելու համար։ Մյուսը պատասխանում է վայրկյանում թոքենների թվով՝ մեկ հոսք, մեկ չաթ, միայն դեկոդ։ Հարցը երամի մասին էր; պատասխանը՝ մենակատարի։
Հասկանում եմ՝ ինչու։ Մեկ հոսքի դեկոդն այն թիվն է, որ տպում է ամեն ակնարկ, որով շարքավորում է սպեկ-թերթիկների ամեն համեմատություն, որի շուրջ վիճում է ֆորումի ամեն թել։ Այն նաև գրեթե անօգուտ է տրված հարցի համար, որովհետև ագենտների երամը մեկ արագ խոսակցություն չէ։ Այն շատ դանդաղ խոսակցություններ են՝ միաժամանակ ընթացող, ամեն մեկը հիմնականում գործիքներին սպասող, ամեն մեկն աշխատանքի պոռթկումներ արձակող անկանխատեսելի պահերի։ Մետրիկան, որը որոշում է՝ ձեր տուփը դրան կդիմանա՞, ոչ թե այն է, թե ինչ արագ է դեկոդում մեկ հոսքը։ Այն է, թե ինչպես է աճում սպասումը, երբ հոսքերը կուտակվում են, և որտեղ է այն դադարում տանելի լինել։
Այդ աճը մենք չափեցինք սեփական երկաթի վրա — մեկ, չորս, ութ միաժամանակյա հոսք 128 ԳԲ-անոց տուփի վրա, — և կորի ձևն ինձ ավելի շատ զարմացրեց, քան արժեքները։ Սպասումը գծային չի աճում։ Այն բավական երկար հարթ է մնում, որ քեզ քնեցնի, հետո ծալվում է։ Չորս զուգահեռ չաթը մեկից անտարբերակելի էր զգացվում; ութն ուրիշ մեքենա էր։ Թվերն ու դրանց սահմանները կոնկուրենտության հաշվետվության մեջ են, իսկ նույն պատմությունն ավելի բարձր խաղադրույքով — 284B մոդել, որը երկու DGX Spark-ի վրա տասնյակ հոսք է իր վրա հավաքում — գնորդի պատասխանի մեջ։ Այն, ինչի օգտին ես այստեղ ուզում եմ վիճել, արժեքները չեն։ Մետրիկան է։
Կա ֆիզիկական պատճառ, թե ինչու է agents-per-box-ը ճիշտ միավորը երկաթի այս սերնդի համար։ Mixture-of-experts մոդելները մեկ հոսքի վրա հիշողության թողունակության մի մասը թողնում են չօգտագործված. դեկոդը սովում է հենց հիշողության մայրուղու վրա, իսկ մեկ խոսակցությունն այդ մայրուղին չի հագեցնում։ Կոնկուրենտությունն այն միջոցն է, որով այդ պաշարը հետ ես գնում։ Տուփը, որը մեկ հոսքի ակնարկում միջակ տեսք ունի, չորս հոսքի վրա կարող է լուռ գերազանց լինել, իսկ երկու տուփ նույնական մենակատար թվերով բեռի տակ կարող են լիովին տարամիտվել։ Մենակատարի բենչմարքը սրանից ոչինչ չի տեսնում։ Այն սխալ չէ; այն ուրիշ հարցի է պատասխանում։
Ահա, ուրեմն, հարցը, որը, կարծում եմ, գնորդները պիտի տան փոխարենը՝ ձևակերպված այնպես, որ չափումը կարողանա պատասխանել. քանի՞ միաժամանակյա հոսք է պահում այս տուփը, նախքան առաջին տեսանելի բառը կսկսի տևել ավելի երկար, քան իմ օգտատերերը կհանդուրժեն։ Շեմն ընտրեք ինքներդ՝ կես վայրկյան, երկու վայրկյան, ինչին որ դիմանում է ձեր ագենտների հետադարձ կապի օղակը։ Հետո պահանջեք սանդուղքը, ոչ թե կետը. սպասումը մեկի, չորսի, ութի վրա՝ ավարտվածության ցուցանիշները կողքին, որովհետև տուփը, որն ութ հոսք «պահում է»՝ լուռ գցելով ամեն հինգերորդ հարցումը, իրականում ոչինչ չի պահում։
Սա տուփի վրա ոչ ոք չի տպում։ Վաճառողները տպում են պիկային դեկոդը, որը շոյում է սիլիցիումը; ակնարկները տպում են մեկ հոսքը, որը շոյում է ակնարկագրի ժամկետները։ Սանդուղքը կարգին չափելը ժամեր է խլում և մեկ հերոսական թիվ չի տալիս — հենց դրա համար է այն վստահելի, և հենց դրա համար էլ ոչ ոք դրանով չի սկսում։
Հարցումն աշխատակից չէ. իսկական ագենտները պարապ են կանգնում, պոռթկում են և հսկայական կոնտեքստներ են կպցնում ամենավատ պահին, այնպես որ փակ օղակով սանդուղքը քաոսի ստորին սահմանն է, ոչ թե կանխատեսում։ Բայց ստորին սահմանն արժե ավելին, քան մենակատարի բեմական դիմանկարը։ Եթե երամների դարաշրջանն իսկապես գալիս է, ուրեմն կարևոր սպեկը agents-per-box-ն է լատենտության ֆիքսված շեմի տակ, և որքան շուտ սկսենք այն պահանջել, այնքան շուտ մեկը կսկսի այն տպել։
Մեր չափված սանդուղքները՝ հում գործարկումներով. կոնկուրենտության հաշվետվությունը · երեք ժամ կայուն բեռի տակ · claim-երի ռեեստրը։