Տեղակայման ուղեցույցներ. լոկալ LLM-ներ իրական երկաթի վրա, քայլ առ քայլ

Strix Halo (Ryzen AI Max+ 395)

• Ինչպես տեղակայել լոկալ LLM Strix Halo-ի վրա (Ryzen AI Max+ 395). llama.cpp՝ զրոյից մինչև առաջին պատասխան

  Ուղին, որով տեղակայում ենք մեր սեփական տուփերի վրա. հիշողության կարգավորումը, որի մասին BIOS-ը լռում է, ամրագրված llama.cpp կոնտեյներ Vulkan-ի վրա և երեք ստուգում, որ սերվերն իրոք աշխատում է — ներառյալ երկու խափանում, որոնք թաքնվում են կանաչ ստատուսների հետևում։

  Ժամանակ: 45 րոպե

• Ollama Strix Halo-ի վրա (Ryzen AI Max+ 395). տեղադրում, GPU-ի դետեկտ, առաջին մոդելը

  Ollama-ի տեղադրումը Strix Halo տուփի վրա լռելյայն ուղով և բոլորին շփոթեցնող լոգ-տողի վերծանումը. ինչու է Vulkan ուղին դեն նետում ձեր iGPU-ն, ինչու է ROCm-ը, միևնույն է, վերցնում այն, և ինչպես ստուգել, որ մոդելն իրոք նստել է GPU-ի վրա, ոչ թե լուռ աշխատում է CPU-ի վրա։

  Ժամանակ: 20 րոպե

DGX Spark (GB10)

• Ինչպես տեղակայել մեծ MoE DGX Spark-ի վրա vLLM-ով. մեկ հանգույցից մինչև զույգ

  Տեղակայման հերթականությունը, որը շրջանցում է մեր GB10 զույգի վրա բռնած լուռ կախումները. ամրագրված կշիռներ և image, head-ը peer-ից առաջ, պատրաստվածությունը endpoint-ով, ոչ թե զգացողությամբ, և MoE միջուկի ընտրության ստուգումը, որն արագ կոնֆիգը բաժանում է սովորականից։

  Ժամանակ: 2-3 ժ

Apple Silicon

Ուղեցույց դեռ չկա — ազնվորեն։ M1 Max-ը և M4 Pro-ն մեր ստենդի հայտարարված ուղիներ են՝ զրո հրապարակված գործարկումով։ Ուղեցույցը կգրվի դրանց վրա իրական տեղակայման ժամանակ, ոչ շուտ։

Consumer GPU

Ուղեցույց դեռ չկա — ազնվորեն։ CUDA ուղու գործարկումներ դեռ չկան։ Երբ դիսկրետ GPU-ների գիծը մեկնարկի, նրա ուղեցույցը կգրվի տեղակայումից, ոչ թե ուրիշների գրառումներից։