rag-pipeline-ru-v0

Ո՞ր հարցին է պատասխանում

Կոնկրետ որտե՞ղ է ռուսալեզու RAG-փայփլայնը կորցնում որակը՝ բաղադրիչ առ բաղադրիչ։

Ինչ է չափվում

Գնահատում բաղադրիչ առ բաղադրիչ. OCR CER/WER → սպլիտերի սահմանների F1 → Recall@k/nDCG → reranker-ի դելտա → գեներացիայի support/abstention/citations։ Ներքին է մինչև 6 release gate-երի անցնելը։

Պնդումներ, որոնք այս workload-ը հիմնավորել չի կարող

Ցանկացած կոմերցիոն օգտագործում մինչև release gate-երը; ծայրից ծայր որակի պնդումներ մեկ բաղադրիչի մետրիկայից։

Ինքնություն (դեռ սառեցված չէ)

Այս workload-ը released չէ. կորպուսները, հեշերը և acceptance ստուգումները դեռ պատրաստ չեն, և հրապարակային headline claim-ներ դրա վրա չեն հենվում։ Ստորև հայտարարված կոնտրակտը կարդացվում է կատալոգի ֆայլից, ոչ թե մուտքագրված է էջում։