SREGym: वैकल्पिक Jev समीक्षा वाले SRE बेंचमार्क

गैर-ऑटोरेग्रेसिव मॉडल choice, score और noul प्रश्नों का उत्तर देता है, जबकि राउटर चेकपॉइंट चुनता है। स्वयं होस्ट किया गया सर्वर मौजूदा Jev क्लाइंट के लिए POST /v1/systemone देता है, लेकिन मॉडल Laya चलता है।

पहले से प्रशिक्षित मॉडल और फ़ाइन-ट्यूनिंग साझा टेक्स्ट पर हाँ/नहीं, बहुविकल्पीय और रेटिंग प्रश्नों को संभालते हैं। API, TypeSafe System One का पालन करता है, इसलिए TypeSafe Python SDK स्थानीय Kev सर्वर से जुड़ सकता है।

यह उत्तर वाक्य बनाए बिना संभावनाएँ पढ़कर रूटिंग, दोबारा प्रयास और साक्ष्य जाँच जैसे छोटे अर्थ-संबंधी निर्णय लेता है। यह Jev का इंटरफ़ेस पैटर्न दोहराता है, उसके अप्रकाशित मॉडल या प्रशिक्षण को नहीं; इसका TypeSafe से संबंध नहीं है।

मॉडल स्थिति और उम्मीदवारों से विकल्प, बूलियन और क्रमबद्ध स्कोर प्रश्नों के उत्तर देता है, बिना उत्तर टोकन डिकोड किए। NanoJev, Jev से प्रेरित अलग स्थानीय मॉडल है; रिकॉर्डिंग समान गेम इंटरफ़ेस पर Jev और बिना ट्यून किए Qwen की तुलना करती हैं।

टेक्स्ट या संरचित स्थिति और हाँ/नहीं का प्रश्न दें; jevos 'हाँ' की संभावना लौटाता है। सर्वर Jev का Noul प्रारूप अपनाता है, जिससे मौजूदा क्लाइंट अलग स्वयं होस्ट किए मॉडल से जुड़ सकते हैं।

RAG-Fusion प्रश्न के कई रूप बनाकर Reciprocal Rank Fusion से खोज क्रम जोड़ता है, ताकि एक प्रश्न से छूटने वाले दस्तावेज़ मिल सकें। Jev मूल्यांकन प्रक्रिया में वैकल्पिक पुनःक्रमण मॉडल है; उसके प्रयोगों के लिए JEV_API_KEY चाहिए। मूल डेमो केवल वेक्टर खोज करता है। मूल्यांकन उपकरण NFCorpus पर रणनीतियाँ तुलना करता है; हाइब्रिड प्रक्रिया BM25, वेक्टर खोज, फ्यूज़न और पुनःक्रमण जोड़ती है।