openjev-sglang: Qwen-Server mit Jev-HTTP-API

Ein nicht autoregressives Modell beantwortet choice-, score- und noul-Fragen; ein Router wählt den Checkpoint. Der selbst betriebene Server stellt POST /v1/systemone für bestehende Jev-Clients bereit, führt aber das Laya-Modell aus.

Vorgefertigte Modelle und Feinabstimmung ermöglichen Ja/Nein-, Auswahl- und Bewertungsfragen zu gemeinsamem Text. Die API folgt TypeSafe System One, sodass das TypeSafe Python SDK einen lokalen Kev-Server ansprechen kann.

Es behandelt Routing, Wiederholungen und Evidenzprüfungen durch direkt gelesene Auswahlwahrscheinlichkeiten, ohne Antwortsätze zu erzeugen. Nachgebildet wird Jevs Schnittstellenmuster, nicht das unveröffentlichte Modell oder Training; es besteht keine Verbindung zu TypeSafe.

Das Modell beantwortet Auswahl-, Boolean- und geordnete Bewertungsfragen aus Zuständen und Kandidaten ohne Antworttoken-Decoding. NanoJev ist ein eigenständiges lokales Modell nach Jevs Vorbild; Aufzeichnungen vergleichen Jev und nicht feinabgestimmtes Qwen an denselben Spielschnittstellen.

Text oder strukturierter Zustand und eine Ja/Nein-Frage ergeben die Wahrscheinlichkeit für Ja. Der Server nutzt Jevs Noul-Kommunikationsformat, sodass bestehende Clients ein eigenständiges, selbst betriebenes Modell ansprechen können.

RAG-Fusion erzeugt Suchvarianten und vereint ihre Ranglisten mit Reciprocal Rank Fusion, um bei einer einzelnen Anfrage übersehene Dokumente zu finden. Jev ist ein optionaler Reranker der Evaluationspipeline; seine Experimente benötigen JEV_API_KEY. Die ursprüngliche Demo verwendet weiterhin ausschließlich Vektorsuche. Die Evaluationswerkzeuge vergleichen Suchverfahren auf NFCorpus. Die hybride Pipeline kombiniert BM25, Vektorsuche, Fusion und Reranking.