openjev-sglang: server Qwen dengan API HTTP Jev

Model nonautoregresif menjawab pertanyaan choice, score, dan noul; router memilih checkpoint yang digunakan. Server yang dihosting sendiri menyediakan POST /v1/systemone bagi klien Jev yang ada, tetapi menjalankan model Laya.

Model pralatih dan penyetelan mendukung pertanyaan ya/tidak, pilihan, serta penilaian atas teks yang sama. API mengikuti TypeSafe System One sehingga SDK Python TypeSafe dapat diarahkan ke server Kev lokal.

Proyek ini menangani keputusan semantik kecil seperti perutean, percobaan ulang, dan pemeriksaan bukti tanpa menghasilkan kalimat jawaban. Yang ditiru adalah pola antarmuka Jev, bukan model atau pelatihannya yang tidak dipublikasikan; proyek tidak berafiliasi dengan TypeSafe.

Model menjawab pertanyaan pilihan, Boolean, dan skor berurutan dari status serta kandidat tanpa mendekode token jawaban. NanoJev adalah model lokal terpisah yang terinspirasi Jev; rekaman membandingkan Jev dan Qwen tanpa penyetelan pada antarmuka permainan yang sama.

Berikan teks atau status terstruktur dan pertanyaan ya/tidak untuk memperoleh probabilitas ya. Server memakai format Jev untuk Noul sehingga klien yang ada dapat mengakses model terpisah yang dihosting sendiri.

RAG-Fusion membuat variasi kueri dan menggabungkan peringkat dengan Reciprocal Rank Fusion untuk menemukan dokumen yang mungkin terlewat oleh satu kueri. Jev merupakan pemeringkat ulang opsional dalam evaluasi; eksperimennya memerlukan JEV_API_KEY. Demo awal tetap hanya memakai pencarian vektor. Perangkat evaluasi membandingkan strategi di NFCorpus; alur hibrida menggabungkan BM25, pencarian vektor, fusi, dan pemeringkatan ulang.