RAG-Fusion 產生多個查詢變體,再以倒數排名融合合併結果,尋找單一查詢可能遺漏的資料。 Jev 是評估流程中可選用的重排器,相關實驗需要 JEV_API_KEY;原始示範仍僅使用向量檢索。 可用評估工具在 NFCorpus 上比較檢索策略;混合流程結合 BM25、向量檢索、結果融合與重排。
評估與基準
為 Agent、提示和輸出評分
320 個專案 · 全部專案 →
Rizzo Flow 在本地執行開放決策模型,透過相容 Jev 的 HTTP 介面回傳選擇、機率、量表評分與數值。 它重現 Jev 的介面模式,並未重現專有架構或訓練方法,屬於獨立專案。 使用 llama.cpp 部署所選模型,讓相容 TypeSafe 的應用程式連接本地端點。
此集合提供紀錄分流、證據查核、規準評估及合法動作選擇等技能。 依安裝指南選擇透過 TypeSafe 或 OpenRouter 呼叫實際 Jev,或使用明確標示的代理模擬。
Awesome JEV 彙集 System One 研究、開放模型、應用及獨立評估,並連結程式碼與論文。 先透過官方原語與已知失敗模式了解背景,再從模型或評估條目追溯原始來源。
pg-jev 用自然語言 SQL 條件篩選、排序與分類 PostgreSQL 資料列。 批次 Jev 問題判斷各列,SQL 函式回傳布林值、機率、選項或量表評分。 需要 PostgreSQL 14–17、plpython3u、超級使用者權限與 TypeSafe 金鑰。
Valen 根據文字、影像或影片為指定候選評分,回傳決策機率,不產生答案 token。 這個受 Jev 啟發的實作使用 Qwen3.5 主幹與共用決策頭。 推論或評估需要同時準備 Valen 檢查點及對應的 Qwen3.5-2B 基礎模型。
System One Adapter 用其他供應商的 LLM API 實作 typesafe_sdk 評估介面。 它用於和 TypeSafe 比較,保留型別化答案,並增加重試、延遲與機率正規化診斷。 設定供應商、模型及機率或離散答案模式;可選用原生結構化輸出。
System One Connector 透過 evaluate 命令與 MCP 整合向開發代理提供型別化決策。 可連接 Jev,也可連接 CLM、Laya 等相容的自託管模型。 定義 Choice、Noul 或 Score 問題,使用提供的代理設定與批次評估功能。
候選評分頭直接為閘控、路由及評分回傳分布,不需解碼文字或 JSON 答案。 README 比較以基準資料訓練的 AgentJev 專用模型與零樣本評估的 Jev 1.13.0,兩者訓練條件不同。
儲存庫提供 Jev 風格 Choice、Score 和 Noul 流程的開放模型,區分 Verdict 與 Verdict 2.0。 以 Python HTTP 伺服器提供 webgpu-demo,再開啟文件中的瀏覽器展示;模型產物與評估紀錄另附連結。
fingers 整合多個網頁指紋庫,可用 Jev 審查規則命中、去重及補充版本資訊。 安裝 Go 函式庫,以 EnableJudge 和 TypeSafe 金鑰啟用,或使用 CLI 的 jev-key 選項。
JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.
Agentic RL 中文零基础教程(33 章):从概念到 GRPO 实战,含 TRL 最小可跑示例;26–33 章附一套可运行的三方判别模型实证工程(encoder vs LLM-LoRA vs 规则基线)。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark
Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground
Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.
Using Jev as an evaluator.
An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.
JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models
TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors
Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results
A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.
This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.
Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.