評価とベンチマーク

RAG-Fusion はクエリの言い換えを生成し、Reciprocal Rank Fusion で順位を統合して単一クエリの取りこぼしを補います。 Jev は評価処理で選べる再ランキング手段です。関連実験には JEV_API_KEY が必要で、元のデモはベクトル検索のみです。 評価ツールで NFCorpus 上の検索方式を比較できます。ハイブリッド構成は BM25、ベクトル検索、順位統合、再ランキングを組み合わせます。

Rizzo Flow はオープンモデルをローカル実行し、Jev 互換 HTTP API で選択、確率、評価値、数値を返します。 Jev のインターフェース設計を再現した独立プロジェクトで、独自アーキテクチャや学習方法の再現ではありません。 llama.cpp でモデルを起動し、TypeSafe 互換アプリの接続先をローカルに指定します。

記録の振り分け、証拠の確認、評価基準による採点、許可された行動選択のスキルを収録します。 導入ガイドに従い、TypeSafe または OpenRouter の実 Jev と、明示されたエージェントによる模擬実行から選びます。

Awesome JEV は System One の研究、公開モデル、アプリ、独立評価をコードや論文へのリンクとともに集めます。 公式プリミティブと既知の失敗例で背景をつかみ、モデルや評価の項目から一次資料へ進めます。

pg-jev は自然言語の SQL 条件で PostgreSQL の行を絞り込み、順位付け、分類します。 バッチ化した Jev の質問が各行を評価し、SQL 関数が真偽、確率、選択、段階評価を返します。 PostgreSQL 14〜17、plpython3u、スーパーユーザー権限、TypeSafe キーが必要です。

Valen はテキスト、画像、動画に対して候補を評価し、回答トークンを生成せず判断確率を返します。 Jev に着想を得た実装で、Qwen3.5 基盤と共通の決定ヘッドを使います。 推論・評価には Valen チェックポイントと Qwen3.5-2B 基盤モデルの両方が必要です。

System One Adapter は別プロバイダーの LLM API で typesafe_sdk の評価インターフェースを実装します。 TypeSafe との比較用に型付き回答を維持し、再試行、遅延、確率正規化の診断を追加します。 プロバイダー、モデル、確率または離散回答を指定します。ネイティブ構造化出力は任意です。

System One Connector は evaluate コマンドと MCP 連携で開発エージェントへ型付き判断を提供します。 Jev に加え、CLM や Laya などの互換セルフホストモデルへ接続できます。 Choice、Noul、Score の質問を定義し、エージェント設定やバッチ評価を利用します。

候補評価ヘッドがゲート、振り分け、採点用の分布を返し、文章や JSON のデコードを行いません。 README は基準データで学習した AgentJev とゼロショットの Jev 1.13.0 を比較しており、学習条件が異なります。

Jev 形式の Choice、Score、Noul を扱う公開モデルを提供し、Verdict と Verdict 2.0 を別モデルとして収録します。 webgpu-demo を Python の HTTP サーバーで公開し、記載のブラウザーデモを開きます。モデル成果物と評価記録も参照できます。

fingers は複数のウェブ指紋データベースを統合し、Jev で一致結果の確認、重複除去、バージョン補完を行えます。 Go ライブラリの EnableJudge と TypeSafe キー、または CLI の jev-key で有効化します。

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.