Évaluation et benchmarks

RAG-Fusion génère plusieurs formulations d’une requête et fusionne leurs classements avec Reciprocal Rank Fusion pour retrouver des documents autrement manqués. Jev est un outil de reclassement facultatif dans l’évaluation ; ses expériences nécessitent JEV_API_KEY. La démonstration originale reste purement vectorielle. Le banc d’évaluation compare les stratégies sur NFCorpus ; le parcours hybride associe BM25, recherche vectorielle, fusion et reclassement.

Rizzo Flow exécute des modèles ouverts localement et renvoie choix, probabilités, scores et nombres via une interface HTTP compatible Jev. Projet indépendant, il reproduit le principe d’interface de Jev, pas son architecture ni son entraînement propriétaires. Servez un modèle avec llama.cpp et connectez le code compatible TypeSafe au point d’accès local.

La collection fournit des compétences pour le tri de données, la vérification des preuves, l’évaluation par grille et le choix d’actions autorisées. Suivez le guide et choisissez Jev via TypeSafe ou OpenRouter, ou une simulation par l’agent clairement signalée.

Awesome JEV rassemble recherches System One, modèles ouverts, applications et évaluations indépendantes, avec liens vers code et publications. Consultez les primitives officielles et les échecs connus, puis remontez aux sources des modèles ou évaluations.

pg-jev filtre, classe et catégorise les lignes PostgreSQL avec des conditions SQL en langage naturel. Jev évalue les lignes par lots ; les fonctions SQL renvoient booléens, probabilités, choix et scores. Il faut PostgreSQL 14–17, plpython3u, des droits superutilisateur et une clé TypeSafe.

Valen évalue des candidats sur texte, images ou vidéo et renvoie des probabilités sans générer de tokens de réponse. Cette implémentation inspirée de Jev utilise une base Qwen3.5 et une tête de décision partagée. Lancez inférence ou évaluation avec le checkpoint Valen et son modèle de base Qwen3.5-2B.

System One Adapter implémente l’évaluation typesafe_sdk avec les API LLM d’autres fournisseurs. Il compare avec TypeSafe en conservant les réponses typées et ajoutant diagnostics de reprise, latence et normalisation. Configurez fournisseur, modèle et réponses probabilistes ou discrètes ; les sorties structurées natives sont facultatives.

System One Connector expose des décisions typées aux agents via evaluate et l’intégration MCP. Il connecte Jev ou des modèles compatibles auto-hébergés comme CLM et Laya. Définissez des questions Choice, Noul ou Score ; configuration des agents et évaluation par lots sont fournies.

Une tête de scoring renvoie des distributions pour contrôles, routage et notation, sans décoder de prose ni de réponse JSON. Le README compare AgentJev entraîné sur le benchmark à Jev 1.13.0 en zero-shot ; les conditions d'entraînement diffèrent.

Le dépôt propose des modèles ouverts pour Choice, Score et Noul à la manière de Jev, en distinguant Verdict et Verdict 2.0. Servez webgpu-demo avec le serveur HTTP Python et ouvrez la démonstration du navigateur ; artefacts et évaluations sont liés séparément.

fingers combine plusieurs bases d’empreintes et peut utiliser Jev pour revoir les correspondances, dédupliquer et préciser les versions. Installez la bibliothèque Go et activez EnableJudge avec une clé TypeSafe, ou utilisez jev-key en CLI.

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.