Evaluation und Benchmarks

RAG-Fusion erzeugt Suchvarianten und vereint ihre Ranglisten mit Reciprocal Rank Fusion, um bei einer einzelnen Anfrage übersehene Dokumente zu finden. Jev ist ein optionaler Reranker der Evaluationspipeline; seine Experimente benötigen JEV_API_KEY. Die ursprüngliche Demo verwendet weiterhin ausschließlich Vektorsuche. Die Evaluationswerkzeuge vergleichen Suchverfahren auf NFCorpus. Die hybride Pipeline kombiniert BM25, Vektorsuche, Fusion und Reranking.

Rizzo Flow betreibt offene Modelle lokal und liefert Auswahlwerte, Wahrscheinlichkeiten, Rubrikwerte und Zahlen über eine Jev-kompatible HTTP-Schnittstelle. Das unabhängige Projekt bildet Jevs Schnittstellenmuster nach, nicht dessen proprietäre Architektur oder Training. Ein Modell mit llama.cpp bereitstellen und TypeSafe-kompatiblen Anwendungscode auf den lokalen Endpunkt richten.

Die Sammlung liefert Skills für Datensichtung, Belegprüfung, Bewertung anhand von Kriterien und Auswahl zulässiger Aktionen. Die Installationsanleitung lässt zwischen echtem Jev über TypeSafe oder OpenRouter und einer ausdrücklich gekennzeichneten Agentensimulation wählen.

Awesome JEV sammelt System-One-Forschung, offene Modelle, Anwendungen und unabhängige Auswertungen mit Links zu Code und Veröffentlichungen. Offizielle Primitive und bekannte Fehlermuster bieten Orientierung; Modell- und Auswertungseinträge führen zu den Originalquellen.

pg-jev filtert, sortiert und klassifiziert PostgreSQL-Zeilen mit natürlichsprachlichen SQL-Bedingungen. Jev bewertet Zeilen gebündelt; SQL-Funktionen liefern Wahrheitswerte, Wahrscheinlichkeiten, Auswahlwerte und Rubrikwerte. PostgreSQL 14–17, plpython3u, Superuser-Rechte und ein TypeSafe-Schlüssel werden benötigt.

Valen bewertet vorgegebene Kandidaten anhand von Text, Bildern oder Videos und liefert Wahrscheinlichkeiten ohne Antworttoken-Generierung. Die Jev-inspirierte Implementierung verwendet Qwen3.5 als Basis und einen gemeinsamen Entscheidungskopf. Inferenz oder Evaluation benötigt sowohl den Valen-Checkpoint als auch das Qwen3.5-2B-Basismodell.

System One Adapter implementiert die typesafe_sdk-Evaluation über LLM-APIs anderer Anbieter. Er ermöglicht TypeSafe-Vergleiche mit typisierten Antworten und zusätzlichen Diagnosen zu Wiederholungen, Latenz und Normalisierung. Anbieter, Modell und Wahrscheinlichkeits- oder Einzelwertmodus wählen; native strukturierte Ausgaben sind optional.

System One Connector bietet Programmieragenten typisierte Entscheidungen über evaluate und MCP-Integration. Er verbindet Jev oder kompatible selbst gehostete Modelle wie CLM und Laya. Choice-, Noul- oder Score-Fragen definieren; Agenteneinrichtung und Stapelbewertung stehen bereit.

Ein Kandidatenkopf liefert Verteilungen für Prüfungen, Routing und Bewertungen, ohne Prosa oder JSON-Antworten zu decodieren. Das README vergleicht benchmarktrainiertes AgentJev mit Jev 1.13.0 im Zero-Shot-Verfahren; die Trainingsbedingungen unterscheiden sich.

Das Repository bietet offene Modelle für Choice, Score und Noul nach Jevs Vorbild und unterscheidet Verdict von Verdict 2.0. webgpu-demo über Pythons HTTP-Server bereitstellen und das dokumentierte Browserbeispiel öffnen; Artefakte und Auswertungen sind separat verlinkt.

fingers kombiniert mehrere Fingerprint-Datenbanken und kann Jev zur Trefferprüfung, Deduplizierung und Versionspräzisierung nutzen. Die Go-Bibliothek installieren und EnableJudge mit TypeSafe-Schlüssel aktivieren oder die CLI-Option jev-key verwenden.

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.