Evaluación y benchmarks

RAG-Fusion genera variantes de consulta y combina sus clasificaciones mediante Reciprocal Rank Fusion para encontrar documentos que una sola consulta omite. Jev es un reordenador opcional de la evaluación; sus experimentos requieren JEV_API_KEY. La demostración original sigue usando solo búsqueda vectorial. El banco de evaluación compara estrategias en NFCorpus; la variante híbrida combina BM25, búsqueda vectorial, fusión y reordenación.

Rizzo Flow ejecuta modelos abiertos localmente y devuelve elecciones, probabilidades, puntuaciones y números por una interfaz HTTP compatible con Jev. Reproduce el patrón de interfaz de Jev, no su arquitectura ni entrenamiento propietarios; es independiente. Sirve un modelo con llama.cpp y dirige el código compatible con TypeSafe al endpoint local.

La colección ofrece habilidades para triaje de registros, comprobación de pruebas, evaluación por rúbrica y selección de acciones permitidas. Sigue la guía y elige Jev real mediante TypeSafe u OpenRouter, o una simulación del agente identificada expresamente.

Awesome JEV reúne investigación de System One, modelos abiertos, aplicaciones y evaluaciones independientes con enlaces a código y artículos. Oriéntate con las primitivas oficiales y los fallos conocidos; después sigue las entradas de modelos o evaluaciones hasta sus fuentes.

pg-jev filtra, ordena y clasifica filas PostgreSQL mediante condiciones SQL en lenguaje natural. Jev evalúa filas en lotes; las funciones SQL devuelven booleanos, probabilidades, opciones y puntuaciones. Requiere PostgreSQL 14–17, plpython3u, acceso de superusuario y una clave TypeSafe.

Valen puntúa candidatos dados frente a texto, imágenes o vídeo y devuelve probabilidades sin generar tokens de respuesta. Esta implementación inspirada en Jev usa una base Qwen3.5 y una cabeza de decisión compartida. Ejecuta inferencia o evaluación con el checkpoint Valen y su modelo base Qwen3.5-2B.

System One Adapter implementa la evaluación typesafe_sdk mediante API LLM de otros proveedores. Permite comparar con TypeSafe manteniendo respuestas tipadas y añadiendo diagnósticos de reintentos, latencia y normalización. Configura proveedor, modelo y modo de probabilidades o valores discretos; la salida estructurada nativa es opcional.

System One Connector ofrece decisiones tipadas a agentes mediante evaluate e integración MCP. Conecta Jev o modelos compatibles autoalojados como CLM y Laya. Define preguntas Choice, Noul o Score; incluye configuración de agentes y evaluación por lotes.

Una cabeza de puntuación devuelve distribuciones para controles, rutas y valoraciones sin decodificar prosa ni respuestas JSON. El README compara AgentJev entrenado en el benchmark con Jev 1.13.0 en zero-shot; las condiciones de entrenamiento son distintas.

Ofrece modelos abiertos para Choice, Score y Noul al estilo Jev, separando Verdict y Verdict 2.0. Sirve webgpu-demo con el servidor HTTP de Python y abre el ejemplo del navegador; consulta aparte artefactos y registros de evaluación.

fingers combina bases de huellas web y puede usar Jev para revisar coincidencias, eliminar duplicados y precisar versiones. Instala la biblioteca Go y activa EnableJudge con clave TypeSafe, o usa la opción CLI jev-key.

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.