Avaliação e benchmarks

RAG-Fusion gera variações da consulta e combina classificações com Reciprocal Rank Fusion para encontrar documentos que uma única formulação pode perder. Jev é um reordenador opcional na avaliação; seus experimentos exigem JEV_API_KEY. A demonstração original continua usando apenas busca vetorial. O conjunto de avaliação compara estratégias no NFCorpus; a configuração híbrida combina BM25, busca vetorial, fusão e reordenação.

Rizzo Flow executa modelos abertos localmente e retorna escolhas, probabilidades, pontuações e números por uma interface HTTP compatível com Jev. O projeto independente reproduz o padrão de interface do Jev, não sua arquitetura ou treinamento proprietários. Sirva um modelo com llama.cpp e direcione o código compatível com TypeSafe ao endpoint local.

A coleção traz habilidades para triagem de registros, verificação de evidências, avaliação por critérios e escolha de ações permitidas. Siga o guia e escolha Jev real via TypeSafe ou OpenRouter, ou uma simulação do agente claramente identificada.

O Awesome JEV reúne pesquisas de System One, modelos abertos, aplicações e avaliações independentes com links para código e artigos. Comece pelas primitivas oficiais e falhas conhecidas, depois siga as entradas de modelos ou avaliações até as fontes originais.

pg-jev filtra, ordena e classifica linhas PostgreSQL com condições SQL em linguagem natural. Jev avalia linhas em lotes; funções SQL retornam booleanos, probabilidades, opções e pontuações. Exige PostgreSQL 14–17, plpython3u, acesso de superusuário e chave TypeSafe.

Valen pontua candidatos fornecidos com texto, imagens ou vídeo e retorna probabilidades sem gerar tokens de resposta. A implementação inspirada no Jev usa base Qwen3.5 e uma cabeça de decisão compartilhada. Execute inferência ou avaliação com o checkpoint Valen e seu modelo base Qwen3.5-2B.

System One Adapter implementa a avaliação typesafe_sdk usando APIs LLM de outros provedores. Permite comparar com TypeSafe, preservando respostas tipadas e adicionando diagnósticos de repetição, latência e normalização. Configure provedor, modelo e modo probabilístico ou discreto; saídas estruturadas nativas são opcionais.

System One Connector oferece decisões tipadas a agentes por evaluate e integração MCP. Conecta Jev ou modelos compatíveis hospedados por você, como CLM e Laya. Defina perguntas Choice, Noul ou Score; há configuração de agentes e avaliação em lote.

Uma cabeça de pontuação retorna distribuições para filtros, rotas e notas sem decodificar prosa ou respostas JSON. O README compara AgentJev treinado no benchmark com Jev 1.13.0 em zero-shot; as condições de treinamento diferem.

O repositório oferece modelos abertos para Choice, Score e Noul no estilo Jev, separando Verdict e Verdict 2.0. Sirva webgpu-demo pelo servidor HTTP do Python e abra o exemplo no navegador; artefatos e avaliações têm links separados.

O fingers combina bases de identificação web e pode usar Jev para revisar correspondências, remover duplicatas e refinar versões. Instale a biblioteca Go e ative EnableJudge com chave TypeSafe, ou use jev-key na CLI.

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.