평가 및 벤치마크

RAG-Fusion은 질의 변형을 생성하고 Reciprocal Rank Fusion으로 검색 순위를 합쳐 단일 질의가 놓친 자료를 찾습니다. Jev는 평가 파이프라인에서 선택할 수 있는 재순위화 모델입니다. 해당 실험에는 JEV_API_KEY가 필요하며 원래 데모는 벡터 검색만 사용합니다. 평가 도구로 NFCorpus에서 검색 전략을 비교할 수 있습니다. 하이브리드 구성은 BM25, 벡터 검색, 순위 융합, 재순위화를 결합합니다.

Rizzo Flow는 공개 결정 모델을 로컬에서 실행해 Jev 호환 HTTP 인터페이스로 선택, 확률, 기준별 점수, 수치를 반환합니다. Jev의 인터페이스 패턴을 재현한 독립 프로젝트이며 독점 구조나 학습 방식의 복제는 아닙니다. llama.cpp로 선택한 모델을 서빙하고 TypeSafe 호환 앱 코드를 로컬 엔드포인트에 연결합니다.

기록 분류, 근거 확인, 평가 기준에 따른 채점, 허용된 행동 선택을 위한 스킬 모음입니다. 설치 안내에서 TypeSafe 또는 OpenRouter의 실제 Jev와 명시적으로 표시되는 에이전트 시뮬레이션 중 경로를 선택합니다.

Awesome JEV는 System One 연구, 공개 모델, 애플리케이션, 독립 평가를 코드와 논문 링크로 모읍니다. 공식 기본 연산과 알려진 실패 유형을 읽은 뒤 모델 또는 평가 항목에서 원출처로 이동할 수 있습니다.

pg-jev는 자연어 SQL 조건으로 PostgreSQL 행을 필터링하고 순위를 매기며 분류합니다. Jev가 묶음 질문으로 행을 판단하고 SQL 함수는 참거짓, 확률, 선택, 기준별 점수를 반환합니다. PostgreSQL 14–17, plpython3u, 슈퍼유저 권한, TypeSafe 키가 필요합니다.

Valen은 텍스트, 이미지, 영상에 대해 주어진 후보를 평가하고 답변 토큰 없이 판단 확률을 반환합니다. Jev에서 영감을 받은 구현으로 Qwen3.5 기반 모델과 공유 결정 헤드를 사용합니다. 추론이나 평가에는 Valen 체크포인트와 Qwen3.5-2B 기반 모델을 모두 준비해야 합니다.

System One Adapter는 다른 제공자의 LLM API로 typesafe_sdk 평가 인터페이스를 구현합니다. TypeSafe와 비교할 수 있도록 타입별 답변을 유지하고 재시도, 지연, 확률 정규화 진단을 추가합니다. 제공자, 모델, 확률 또는 이산 답변 모드를 설정합니다. 네이티브 구조화 출력은 선택 사항입니다.

System One Connector는 evaluate 명령과 MCP 통합으로 코딩 에이전트에 타입별 판단을 제공합니다. Jev 또는 CLM, Laya처럼 직접 호스팅하는 호환 모델에 연결합니다. Choice, Noul, Score 질문을 정의하며 에이전트 설정과 일괄 평가 기능을 사용할 수 있습니다.

후보 점수 헤드가 게이트, 라우팅, 평점용 분포를 반환하며 문장이나 JSON 답변을 디코딩하지 않습니다. README는 벤치마크에 학습된 AgentJev와 제로샷 Jev 1.13.0을 비교하므로 학습 조건이 다릅니다.

Jev 방식 Choice, Score, Noul 작업을 위한 공개 모델을 제공하며 Verdict와 Verdict 2.0을 구분합니다. Python HTTP 서버로 webgpu-demo를 제공하고 문서의 브라우저 데모를 엽니다. 모델 산출물과 평가 기록은 별도 링크로 확인합니다.

fingers는 여러 웹 지문 데이터베이스를 통합하고 Jev로 규칙 결과 검토, 중복 제거, 버전 보완을 수행할 수 있습니다. Go 라이브러리의 EnableJudge와 TypeSafe 키 또는 CLI의 jev-key 옵션으로 활성화합니다.

JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.

Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark

Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground

Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.

Using Jev as an evaluator.

An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.

JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models

TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors

Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results

A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.

This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.

Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.