RAG-Fusion 生成多个查询变体,再用倒数排名融合合并结果,寻找单一查询可能遗漏的资料。 Jev 是评估流程中的可选重排器,相关实验需要 JEV_API_KEY;原始演示仍只使用向量检索。 可用评估工具在 NFCorpus 上比较检索策略;混合流程结合 BM25、向量检索、结果融合和重排。
评估与基准
给 Agent、提示和输出打分
320 个项目 · 全部项目 →
Rizzo Flow 在本地运行开放决策模型,通过兼容 Jev 的 HTTP 接口返回选择、概率、量表评分和数值。 它复现 Jev 的接口模式,并未复现专有架构或训练方法,属于独立项目。 使用 llama.cpp 部署所选模型,让兼容 TypeSafe 的应用代码连接本地端点。
该集合提供记录分流、证据核查、按标准评估和合法动作选择等技能。 按安装指南选择通过 TypeSafe 或 OpenRouter 调用真实 Jev,或使用明确标注的智能体模拟。
Awesome JEV 汇集 System One 研究、开放模型、应用和独立评估,并链接代码与论文。 先通过官方原语和已知失败模式了解背景,再从模型或评估条目追溯原始来源。
pg-jev 用自然语言 SQL 条件筛选、排序和分类 PostgreSQL 数据行。 批量 Jev 问题判断各行,SQL 函数返回布尔值、概率、选项或量表评分。 需要 PostgreSQL 14–17、plpython3u、超级用户权限和 TypeSafe 密钥。
Valen 根据文本、图像或视频为给定候选评分,返回决策概率,不生成答案 token。 这个受 Jev 启发的实现使用 Qwen3.5 主干和共享决策头。 推理或评估需要同时准备 Valen 检查点及对应的 Qwen3.5-2B 基础模型。
System One Adapter 用其他供应商的 LLM API 实现 typesafe_sdk 评估接口。 它用于和 TypeSafe 比较,保留类型化答案并增加重试、延迟和概率归一化诊断。 配置供应商、模型及概率或离散答案模式;可以选择原生结构化输出。
System One Connector 通过 evaluate 命令和 MCP 集成向编程智能体提供类型化决策。 可连接 Jev,也可连接 CLM、Laya 等兼容的自托管模型。 定义 Choice、Noul 或 Score 问题,利用提供的智能体配置与批量评估功能。
候选评分头直接为门控、路由与评分返回分布,无需解码文字或 JSON 答案。 README 对比的是经基准数据训练的 AgentJev 专用模型与零样本评估的 Jev 1.13.0,训练条件不同。
仓库提供面向 Jev 风格 Choice、Score 和 Noul 工作流的开放模型,区分 Verdict 与 Verdict 2.0。 用 Python HTTP 服务器托管 webgpu-demo,打开文档中的浏览器演示;模型产物与评估记录另有链接。
fingers 聚合多个网页指纹库,可用 Jev 审查规则命中、去重并完善版本信息。 安装 Go 库,通过 EnableJudge 和 TypeSafe 密钥启用,或使用 CLI 的 jev-key 选项。
JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.
Agentic RL 中文零基础教程(33 章):从概念到 GRPO 实战,含 TRL 最小可跑示例;26–33 章附一套可运行的三方判别模型实证工程(encoder vs LLM-LoRA vs 规则基线)。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark
Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground
Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.
Using Jev as an evaluator.
An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.
JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models
TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors
Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results
A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.
This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.
Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.