Оценивайте агентов, промпты и выводы
320 проектов · Все проекты →
RAG-Fusion создаёт варианты запроса и объединяет рейтинги методом Reciprocal Rank Fusion, находя документы, которые может пропустить одна формулировка. Jev служит необязательным переранжировщиком в оценочном конвейере; эксперименты с ним требуют JEV_API_KEY. Исходная демонстрация использует только векторный поиск. Инструменты оценки сравнивают стратегии на NFCorpus; гибридный конвейер сочетает BM25, векторный поиск, слияние и переранжирование.
Rizzo Flow запускает открытые модели локально и возвращает выбор, вероятности, оценки и числа через совместимый с Jev HTTP-интерфейс. Независимый проект повторяет интерфейс Jev, но не его закрытую архитектуру или обучение. Запустите модель через llama.cpp и направьте совместимый с TypeSafe код на локальную точку доступа.
Коллекция содержит навыки сортировки записей, проверки доказательств, оценки по рубрике и выбора допустимых действий. Следуйте руководству установки и выберите настоящий Jev через TypeSafe или OpenRouter либо явно обозначенную симуляцию агентом.
Awesome JEV собирает исследования System One, открытые модели, приложения и независимые оценки со ссылками на код и статьи. Начните с официальных примитивов и известных ошибок, затем переходите к первоисточникам моделей и оценок.
pg-jev фильтрует, ранжирует и классифицирует строки PostgreSQL условиями SQL на естественном языке. Jev оценивает строки пакетами; SQL-функции возвращают булевы значения, вероятности, варианты и оценки. Нужны PostgreSQL 14–17, plpython3u, права суперпользователя и ключ TypeSafe.
Valen оценивает заданные варианты по тексту, изображениям или видео и возвращает вероятности без генерации токенов ответа. Реализация вдохновлена Jev и использует основу Qwen3.5 с общей головой принятия решений. Для инференса или оценки нужны и чекпойнт Valen, и базовая модель Qwen3.5-2B.
System One Adapter реализует интерфейс оценки typesafe_sdk через LLM API других провайдеров. Он позволяет сравнивать с TypeSafe, сохраняя типизированные ответы и добавляя диагностику повторов, задержек и нормализации. Задайте провайдера, модель и вероятностный либо дискретный режим; нативный структурированный вывод необязателен.
System One Connector предоставляет агентам типизированные решения через команду evaluate и интеграцию MCP. Он подключает Jev либо совместимые самостоятельно размещённые модели, например CLM и Laya. Задайте вопросы Choice, Noul или Score; предусмотрены настройка агентов и пакетная оценка.
Голова оценки кандидатов выдаёт распределения для проверок, маршрутов и баллов без декодирования текста или JSON-ответов. README сравнивает обученный на бенчмарке AgentJev с Jev 1.13.0 в режиме zero-shot; условия обучения различаются.
Репозиторий предлагает открытые модели для Choice, Score и Noul по образцу Jev, разделяя Verdict и Verdict 2.0. Запустите webgpu-demo через HTTP-сервер Python и откройте браузерный пример; артефакты и оценки доступны по отдельным ссылкам.
fingers объединяет базы веб-отпечатков и может через Jev проверять совпадения, удалять дубли и уточнять версии. Установите Go-библиотеку и включите EnableJudge с ключом TypeSafe либо опцию CLI jev-key.
JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.
Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark
Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground
Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.
Using Jev as an evaluator.
An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.
JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models
TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors
Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results
A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.
This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.
Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.