Ajanları, istemleri ve çıktıları puanlayın
320 proje · Tüm projeler →
RAG-Fusion sorgu varyasyonları üretir ve tek sorgunun kaçırabileceği belgeleri bulmak için sıralamaları Reciprocal Rank Fusion ile birleştirir. Jev değerlendirme hattında isteğe bağlı bir yeniden sıralayıcıdır; deneyleri JEV_API_KEY gerektirir. İlk demo yalnızca vektör araması kullanır. Değerlendirme araçları NFCorpus üzerinde stratejileri karşılaştırır; hibrit hat BM25, vektör araması, birleştirme ve yeniden sıralamayı bir araya getirir.
Rizzo Flow açık modelleri yerelde çalıştırır; Jev uyumlu HTTP arayüzünden seçim, olasılık, ölçüt puanı ve sayılar döndürür. Bağımsız proje Jev’in arayüz örüntüsünü yeniden uygular; özel mimarisini veya eğitimini kopyalamaz. llama.cpp ile model sunun ve TypeSafe uyumlu uygulama kodunu yerel uç noktaya yönlendirin.
Koleksiyon kayıt sınıflandırma, kanıt kontrolü, ölçütlerle değerlendirme ve izin verilen eylemleri seçme becerileri sunar. Kurulum kılavuzunda TypeSafe veya OpenRouter üzerinden gerçek Jev’i ya da açıkça etiketlenmiş ajan simülasyonunu seçin.
Awesome JEV; System One araştırmalarını, açık modelleri, uygulamaları ve bağımsız değerlendirmeleri kod ve makale bağlantılarıyla toplar. Resmî temel işlemler ve bilinen hata türleriyle başlayıp model veya değerlendirme kayıtlarından özgün kaynaklara ilerleyin.
pg-jev doğal dilde SQL koşullarıyla PostgreSQL satırlarını filtreler, sıralar ve sınıflandırır. Jev satırları toplu değerlendirir; SQL işlevleri mantıksal değer, olasılık, seçim ve ölçüt puanı döndürür. PostgreSQL 14–17, plpython3u, süper kullanıcı erişimi ve TypeSafe anahtarı gerekir.
Valen verilen adayları metin, görüntü veya videoyla değerlendirip yanıt tokeni üretmeden karar olasılıkları döndürür. Jev’den esinlenen uygulama Qwen3.5 temeli ve ortak karar başlığı kullanır. Çıkarım veya değerlendirme için Valen kontrol noktasıyla Qwen3.5-2B temel modelinin ikisi de gerekir.
System One Adapter, typesafe_sdk değerlendirme arayüzünü diğer sağlayıcıların LLM API’leriyle uygular. TypeSafe karşılaştırmalarında türlenmiş yanıtları korur; yeniden deneme, gecikme ve normalleştirme tanıları ekler. Sağlayıcıyı, modeli ve olasılık ya da ayrık yanıt kipini seçin; sağlayıcının yerleşik yapılandırılmış çıktı desteği isteğe bağlıdır.
System One Connector evaluate komutu ve MCP entegrasyonuyla kodlama ajanlarına türlenmiş kararlar sunar. Jev’e veya CLM ve Laya gibi kendi barındırdığınız uyumlu modellere bağlanır. Choice, Noul veya Score soruları tanımlayın; ajan kurulumu ve toplu değerlendirme sağlanır.
Aday puanlama başlığı, metin veya JSON yanıt çözmeden geçitler, yönlendirme ve puanlar için dağılımlar döndürür. README, benchmark üzerinde eğitilen AgentJev’i zero-shot Jev 1.13.0 ile karşılaştırır; eğitim koşulları farklıdır.
Depo Jev tarzı Choice, Score ve Noul için açık modeller sunar; Verdict ve Verdict 2.0 ayrıdır. webgpu-demo dizinini Python HTTP sunucusuyla açıp belgelenen tarayıcı örneğini kullanın; model ve değerlendirme kayıtları ayrıca bağlantılıdır.
fingers web parmak izi veritabanlarını birleştirir; Jev ile eşleşmeleri inceleyip tekrarları kaldırabilir ve sürümleri netleştirebilir. Go kütüphanesinde EnableJudge ve TypeSafe anahtarını veya CLI jev-key seçeneğini kullanın.
JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
Leaderboard that puts Jev and 14 LLMs through 108 four-option multiple-choice questions about the Convex backend platform, comparing accuracy, latency, and cost, with a per-answer explorer showing Jev probabilities.
Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 章附一套可运行的三方判别模型实证工程（encoder vs LLM-LoRA vs 规则基线）。第 25 章讲清 Jev / TypeSafe System One 与 RL 的能力边界 | Chinese Agentic RL tutorial (33 chapters) + a reproducible discriminative-model benchmark
Non-autoregressive decision engine on ModernBERT (151M) with calibrated uncertainty (RLCD), TypeSafe AI Jev benchmark audit, and in-browser WebGPU playground
Personal-assistant agent built on Vercel's eve with 100 mocked tools, measuring how many steps it takes when Jev picks the tool versus the LLM.
Using Jev as an evaluator.
An open-source JEV-powered workbench for streaming data selection, quality evaluation, automatic LoRA training and held-out model evaluation.
JevGym is an open-source platform designed to benchmark and facilitate better probabilistic estimation in Jev-alike models
TypeSafe decisions for Pi: batched evaluation tool, terminal playground, and typed API for extension authors
Typed JSON inference with DiffusionGemma, with Every and Jev benchmark results
A database-agnostic Agentic GraphRAG framework using swappable System One models (local Laya / cloud Jev). A plug-and-play intelligence layer featuring a complete 4-phase pipeline, continuous evaluation and custom A* traversal for any graph database.
This is a LLM Gateway that mimics typesafe ai structured output. Like an imposter Jev.
Jev-powered, rule-based grader for text files. Runs every rule against every line in parallel. No skimming, no missed lines.