Yinsongxu/LLM2Jev
Đã xác minhGiải pháp thay thế cục bộCó trong tài liệu
LLM2Jev (Yinsongxu) biến mô hình ngôn ngữ và thị giác cục bộ thành dịch vụ quyết định kiểu Jev bằng prefill, qua SGLang, Transformers và MLX.
LLM2Jev chấm ứng viên bằng logits prefill của mô hình ngôn ngữ và thị giác cục bộ, không sinh từng token.
Đây là triển khai độc lập theo hướng Jev với điểm cuối HTTP tương thích System One.
Dùng Python hoặc HTTP cùng SGLang, Transformers hay MLX với đầu vào văn bản và ảnh được hỗ trợ.
Lợi ích bộ nhớ đệm phụ thuộc độ dài và số ứng viên; so sánh JevBench được dẫn chỉ gồm 231 câu công khai.
Đã kiểm tra dẫn chứng:
Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.
Số sao tính trên toàn bộ kho mã và có thể gồm công việc không liên quan đến Jev.
Có trong tài liệu ghi lại tài liệu hoặc mã nguồn được liên kết. JevHunt chưa tự chạy hoặc đánh giá dự án này.
Commit dẫn chứng: a4aafa85e1aba95329db36e085373d1572ab6917
Được phát hiện qua: awesome-jev, typesafe-field-guide, github-search.
Cách chúng tôi đánh giá →