Назначение
Rizzo Flow запускает открытые модели локально и возвращает выбор, вероятности, оценки и числа через совместимый с Jev HTTP-интерфейс.
Роль Jev
Независимый проект повторяет интерфейс Jev, но не его закрытую архитектуру или обучение.
Как использовать
Запустите модель через llama.cpp и направьте совместимый с TypeSafe код на локальную точку доступа.
Ограничения
Вероятности требуют калибровки на ваших данных; квантование, оборудование и среда выполнения могут их изменить.
Проверка подтверждения: