Инференс
Просто
Работа обученного ИИ: сам процесс выдачи ответа.
Бизнес
Эксплуатационная фаза модели, где живут все затраты на запросы.
Техно
Forward pass модели на проде; метрики: латентность, throughput, стоимость за токен.
Работа обученного ИИ: сам процесс выдачи ответа.
Эксплуатационная фаза модели, где живут все затраты на запросы.
Forward pass модели на проде; метрики: латентность, throughput, стоимость за токен.