KV-cache
Просто
Внутренняя память ИИ о уже прочитанном — чтобы не перечитывать текст с нуля.
Бизнес
Механизм, из-за которого повторное использование одинакового начала запроса резко дешевле; влияет на дизайн промптов.
Техно
Кэш key/value-тензоров attention для префикса; переиспользование при совпадении префикса — основа prompt caching.