Google выпустила llm-d 1.0 для запуска LLM на Kubernetes
Google выпустила llm-d 1.0 — открытый Kubernetes-стек, который объединяет серверы моделей в общий пул для инференса LLM на TPU и GPU. Заявлены кэш-маршрутизация и управление потоком.
Google представила llm-d 1.0 — открытый стек для обслуживания больших языковых моделей на Kubernetes. Проект превращает набор серверов моделей в единый пул и распределяет инференс между TPU и GPU в Google Cloud.
Стек работает поверх Kubernetes: разработчик разворачивает модели на кластере, а llm-d берёт на себя маршрутизацию запросов между серверами. Управление учитывает кэш и приоритеты потоков. Это помогает быстрее обслуживать повторные запросы с тем же контекстом и снижает время до первого токена — задержку перед началом ответа модели.
Среди заявленных возможностей — маршрутизация с учётом кэша, послойная выгрузка KV-кэша и приоритетное управление потоком. KV-кэш хранит промежуточные вычисления модели; выгрузка части данных освобождает память ускорителей. Маршрутизация с учётом кэша помогает переиспользовать уже посчитанный контекст, а приоритеты распределяют нагрузку между задачами.
llm-d 1.0 развивают Google и партнёры проекта. Стек рассчитан на смешанные парки Google Cloud TPU и GPU и на многопользовательские агентские нагрузки.