Top.Mail.Ru
Разработка
C#
Приручаем LLM: локальный inference в .NET
3 октября
16.20-16.50
Green 4. Разработка

Вместо того чтобы запускать локальную LLM отдельным сервисом и общаться с ней через API, мы встроим ее прямо в .NET-приложение, разберем инференс до токенов и KV-кэша, научимся управлять контекстом, сохранять состояние и параллельно обслуживать несколько сессий.