Старший бэкенд-разработчик в команду LLM Gateway Отклик на сайте компании

О команде: Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

Какие задачи вас ждут: развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно
автоматизировать выдачу и настройку доступов к моделям
развивать управление потреблением LLM:рассчитывать стоимость LLM-вызова
настраивать бюджетные лимиты для клиентов и приоритеты
развивать динамическую балансировку трафика между LLM-моделями
определять SLA платформы и методику его расчёта:настраивать мониторинг и алёрты
поддерживать выполнение SLA
интегрироваться с платформой инференса:автоматизировать развёртывание моделей
открывать доступ к моделям для пользователей в инфраструктуре Авито
взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии.

Мы ждем, что вы: лидировали крупные стримы с высокой степенью неопределённости:собирали требования
планировали работу
декомпозировали задачи
отвечали за реализацию и мониторинг результатов
поддерживали критическую высоконагруженную инфраструктуру:настраивали мониторинг и алёрты
участвовали в дежурствах 24/7
программируете на Python или Go от 5 лет
имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями
понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT.

Будет здорово, если вы: работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM
создавали внутренние платформенные решения
работали с системами мониторинга LLM, например Langfuse или Opik
создавали и поддерживали административные интерфейсы для внутренних пользователей
работали с Kubernetes и GPU
работали с DWH, например ClickHouse или Trino.

Работа у нас — это: расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
корпоративный спорт: групповые тренировки, велбиинг-приложение
спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
компенсация питания.