ML‑разработчик, middle+ Отклик на сайте компании

Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production.

Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации.

Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов.

Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений.

Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой.

Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API.