Стажёр-исследователь: линейное внимание и рекуррентные архитектуры LLM Отклик на сайте компании
Зарплата не указана
Москва
Без опыта
В офисе
Постоянная работа
Младший специалист (Junior)
Разработка
Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца вы разберёте перспективные подходы, выберете базовую архитектуру и проверите собственное изменение. Это исследовательская задача с неопределённым результатом: важно не только найти улучшение, но и понять, какие идеи работают, где и почему.
Обязанности
- Разбирать свежие статьи и выбирать перспективные идеи для экспериментов.
- Реализовывать и менять линейные и рекуррентные блоки языковых моделей.
- Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений.
- Проводить абляции и выяснять, какие изменения стоит масштабировать.
Требования
- Уверенное владение Python и PyTorch.
- Знакомство с распределённым обучением.
- Понимание глубокого обучения и устройства Transformer.
- Умение читать статьи, формулировать гипотезы и проверять их экспериментально.
Будет плюсом
- Собственный исследовательский проект.
- Опыт обучения языковых моделей, работы с линейным вниманием или state-space моделями.
- Опыт с CUDA, Triton или оптимизацией GPU-вычислений.