Аналитик качества AI в Финтех Отклик на сайте компании
Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей.
В финансовых сценариях важны детали: необходимо отслеживать, правильно ли модель объясняет условия и выполняет расчёты, использует ли актуальную информацию и понимает ли, когда данных для ответа недостаточно. Вам предстоит превращать эти требования в измеримые показатели и помогать команде принимать решения на основе результатов оценки.
Вы будете работать на стыке аналитики, машинного обучения и продукта — вместе с разработчиками и экспертами в предметной области.
Какие задачи вас ждут
Развитие метрик качества
Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи.
Подготовка данных и организация разметки
Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества.
Оценка изменений и приёмка релизов
Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском.
Исследование ошибок и проверка гипотез
Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.
Мы ждём, что вы
- Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL
- Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент
- Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы
- Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок
Бенефиты работы в Яндексе
AI-инструменты
Компенсация от 100М токенов для ваших экспериментов и оптимизации рутины.
Доступ к передовым моделям для ежедневной работы.
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:
Базовые услуги
Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.
Ментальное здоровье
Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.
Ежегодные чекапы
Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.
Больничный
30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.
Стоматология
Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.
Коррекция зрения
После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.
Терапевты в офисах
Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.
Ведение беременности и роды
Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.
Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.
Требуемые навыки и допуски
- Python
- SQL
