+Aspirity Solution — студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.
Чем предстоит заниматься
+Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы)
+Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов
+Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования
+Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах
+Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов
+Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды
+Вести техническую документацию и описывать best practices
Требования
+Опыт работы в QA (manual или automation) от 2 лет
+Практический опыт тестирования AI-агентов или чат-ботов
+Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии
+Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами)
+Опыт автоматизированного тестирования (желательно — для AI-агентов)
+Уверенное владение Python на уровне написания тестов и утилитарных скриптов
+Навыки работы с Git и системами отслеживания ошибок
+Английский язык от B2 для работы в международной команде
+Проживание вне РФ и РБ
+Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT
Будет плюсом
+Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов
+Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance
+Понимание CI/CD-процессов и базовых инструментов мониторинга
+Участие в построении тестовой архитектуры для AI-систем
Мы предлагаем
+Полностью удалённый формат работы
+Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов
+Возможность профессионально расти в QA для LLM- и AI-агентных систем