Встречал две стратегии работы с автотестами:



- повторный прогон, чтобы флапающие тесты прошли (дожатие)



- повторный прогон, чтобы поймать флапающие тесты и покрасить билд в красный



Первый вариант обычно идёт от бизнесовой, а второй от платформенной команды.