Время Валеры

Прочитал заметку STEDII Properties of a Good Metric



Заметка базовая, но полезная

Разбирают 6 необходимых свойств метрик



Sensitivity

Trustworthiness

Efficiency

Debuggability

Interpretability and Actionability

Inclusivity and Fairness



Кратко описывают по каждому пункту что, зачем и как

Мне больше всего понравился пункт про Debuggability и Interpretability and Actionability

Сразу вспомнилось чем заканчивается встреча плохих менеджеров - ничем, а вот у потенциально хороших менеджеров появляются action points по итогам встречам



Довольно разумно описана Inclusivity and Fairness, особенно пункт про то, что рост среднего может приводить к зависимости от кучки юзеров, так называемый олигархат пользователей. Об этом еще Linked-in писал в FAIRNESS THROUGH EXPERIMENTATION: INEQUALITY IN A/BTESTING AS AN APPROACH TO RESPONSIBLE DESIGN и Uber в Analyzing Experiment Outcomes: Beyond Average Treatment Effects



#ArticleReview