Недавно с удовольствием прочитал статью от Gary King и товарищи, Matching as Nonparametric Preprocessing for Reducing Model Dependence in Parametric Causal Inference от 2007 года
Для себя сделал довольно интересный вывод, что все способы снижения дисперсии и увеличения чувствительности в А/Б тестах, есть лишь продолжение идеи матчинга, переложенные на практику онлайн А/Б тестирования, а не выборов президента
Если кратко, матчить хорошо, снижает дисперсию и позволяет использовать практические любые параметрические модели ( В видео от 2015 года говорится про снижение стандартной ошибки на 600%)
Забавно что в статье пишется про propensity score
Fortunately, there is a way out. We suggest, first, looking past the theoretical properties of the propensity score, except for the purpose of motivating the goal of better propensity score specification, and, second and more importantly, recognizing the value of what we call the propensity score tautology. The propensity score tautology in our view is the main justification for using this technology in practice: The estimated propensity score is a balancing score when we have a consistent estimate of the true propensity score. We know we have a consistent estimate of the propensity score when matching on the propensity score balances the raw covariates. Of course, once we have balance on the covariates, we are done and do not need to look back. That is, it works when it works, and when it does not work, it does not work (and when it does not work, keep working at it).
8 лет спустя выходит видео Gary King, "Why Propensity Scores Should Not Be Used for Matching"
https://www.youtube.com/watch?v=rBv39pK1iEs&t=3103s
#ArticleReview
Для себя сделал довольно интересный вывод, что все способы снижения дисперсии и увеличения чувствительности в А/Б тестах, есть лишь продолжение идеи матчинга, переложенные на практику онлайн А/Б тестирования, а не выборов президента
Если кратко, матчить хорошо, снижает дисперсию и позволяет использовать практические любые параметрические модели ( В видео от 2015 года говорится про снижение стандартной ошибки на 600%)
Забавно что в статье пишется про propensity score
Fortunately, there is a way out. We suggest, first, looking past the theoretical properties of the propensity score, except for the purpose of motivating the goal of better propensity score specification, and, second and more importantly, recognizing the value of what we call the propensity score tautology. The propensity score tautology in our view is the main justification for using this technology in practice: The estimated propensity score is a balancing score when we have a consistent estimate of the true propensity score. We know we have a consistent estimate of the propensity score when matching on the propensity score balances the raw covariates. Of course, once we have balance on the covariates, we are done and do not need to look back. That is, it works when it works, and when it does not work, it does not work (and when it does not work, keep working at it).
8 лет спустя выходит видео Gary King, "Why Propensity Scores Should Not Be Used for Matching"
https://www.youtube.com/watch?v=rBv39pK1iEs&t=3103s
#ArticleReview