Тут вышла конференция OSDI (моя любимая), пока не все доклады доступны, но мой взор упал на наконец-то успешную попытку включить HugePages в аллокаторе от Google. Статья
TL;DR; Google сэкономил 2.4% всего fleet по памяти и 7.7% больше запросов поиска из-за более интересных и хитрых схем для аллокации больших страниц (2MB) в TCMalloc. Код доступен по ссылке.
Когда я в Яндексе пытался включить просто изменение размера страниц с 4KB (дефолт на x86, 64KB на ARM и POWER) на что-нибудь побольше, абсолютно все эксперименты провалились с треском, ничего не было заметно или настолько мало, что можно было считать, что это был шум. Интересно было наблюдать, что в Google был именно такой же сценарий, просто включение больших страниц ничего не дало практически никому. Наконец-то упаковка дала свои плоды.
Из самого полезного для себя вынес методологию
"Военные летчики придумали термин «цикл OODA (Observe, Orient, Decide, Act)» для измерения ощущения времени реакции: видеть входящие данные, анализировать их, делать выбор и действовать в соответствии с этим выбором (создавать новые данные и продолжать цикл). Более короткие циклы OODA являются огромным тактическим преимуществом для пилотов, а также повышают продуктивность."
Сделать инфраструктуру для сотни экспериментов безумно помогает быстрее итерироваться.
Блог с разбором (вышло немного, но содержательно):
https://danlark.org/2021/06/11/beyond-malloc-efficiency-to-fleet-efficiency-a-hugepage-aware-memory-allocator/
TL;DR; Google сэкономил 2.4% всего fleet по памяти и 7.7% больше запросов поиска из-за более интересных и хитрых схем для аллокации больших страниц (2MB) в TCMalloc. Код доступен по ссылке.
Когда я в Яндексе пытался включить просто изменение размера страниц с 4KB (дефолт на x86, 64KB на ARM и POWER) на что-нибудь побольше, абсолютно все эксперименты провалились с треском, ничего не было заметно или настолько мало, что можно было считать, что это был шум. Интересно было наблюдать, что в Google был именно такой же сценарий, просто включение больших страниц ничего не дало практически никому. Наконец-то упаковка дала свои плоды.
Из самого полезного для себя вынес методологию
"Военные летчики придумали термин «цикл OODA (Observe, Orient, Decide, Act)» для измерения ощущения времени реакции: видеть входящие данные, анализировать их, делать выбор и действовать в соответствии с этим выбором (создавать новые данные и продолжать цикл). Более короткие циклы OODA являются огромным тактическим преимуществом для пилотов, а также повышают продуктивность."
Сделать инфраструктуру для сотни экспериментов безумно помогает быстрее итерироваться.
Блог с разбором (вышло немного, но содержательно):
https://danlark.org/2021/06/11/beyond-malloc-efficiency-to-fleet-efficiency-a-hugepage-aware-memory-allocator/