На днях прошла конференция PyTorch 2023
На конференции была представлена компактная среда выполнения ExecuTorch с облегченным реестром операторов, охватывающим экосистему моделей PyTorch, а также оптимизированный способ выполнения программ PyTorch на периферийных устройствах.
Этот набор инструментов позволяет разработчикам машинного обучения (ML) выполнять профилирование модели на устройстве и улучшать способы отладки исходной модели PyTorch.
Одна из основных тем конференции была презентация новой версии PyTorch 2.1, что нового:
- torch.compile теперь включает автоматическую поддержку обнаружения и минимизации перекомпиляции из-за изменений формы тензора с использованием автоматических динамических фигур. Может компилировать операции NumPy, переводя их в операции, эквивалентные PyTorch. Включает улучшенную поддержку Python 3.11.
- torch.distributed.checkpoint позволяет параллельно сохранять и загружать модели из нескольких рангов, а также перераспределять их из-за изменений в топологии кластера.
- torch.export — механизм захвата полного графа звука, представленный в качестве функции прототипа, а также квантование на его основе.
- torch.sparse теперь включает поддержку прототипов полуструктурированной (2:4) разреженности на графических процессорах NVIDIA.
- Новые функции повышения производительности ЦП включают улучшения индукторов (например, поддержку bfloat16 и динамических форм), поддержку ядра AVX512 и ядра с масштабируемым скалярным произведением.
На конференции была представлена компактная среда выполнения ExecuTorch с облегченным реестром операторов, охватывающим экосистему моделей PyTorch, а также оптимизированный способ выполнения программ PyTorch на периферийных устройствах.
Этот набор инструментов позволяет разработчикам машинного обучения (ML) выполнять профилирование модели на устройстве и улучшать способы отладки исходной модели PyTorch.
Одна из основных тем конференции была презентация новой версии PyTorch 2.1, что нового:
- torch.compile теперь включает автоматическую поддержку обнаружения и минимизации перекомпиляции из-за изменений формы тензора с использованием автоматических динамических фигур. Может компилировать операции NumPy, переводя их в операции, эквивалентные PyTorch. Включает улучшенную поддержку Python 3.11.
- torch.distributed.checkpoint позволяет параллельно сохранять и загружать модели из нескольких рангов, а также перераспределять их из-за изменений в топологии кластера.
- torch.export — механизм захвата полного графа звука, представленный в качестве функции прототипа, а также квантование на его основе.
- torch.sparse теперь включает поддержку прототипов полуструктурированной (2:4) разреженности на графических процессорах NVIDIA.
- Новые функции повышения производительности ЦП включают улучшения индукторов (например, поддержку bfloat16 и динамических форм), поддержку ядра AVX512 и ядра с масштабируемым скалярным произведением.