Альтернатива Pandas, работающая в 100 раз быстрее!
(Может даже обойти GPU-библиотеки для работы с DataFrame)
Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:
🔸 Использует только одно ядро процессора
🔸 Часто создает громоздкие DataFrame.
🔸 Немедленное (eager) выполнение мешает глобальной оптимизации.
Представляем FireDucksDev — высокоэффективную замену Pandas, которую можно использовать без изменений кода.
Достаточно просто заменить одну строку:
На видео показано сравнение FireDucks с cuDF — GPU-библиотекой DataFrame.
В этом случае FireDucks оказался даже быстрее cuDF.
Однако в тесте использовались цепочки операций и все столбцы. После ручной оптимизации (работа только с нужными столбцами) время выполнения изменилось:
🔸 Pandas: 14 секунд (было 48 секунд)
🔸 FireDucks: 0,8 секунды (без изменений)
🔸 cuDF: 0,9 секунды (было 2,6 секунды)
Это доказывает, что компилятор FireDucks автоматически выполняет те же оптимизации, которые в cuDF и Pandas пришлось бы настраивать вручную.
Важно отметить, что оптимизация не влияет на конечный результат
👉 Ссылка на Google Colab
👉 @DataSciencegx
(Может даже обойти GPU-библиотеки для работы с DataFrame)
Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:
Представляем FireDucksDev — высокоэффективную замену Pandas, которую можно использовать без изменений кода.
Достаточно просто заменить одну строку:
import fireducks.pandas as pd
На видео показано сравнение FireDucks с cuDF — GPU-библиотекой DataFrame.
В этом случае FireDucks оказался даже быстрее cuDF.
Однако в тесте использовались цепочки операций и все столбцы. После ручной оптимизации (работа только с нужными столбцами) время выполнения изменилось:
Это доказывает, что компилятор FireDucks автоматически выполняет те же оптимизации, которые в cuDF и Pandas пришлось бы настраивать вручную.
Важно отметить, что оптимизация не влияет на конечный результат