πŸ’» ВОП-4 инструмСнта для Data Science / JupyterLab, DataSpell



🧐 ΠŸΠΎΠ΄Π°Π²Π»ΡΡŽΡ‰Π΅Π΅ Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ Ρ‚Π΅Ρ…, ΠΊΡ‚ΠΎ интСрСсуСтся Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π΄Π°Π½Π½Ρ‹Ρ…, Ρ…ΠΎΡ€ΠΎΡˆΠΎ Π·Π½Π°ΠΊΠΎΠΌΡ‹ с Ρ‚Π°ΠΊΠΈΠΌ инструмСнтом ΠΊΠ°ΠΊ Jupyter Notebook. Но Π² Data Science Π·Π°Π΄Π°Ρ‡ΠΈ ΠΏΠ΅Ρ€Π΅Π΄ спСциалистами стоят Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² Π²ΠΈΠ΄Π΅ Π°Π½Π°Π»ΠΈΠ·Π° Ρ‚Π΅Ρ… ΠΈΠ»ΠΈ ΠΈΠ½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…/источников, часто ваши экспСримСнты Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π²Π½Π΅Π΄Ρ€ΡΡ‚ΡŒ Π² процСсс.



ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π΄Π°Π²Π°ΠΉΡ‚Π΅ сСгодня рассмотрим ВОП-4 инструмСнта для Data Science, посмотрим Π½Π° ΠΈΡ… ΠΏΠ»ΡŽΡΡ‹ ΠΈ минусы.



πŸ’» Jupyter Notebook



βœ… Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚ довольно Π»Π°ΠΊΠΎΠ½ΠΈΡ‡Π½Ρ‹ΠΉ, Π½Π΅ ΠΏΠ΅Ρ€Π΅Π³Ρ€ΡƒΠΆΠ΅Π½Π½Ρ‹ΠΉ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ инструмСнтами, это ΠΊΠ°ΠΊ Π²Ρ‹ поняли ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΉ плюс, ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΡΡ€Π΅Π΄ΠΎΡ‚ΠΎΡ‡ΠΈΡ‚ΡŒΡΡ Π½Π° Π²Π°ΡˆΠΈΡ… экспСримСнтах. Π—Π΄Π΅ΡΡŒ я ΠΌΠΎΠ³Ρƒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π²Π°ΠΌ Π² ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΠΈ вашСго ΠΊΠΎΠ΄Π° ΠΏΠΎ стандартам PEP8, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π²Π°ΠΌ Ρ€ΡƒΠΊΠ°ΠΌΠΈ Π½ΠΈΡ‡Π΅Π³ΠΎ ΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ Π½Π΅ придСтся.



❌ Π’ Ρ‚ΠΎ ΠΆΠ΅ врСмя простота Jupyter Notebook Π΅Π³ΠΎ ΠΆΠ΅ ΠΈ минус. НСт ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ просмотра Ρ„Π°ΠΉΠ»ΠΎΠ², рСдактирования с подсказками Ρ„Π°ΠΉΠ»ΠΎΠ² .py, Git, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ… Π΄Ρ€ΡƒΠ³ΠΈΡ… сСрвисов.НСт debugger для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ ΠΊΠΎΠ΄Π°.





πŸ’» JupyterLab



βœ… Π­Ρ‚ΠΎ Π±ΠΎΠ»Π΅Π΅ Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½Π½Π°Ρ вСрсия Jupyter Notebook. Π•ΡΡ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с нСсколькими Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠ°ΠΌΠΈ, ΠΌΠΎΠΆΠ½ΠΎ довольно ΡƒΠ΄ΠΎΠ±Π½ΠΎ ΠΏΠ΅Ρ€Π΅Ρ‚Π°ΡΠΊΠΈΠ²Π°Ρ‚ΡŒ ячСйки с ΠΊΠΎΠ΄ΠΎΠΌ, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° Ρ€Π°Π·Π½Ρ‹Ρ… Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΠΉ (Git, Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ Π³Ρ€Π°Ρ„ΠΈΠΊΠΎΠ², сдСланных ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ plotly, Tensorboard ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅), ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° просмотра csv ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… Ρ„Π°ΠΉΠ»ΠΎΠ² с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, Π΅ΡΡ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π΄Π΅Π±Π°ΠΆΠΈΡ‚ΡŒ ваш ΠΊΠΎΠ΄ ΠΈ Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ ΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΏΠΎ 100500 ΠΏΡ€ΠΈΠ½Ρ‚ΠΎΠ².



❌ К минусами ΠΌΠΎΠΆΠ½ΠΎ отнСсти Ρ‚Π°ΠΊΠΆΠ΅ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ Π½Π΅Ρ‚ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ просмотра Ρ„Π°ΠΉΠ»ΠΎΠ², рСдактирования с подсказками Ρ„Π°ΠΉΠ»ΠΎΠ², Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ… Π΄Ρ€ΡƒΠ³ΠΈΡ… сСрвисом для ΠΏΠΎΠΌΠΎΡ‰ΠΈ Π² Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ production ΠΊΠΎΠ΄Π°.





πŸ’» DataSpell (ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ ΠΎΡ‚ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ JetBrains)



βœ… ВсС Ρ‚Π΅ ΠΆΠ΅ самыС ΠΏΠ»ΡŽΡΡ‹ Ρ‡Ρ‚ΠΎ ΠΈ Ρƒ JupyterLab, связанныС с просмотром Ρ„Π°ΠΉΠ»ΠΎΠ² с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ ΠΉ Ρ€Π°Π±ΠΎΡ‚ΠΎΠΉ Π² Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠ°Ρ…. Π•ΡΡ‚ΡŒ ΡƒΠ΄ΠΎΠ±Π½Ρ‹Π΅ инструмСнты для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½Ρ‹Ρ…, Π΅ΡΡ‚ΡŒ Big Data Tools, Ρ‚Π°ΠΊΠΆΠ΅ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π² этом ΠΆΠ΅ ПО ΠΏΠΈΡΠ°Ρ‚ΡŒ запросы ΠΊ Π±Π°Π·Π΅, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π½Π° SQL. Π”ΠΎΠ²ΠΎΠ»ΡŒΠ½ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ инструмСнтов для production: ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° Git, запуск ΠΊΠΎΠ½Ρ‚Π΅ΠΉΠ½Π΅Ρ€ΠΎΠ² Docker ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅. А Ρ‚Π°ΠΊΠΆΠ΅, самоС Π³Π»Π°Π²Π½ΠΎΠ΅, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваши .py Ρ„Π°ΠΉΠ»Ρ‹ ΠΊΠ°ΠΊ ΠΈ Π² PyCharm (подсказки), ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ debugger.



❌ Высокий ΠΏΠΎΡ€ΠΎΠ³ Π²Ρ…ΠΎΠ΄Π°, для Ρ‚Π΅Ρ…, ΠΊΡ‚ΠΎ Π½Π΅ Π·Π½Π°ΠΊΠΎΠΌ с PyCharm, Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠ΅Ρ€Π²ΠΎΠ΅ врСмя тяТСловато. Π’ Ρ‚Π΅ΠΌΠ½ΠΎΠΉ Ρ‚Π΅ΠΌΠ΅ довольно ΠΏΠ»ΠΎΡ…ΠΎ Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ, приходится ΠΏΡ€ΠΈΠ³Π»ΡΠ΄Ρ‹Π²Π°Ρ‚ΡŒΡΡ, Π»ΠΈΠ±ΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ настройку ΠΏΠΎ Ρ†Π²Π΅Ρ‚Π°ΠΌ.





πŸ’» Google Colab



βœ… ΠžΡ‡Π΅Π½ΡŒ ΠΏΠΎΡ…ΠΎΠΆ Π½Π° Jupyter Notebook. Π•ΡΡ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ бСсплатного обучСния Π½Π° Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°Ρ€Ρ‚Π΅.



❌ ΠŸΡ€ΠΈ простоС Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠ° приходится Π΅Π³ΠΎ ΠΏΠ΅Ρ€Π΅Π·Π°ΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ Π·Π°Π½ΠΎΠ²ΠΎ, Π½Π΅ ΠΎΡ‡Π΅Π½ΡŒ приятная ситуация, особСнно, Ссли ΠΎΠ±ΡƒΡ‡Π°Π»ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½ΠΊΡƒ, аналогичная ситуация сохраняСтся ΠΏΡ€ΠΈ ΠΎΠΏΠ»Π°Ρ‚Π΅ сСрвиса, Π½ΠΎ врСмя Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΡƒΠΆΠ΅ даСтся большС. НСудобный debugger, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΈΠΌΠΏΠΎΡ€Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ pdb ΠΈ ΠΏΡ€ΠΎΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ breakpoints Π² Π²ΠΈΠ΄Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° ΠΈΠ· модуля pdb.



Π‘ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ смотритС Π² Π½ΠΎΠ²ΠΎΠΌ Π²ΠΈΠ΄Π΅ΠΎ Π½Π° ΠΌΠΎΠ΅ΠΌ ΠΊΠ°Π½Π°Π»Π΅ 😊

https://youtu.be/eapsami-stY