π» Π’ΠΠ-4 ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ° Π΄Π»Ρ Data Science / JupyterLab, DataSpell
π§ ΠΠΎΠ΄Π°Π²Π»ΡΡΡΠ΅Π΅ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²ΠΎ ΡΠ΅Ρ , ΠΊΡΠΎ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΡΠ΅ΡΡΡ Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π΄Π°Π½Π½ΡΡ , Ρ ΠΎΡΠΎΡΠΎ Π·Π½Π°ΠΊΠΎΠΌΡ Ρ ΡΠ°ΠΊΠΈΠΌ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠΌ ΠΊΠ°ΠΊ Jupyter Notebook. ΠΠΎ Π² Data Science Π·Π°Π΄Π°ΡΠΈ ΠΏΠ΅ΡΠ΅Π΄ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°ΠΌΠΈ ΡΡΠΎΡΡ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ Π² Π²ΠΈΠ΄Π΅ Π°Π½Π°Π»ΠΈΠ·Π° ΡΠ΅Ρ ΠΈΠ»ΠΈ ΠΈΠ½ΡΡ Π΄Π°Π½Π½ΡΡ /ΠΈΡΡΠΎΡΠ½ΠΈΠΊΠΎΠ², ΡΠ°ΡΡΠΎ Π²Π°ΡΠΈ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π²Π½Π΅Π΄ΡΡΡΡ Π² ΠΏΡΠΎΡΠ΅ΡΡ.
ΠΠΎΡΡΠΎΠΌΡ Π΄Π°Π²Π°ΠΉΡΠ΅ ΡΠ΅Π³ΠΎΠ΄Π½Ρ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ Π’ΠΠ-4 ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ° Π΄Π»Ρ Data Science, ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ Π½Π° ΠΈΡ ΠΏΠ»ΡΡΡ ΠΈ ΠΌΠΈΠ½ΡΡΡ.
π» Jupyter Notebook
β ΠΠ½ΡΡΡΡΠΌΠ΅Π½Ρ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ Π»Π°ΠΊΠΎΠ½ΠΈΡΠ½ΡΠΉ, Π½Π΅ ΠΏΠ΅ΡΠ΅Π³ΡΡΠΆΠ΅Π½Π½ΡΠΉ ΡΠ°Π·Π½ΡΠΌΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ°ΠΌΠΈ, ΡΡΠΎ ΠΊΠ°ΠΊ Π²Ρ ΠΏΠΎΠ½ΡΠ»ΠΈ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΉ ΠΏΠ»ΡΡ, ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΡΡΠ΅Π΄ΠΎΡΠΎΡΠΈΡΡΡΡ Π½Π° Π²Π°ΡΠΈΡ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ°Ρ . ΠΠ΄Π΅ΡΡ Ρ ΠΌΠΎΠ³Ρ ΡΠΎΠ»ΡΠΊΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΠΏΡΠΎ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΡ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠΉ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΠΎΠ³ΡΡ ΠΏΠΎΠΌΠΎΡΡ Π²Π°ΠΌ Π² ΡΠ»ΡΡΡΠ΅Π½ΠΈΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΠΊΠΎΠ΄Π° ΠΏΠΎ ΡΡΠ°Π½Π΄Π°ΡΡΠ°ΠΌ PEP8, ΡΠΎ Π΅ΡΡΡ Π²Π°ΠΌ ΡΡΠΊΠ°ΠΌΠΈ Π½ΠΈΡΠ΅Π³ΠΎ ΠΏΡΠ°Π²ΠΈΡΡ Π½Π΅ ΠΏΡΠΈΠ΄Π΅ΡΡΡ.
β Π ΡΠΎ ΠΆΠ΅ Π²ΡΠ΅ΠΌΡ ΠΏΡΠΎΡΡΠΎΡΠ° Jupyter Notebook Π΅Π³ΠΎ ΠΆΠ΅ ΠΈ ΠΌΠΈΠ½ΡΡ. ΠΠ΅Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΡΠ°ΠΉΠ»ΠΎΠ², ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠ°ΠΌΠΈ ΡΠ°ΠΉΠ»ΠΎΠ² .py, Git, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ Π΄ΡΡΠ³ΠΈΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ².ΠΠ΅Ρ debugger Π΄Π»Ρ ΠΎΡΠ»Π°Π΄ΠΊΠΈ ΠΊΠΎΠ΄Π°.
π» JupyterLab
β ΠΡΠΎ Π±ΠΎΠ»Π΅Π΅ ΡΠ°ΡΡΠΈΡΠ΅Π½Π½Π°Ρ Π²Π΅ΡΡΠΈΡ Jupyter Notebook. ΠΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΡΠ°Π±ΠΎΡΡ Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΠΌΠΈ Π½ΠΎΡΡΠ±ΡΠΊΠ°ΠΌΠΈ, ΠΌΠΎΠΆΠ½ΠΎ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΡΠ΄ΠΎΠ±Π½ΠΎ ΠΏΠ΅ΡΠ΅ΡΠ°ΡΠΊΠΈΠ²Π°ΡΡ ΡΡΠ΅ΠΉΠΊΠΈ Ρ ΠΊΠΎΠ΄ΠΎΠΌ, ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° ΡΠ°Π·Π½ΡΡ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠΉ (Git, ΡΠ΅Π΄Π°ΠΊΡΠΎΡ Π³ΡΠ°ΡΠΈΠΊΠΎΠ², ΡΠ΄Π΅Π»Π°Π½Π½ΡΡ ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ plotly, Tensorboard ΠΈ Π΄ΡΡΠ³ΠΈΠ΅), ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° ΠΏΡΠΎΡΠΌΠΎΡΡΠ° csv ΠΈ Π΄ΡΡΠ³ΠΈΡ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π΄Π°Π½Π½ΡΠΌΠΈ, Π΅ΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π΄Π΅Π±Π°ΠΆΠΈΡΡ Π²Π°Ρ ΠΊΠΎΠ΄ ΠΈ Π½Π΅ Π½ΡΠΆΠ½ΠΎ ΠΏΠΈΡΠ°ΡΡ ΠΏΠΎ 100500 ΠΏΡΠΈΠ½ΡΠΎΠ².
β Π ΠΌΠΈΠ½ΡΡΠ°ΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡΠ½Π΅ΡΡΠΈ ΡΠ°ΠΊΠΆΠ΅ ΡΠΎ, ΡΡΠΎ Π½Π΅Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΡΠ°ΠΉΠ»ΠΎΠ², ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠ°ΠΌΠΈ ΡΠ°ΠΉΠ»ΠΎΠ², Π° ΡΠ°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ Π΄ΡΡΠ³ΠΈΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠΌ Π΄Π»Ρ ΠΏΠΎΠΌΠΎΡΠΈ Π² ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ΅ production ΠΊΠΎΠ΄Π°.
π» DataSpell (ΠΏΡΠΎΠ΄ΡΠΊΡ ΠΎΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ JetBrains)
β ΠΡΠ΅ ΡΠ΅ ΠΆΠ΅ ΡΠ°ΠΌΡΠ΅ ΠΏΠ»ΡΡΡ ΡΡΠΎ ΠΈ Ρ JupyterLab, ΡΠ²ΡΠ·Π°Π½Π½ΡΠ΅ Ρ ΠΏΡΠΎΡΠΌΠΎΡΡΠΎΠΌ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π΄Π°Π½Π½ΡΠΌΠΈ, ΠΏΠ°ΡΠ°Π»Π»Π΅Π»ΡΠ½ΠΎ ΠΉ ΡΠ°Π±ΠΎΡΠΎΠΉ Π² Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ Π½ΠΎΡΡΠ±ΡΠΊΠ°Ρ . ΠΡΡΡ ΡΠ΄ΠΎΠ±Π½ΡΠ΅ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ Π΄Π»Ρ ΡΠ°Π±ΠΎΡΡ Ρ Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½ΡΡ , Π΅ΡΡΡ Big Data Tools, ΡΠ°ΠΊΠΆΠ΅ Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ Π² ΡΡΠΎΠΌ ΠΆΠ΅ ΠΠ ΠΏΠΈΡΠ°ΡΡ Π·Π°ΠΏΡΠΎΡΡ ΠΊ Π±Π°Π·Π΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π½Π° SQL. ΠΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠ² Π΄Π»Ρ production: ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° Git, Π·Π°ΠΏΡΡΠΊ ΠΊΠΎΠ½ΡΠ΅ΠΉΠ½Π΅ΡΠΎΠ² Docker ΠΈ Π΄ΡΡΠ³ΠΈΠ΅. Π ΡΠ°ΠΊΠΆΠ΅, ΡΠ°ΠΌΠΎΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅, Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π²Π°ΡΠΈ .py ΡΠ°ΠΉΠ»Ρ ΠΊΠ°ΠΊ ΠΈ Π² PyCharm (ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠΈ), ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ debugger.
β ΠΡΡΠΎΠΊΠΈΠΉ ΠΏΠΎΡΠΎΠ³ Π²Ρ ΠΎΠ΄Π°, Π΄Π»Ρ ΡΠ΅Ρ , ΠΊΡΠΎ Π½Π΅ Π·Π½Π°ΠΊΠΎΠΌ Ρ PyCharm, Π±ΡΠ΄Π΅Ρ ΠΏΠ΅ΡΠ²ΠΎΠ΅ Π²ΡΠ΅ΠΌΡ ΡΡΠΆΠ΅Π»ΠΎΠ²Π°ΡΠΎ. Π ΡΠ΅ΠΌΠ½ΠΎΠΉ ΡΠ΅ΠΌΠ΅ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΠΏΠ»ΠΎΡ ΠΎ ΡΠΈΡΠ°ΡΡ Π³ΡΠ°ΡΠΈΠΊΠΈ, ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΠΏΡΠΈΠ³Π»ΡΠ΄ΡΠ²Π°ΡΡΡΡ, Π»ΠΈΠ±ΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΡ ΠΏΠΎ ΡΠ²Π΅ΡΠ°ΠΌ.
π» Google Colab
β ΠΡΠ΅Π½Ρ ΠΏΠΎΡ ΠΎΠΆ Π½Π° Jupyter Notebook. ΠΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π±Π΅ΡΠΏΠ»Π°ΡΠ½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Π½Π° Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°ΡΡΠ΅.
β ΠΡΠΈ ΠΏΡΠΎΡΡΠΎΠ΅ Π½ΠΎΡΡΠ±ΡΠΊΠ° ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ Π΅Π³ΠΎ ΠΏΠ΅ΡΠ΅Π·Π°ΠΏΡΡΠΊΠ°ΡΡ Π·Π°Π½ΠΎΠ²ΠΎ, Π½Π΅ ΠΎΡΠ΅Π½Ρ ΠΏΡΠΈΡΡΠ½Π°Ρ ΡΠΈΡΡΠ°ΡΠΈΡ, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ, Π΅ΡΠ»ΠΈ ΠΎΠ±ΡΡΠ°Π»ΠΈ Π½Π΅ΠΉΡΠΎΠ½ΠΊΡ, Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½Π°Ρ ΡΠΈΡΡΠ°ΡΠΈΡ ΡΠΎΡ ΡΠ°Π½ΡΠ΅ΡΡΡ ΠΏΡΠΈ ΠΎΠΏΠ»Π°ΡΠ΅ ΡΠ΅ΡΠ²ΠΈΡΠ°, Π½ΠΎ Π²ΡΠ΅ΠΌΡ Π½Π° ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΡΠΆΠ΅ Π΄Π°Π΅ΡΡΡ Π±ΠΎΠ»ΡΡΠ΅. ΠΠ΅ΡΠ΄ΠΎΠ±Π½ΡΠΉ debugger, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΈΠΌΠΏΠΎΡΡΠΈΡΠΎΠ²Π°ΡΡ pdb ΠΈ ΠΏΡΠΎΡΡΠ°Π²Π»ΡΡΡ breakpoints Π² Π²ΠΈΠ΄Π΅ ΠΌΠ΅ΡΠΎΠ΄Π° ΠΈΠ· ΠΌΠΎΠ΄ΡΠ»Ρ pdb.
ΠΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΡΠΌΠΎΡΡΠΈΡΠ΅ Π² Π½ΠΎΠ²ΠΎΠΌ Π²ΠΈΠ΄Π΅ΠΎ Π½Π° ΠΌΠΎΠ΅ΠΌ ΠΊΠ°Π½Π°Π»Π΅ π
https://youtu.be/eapsami-stY
π§ ΠΠΎΠ΄Π°Π²Π»ΡΡΡΠ΅Π΅ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²ΠΎ ΡΠ΅Ρ , ΠΊΡΠΎ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΡΠ΅ΡΡΡ Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π΄Π°Π½Π½ΡΡ , Ρ ΠΎΡΠΎΡΠΎ Π·Π½Π°ΠΊΠΎΠΌΡ Ρ ΡΠ°ΠΊΠΈΠΌ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠΌ ΠΊΠ°ΠΊ Jupyter Notebook. ΠΠΎ Π² Data Science Π·Π°Π΄Π°ΡΠΈ ΠΏΠ΅ΡΠ΅Π΄ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°ΠΌΠΈ ΡΡΠΎΡΡ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ Π² Π²ΠΈΠ΄Π΅ Π°Π½Π°Π»ΠΈΠ·Π° ΡΠ΅Ρ ΠΈΠ»ΠΈ ΠΈΠ½ΡΡ Π΄Π°Π½Π½ΡΡ /ΠΈΡΡΠΎΡΠ½ΠΈΠΊΠΎΠ², ΡΠ°ΡΡΠΎ Π²Π°ΡΠΈ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π²Π½Π΅Π΄ΡΡΡΡ Π² ΠΏΡΠΎΡΠ΅ΡΡ.
ΠΠΎΡΡΠΎΠΌΡ Π΄Π°Π²Π°ΠΉΡΠ΅ ΡΠ΅Π³ΠΎΠ΄Π½Ρ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ Π’ΠΠ-4 ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ° Π΄Π»Ρ Data Science, ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ Π½Π° ΠΈΡ ΠΏΠ»ΡΡΡ ΠΈ ΠΌΠΈΠ½ΡΡΡ.
π» Jupyter Notebook
β ΠΠ½ΡΡΡΡΠΌΠ΅Π½Ρ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ Π»Π°ΠΊΠΎΠ½ΠΈΡΠ½ΡΠΉ, Π½Π΅ ΠΏΠ΅ΡΠ΅Π³ΡΡΠΆΠ΅Π½Π½ΡΠΉ ΡΠ°Π·Π½ΡΠΌΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ°ΠΌΠΈ, ΡΡΠΎ ΠΊΠ°ΠΊ Π²Ρ ΠΏΠΎΠ½ΡΠ»ΠΈ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΉ ΠΏΠ»ΡΡ, ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΡΡΠ΅Π΄ΠΎΡΠΎΡΠΈΡΡΡΡ Π½Π° Π²Π°ΡΠΈΡ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ°Ρ . ΠΠ΄Π΅ΡΡ Ρ ΠΌΠΎΠ³Ρ ΡΠΎΠ»ΡΠΊΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΠΏΡΠΎ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΡ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠΉ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΠΎΠ³ΡΡ ΠΏΠΎΠΌΠΎΡΡ Π²Π°ΠΌ Π² ΡΠ»ΡΡΡΠ΅Π½ΠΈΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΠΊΠΎΠ΄Π° ΠΏΠΎ ΡΡΠ°Π½Π΄Π°ΡΡΠ°ΠΌ PEP8, ΡΠΎ Π΅ΡΡΡ Π²Π°ΠΌ ΡΡΠΊΠ°ΠΌΠΈ Π½ΠΈΡΠ΅Π³ΠΎ ΠΏΡΠ°Π²ΠΈΡΡ Π½Π΅ ΠΏΡΠΈΠ΄Π΅ΡΡΡ.
β Π ΡΠΎ ΠΆΠ΅ Π²ΡΠ΅ΠΌΡ ΠΏΡΠΎΡΡΠΎΡΠ° Jupyter Notebook Π΅Π³ΠΎ ΠΆΠ΅ ΠΈ ΠΌΠΈΠ½ΡΡ. ΠΠ΅Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΡΠ°ΠΉΠ»ΠΎΠ², ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠ°ΠΌΠΈ ΡΠ°ΠΉΠ»ΠΎΠ² .py, Git, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ Π΄ΡΡΠ³ΠΈΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ².ΠΠ΅Ρ debugger Π΄Π»Ρ ΠΎΡΠ»Π°Π΄ΠΊΠΈ ΠΊΠΎΠ΄Π°.
π» JupyterLab
β ΠΡΠΎ Π±ΠΎΠ»Π΅Π΅ ΡΠ°ΡΡΠΈΡΠ΅Π½Π½Π°Ρ Π²Π΅ΡΡΠΈΡ Jupyter Notebook. ΠΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΡΠ°Π±ΠΎΡΡ Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΠΌΠΈ Π½ΠΎΡΡΠ±ΡΠΊΠ°ΠΌΠΈ, ΠΌΠΎΠΆΠ½ΠΎ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΡΠ΄ΠΎΠ±Π½ΠΎ ΠΏΠ΅ΡΠ΅ΡΠ°ΡΠΊΠΈΠ²Π°ΡΡ ΡΡΠ΅ΠΉΠΊΠΈ Ρ ΠΊΠΎΠ΄ΠΎΠΌ, ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° ΡΠ°Π·Π½ΡΡ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠΉ (Git, ΡΠ΅Π΄Π°ΠΊΡΠΎΡ Π³ΡΠ°ΡΠΈΠΊΠΎΠ², ΡΠ΄Π΅Π»Π°Π½Π½ΡΡ ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ plotly, Tensorboard ΠΈ Π΄ΡΡΠ³ΠΈΠ΅), ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° ΠΏΡΠΎΡΠΌΠΎΡΡΠ° csv ΠΈ Π΄ΡΡΠ³ΠΈΡ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π΄Π°Π½Π½ΡΠΌΠΈ, Π΅ΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π΄Π΅Π±Π°ΠΆΠΈΡΡ Π²Π°Ρ ΠΊΠΎΠ΄ ΠΈ Π½Π΅ Π½ΡΠΆΠ½ΠΎ ΠΏΠΈΡΠ°ΡΡ ΠΏΠΎ 100500 ΠΏΡΠΈΠ½ΡΠΎΠ².
β Π ΠΌΠΈΠ½ΡΡΠ°ΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡΠ½Π΅ΡΡΠΈ ΡΠ°ΠΊΠΆΠ΅ ΡΠΎ, ΡΡΠΎ Π½Π΅Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΡΠ°ΠΉΠ»ΠΎΠ², ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠ°ΠΌΠΈ ΡΠ°ΠΉΠ»ΠΎΠ², Π° ΡΠ°ΠΊΠΆΠ΅ ΠΌΠ½ΠΎΠ³ΠΈΡ Π΄ΡΡΠ³ΠΈΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠΌ Π΄Π»Ρ ΠΏΠΎΠΌΠΎΡΠΈ Π² ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ΅ production ΠΊΠΎΠ΄Π°.
π» DataSpell (ΠΏΡΠΎΠ΄ΡΠΊΡ ΠΎΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ JetBrains)
β ΠΡΠ΅ ΡΠ΅ ΠΆΠ΅ ΡΠ°ΠΌΡΠ΅ ΠΏΠ»ΡΡΡ ΡΡΠΎ ΠΈ Ρ JupyterLab, ΡΠ²ΡΠ·Π°Π½Π½ΡΠ΅ Ρ ΠΏΡΠΎΡΠΌΠΎΡΡΠΎΠΌ ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π΄Π°Π½Π½ΡΠΌΠΈ, ΠΏΠ°ΡΠ°Π»Π»Π΅Π»ΡΠ½ΠΎ ΠΉ ΡΠ°Π±ΠΎΡΠΎΠΉ Π² Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ Π½ΠΎΡΡΠ±ΡΠΊΠ°Ρ . ΠΡΡΡ ΡΠ΄ΠΎΠ±Π½ΡΠ΅ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ Π΄Π»Ρ ΡΠ°Π±ΠΎΡΡ Ρ Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½ΡΡ , Π΅ΡΡΡ Big Data Tools, ΡΠ°ΠΊΠΆΠ΅ Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ Π² ΡΡΠΎΠΌ ΠΆΠ΅ ΠΠ ΠΏΠΈΡΠ°ΡΡ Π·Π°ΠΏΡΠΎΡΡ ΠΊ Π±Π°Π·Π΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π½Π° SQL. ΠΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠΎΠ² Π΄Π»Ρ production: ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ° Git, Π·Π°ΠΏΡΡΠΊ ΠΊΠΎΠ½ΡΠ΅ΠΉΠ½Π΅ΡΠΎΠ² Docker ΠΈ Π΄ΡΡΠ³ΠΈΠ΅. Π ΡΠ°ΠΊΠΆΠ΅, ΡΠ°ΠΌΠΎΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅, Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π²Π°ΡΠΈ .py ΡΠ°ΠΉΠ»Ρ ΠΊΠ°ΠΊ ΠΈ Π² PyCharm (ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠΈ), ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ debugger.
β ΠΡΡΠΎΠΊΠΈΠΉ ΠΏΠΎΡΠΎΠ³ Π²Ρ ΠΎΠ΄Π°, Π΄Π»Ρ ΡΠ΅Ρ , ΠΊΡΠΎ Π½Π΅ Π·Π½Π°ΠΊΠΎΠΌ Ρ PyCharm, Π±ΡΠ΄Π΅Ρ ΠΏΠ΅ΡΠ²ΠΎΠ΅ Π²ΡΠ΅ΠΌΡ ΡΡΠΆΠ΅Π»ΠΎΠ²Π°ΡΠΎ. Π ΡΠ΅ΠΌΠ½ΠΎΠΉ ΡΠ΅ΠΌΠ΅ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΠΏΠ»ΠΎΡ ΠΎ ΡΠΈΡΠ°ΡΡ Π³ΡΠ°ΡΠΈΠΊΠΈ, ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΠΏΡΠΈΠ³Π»ΡΠ΄ΡΠ²Π°ΡΡΡΡ, Π»ΠΈΠ±ΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΡ ΠΏΠΎ ΡΠ²Π΅ΡΠ°ΠΌ.
π» Google Colab
β ΠΡΠ΅Π½Ρ ΠΏΠΎΡ ΠΎΠΆ Π½Π° Jupyter Notebook. ΠΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π±Π΅ΡΠΏΠ»Π°ΡΠ½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Π½Π° Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°ΡΡΠ΅.
β ΠΡΠΈ ΠΏΡΠΎΡΡΠΎΠ΅ Π½ΠΎΡΡΠ±ΡΠΊΠ° ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ Π΅Π³ΠΎ ΠΏΠ΅ΡΠ΅Π·Π°ΠΏΡΡΠΊΠ°ΡΡ Π·Π°Π½ΠΎΠ²ΠΎ, Π½Π΅ ΠΎΡΠ΅Π½Ρ ΠΏΡΠΈΡΡΠ½Π°Ρ ΡΠΈΡΡΠ°ΡΠΈΡ, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ, Π΅ΡΠ»ΠΈ ΠΎΠ±ΡΡΠ°Π»ΠΈ Π½Π΅ΠΉΡΠΎΠ½ΠΊΡ, Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½Π°Ρ ΡΠΈΡΡΠ°ΡΠΈΡ ΡΠΎΡ ΡΠ°Π½ΡΠ΅ΡΡΡ ΠΏΡΠΈ ΠΎΠΏΠ»Π°ΡΠ΅ ΡΠ΅ΡΠ²ΠΈΡΠ°, Π½ΠΎ Π²ΡΠ΅ΠΌΡ Π½Π° ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΡΠΆΠ΅ Π΄Π°Π΅ΡΡΡ Π±ΠΎΠ»ΡΡΠ΅. ΠΠ΅ΡΠ΄ΠΎΠ±Π½ΡΠΉ debugger, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΈΠΌΠΏΠΎΡΡΠΈΡΠΎΠ²Π°ΡΡ pdb ΠΈ ΠΏΡΠΎΡΡΠ°Π²Π»ΡΡΡ breakpoints Π² Π²ΠΈΠ΄Π΅ ΠΌΠ΅ΡΠΎΠ΄Π° ΠΈΠ· ΠΌΠΎΠ΄ΡΠ»Ρ pdb.
ΠΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄ΡΠΎΠ±Π½ΠΎ ΡΠΌΠΎΡΡΠΈΡΠ΅ Π² Π½ΠΎΠ²ΠΎΠΌ Π²ΠΈΠ΄Π΅ΠΎ Π½Π° ΠΌΠΎΠ΅ΠΌ ΠΊΠ°Π½Π°Π»Π΅ π
https://youtu.be/eapsami-stY