Градиентное погружение

💻 Russian Texts Statistics (ruts)



👉 Библиотека разработанная для извлечения признаков из произвольного текста. Работает на русском, но ничего не мешает применить для другого языка.



В комплект входят:

• Базовые статистики (количество слогов, букв, пробелов и тд)

• Метрики удобочитаемости (уже писал о них)

• Метрики лексического разнообразия (Индекс Симпсона и тд)

• Морфологические статистики



Визуализации:

— Закон Ципфа

— Литературная дактилоскопия

— Дерево слов



Подойдет в качестве экстрактора для фича инжиниринга к обычному tf-idf или эмбеддингам.



github