Операционные и аналитические данные
Вся разработка строится на обработке данных, данные бывают разные - изображения, тексты, сигналы и т.д., можно по-разному классифицировать данные, объединять их в группы, разделять по разным принципам. Но в контексте данной заметки нам важно разделить данные на "операционные данные" и "аналитические данные". Именно так они делятся с позиции бизнеса.
Операционные данные
Это бизнес-данные, которые отражают текущее состояние бизнеса. Эти данные постоянно меняются и их нужно поддерживать в корректном состоянии.
Целостность достигается за счет использования транзакций, функциональность реализуется с помощью OLTP (online transaction processing).
Основная проблема операционных данных - изменчивость. Чтобы гарантировать целостность используют либо ACID, либо BASE подходы.
Обычно для операционных данных реализуется стандартный CRUD интерфейс.
Передача данных во внешние источники делается через REST, GraphQL, event-driven подходы и т.д.
Аналитические данные
Это timeseries-данные, которые описывают исторический взгляд на вещи (аналитика). Эти данные нужны для построения отчетов, оперативного мониторинга и т.д.
Эти данные не изменяются во времени, только накапливаются и аггрегируются, поэтому нет нужды обеспечивать целостность. Для обработки используются OLAP (online analytical processing) системы.
Аналитические данные используются для построения информационных моделей в машинном обучении.
Для хранения используются DataLake (централизованный подход), DataMesh (децентрлизованный подход)
#знания #статья
SOER | PRO | Boosty
Вся разработка строится на обработке данных, данные бывают разные - изображения, тексты, сигналы и т.д., можно по-разному классифицировать данные, объединять их в группы, разделять по разным принципам. Но в контексте данной заметки нам важно разделить данные на "операционные данные" и "аналитические данные". Именно так они делятся с позиции бизнеса.
Операционные данные
Это бизнес-данные, которые отражают текущее состояние бизнеса. Эти данные постоянно меняются и их нужно поддерживать в корректном состоянии.
Целостность достигается за счет использования транзакций, функциональность реализуется с помощью OLTP (online transaction processing).
Основная проблема операционных данных - изменчивость. Чтобы гарантировать целостность используют либо ACID, либо BASE подходы.
Обычно для операционных данных реализуется стандартный CRUD интерфейс.
Передача данных во внешние источники делается через REST, GraphQL, event-driven подходы и т.д.
Аналитические данные
Это timeseries-данные, которые описывают исторический взгляд на вещи (аналитика). Эти данные нужны для построения отчетов, оперативного мониторинга и т.д.
Эти данные не изменяются во времени, только накапливаются и аггрегируются, поэтому нет нужды обеспечивать целостность. Для обработки используются OLAP (online analytical processing) системы.
Аналитические данные используются для построения информационных моделей в машинном обучении.
Для хранения используются DataLake (централизованный подход), DataMesh (децентрлизованный подход)
#знания #статья
SOER | PRO | Boosty