#dataengineering
Я обновил архитектуру текущего решения. Тут есть и Streaming (Kinesis Firehose), и Big Data на базе Elastic Map Reduce и Spark, и NoSQL на базе DynamoDB, и Data Lake на базе Redshift Spectrum и Glue. Каждое решение дополняет друг друга и справляется со своей задачей отлично. В качестве главного ETL - Matillion, BI - Tableau.
Я подготил этот слайд для конференции, Enterprise Data World 2019, которая пройдет в Boston уже через 2 недели, где я буду рассказывать про это решение.
Все супер, только лететь придется за свой счет. Зато, бесплатно попаду на конференцию, а так бы цена 3K+$. В прошлом году, я выступал на EDW18 в San Diego, было там семьей и гуляли по городу, не посетил ни одной презентации. В этом году, один лечу и послушаю все и вся:) И конечно посещу MIT и Harward. Так же там есть Amazon Robotics и Amazon Alexa команды.
Я обновил архитектуру текущего решения. Тут есть и Streaming (Kinesis Firehose), и Big Data на базе Elastic Map Reduce и Spark, и NoSQL на базе DynamoDB, и Data Lake на базе Redshift Spectrum и Glue. Каждое решение дополняет друг друга и справляется со своей задачей отлично. В качестве главного ETL - Matillion, BI - Tableau.
Я подготил этот слайд для конференции, Enterprise Data World 2019, которая пройдет в Boston уже через 2 недели, где я буду рассказывать про это решение.
Все супер, только лететь придется за свой счет. Зато, бесплатно попаду на конференцию, а так бы цена 3K+$. В прошлом году, я выступал на EDW18 в San Diego, было там семьей и гуляли по городу, не посетил ни одной презентации. В этом году, один лечу и послушаю все и вся:) И конечно посещу MIT и Harward. Так же там есть Amazon Robotics и Amazon Alexa команды.