Ivan Begtin

Продолжаю обзоры открытых данных создаваемых не-государством. На сей раз данные о инфраструктуре Интернета.



M-Lab (Measurement Lab) [1] - это консорциум посвящённый измерению Интернета. Он включает:

- New America’s Open Technology Institute (OTI)

- PlanetLab Consortium

- Google Inc.

- и множество академических инститов.



Проект создан для непрерывного мониторинга за качеством связи в Интернете, публикации данных о текущем состоянии этой связи и визуализации этих данных наглядно.



В рамках проекта раскрываются огромные объёмы данных [2] хранящиеся на Google Storage [3]. Это по несколько гигабайт архивных данных ежедневно.



В M-Lab уже накоплены данные созданы такими инструментами как:

- Glasnost [4] - определение приоритизации или цензуры сетевого трафика

- NDT [5] - инструмент измерения трафика TCP под большой нагрузкой

- Neurobot [6] - инструмент сбора информации о скорости каналов, сетевом нейтралитете и цензуре

- NPAD [7] - инструмент измеряющий проблемы в сетевом пути влияющие на производительность

- OONI [8] - инструмент измерения цензуры, прослушки и манипуляции трафиком

- Paris Traceroute [9] - инструмент картирующий топологию сети

- pathload2 [10] - инструмент для измерения ширины каналов

- ShaperProbe [11] - инструмент определения приоритизации трафика

- SlideStream [12] - инструмент измеряющий состояние TCP трафика и информацию о завершенных TCP соединениях

- mlab-collectd [13] - инструмент накопления статистики с серверов M-Lab



Все материалы публикуются под лицензией CC Zero. Практически весь код M-Lab раскрывается н Github [x]



Ссылки:

[1] https://www.measurementlab.net/about/

[2] https://www.measurementlab.net/data/

[3] https://www.measurementlab.net/data/gcs/

[4] https://console.developers.google.com/storage/browser/m-lab/glasnost/

[5] https://console.developers.google.com/storage/browser/m-lab/ndt/

[6] https://console.developers.google.com/storage/browser/m-lab/neubot/

[7] https://console.developers.google.com/storage/browser/m-lab/npad/

[8] https://console.cloud.google.com/storage/browser/m-lab/ooni/

[9] https://console.cloud.google.com/storage/browser/m-lab/paris-traceroute/

[10] https://console.developers.google.com/storage/browser/m-lab/pathload2/

[11] https://console.cloud.google.com/storage/browser/m-lab/shaperprobe/

[12] https://console.developers.google.com/storage/browser/m-lab/sidestream/

[13] https://console.developers.google.com/storage/browser/m-lab/utilization/

[14] https://github.com/m-lab



#opendata #opengov #internet