Последним постом в этом канале был задан вопрос, что делать тому, кто хотел бы сохранить данные надолго и надежно. Давайте немного порассуждаем.
Спасибо всем, кто прислал свои ответы. Сейчас я про них расскажу.
Большинство прислали мне ссылок на M-DISC (https://ru.wikipedia.org/wiki/M-DISC, диск для миллениалов). Утверждается, что они хранят данные очень долго. Возможно, все это так, но есть нюансы:
* Milleniata, Inc, разработчик диска, обанкротилась в 2016 (наверное, очень хорошие диски были!)
* тесты французской военщины (http://www.lne.fr/publications/guides-documents-techniques/syylex-glass-dvd-accelerated-aging-report.pdf) показывают, что этих диски не сильно стабильнее обычных BR-DVD. А это 5-10 лет, а то и меньше, если не контролировать влажность.
То есть мимо. Хм, ладно, давайте попробуем другие варианты. Кажется, в какой-то момент времени мы продолбали технологии, которые могли бы обеспечивать нам cold storage данных на время хотя бы еще столько же, сколько прошло от начала ИТ-эпохи (1950) до текущего момента.
То, что пришло мне в голову — это ленточные (черв) библиотеки, типа тех, что делает HP или IBM. Завораживающее зрелище внутри — по ссылке (https://www.youtube.com/watch?v=xImqdws0_wo). По сути, это робот-рука, которая переставляет ленты-кассеты в хранилище. Библиотека умеет в самодиагностику, а так же периодически переписывает данные с кассеты на кассету во избежание их потери от размагничивания ленты и других способов потери ею свойств.
В общем, все неплохо, кроме того, что вам нужно юрлицо и килограмм денег, чтобы купить и обслуживать. На территории РФ обслуживанием ленточных библиотек занимается полтора вендора.
“Хранение это, блин, процесс!”, подумал я. И на этой мысли перейдем далее.
Знаете, как была устроена RAM на линиях задержки в первых ЭВМ и калькуляторах? В некоторый PHY-носитель (ртутную трубку или металлическую струну) с одного конца генерировался импульс, который через некоторое время достигал другого ее конца. Там этот импульс улавливали, усиливали и заново запускали. В итоге биты бегали по кругу, и таким способом могло храниться несколько килобайт, а то и десятки килобайт информации (https://ru.wikipedia.org/wiki/Память_на_линиях_задержки#/media/Файл:Torsion_wire_delay_line.jpg). Минус — не мгновенное извлечение, надо подождать пока автобус с нужными данными по кругу приедет к тебе.
Одно из решений, которое мне прислали — фантастическое, конечно — отправить отражатели в космос, куда-нибудь к Альфа-Центавре, и при помощи радиотелескопа слать туда информацию. Полученный сигнал от отражателя переизлучать, поддерживая хранение. Чем дальше улетает, тем больше влезает. Забавно, но будет работать.
Хранение это процесс.
Наконец, самое интересное, что прислали — проект Github Archive. Там, в вечной мерзлоте, глубоко в шахте, Github планирует сохранять весь накопленный материал: исходные коды, содержимое интернет-архива (wayback machine), github pages,
По забавному совпадению, первый полный архив будет сделан и загружен 02.02.2020 PST. Сегодня!
Как же устроено хранение там? GHA предлагает “слоистую” архитектуру:
Слой 1. Прежде всего, они будут регулярно записывать все архивы на массивы жестких дисков. Эти диски стоят в ДЦ на поверхности, и имеют достаточно маленькое время доступа. Интервал между перезаписью новыми данными меньше, чем время, которое эти диски могут хранить информацию, так что они точно не повреждены.
Слой 2. Пленка. На специальные бобины фирмы Pilq (да, как в дедовских магнитофонах), на специальную полиэфирную пленку с включениями серебра, гарантированный срок хранения которой не менее 500 лет. Эта запись будет происходить примерно раз в несколько месяцев, после чего магнитоматериалы в термостабилизированном контейнере будут загружаться в шахту.
Если я правильно понял, сюда будут попадать ТОЛЬКО исходные коды репозиториев, но не интернет-архив.
Спасибо всем, кто прислал свои ответы. Сейчас я про них расскажу.
Большинство прислали мне ссылок на M-DISC (https://ru.wikipedia.org/wiki/M-DISC, диск для миллениалов). Утверждается, что они хранят данные очень долго. Возможно, все это так, но есть нюансы:
* Milleniata, Inc, разработчик диска, обанкротилась в 2016 (наверное, очень хорошие диски были!)
* тесты французской военщины (http://www.lne.fr/publications/guides-documents-techniques/syylex-glass-dvd-accelerated-aging-report.pdf) показывают, что этих диски не сильно стабильнее обычных BR-DVD. А это 5-10 лет, а то и меньше, если не контролировать влажность.
То есть мимо. Хм, ладно, давайте попробуем другие варианты. Кажется, в какой-то момент времени мы продолбали технологии, которые могли бы обеспечивать нам cold storage данных на время хотя бы еще столько же, сколько прошло от начала ИТ-эпохи (1950) до текущего момента.
То, что пришло мне в голову — это ленточные (
В общем, все неплохо, кроме того, что вам нужно юрлицо и килограмм денег, чтобы купить и обслуживать. На территории РФ обслуживанием ленточных библиотек занимается полтора вендора.
“Хранение это, блин, процесс!”, подумал я. И на этой мысли перейдем далее.
Знаете, как была устроена RAM на линиях задержки в первых ЭВМ и калькуляторах? В некоторый PHY-носитель (ртутную трубку или металлическую струну) с одного конца генерировался импульс, который через некоторое время достигал другого ее конца. Там этот импульс улавливали, усиливали и заново запускали. В итоге биты бегали по кругу, и таким способом могло храниться несколько килобайт, а то и десятки килобайт информации (https://ru.wikipedia.org/wiki/Память_на_линиях_задержки#/media/Файл:Torsion_wire_delay_line.jpg). Минус — не мгновенное извлечение, надо подождать пока автобус с нужными данными по кругу приедет к тебе.
Одно из решений, которое мне прислали — фантастическое, конечно — отправить отражатели в космос, куда-нибудь к Альфа-Центавре, и при помощи радиотелескопа слать туда информацию. Полученный сигнал от отражателя переизлучать, поддерживая хранение. Чем дальше улетает, тем больше влезает. Забавно, но будет работать.
Хранение это процесс.
Наконец, самое интересное, что прислали — проект Github Archive. Там, в вечной мерзлоте, глубоко в шахте, Github планирует сохранять весь накопленный материал: исходные коды, содержимое интернет-архива (wayback machine), github pages,
По забавному совпадению, первый полный архив будет сделан и загружен 02.02.2020 PST. Сегодня!
Как же устроено хранение там? GHA предлагает “слоистую” архитектуру:
Слой 1. Прежде всего, они будут регулярно записывать все архивы на массивы жестких дисков. Эти диски стоят в ДЦ на поверхности, и имеют достаточно маленькое время доступа. Интервал между перезаписью новыми данными меньше, чем время, которое эти диски могут хранить информацию, так что они точно не повреждены.
Слой 2. Пленка. На специальные бобины фирмы Pilq (да, как в дедовских магнитофонах), на специальную полиэфирную пленку с включениями серебра, гарантированный срок хранения которой не менее 500 лет. Эта запись будет происходить примерно раз в несколько месяцев, после чего магнитоматериалы в термостабилизированном контейнере будут загружаться в шахту.
Если я правильно понял, сюда будут попадать ТОЛЬКО исходные коды репозиториев, но не интернет-архив.