«Грязный» секрет нейросетей: как они вредят экологии?
Говорить про недостатки ИИ в нашей среде как будто не принято. Но замалчивание проблемы её не решает. Видимо, так подумали в Hugging Face — местные исследователи оценили углеродный след от больших языковых моделей (LLM).
Что это такое и зачем нужно?
Если не особо интересуетесь экологией, поясню: углеродный (или карбоновый) след — это количество всех выбросов парниковых газов, прямо или косвенно произведённых продуктом на всём этапе его жизненного цикла.
Ещё до исследований было очевидно, что след у LLM длинный. Ведь они требуют огромного количества энергии для обучения и работы. В 2019 году учёные из MIT писали, что ради всего одной крупной нейросетки-трансформера в атмосферу выбрасывается в пять раз больше вредных веществ, чем от среднестатистического американского автомобиля (если считать и процесс его производства).
Но то были примерные расчёты, а Hugging Face подошла к делу с большей дотошностью. Причём за основу для эксперимента стартап взял собственную языковую модель BLOOM, которую только-только запустил.
Получившиеся цифры помогут лучше понять сообществу, как ИИ влияет на окружающую среду (и, возможно, уменьшить выбросы в будущем).
Что считали?
В расчёт брали много разных цифр:
— Энергия, используемая для обучение модели на суперкомпьютере;
— Энергия, необходимая для производства аппаратного обеспечения суперкомпьютера и обслуживания его вычислительной инфраструктуры;
— Энергия, затрачиваемая на запуск BLOOM после её обучения;
— Энергия, которую LLM тратит во время работы.
Сколько вышло?
Одно только обучение привело к выбросу 25 тонн углерода. А если учитывать все остальные параметры, то цифра удваивается.
А много ли это — 50 тонн?
Всё относительно. Например, столько же выбрасывает самолёт, который слетает из Москвы в Нью-Йорк и обратно 25 раз. А если сравнивать с другими LLM, то углеродный след у GPT-3 в десять раз длиннее (его обучали на старом, менее эффективном оборудовании).
Говорить про недостатки ИИ в нашей среде как будто не принято. Но замалчивание проблемы её не решает. Видимо, так подумали в Hugging Face — местные исследователи оценили углеродный след от больших языковых моделей (LLM).
Что это такое и зачем нужно?
Если не особо интересуетесь экологией, поясню: углеродный (или карбоновый) след — это количество всех выбросов парниковых газов, прямо или косвенно произведённых продуктом на всём этапе его жизненного цикла.
Ещё до исследований было очевидно, что след у LLM длинный. Ведь они требуют огромного количества энергии для обучения и работы. В 2019 году учёные из MIT писали, что ради всего одной крупной нейросетки-трансформера в атмосферу выбрасывается в пять раз больше вредных веществ, чем от среднестатистического американского автомобиля (если считать и процесс его производства).
Но то были примерные расчёты, а Hugging Face подошла к делу с большей дотошностью. Причём за основу для эксперимента стартап взял собственную языковую модель BLOOM, которую только-только запустил.
Получившиеся цифры помогут лучше понять сообществу, как ИИ влияет на окружающую среду (и, возможно, уменьшить выбросы в будущем).
Что считали?
В расчёт брали много разных цифр:
— Энергия, используемая для обучение модели на суперкомпьютере;
— Энергия, необходимая для производства аппаратного обеспечения суперкомпьютера и обслуживания его вычислительной инфраструктуры;
— Энергия, затрачиваемая на запуск BLOOM после её обучения;
— Энергия, которую LLM тратит во время работы.
Сколько вышло?
Одно только обучение привело к выбросу 25 тонн углерода. А если учитывать все остальные параметры, то цифра удваивается.
А много ли это — 50 тонн?
Всё относительно. Например, столько же выбрасывает самолёт, который слетает из Москвы в Нью-Йорк и обратно 25 раз. А если сравнивать с другими LLM, то углеродный след у GPT-3 в десять раз длиннее (его обучали на старом, менее эффективном оборудовании).