Для обучения Google PaLM 2 использовалось почти в 5 раз больше данных по сравнению с прошлой языковой моделью
Самая свежая большая языковая модель Google была обучена на 3,6 триллионах токенов, согласно внутренней документации, доступ к которой получили журналисты CNBC. Для сравнения, предыдущая версия Google PaLM, выпущенная в 2022 году, была обучена на 780 миллиардах токенов.
Официально Google не раскрывает детали обучения PaLM 2. Этой же политики придерживается и OpenAI с GPT-4.
https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html
—
@aioftheday — новости вокруг искусственного интеллекта
Самая свежая большая языковая модель Google была обучена на 3,6 триллионах токенов, согласно внутренней документации, доступ к которой получили журналисты CNBC. Для сравнения, предыдущая версия Google PaLM, выпущенная в 2022 году, была обучена на 780 миллиардах токенов.
Официально Google не раскрывает детали обучения PaLM 2. Этой же политики придерживается и OpenAI с GPT-4.
https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html
—
@aioftheday — новости вокруг искусственного интеллекта