В DeepMind предложили способ минимизации ошибок ИИ
Группа исследователей из DeepMind разработала инновационный подход к снижению вероятности ошибок ИИ.
Разработчики предложили метод, который позволяет определить ситуации, когда большие языковые модели (LLM) должны воздержаться от предоставления ответа, предпочитая заявить "я не знаю" для избежания неточностей. Основа подхода - использование самооценки модели, которая сравнивает различные варианты ответов перед их предоставлением.
В своей работе исследователи использовали методы конформного предсказания для оценки вероятности возникновения ошибок. Они протестировали свою методику на двух наборах данных: Temporal Sequences и TriviaQA, применяя ее к модели Gemini Pro, разработанной в Google и выпущенной в 2023 году.
Результаты экспериментов показали, что новый метод значительно снижает количество ошибок, позволяя модели воздерживаться от ответов, если они могут быть неправильными. Это позволяет улучшить точность ответов.
@sip_ai | @sip_ai_bot
Группа исследователей из DeepMind разработала инновационный подход к снижению вероятности ошибок ИИ.
Разработчики предложили метод, который позволяет определить ситуации, когда большие языковые модели (LLM) должны воздержаться от предоставления ответа, предпочитая заявить "я не знаю" для избежания неточностей. Основа подхода - использование самооценки модели, которая сравнивает различные варианты ответов перед их предоставлением.
В своей работе исследователи использовали методы конформного предсказания для оценки вероятности возникновения ошибок. Они протестировали свою методику на двух наборах данных: Temporal Sequences и TriviaQA, применяя ее к модели Gemini Pro, разработанной в Google и выпущенной в 2023 году.
Результаты экспериментов показали, что новый метод значительно снижает количество ошибок, позволяя модели воздерживаться от ответов, если они могут быть неправильными. Это позволяет улучшить точность ответов.
@sip_ai | @sip_ai_bot