А вот картинка из отчёта самого Copilot по результатам 2022го года. Видно, что за полгода модель улучшилась значительно - подсказки стали принимать куда чаще (35% против 27%, на 30% больше!).
Причём, обратите внимание на логику: ведь можно улучшать не саму модель, но и всё, что вокруг неё:
— Можно по другому собирать контекст, чтобы модель сама по себе чаще попадала в нужное русло
— Можно добавить эвристику/очень маленькую модель для оценки генерации (плохая оценка = не предлагать = уменьшаем количество ложных показов)
— Можно персонализировать выдачу на уровне проекта (заметив, что пользователь чаще выбирает одно дополнение над другим)
В общем, инженерных трюков и фичей вокруг голой модельки накрутить можно ну очень много, и всё это будет ускорять работу программиста. То же самое применимо и для многих других типов ассистентов.
Причём, обратите внимание на логику: ведь можно улучшать не саму модель, но и всё, что вокруг неё:
— Можно по другому собирать контекст, чтобы модель сама по себе чаще попадала в нужное русло
— Можно добавить эвристику/очень маленькую модель для оценки генерации (плохая оценка = не предлагать = уменьшаем количество ложных показов)
— Можно персонализировать выдачу на уровне проекта (заметив, что пользователь чаще выбирает одно дополнение над другим)
В общем, инженерных трюков и фичей вокруг голой модельки накрутить можно ну очень много, и всё это будет ускорять работу программиста. То же самое применимо и для многих других типов ассистентов.