понимание подгонки и подгонки и выбора модели - DataScientist
0 голосов
/ 25 октября

Я новичок в машинном обучении, извините за наивные вопросы:

Правда ли, что переоснащение приводит к низкой частоте появления ошибок в проверочном наборе?

Я немногозапутался здесь. По определению, переоснащение означает, что мы минимизировали функцию стоимости с данным гиперпараметром для всех обучающих примеров, и что уменьшенная стоимость скудна.

Теперь мы собираемся найти тот гиперпараметр, который дает наименьшую ошибку, используя набор проверки,

Таким образом, это означает, что после того, как мы наденем тренировочный набор с заданным гиперпараметром, полученная модель будет проверена на то, насколько хорошо она справляется с набором проверки. И мы бы или не получили высокую ошибку.

Недостаточная подгонка приводит к слишком большой частоте появления ошибок как в обучающей, так и в проверочной совокупности. Выше, потому что, когда вы не в форме, вы получаете большую ошибку для тренировочных данных. И поэтому вы можете или не можете получить высокую ошибку в наборе проверки. И поэтому нам не нужно заботиться о наборе валидации, так как они не дают много информации.

Следовательно, когда нам предоставляется выбор из нескольких алгоритмов обучения, мы должны выбрать тот, который удастся наилучшим образом изучить на обучающем наборе.

1 Ответ

0 голосов
/ 27 октября

найти этот гиперпараметр, который дает наименьшую ошибку, используя набор проверки.

Если вы используете набор проверки для оптимизации гиперпараметров, эти данные являются частью ваших обучающих данных (независимо от набора проверки имени).
Во избежание путаницы с терминологией (потому что она не используется для проверки фактической модели), я собираюсь использовать новое имя для этого набора данных и назвать его оптимизационный набор для остальной части этого ответа.

Итак, это означает, что после того, как мы наденем тренировочный набор с заданным гиперпараметром, полученная модель будет проверена на то, насколько хорошо она справляется с набором проверки. И мы бы или не получили высокую ошибку.

Если этот второй «набор проверки» здесь представляет собой набор оптимизации, использовавшийся ранее для оптимизации гиперпараметра, то нет: он даст низкую ошибку, если модель будет более подходящей.

Но если вы выполняете фактическую проверку (верификацию) , используя данные, которые полностью независимы от любых данных, участвующих в обучении модели ("обучающий набор" и "оптимизационный набор"), чтоможет привести к высокой ошибке. Я собираюсь назвать этот независимый набор проверки набора тестов на данный момент недвусмысленным.
Разница: высокая ошибка на наборе проверки и низкая ошибка на наборе оптимизации указывают на переоснащение.

И поэтому нам не нужно заботиться о наборе проверки, так как они не дают много информации.

Это действительно так: переоснащение - это не чёрно-белая ситуация, а скорее ситуация, состоящая из разных ситуаций: от недостаточного до хорошего, от умеренного до сильного.

Если вы посмотрите на ошибки трех наборов данных:

                   error: model is
data               underfit   good    moderately overfit   severely overfit
----               --------   ----    ------------------   ----------------
training set        high       low     low                  low 
optimization set    high       low     high                 low 
verification set    high       low     high                 high

Ошибка в «обучающем наборе» сначала будет уменьшаться (станет неинформативной), а ошибка в наборе оптимизациивсе еще информативен и не так низок как ошибка на обучающем наборе. Оптимизационный набор помогает против переоснащения, но это не волшебная палочка: он может только так сильно помочь. Таким образом, это помогает защититься от небольшого переоснащения, но вы можете взглянуть на модели с чрезмерным переоснащением, которые подходят для наборов данных обучения и оптимизации.

С другой стороны, вы правы в том, что набор оптимизации содержит только ограниченные количестваинформации (как и любой конечный набор данных). Таким образом, если вы «попросите слишком много» из набора оптимизации, вы в конечном итоге перегрузитесь в оптимизации гиперпараметра. Рецепт катастрофы здесь заключается в сравнении многих предварительных моделей (наборов гиперпараметров) на основе только нескольких случаев в наборе оптимизации.

Добро пожаловать на сайт DataScientist, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...