Гиперпараметр – это конфигурация Модели (Model) Машинного обучения (ML), оптимальные настройки, которые невозможно вычислить с помощью Датасета (Dataset) и предстоит определить в ходе итеративного обучения:

Пример. Запустите 8 ячеек ноутбука "Validation in Practice: Grid Search" из документации Colab: здесь утилита GridSearchCV автоматически подбирает гиперпараметры Полиномиальной регрессии (Polynomial Regression):

• linearregression__fit_intercept: пересечение (intercept) – это место, где прямая Линейной регрессии (Linear Regression) пересекает ось y. Если значение гиперпараметра здесь равно False, то линейная регрессия неприменима к данной модели (GridSearchCV перебирает несколько из них).
• linearregression__normalize: вероятно, означает, что при попытке определить уравнение линейной регрессии к исходным данным применялась Нормализация (Normalization).
• polynomialfeatures__degree (степень многочленов): представьте, что Целевую переменную (Target Variable) y можно описать уравнением 6x5 + 5x4− 3x2+ x. Пятая степень (6x5) – это и есть [наивысшая] степень многочленов.

Существует важное отличие между параметрами модели и ее гиперпараметрами: если первые зачастую подбираются автоматически, то вторые определяются в ходе обучения Алгоритма (Algorithm) Дата-сайентистом (Data Scientist) и помогают определить наилучшее уравнение, описывающее зависимость Предикторов (Predictor Variable) и целевой переменной.

Примеры параметров:

• Веса (Weights) в искусственной Нейронной сети (Neural Network)
• Опорные векторы в Методе опорных векторов (SVM)

Автор оригинальной статьи: Jason Brownlee