Публикации по теме 'gradient-descent'


Градиентный спуск с нуля для линейной регрессии
Простая линейная регрессия Простое уравнение линейной регрессии с одним признаком определяется как: 𝑦=𝑏+𝑤∗𝑥+𝜖 Здесь w — коэффициент, b — член пересечения, а ϵ — шум. Градиентный спуск Градиентный спуск — это алгоритм оптимизации, используемый для минимизации некоторой функции путем итеративного движения в направлении наискорейшего спуска, определяемого отрицательным значением градиента. В машинном обучении мы используем градиентный спуск для обновления параметров нашей модели...
Градиентный спуск: почему и как?
Теоретический подход к градиентному спуску и его варианты Минимизация функции стоимости очень важна в модели машинного обучения. Здесь градиентный спуск - это итерационный метод минимизации функции стоимости. Функция стоимости - ошибка прогнозирования (Y_Actual-Y_Predicted) Если вы видите изображение выше, человек находится на вершине горы или в середине горы, здесь человек хочет спуститься с минимальным количеством шагов. Человек делает это итеративно (небольшими шагами), пока не..
Обучение обучению: искусственные нейронные сети, часть II
С возвращением, сети в обучении! На прошлой неделе мы представили Multilayer Perceptron (MLP) - нашу первую искусственную нейронную сеть (ANN). Мы создали довольно строгую реализацию (у нее был один фиксированный скрытый слой), и я попросил вас сделать ее более гибкой. Хотя есть много способов сделать это, вот мое решение: Это новое решение упрощает эксперименты с архитектурой нашей сети (количеством входов, выходов, скрытых слоев и их размерами), чтобы увидеть, что лучше..
Курс глубокого обучения — Урок 10.2: Проблема взрывного градиента
Проблема взрывающегося градиента — еще одна проблема, связанная с обучением глубоких нейронных сетей, что-то вроде оборотной стороны проблемы исчезающего градиента. Эта проблема возникает, когда градиент становится слишком большим, что может привести к нестабильности и неэффективности процесса обучения. В частности, во время обратного распространения градиенты передаются обратно через сеть. С каждым слоем эти градиенты умножаются на веса текущего слоя. Когда эти веса имеют большие..
Машинное обучение: XGBoost — интуиция
XGBoost, или Extreme Gradient Boosting, представляет собой алгоритм ансамблевого обучения, в основном основанный на принципах повышения градиента и оптимизации. Он создает сильную прогностическую модель путем объединения прогнозов нескольких слабых учащихся, часто деревьев решений, посредством итеративного процесса. 1. КАК ЭТО РАБОТАЕТ Вот краткое техническое описание того, как работает XGBoost: Повышение градиента: XGBoost следует подходу повышения, при котором каждая новая..
Обратное распространение и градиентный спуск
Обратное распространение и градиентный спуск — это два разных метода, которые образуют мощную комбинацию в процессе обучения нейронных сетей. Давайте попробуем интуитивно понять, как это работает. Нейронные сети обучаются путем прямого распространения, используя веса, смещения и нелинейные функции активации для вычисления предсказания y` на основе входных данных x, которые должны как можно точнее соответствовать истинным выходным данным y. Функция стоимости количественно определяет..
Прекрасная математика, лежащая в основе оптимизации логистической регрессии
Логистическая регрессия считается самым основным алгоритмом в области машинного обучения. Это очень простой и простой алгоритм, но, тем не менее, он считается святым Граалем машинного обучения. Даже такие компании, как Google, по сей день используют логистическую регрессию, потому что это очень быстро. Хотя Google не использует его напрямую, они используют его как конечный классификатор или что-то среднее между их конвейером классификации. Почти каждый, кто смотрел на этот алгоритм,..