Введение в аппроксимацию функций

Вы когда-нибудь программировали функцию для сложения двух чисел? Назовем его function_ambiguous(a,b). Вы даете ему 100 пар a и b, взамен функция дает вам 100 сумм. Теперь вместо функции, если бы вам дали только 100 пар входных данных и 100 значений, возвращаемых функцией. Сможете ли вы угадать уравнение function_ambiguous()? Мы пытаемся разобраться в этой самой проблеме с помощью статьи, используя следующие вопросы -

  1. Что такое приближение?
  2. Что такое функция?
  3. Что такое аппроксимация функции?
  4. Типы аппроксимаций функций: когда функция известна (i. аппроксимация рядом Тейлора ii. аппроксимация методом Ньютона) и когда функция неизвестна
  5. Аппроксимация неизвестных функций в машинном обучении i. С регрессией II. С классификацией и нейронными сетями iii. С неконтролируемым обучением

Что такое приближение?

Почти каждая область науки (и политики, что имеет значение) использует инструмент аппроксимации. Возьмем, к примеру, значение числа пи. Нагло используется для всевозможных практических и теоретических нововведений, и, в зависимости от требований к точности, это либо 3,14, либо 3,1415, либо 3,141592653589, и ни одно из них не является более правильным, чем другое. Точное значение числа пи иррационально, поэтому его невозможно использовать со 100-процентной точностью, а также оно часто не имеет значения для всех практических случаев использования. Правильное значение числа пи — это то, что поможет вам выполнить поставленную задачу.

Аппроксимация - это все, что намеренно похоже, но не равно точно чему-то другому. Технически это определяется как результат, который не является точным, но достаточно близким, чтобы его можно было использовать.

Точно так же мы можем аппроксимировать значения других иррациональных чисел, когда это необходимо. Аппроксимация в целом может применяться к:

Число, модель (математическая или иная), структура

или функция, когда она либо совсем неизвестна, либо ее просто трудно вычислить. В этой статье исследуются приближения функций и их значение в машинном обучении.

Что такое функция:

В математике функции — это правило, выражение или закон, определяющий отношение между независимой переменной и зависимой переменной. Функции универсальны и необходимы для формулирования физических отношений в науках. Современное техническое определение функции дал немецкий математик Петер Дирикле в 1837 году:

Если переменная у так связана с переменной х, что всякий раз, когда х присваивается числовое значение, существует правило, согласно которому определяется уникальное значение у, то говорят, что у является функцией независимой переменной х.

Пример функций

полиномиальная функция — a0 + a1x + a2x2+⋯+ anxn,

Все функции, такие как линейная функция, квадратичный полином, кубический полином, формула площади круга, являются примером полиномиальной функции. где заданы коэффициенты (a0, a1, a2,…, an), x может быть любым вещественным числом, а все степени x — это счетные числа (1, 2, 3,…). (Когда степени x могут быть любыми действительными числами, результат известен как алгебраическая функция.) Полиномиальные функции изучались с древнейших времен из-за их универсальности — практически любые отношения, включающие действительные числа, могут быть близко аппроксимирована полиномиальной функцией.

Некоторые другие примеры общих функций — сложные функции, обратные функции, степенной ряд, бесконечный ряд и ряд Фурье.

И, наконец, что такое "аппроксимация функции"?

Есть два случая, когда нам нужно аппроксимировать функции:

1. Функция известна. Но вычисление его точных значений либо дорого, либо сложно численно. В этом случае методы аппроксимации используются для нахождения значений, которые близки к фактическим значениям и все еще полезны.

2. Функция даже неизвестна. Модель или алгоритм обучения используются для точного поиска функции, которая может давать выходные данные, близкие к выходным данным неизвестной функции.

Каждое природное явление (а также антропогенные и абстрактные события) происходит по какому-то известному или неизвестному «шаблону». Эту закономерность можно представить в виде функции. И если шаблон неизвестен, это приложение может помочь исследователю.

Если функция известна, двумя наиболее распространенными методами ее аппроксимации являются ряд Тейлора и метод Ньютона. Ряд Тейлора аппроксимирует сложную функцию, используя ряд более простых полиномиальных функций, которые часто легче вычислить. Ключевая идея состоит в том, чтобы использовать ряд возрастающих степеней для выражения сложных, но корректных (бесконечно дифференцируемых и непрерывных) функций.

Например. Для одномерных функций полином первого порядка аппроксимирует ff в точке PP прямой линией, касательной к ff в точке PP. Полином второго порядка аппроксимирует ff как квадратное уравнение, прямая которого проходит через точку PP. Увеличение степени полинома приводит к лучшим приближениям к сложным функциям.

· Метод Ньютона – это итерационный метод аппроксимации решений (нахождения корней) уравнений. Если ff — положительно определенная квадратичная функция, метод Ньютона может найти минимум функции напрямую, но на практике это почти никогда не происходит.

Приблизительное значение, когда функция неизвестна:

В науке о данных мы начинаем каждый процесс с набора независимых переменных и соответствующего набора зависимых переменных. Предполагается, что существует базовая функция, которая содержит ключ к взаимосвязи между входами и выходами. Это, хотя и уверенный в его существовании, все еще математически неизвестен нам. Следовательно, несколько подходов к машинному обучению используются для создания функции, достаточно близкой к фактической функции, чтобы она могла генерировать больше данных, с которых мы начали, когда это необходимо.

Данные наблюдались, и было сделано предположение, что данные содержат неоткрытую закономерность. Данные также соответствуют физическому событию в природе (изменение погодных условий, прогноз рака и т. д.). Итак, если наше предположение верно и мы можем аппроксимировать эту функцию, то любое событие, которому соответствуют данные, может быть смоделировано. внутри компьютера, и выходные данные могут использоваться для различных целей. Следует отметить, что чем лучше наша аппроксимация функции, тем лучше можно смоделировать реальные явления.

Аппроксимация с использованием регрессии:

Регрессия — это статистический метод, используемый в инвестировании, прогнозировании и других дисциплинах, который пытается определить силу и характер связи между одной зависимой переменной (обычно обозначаемой Y) и рядом других переменных (известных как независимые переменные).

Предполагается, что некоторая модель линейной или нелинейной регрессии может аппроксимировать отображение входных данных в выходные.

Пример. Если мы соберем данные индекса массы тела для 100 человек и их соответствующий процент жира. Способ справиться с этим заключается в том, что мы можем принять почти прямую или экспоненциальную функцию отображения. Эта новая экспоненциальная кривая (красная) является аппроксимацией фактической функции, отображающей входы (ИМТ) в выходы (процент жира). Чтобы построить что-то подобное, можно использовать такой метод обучения, как метод наименьших квадратов.

Аппроксимация с использованием классификации и нейронных сетей:

Одним из самых мощных инструментов для аппроксимации функций являются нейронные сети. На самом деле Ян Гудфеллоу, пионер искусственного интеллекта, сказал следующее:

Лучше всего думать о сетях с прямой связью как о машинах аппроксимации функций, которые предназначены для достижения статистического обобщения, время от времени извлекая некоторые идеи из того, что мы знаем о мозге, а не как модели функций мозга.

- Страница 169, Глубокое обучение, 2016 г.

Мы говорим «приблизительно», потому что, хотя мы подозреваем, что такая функция отображения существует, мы ничего о ней не знаем. Здесь мы должны отметить, что истинное уравнение функции часто не может быть восстановлено, а также часто не имеет значения. Подумайте о подходе, дающем нам волшебную коробку, которая поможет нам моделировать явления на компьютерах и не делиться своим секретом.

Аппроксимация с использованием обучения без учителя:

Подходы к обучению без учителя, такие как кластеризация, предполагают модель, которая может назначать точке метку или класс. Например, K-среднее предполагает, что форма каждого кластера является круглой, и, следовательно, присваивает одну и ту же метку или класс точкам, лежащим в одном круге или n-сфере в случае многомерных данных.

Каждый из этих подходов помогает нам аппроксимировать существующую функцию, но изначально специалист по данным должен иметь интуитивное понимание того, какой «тип» функции должен быть ближе архитектуры к тому, что происходит в реальности. Например, использование полиномиальной аппроксимации для случая использования в электротехнике или телекоммуникациях с использованием мнимых коэффициентов не даст нам слишком многого.

Я надеюсь, что это поможет вам начать понимать науку о данных с научной точки зрения. Основа должна быть прочной, позвольте этому основному пониманию аппроксимации функций усвоиться, прежде чем погрузиться в какие-либо продвинутые приложения машинного обучения. Как всегда говорят мудрецы науки, иди медленно, чтобы идти быстро.