От Евклида до алгоритмов, исчисления и концепций, проложивших путь к эре машинного обучения и искусственного интеллекта.
Что такое язык программирования, как не инструмент для моделирования идеи или системы в компьютерной сфере, обеспечения ввода и получения некоторого вывода. Математика, по крайней мере синтаксически, предоставляет вам своего рода «ту же самую» структуру и набор инструментов для выражения идеи и моделирования системы о мире, представленной набором семантики.
Математика — это совершенный язык программирования, потому что он гораздо более выразительный и простирается за пределы области аппаратного обеспечения, где все управляется часами и контролируется изменением электрического тока.
Математика — это алфавит, которым Бог написал вселенную — Галилео Галилей.
Я до сих пор помню со школьных лет один из вопросов во время национального соревнования по математике под названием «Евклид» от Греческого математического общества, в котором требовалось краткое изложение градусов углов ниже. Попробуйте:
Этот пост представляет собой быстрое путешествие в историю и попытку соединить точки от 300 г. до н.э. и геометрии до создания концепций, которые проложили путь для сегодняшнего машинного обучения. Я уверен, что Евклид был бы ошеломлен тем, как далеко мы продвинулись, учитывая «мгновение ока», что наша цивилизация существует, по сравнению с 4,5 миллиардами лет жизни Земли.
Итак, давайте начнем с самого человека, отца геометрии и его 5 аксиом:
Евклид и 5 геометрических аксиом (300 г. до н.э.)
Он написал 13 книг, собрав информацию и знания со всего древнего мира, и постулировал многочисленные аксиомы. 9 из этих книг посвящены геометрии, оказавшей влияние практически на всю последующую геометрию западного мира и Ближнего Востока. По сути, Евклид со своими аксиомами установил правила игры, которыми и является математика.
(1) Прямая линия может быть проведена между любыми двумя точками
(2) Любая прямая линия с окончанием может быть продолжена бесконечно
(3) Можно нарисовать круг с любой заданной точкой в качестве центра и любым радиусом
(4) Все прямые углы равны
(5) Для любой заданной точки, не лежащей на заданной прямой, существует только одна прямая, проходящая через точку, которая не пересекается с данной прямой
Поскольку эти аксиомы являются правилами игры, доказательство простой теоремы должно быть тривиальным. Давайте попробуем доказать, что внутренние углы треугольника в сумме составляют 180 градусов, или половину оборота:
Используя номер аксиомы (4), утверждающий, что все прямые углы равны, мы можем легко доказать, что a+b+c=180 градусов или половина оборотилиπ:
Более того, если применить нашу геометрическую интуицию в перспективе, то, если вы будете двигаться с постоянной скоростью, через некоторое время вы преодолеете расстояние, которое можно рассчитать, вычислив площадь ниже, следовательно: Расстояние = Скорость x Время
Диофант - Арифметика (200 г. н.э.)
Диофант был первым математиком, представившим «алгебру» в форме, которую мы узнали бы сегодня. Он использовал символы для переменных, положительных и отрицательных чисел, а также дробей или возведения числа в большую степень. Он также представил идею о том, что математические задачи вроде x + y = 5 могут иметь много решений (например: x = 2, y = 3 и x = 1, y = 4), что по существу вводит линейные и квадратные уравнения с коэффициенты.
Я сказал «мы бы признали сегодня», и вы можете увидеть, почему на картинке ниже:
К сожалению, после этого из моей любимой страны не вышло ничего столь потрясающе оригинального (как работы Евклида, Диофанта и других).
Цитируя Джеймса Гоу:
С Диофантом заканчивается история греческой арифметики. Никакая оригинальная работа, о которой мы знаем, не была сделана впоследствии.
Мухаммад ибн Муса аль-Хорезми - Алгебра (900 г. н.э.)
Мухаммад аль-Хорезми (топонимическое имя, означающее «человек из Хорезми») был персидским эрудитом из Хорезма, автором влиятельных работ в области математики, астрономии и географии.
Слово «алгебра» происходит от арабского слова «аль-джабр», корнями которого является название рукописи 9 века, написанной им; Илм аль-джабр ва ль-мукабала,наука восстановления и балансировки. В его работе термин al-jabr относился к операции перемещения члена из одной части уравнения в другую, а al-muqabala относился к добавлению равных членов в обе стороны.
Как и многие его предшественники, он смешал и усовершенствовал математические концепции древних вавилонских, греческих и индуистских ученых, коренным образом изменив то, как мы занимаемся математикой, и усовершенствовал методы, которые мы используем для решения алгебраических задач. В его книге объяснялось, как использовать уравнения, чтобы разделить наследство, разделить участок земли и найти размеры каналов и зданий. Хотя аль-Хорезми не был первым, кто понял эти уравнения, он первым предложил алгоритмы для их решения, объясняя, как решать уравнения словами, а не числами и символами.
Не менее важным был и тот факт, что Аль-Хорезми оказал влияние на свое время, популяризировав индуистско-арабскую систему счисления в исламском мире, а его книга ответственна за их принятие в Европе на протяжении пяти столетий. позже. Индуистско-арабские цифры — это набор из 10 символов — 1, 2, 3, 4, 5, 6, 7, 8, 9, 0 — которые представляют числа в десятичной системе счисления. Они возникли в Индии в 6 или 7 веке и были завезены в Европу благодаря трудам ближневосточных математиков, таких как Аль-Хорезми.
Можете ли вы представить себе расчет с использованием греческих букв или римских цифр сегодня? Половина оборота будет равна «PΠ» в греческой системе или «CLXXX» в римских цифрах вместо 180. >.
Оксфордские калькуляторы - математический подход к философии (1400 г. н.э.)
Оксфордские калькуляторы представляли собой группу мыслителей 14-го века, почти все из которых были связаны с Мертон-колледжем в Оксфорде; по этой причине их окрестили «Школой Мертона». Они использовали числа, чтобы философски не согласиться и доказать аргументацию того, «почему» что-то работает именно так, а не только «как» что-то функционирует именно так, а не иначе.
Их самая известная работа — теорема о средней скорости, также известная как правило Мертона (позднее приписанная Галилею как закон падающих тел). На этот раз вместо того, чтобы вычислять расстояние тела, движущегося с постоянной скоростью, геометрически, они постулировали связь между телом, движущимся с постоянной скоростью, и телом, движущимся с постоянным ускорением.
Путь, пройденный за любой данный период телом, движущимся с постоянным ускорением, будет таким же, как если бы тело двигалось с равномерной скоростью, равной его скорости в середине периода.
Как показано ниже, это площадь трапеции: Расстояние = ½(V₀+Vτ)t
Эта группа людей, хотя и почти не реализованная, почти выполнила интегральное исчисление, но не сразу, поскольку позже эти идеи были формализованы Ньютоном и Лейбницем. Тем не менее интеллектуальный климат готовился к научной революции, которая должна была произойти с Галилеем, Кеплером, Декартом и Ньютоном.
Рене Декарт, 1596–1650 гг.
Рене Декарт объединил геометрию с алгеброй, получив название «Аналитическая геометрия», в которой алгебраический символизм и методы используются для представления и решения геометрических задач.
По сути, Декарт поместил систему координат на евклидову плоскость, где сила заключается в том факте, что теперь вы можете выражать и доказывать геометрические идеи исключительно с помощью алгебраических символов, без фактического изображения геометрии, с помощью набора абстракций, доступных каждому. в соответствии.
Довольно удобный способ выполнить своего рода «сжатие», от геометрических фигур и слов до перевода и доказательства того, что внутренние углы треугольника в сумме составляют половину оборота, используя представление ниже:
В качестве бонуса это представление позволяет вам выражать идеи геометрии, выходящие за рамки трех измерений.
Исаак Ньютон, исчисление: инфинитезимальная аналитическая геометрия, 1642–1727 г.
Я вижу, как некоторые удивленно поднимают брови из-за того, что они не убрали Готфрида Лейбница в сторону от имени Ньютона. История гласит, что Ньютон и Лейбниц изобрели исчисление независимо друг от друга и примерно в одно и то же время. Какое совпадение, да? Вероятно, в то время у Ньютона был лучший издатель, но кто знает.
Исчисление — это аналитическая геометрия плюс бесконечность. Следовательно, Ньютон и Лейбниц существенно добавили понятие бесконечно малого на плоскость Декарта.
В то время не существовало способа определить точный наклон (градиент линии) любой отдельной точки на синей кривой, поскольку наклон постоянно менялся. Эта кривая может быть скоростью траектории какого-либо объекта или движения планеты. Измеряя наклон выбранного сегмента, то есть (a, b2) или (a, b3), вы получите скорость в этой точке, независимо от того, на чем основана эта траектория. По мере того, как размер этого сегмента приближается к нулю (т. е. к бесконечно малому изменению во времени), расчет все ближе и ближе приближается к точному наклону.
На самом деле мы можем измерять только среднюю скорость, но измерение среднего значения за все более и более короткие периоды времени приближает нас к мгновенной скорости.
Следовательно, нахождение значения наклона в этой точке даст вам представление о мгновенной скорости изменения скорости, которая впоследствии даст вам ускорение, а это то, чего не вычислили ни евклидова геометрия, ни ближневосточная алгебра. вне.
Почему это имеет значение, так это то, что, как и в случае со всеми нашими измерениями-аппроксимациями, мгновенные изменения скорости (или любое измерение) обеспечивают более высокое разрешение, больше деталей и больше информации по интересующему нас предмету. Подумайте о пикселях на экране вашего компьютера, чем меньше и чем больше у вас пикселей, тем более детальным будет изображение.
На данный момент видно, что мы приближаемся к машинному обучению и идее градиентного спускаиинтервалов(скорость обучения), но давайте перейдем к последней точке этот пост, с нашим следующим выдающимся математиком.
Карл Фридрих Гаусс, 1777–1855 гг.
Гаусса обычно считают одним из величайших математиков всех времен за его вклад в теорию чисел, геометрию, теорию вероятностей, геодезию, планетарную астрономию, теорию функций и многое другое.
Заметным изобретением Гаусса является метод, используемый для расчета прямой линии, которая лучше всего соответствует набору данных, который называется Регрессия наименьших квадратов. Это самая ранняя форма регрессионного анализа, которая до сих пор используется для прогнозирования.
Гаусс также вывел нормальное распределение (также известное как распределение Гаусса) и кривую в виде колокола, которая показывает, что события вблизи среднего значения имеют более высокую вероятность, чем дальше. Такие методы, как метод наименьших квадратов, применимы только к наборам данных с гауссовым распределением. В машинном обучении, где функции потерь могут быть получены из множества различных процессов и параметров, важно иметь нормальное распределение.
Примерно в 1809 году он использовал свой метод нормального распределения и метод наименьших квадратов, чтобы предсказать положение пропавшей планеты. Имея в своем распоряжении 19 точек данных, он может оценить 6 различных параметров, указывающих положение Цереры, карликовой планеты в поясе астероидов между орбитами Марса и Юпитера. Что он успешно и сделал.
Последствия
По состоянию на начало 1900-х годов исчисление для оптимизации производительности алгоритмов, линейная алгебра с векторами, матричные операции, концепции вероятности и тензорное исчисление, где довольно хорошо известные концепции заложили математические принципы грядущей революции машинного обучения.
Единственным недостающим элементом был переход от электронных ламп к транзисторам, блестящая инженерная и математическая работа и огромные объемы данных для обучения моделей и прогнозов, которые сегодня мы считаем само собой разумеющимися.
Дополнительно
Реализация Python для классификатора Perceptron
Perceptron была представлена Фрэнком Розенблаттом в 1957 году. Она имеет определенное отношение к классическому классификатору шаблонов, известному как байесовский классификатор. Когда среда является гауссовой, байесовский классификатор сводится к линейному классификатору.
Код вместе с образцом обучающего набора данных можно найти ниже:
На меня сильно повлияла эта фантастическая сессия в Королевском институте:
