→ Дерево решений — это древовидный алгоритм, используемый для определения курса действий, каждая ветвь которого представляет собой возможное решение, событие или реакцию.
Давайте рассмотрим терминологию :-
Энтропия. Энтропия — это мера «случайности» или «примеси» в наборах данных.
Энтропия должна быть низкой!
Прирост информации — это мера снижения энтропии после разделения набора данных, также известная как снижение энтропии.
Прирост информации должен быть высоким!
Листовой узел — Листовой узел несет классификацию или решение.
Корневой узел. Верхний узел принятия решений называется корневым узлом.
Пример. – Как работает дерево решений?
Предположим, ваша мама сказала вам пойти в супермаркет и купить что-нибудь из пайка. Давайте взглянем ;
Постановка задачи: классифицировать все предметы рациона на основе признаков.
И вот список: рис, пшеница, бобовые, соль, сахар, порошок куркумы.
Давайте определим, принес человек нужные вещи или нет.
- Набор данных довольно беспорядочный, и в этом случае энтропия высока.
Обучающий набор данных:-
Мы должны сформулировать условия, которые разделяют данные таким образом, чтобы прирост информации был максимальным.
Теперь, если мы посмотрим на наше дерево;
Так как каждая ветвь теперь содержит один тип метки, можно сказать, что энтропия в этом случае достигла наименьшего значения.
Теперь это дерево может с максимальной точностью предсказывать все классы животных, присутствующих в наборе данных.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Это все об этом посте, я знаю, что рассчитал энтропию и прирост информации, извините за это, но я скоро сделаю это, иншаАллах, с другим примером.
Если что-то не так, пожалуйста, поправьте меня, я буду рад узнать.
Счастливого обучения!
Мой LinkedIn не стесняйтесь подключать меня :)
Спасибо.
