Дивергенция KL (Кульбака-Лейблера) часто упоминается в области машинного обучения. Он измеряет сходство двух распределений P и Q. Но мы редко видим, как дивергенция KL используется в качестве цели оптимизации, а чаще мы видим, что перекрестная энтропия используется. Мы дадим введение в KL-дивергенцию и посмотрим, почему KL-дивергенция актуальна в ML? Что такое KL Divergence на самом деле? Посмотрите иллюстрацию , чтобы получить некоторое представление о дивергенции KL..