1. Для каждого примера в наборе данных модель предсказывает вероятности принадлежности этого примера к каждому классу. Эти вероятности образуют вектор вероятностей, где каждый элемент соответствует вероятности принадлежности к одному из классов.
2. Фактичные метки классов для каждого примера также представляются в виде вектора, где один элемент равен 1 (класс, к которому пример принадлежит), а остальные элементы равны 0.
3. Сравнивая вероятности, предсказанные моделью, с фактичными метками классов, вычисляется категориальная кросс-энтропия для каждого примера. Формула для вычисления категориальной кросс-энтропии для одного примера i выглядит следующим образом:
Categorical Cross-Entropy(i) = -Σ (Фактическая вероятность(i) * log(Предсказанная вероятность(i)))
Где Σ означает суммирование по всем классам.
4. Итоговая категориальная кросс-энтропия для всего набора данных вычисляется как среднее значение категориальной кросс-энтропии для всех примеров.
Важно отметить, что в задачах многоклассовой классификации категориальная кросс-энтропия учитывает, как хорошо модель предсказывает вероятности для всех классов. Если предсказания близки к фактическим меткам классов, то значение категориальной кросс-энтропии будет близким к нулю, что указывает на хорошую производительность модели.
Важным аспектом применения категориальной кросс-энтропии является использование активационной функции "Softmax" на выходном слое модели, чтобы преобразовать необработанные значения в вероятности классов. Категориальная кросс-энтропия обычно работает с этими вероятностями, что делает её подходящей для задач многоклассовой классификации.
–
Бинарная кросс
-
энтропия
:
Применяется в задачах бинарной классификации
,
где есть два класса
.
Бинарная кросс-энтропия (Binary Cross-Entropy), также известная как логистическая потеря (Logistic Loss), является функцией потерь, применяемой в задачах бинарной классификации, где есть два класса: класс "положительный" и класс "отрицательный". Эта функция потерь измеряет расхождение между предсказанными вероятностями и фактичными метками классов.
Применение бинарной кросс-энтропии в задачах бинарной классификации выглядит следующим образом:
1. Модель предсказывает вероятности для класса "положительный" (обычно обозначенного как класс 1) и вероятности для класса "отрицательный" (обычно обозначенного как класс 0) для каждого примера. Обычно это делается с использованием активационной функции "Sigmoid", которая преобразует необработанные выходы модели в вероятности, лежащие в интервале от 0 до 1.
2. Фактичные метки классов для каждого примера также представляются в виде бинарного вектора, где один элемент вектора равен 1 (класс 1 – "положительный"), а другой элемент равен 0 (класс 0 – "отрицательный").
3. Сравнивая предсказанные вероятности моделью с фактичными метками классов,