Пакет FSelector предлагает алгоритмы для фильтрации предикторов, алгоритмы с оберткой классификаторов, и алгоритм поиска разделения предикторов на подмножества (например, поиск по первому наилучшему совпадению, обратный поиск, поиск вперед, поиск восхождения на вершину). Пакет также позволяет выбрать подмножества предикторов с учетом их весов, выполняя различные способы отсечения.
11.6.4. Пакет «CORElearn»
Пакет «CORElearn» имеет большое число критериев упорядочения предикторов по их важности. Особое место занимают критерии, которые основаны на Relief, что позволяет оценивать предикторы, имеющие корреляцию между собой. Учет этой корреляции позволяет строить модели случайного леса, дающие устойчивые характеристики вне выборки.
11.7. Функции R
Приведем некоторые функции, которые могут быть использованы при работе над данным разделом.
Приведено название функции, а в скобках название пакета, в котором функция расположена. Для использования функция необходима загрузка пакета, а если его еще нет, то и установка.
Если названия пакета не приведено – это означает, что функция имеется в базовом пакете и не требуется предварительная загрузка пакета.
Для реализации идей данного раздела могут быть использованы следующие пакеты: caret, klaR, leaps, MASS, pROC, rms и stats.
11.7.1. Выбор вперед, назад и пошаговый
Есть несколько функций R для этого класса:
– может использоваться step в пакете stats для поиска соответствующих подмножеств для линейной регрессии и обобщенных линейных моделей (функции lm и glm, соответственно). Аргумент direction управляет методом поиска признака (например, «both,» «backward» или «forward»). Более общая функция – функция stepAIC в пакете MASS, который может обработать дополнительные типы моделей. В любом случае, статистика AIC (или в ее разновидности) используется в качестве целевой функции;
– функция fastbw в пакете rms проводит подобные поиски;
– у функции regsubsets в пакете leaps есть подобная функциональность;
– пакет klaR содержит функцию stepclass, которая ищет пространство предикторов для моделей, максимизирующая точность кросс-проверки.
Функция train пакета caret позволяет уменьшить риск смещения при выборе предикторов.
11.7.2. Рекурсивное удаление предикторов
Пакеты caret и varSelRF содержат функции ля рекурсивного удаления предикторов.
varSelRF (varSelRF)
рекурсивное удаление предикторов только в моделях случайного леса
rfe (caret)
универсальная обертка для любых предсказательных моделей
11.7.3. Методы фильтрации
В пакете caret имеется функция sbf, которая выбирает предикторы для модели с оценкой результативности ресемплированием.
Часть 2. Краткое описание Rattle
Вторая часть книги является краткой инструкцией для работы с Rattle. Организация материала продиктована