Построение Ml, наоборот, не происходит на предварительно структурированной модели; скорее, данные формируют модель, обнаруживая имеющиеся основные закономерности.
Чем больше входных данных (переменных) используется в целях обучения модели, тем большая точность будет у конечной модели. Лео Брейманом выделены 2 парадигмы статистического моделирования [1]:
модель данных и алгоритмическую модель, где «алгоритмическая модель» означает более или менее алгоритмы машинного обучения, такие как Random Forest.
Некоторыми статистиками были взяты на вооружение методы машинного обучения, что привело к созданию объединенной области, которую они назвали «статистическим обучением».
ML и оптимизация
ML также имеет существенную связь с оптимизацией: формулирование многих задач обучения происходит как минимизация некоторой функции потерь на обучающем наборе примеров.
Функции потерь выражают расхождение между предсказаниями обучаемой модели и реальными примерами задачи (к примеру, при осуществлении классификации требуется присвоение метки примерам, и модели обучаются правильному предсказанию заранее присвоенных меток на солидном количестве примеров).
Различие между оптимизацией и ML машинным обучением связано с целью обобщения: если алгоритмы оптимизации позволяют минимизировать потери на обучающем множестве, то машинное обучение нацелено на минимизацию потерь на невидимых выборках. Характеристика обобщения различных алгоритмов обучения является активной темой современных исследований, особенно для алгоритмов глубокого обучения.
Обобщение является концепцией, согласно которой люди, животные и искусственно созданные нейросети прибегают к использованию прошлого опыта в настоящих ситуациях обучения, когда условия в данных ситуациях считаются схожими. Обучающимся ради более эффективной ориентации в мире используются обобщенные модели, принципы и иные сходства между опытом прошлым и опытом новым.
Примером может служить узнавание человека о том, что каждый раз, когда он ест инжир, его горло начинает чесаться и опухать. В итоге он может прийти к предположению, что у него имеется аллергия на все фрукты. Поэтому если вы предложите данному человеку съесть мандарин, он ответит вам отказом, думая, что у него на мандарины тоже аллергия, обобщая, что всеми фруктами вызывается одна и и та же проблема.
Базирующееся на опыте человека с одним фруктом обобщение об аллергии в некоторых случаях может являться правильным, но в других случаях – нет. В образовании были продемонстрированы как отрицательные, так и положительные эффекты обобщения, а также эффекты противоположного обобщению понятия,