© Вадим Николаевич Шмаль, 2022
© Сергей Сергеевич Павлов, 2022
ISBN 978-5-0059-4480-1
Создано в интеллектуальной издательской системе Ridero
Интеллектуальный анализ данных
Интеллектуальный анализ данных – это процесс извлечения и обнаружения закономерностей в больших наборах данных с использованием методов на стыке машинного обучения, статистики и систем баз данных, особенно баз данных, содержащих большие числовые значения. Это включает в себя поиск в больших объемах информации статистически значимых закономерностей с применением сложных математических алгоритмов. Собранные переменные включают значение входных данных, уровень достоверности и частоту гипотезы, а также вероятность обнаружения случайной выборки. Он также включает в себя оптимизацию параметров для получения наилучшего шаблона или результата, корректировку входных данных на основе некоторых фактов для улучшения конечного результата. Эти параметры включают в себя параметры для статистических средних, таких как размеры выборки, а также статистические показатели, такие как частота ошибок и статистическая значимость.
Идеальный сценарий для интеллектуального анализа данных состоит в том, что параметры находятся в порядке, что обеспечивает наилучшие статистические результаты с наиболее вероятными значениями успеха. В этом идеальном сценарии интеллектуальный анализ данных происходит в рамках закрытой математической системы, которая собирает все входные данные для системы и выдает наиболее вероятный результат. На самом деле идеальный сценарий редко встречается в реальных системах. Например, в реальной жизни этого не происходит при получении инженерно-сметной документации по реальному дизайн-проекту. Вместо этого для расчета наилучшей оценки успеха используется множество факторов, таких как параметры проекта и текущая сложность приведения проекта в соответствие со спецификациями проекта, и эти параметры постоянно меняются по мере продвижения проекта. Хотя они могут быть полезны в определенных ситуациях, например при разработке конкретных продуктов, их значения должны подвергаться постоянной переоценке в зависимости от текущих условий проекта. На самом деле лучший анализ данных происходит в сложной математической структуре задач с множеством переменных и множеством ограничений, а не в закрытой математической системе всего с несколькими переменными и закрытой математической структурой.
Данные часто собираются из множества разных источников и нескольких разных направлений. Каждый тип данных анализируется, и все эти выходные данные анализируются, чтобы получить оценку того, как каждая часть данных может или не может быть вовлечена в конечный результат. Такой анализ часто называют процессом анализа или анализом данных. Анализ данных также включает в себя определение другой важной информации о базе данных, которая может иметь или не иметь прямого влияния на результаты. Часто они также генерируются из разных источников.
Данные обычно собираются из множества различных источников, и для получения наилучших статистических результатов применяется множество статистических методов. Результаты этих методов часто называют статистическими свойствами или параметрами и часто задают математические формулы, которые предназначены для результатов каждой математической модели. Математические формулы часто являются наиболее важными аспектами процесса анализа данных и обычно структурируются с использованием математических формул, известных как алгоритмы. Некоторые математические алгоритмы основаны на некотором теоретическом подходе или модели. Другие математические алгоритмы используют логику и логические доказательства в качестве математических инструментов для понимания данных. Другие математические алгоритмы часто используют вычислительные процедуры, такие как математическое моделирование и математические инструменты, чтобы понять конкретную проблему или данные. Хотя такие вычислительные процедуры могут быть необходимы для завершения математической модели данных, такие математические алгоритмы могут иметь другие математические инструменты, которые могут быть более подходящими для реального мира. Хотя эти математические модели часто очень сложны, зачастую проще разработать математический алгоритм и модель на основе математической модели, чем разработать математический алгоритм и модель на основе реального процесса анализа данных.
В действительности обычно существует ряд математических моделей, которые обеспечивают более полное понимание ситуации и данных, чем какая-либо одна математическая модель или математический алгоритм. Затем данные анализируются, и математическая модель данных часто используется для получения определенного значения параметра. Это значение параметра обычно определяется численными расчетами. Если параметр не имеет прямой связи с результатом окончательного анализа, параметр иногда рассчитывается косвенно с использованием статистической процедуры, которая дает параметр, имеющий прямую корреляцию с результатом анализа данных. Если параметр имеет прямую корреляцию с результатом анализа данных, этот параметр часто используется непосредственно