Методы классификации больших данных PDF

Методы классификации больших данных Выполнила: Плотникова Анастасия ЭЭб-21-1 Сбор и предварительная обработка данных Сбор данных Предобработка Сбор данных из различных источников, таких как базы Очистка данных от шума, пропущенных значений, данных, файлы...

Методы классификации больших данных Выполнила: Плотникова Анастасия ЭЭб-21-1 Сбор и предварительная обработка данных Сбор данных Предобработка Сбор данных из различных источников, таких как базы Очистка данных от шума, пропущенных значений, данных, файлы журналов, устройства IoT. преобразование форматов. Выбор оптимальных алгоритмов классификации Логистическая регрессия Методы опорных векторов Деревья решений Линейная модель, Нахождение оптимальной Иерархическая модель, предсказывающая вероятность гиперплоскости, разделяющей разделяющая данные по принадлежности к определенному классы данных. определенным правилам. классу. Глубокое обучение (Deep Learning) Многослойные персептроны 1 Мощные модели, способные извлекать сложные зависимости из данных. Сверточные нейронные сети 2 Специально разработаны для обработки изображений, аудио и текстовых данных. Рекуррентные нейронные сети 3 Используются для обработки последовательных данных, таких как текст и временные ряды. Деревья решений (Decision Trees) Простые в реализации Эффективные для Легко интерпретируемые и больших данных понятные для анализа Способны обрабатывать данные с результатов. большим количеством атрибутов. Устойчивы к выбросам Нечувствительны к наличию выбросов в данных. Методы опорных векторов (Support Vector Machines) Оптимальное разделение 1 Нахождение оптимальной гиперплоскости, максимизирующей расстояние до ближайших точек. Устойчивость к переобучению 2 Способность предотвращать переобучение модели на тренировочных данных. Применяемость к нелинейным задачам 3 Использование ядерных функций для обработки нелинейных данных. Оценка точности и эффективности моделей 1 2 Точность Полнота Доля верно классифицированных Доля верно классифицированных объектов среди всех объектов среди всех объектов классифицированных. заданного класса. 3 4 F1-мера AUC Гармоническое среднее точности Площадь под кривой ROC, и полноты, учитывающее оба отражающая способность модели параметра. различать классы.