Презентация Иерархическая кластеризация данных Мелков Никита

Иерархическая кластеризация данных Добро пожаловать! В этом представлении мы рассмотрим иерархическую кластеризацию данных, мощный метод анализа данных, который позволяет нам разделить данные на группы, основанные на их сходстве. Определение и принципы Определение...

Иерархическая кластеризация данных Добро пожаловать! В этом представлении мы рассмотрим иерархическую кластеризацию данных, мощный метод анализа данных, который позволяет нам разделить данные на группы, основанные на их сходстве. Определение и принципы Определение Принципы Иерархическая кластеризация - это метод, который Основной принцип - использовать меру расстояния между строит иерархию кластеров, начиная с отдельных точек точками данных для определения их близости. Алгоритмы данных и постепенно объединяя или разделяя их, создавая ищут оптимальные кластеры, минимизируя расстояние древовидную структуру. между точками в одном кластере и максимизируя расстояние между кластерами. Алгоритмы иерархической кластеризации Агломеративный Дивизионный Начинает с индивидуальных Начинает с одного большого точек данных, объединяя их в кластера и разбивает его на кластеры, пока не образуется более мелкие, пока не один большой кластер. останутся только отдельные точки данных. Агломеративный метод 1 Инициализация Каждая точка данных - отдельный кластер. 2 Объединение Объединяются два ближайших кластера, формируя новый кластер. 3 Повторение Процесс объединения повторяется до тех пор, пока не останется один кластер. Дивизионный метод 1 Инициализация Все точки данных в одном большом кластере. 2 Разделение Кластер делится на два, выбирая наиболее удаленные точки данных. 3 Повторение Процесс разделения повторяется для каждого кластера до тех пор, пока не останутся только отдельные точки данных. Выбор метрики расстояния Евклидово расстояние Манхэттенское расстояние Косинусное сходство Прямое расстояние между двумя Сумма абсолютных значений Измеряет угол между векторами, точками в многомерном пространстве. разностей координат двух точек. представляющими точки данных. Оценка числа кластеров Метод локтя Использует визуальное представление, чтобы найти точку, где кривая 1 "ломается". Силуэт-критерий 2 Измеряет сходство каждой точки данных с ее собственным кластером и с соседними кластерами. Критерий Калани 3 Использует матрицу расстояний между кластерами, чтобы найти оптимальное число кластеров. Преимущества и ограничения Преимущества Ограничения Иерархическая кластеризация проста в реализации, Чувствительность к выбору метрики расстояния, обеспечивает визуальное представление и позволяет нам трудность определения оптимального числа кластеров и легко изучать данные. неспособность обрабатывать большие наборы данных. Примеры применения 1 Маркетинг Сегментация клиентов для целевой рекламы. 2 Биология Классификация видов по сходным чертам. 3 Финансы Группировка акций по сходным моделям поведения. Заключение и дальнейшие перспективы Иерархическая кластеризация - мощный инструмент для анализа данных, предлагающий интуитивно понятный подход к группировке данных. Дальнейшие исследования могут фокусироваться на разработке более эффективных алгоритмов и методов для работы с большими наборами данных.