Introdução à Mineração de Texto

Introdução à Mineração de Texto

• Mineração de texto é a extração não trivial de informações implícitas, antes desconhecidas e potencialmente úteis de grandes quantidades de dados textuais.
• É uma exploração e análise automática ou semiautomática de dados textuais (linguagem natural) para descobrir novos conhecimentos.
• O processo envolve extrair informações úteis de textos não estruturados, similar à mineração de dados, mas com fontes de dados não estruturadas ou semiestruturadas.

Exemplos de Mineração de Texto

• Inclui filtragem de e-mails e notícias.
• Classificação de artigos de notícias e páginas da web com base no conteúdo.
• Organização de repositórios de metainformação relacionada a documentos para pesquisa e recuperação (motores de busca).
• Agrupamento de documentos ou páginas da web.
• Obtenção de insights sobre tendências e relações entre pessoas, lugares e organizações.
• Identificação de associações entre entidades.

Aplicações da Mineração de Texto

• Detecção de spam.
• Análise de sentimentos.
• Classificação de tópicos (identificação do tema do texto, idioma, emoção, polaridade do sentimento, tipo de documento, dados do autor, gênero, orientação política).
• Identificação de tendências, novos tópicos e tópicos em desaparecimento nos dados.

Aplicações de Mineração de Texto para Negócios

• Auxílio na tomada de decisões em CRM, identificando reclamações típicas de clientes.
• Marketing, com descoberta de grupos distintos de compradores potenciais baseados em perfis de texto de usuários e análise de tendências de mercado.
• Identificação de grupos de concorrentes na indústria através de páginas web.
• Auxílio na tomada de decisões em gerenciamento de riscos.
• Prevenção de crimes cibernéticos, detectando e-mails de phishing com base no conteúdo e texto.
• Detecção de fraudes através da identificação de alegações falsas combinando análise de texto e dados estruturados.
• Detecção de spam por e-mail.

Estrutura de Documentos de Texto

• Não estruturados: texto livre, sem organização definida.
• Fracamente estruturados: seguem um formato predefinido (artigos científicos, relatórios de negócios, notícias) com alguma organização textual, como títulos e parágrafos.
• Semiestruturados: seguem modelos de documentos ou planilhas de estilo.
• Bancos de dados de texto são geralmente fracamente ou semiestruturados.

Estágios da Mineração de Texto

• Fontes: websites, blogs, e-mails, documentos, redes sociais.
• Informação não estruturada: HTML, dados brutos, dados OCR.
• Seleção e filtragem de documentos (técnicas de RI): identificação e recuperação de documentos potencialmente relevantes.
• Pré-processamento de documentos (técnicas de PLN): preparação e limpeza dos documentos, correção de erros, normalização ortográfica, tokenização e POS tagging.
• Processamento de documentos: conversão para um formato estruturado (PLN, técnicas estatísticas), extração de informações, análise sintática/semântica, geração de características.
• Mineração de dados/descoberta de padrões: classificação (aprendizado supervisionado), agrupamento (aprendizado não supervisionado), deteção, similaridade, mapeamento.
• Avaliação/análise dos resultados.

Desafios da Mineração de Texto

• Alto número de dimensões possíveis (mas esparsas).
• Relações complexas e sutis entre conceitos no texto.
• Ambiguidade das palavras e sensibilidade ao contexto.
• Dados ruidosos e específicos do domínio.
• Metodologia de mineração.
• Eficiência e escalabilidade.
• Diversidade dos dados.
• Interação do usuário.

Modelagem de Tópicos

• Técnica para descobrir automaticamente os temas (tópicos) principais de um conjunto de textos, sem necessitar de rótulos ou categorias predefinidas.
• O "topic modeling" atribui tópicos a textos sem supervisão, onde o modelo encontra padrões interpretados pelo usuário.

Análise Semântica Latente (LSA)

• Técnica que descobre tópicos escondidos analisando como as palavras aparecem nos textos.
• Utiliza matemática (SVD) para reduzir e revelar padrões de significado.
• Palavras que aparecem frequentemente nos mesmos documentos devem estar relacionadas ao mesmo tópico.
• O LSA encontra esses agrupamentos escondidos, mesmo que as palavras não sejam idênticas.

Alocação de Dirichlet Latente (LDA)

• Modelo probabilístico para modelagem de tópicos.

Procedimento Geral de Modelagem de Tópicos

• Tokenização e pré-processamento.
• Representação do documento e extração de características.
• Utilização de um modelo de tópico (LSA, LDA, BERTopic).
• Avaliação.

Avaliação de Modelagem de Tópicos

• Avaliação Humana: avalia se as palavras mais fortes de cada tópico fazem sentido juntas, se os tópicos atribuídos a cada texto são coerentes e se é possível dar um nome ao tópico olhando para as palavras dele.
• Métricas Intrínsecas: avaliam a qualidade dos tópicos em si, sem olhar para tarefas externas, medindo a coerência (palavras do mesmo tópico aparecem juntas) e a perplexidade (quão bem o modelo prevê os dados).
• Métricas Extrínsecas: utilizam o modelo em outras tarefas reais para ver se ele ajuda na classificação de textos.
• Resumo dos tipos de avaliação: Humana (sentido para pessoas), Intrínseca (métricas automáticas) e Extrínseca (auxílio em tarefas práticas).