Introdução ao Text Mining

Introdução ao Text Mining

• O text mining é a extração não trivial de informações implícitas, desconhecidas e potencialmente úteis de grandes quantidades de dados textuais.
• Envolve a exploração e a análise de dados textuais (linguagem natural) por meios automáticos e semi-automáticos para revelar novos conhecimentos.
• É o processo de extrair informações úteis de textos não estruturados.
• Difere da mineração de dados, pois lida com fontes de dados não estruturadas ou semiestruturadas.

Exemplos de Text Mining

• Filtragem de e-mails e notícias.
• Classificação de notícias e páginas web com base em seu conteúdo.
• Organização de repositórios de metainformação relacionada a documentos para mecanismos de busca.
• Agrupamento de documentos ou páginas web.
• Obtenção de insights sobre tendências e relações entre pessoas, lugares e organizações.
• Identificação de associações entre entidades.

Aplicações de Text Mining

• Detecção de spam.
• Análise de sentimentos.
• Classificação de tópicos, incluindo linguagem, emoção, polaridade do sentimento, tipo de documento, idade e gênero do autor e orientação política.
• Identificação de tendências, novos tópicos e tópicos em desaparecimento nos dados.

Aplicações de Text Mining para Negócios

• Suporte à Decisão em CRM:
  • Identificação de reclamações típicas de clientes.
• Marketing:
  • Descoberta de grupos distintos de potenciais compradores com base em perfis textuais de usuários.
  • Identificação de tendências de mercado.
• Indústria:
  • Identificação de grupos de páginas web de concorrentes.
• Suporte à Decisão em Gestão de Risco.
• Prevenção de Crimes Cibernéticos:
  • Detecção de e-mails de phishing com base no conteúdo e texto.
• Detecção de Fraudes:
  • Identificação de falsas alegações combinando análise de texto e dados estruturados.
• Detecção de Spam por E-mail.

Estrutura dos Documentos de Texto

• Não Estruturados:
  • Textos de estilo livre, sem organização definida.
  • Exemplos: texto livre, solto, sem padrão claro.
• Fracamente Estruturados:
  • Seguem um formato predefinido, como artigos científicos, relatórios empresariais e notícias.
  • Possuem alguma organização textual, como títulos, parágrafos ou frases repetidas.
• Semiestruturados:
  • Seguem modelos de documentos ou planilhas de estilo.
• Os bancos de dados de texto são, em geral, fracamente estruturados ou semiestruturados.

Estágios de Alto Nível de Text Mining

• Fontes de Dados:
  • Websites, blogs, e-mails, documentos e redes sociais.
  • Informações não estruturadas, como HTML, dados brutos e dados OCR.
• Seleção e Filtragem de Documentos:
  • Utilização de técnicas de Recuperação de Informação (IR).
  • Identificação e recuperação de documentos potencialmente relevantes.
• Pré-processamento de Documentos:
  • Preparação e limpeza dos documentos, utilizando técnicas de Processamento de Linguagem Natural (NLP).
    • Correção de erros, normalização ortográfica, tokenização e POS tagging.
• Processamento de Documentos:
  • Conversão para um formato estruturado, utilizando técnicas de NLP e estatísticas.
    • Extração de informação, análise sintática/semântica e geração de features.
• Descoberta de Mineração de Dados/Padrões:
  • Classificação (aprendizado supervisionado).
  • Agrupamento (aprendizado não supervisionado).
  • Detecção, similaridade e mapeamento.
• Avaliação/Análise de Resultados.

Desafios do Text Mining

• Grande número de "dimensões" possíveis (mas esparsas).
• Relações complexas e sutis entre conceitos no texto.
• Ambiguidade das palavras e sensibilidade ao contexto.
• Dados ruidosos e específicos do domínio.
• Metodologia de mineração.
• Eficiência e escalabilidade.
• Diversidade de dados.
• Interação com o usuário.