Introdução ao Text Mining

Introdução ao Text Mining

• Text Mining envolve extrair informações úteis, implícitas e desconhecidas de grandes quantidades de dados textuais.
• É o processo de exploração e análise automática ou semiautomática de dados textuais em linguagem natural para encontrar novos conhecimentos.
• Envolve a extração de informações de textos não estruturados.
• Text Mining é parecido com Data Mining, mas as fontes de dados são documentos não estruturados ou semiestruturados.

Exemplos de Text Mining

• Filtragem de e-mails e notícias.
• Classificação de notícias e páginas da web com base em seu conteúdo.
• Organização de repositórios de metainformação relacionada a documentos para motores de busca.
• Agrupamento (clustering) de documentos ou páginas da web.
• Obtenção de insights sobre tendências e relações entre pessoas, lugares e organizações.
• Identificação de associações entre entidades.
• Detecção de SPAM, análise de sentimentos e classificação de tópicos.
• A classificação de tópicos inclui análise de linguagem, emoção, polaridade do sentimento, tipo de documento, idade/gênero do autor e orientação política.
• Identificação de tendências, novos tópicos e tópicos em desaparecimento nos dados.

Aplicações de Text Mining para Negócios

• Suporte à decisão em gestão de relacionamento com o cliente (CRM), com foco nas reclamações típicas dos clientes.
• Marketing através da descoberta de grupos distintos de compradores potenciais com base em seus perfis textuais
• Identificação de tendências de mercado.
• Identificação de grupos de concorrentes na indústria através de suas páginas web.
• Suporte à decisão em gestão de risco.
• Prevenção de crimes cibernéticos, detectando e-mails de phishing pelo conteúdo e texto.
• Detecção de fraudes, identificando alegações falsas através da análise de texto combinada com dados estruturados.
• Detecção de Email Spam.

Estrutura de Documentos de Texto

• Não estruturados: textos de estilo livre, sem organização definida.
• Semiestruturados: seguem um formato predefinido, como artigos científicos, relatórios empresariais e notícias,
• Possuem alguma organização textual, como títulos, parágrafos ou frases repetidas.
• Semiestruturados: seguem templates de documentos ou planilhas de estilo.
• Os bancos de dados de texto são, em geral, fracamente ou semiestruturados.

Estágios de Alto Nível de Text Mining

• Dados não estruturados são obtidos de websites, blogs, emails, documentos e redes sociais (HTML, Raw data, OCR data).
• Seleção e filtragem de documentos usando técnicas de recuperação de informação (IR).
• Identificação e recuperação de documentos potencialmente relevantes.
• Pré-processamento de documentos usando técnicas de Processamento de Linguagem Natural (NLP).
• Correção de erros, normalização ortográfica, tokenização e POS tagging.
• Conversão para um formato estruturado (NLP, técnicas estatísticas).
• Extração de informação, análise sintática/semântica e geração de features (características).
• Mineração de dados e descoberta de padrões (classificação supervisionada, clustering não supervisionado, detecção, similaridade, mapeamento etc).
• Avaliação e análise dos resultados.

Desafios do Text Mining

• Grande número de "dimensões" possíveis (mas esparsas).
• Relações complexas e sutis entre conceitos no texto.
• Ambiguidade das palavras e sensibilidade ao contexto.
• Dados ruidosos e específicos do domínio.
• Metodologia de mineração.
• Eficiência e escalabilidade.
• Diversidade de dados.
• Interação com o usuário.