Resumos MASL - PDF

MASL 14-10 aula T4 Pesquisa nas bases de dados científicas e exportação de referências importadas em ferramentas como o rayyan - lecionado na semana passada. Síntese sistemática: - estamos a seguir o modelo de Cooper, recolha de informação que dividimos em 2 pontos. - contrariamente às revisões na...

MASL 14-10 aula T4 Pesquisa nas bases de dados científicas e exportação de referências importadas em ferramentas como o rayyan - lecionado na semana passada. Síntese sistemática: - estamos a seguir o modelo de Cooper, recolha de informação que dividimos em 2 pontos. - contrariamente às revisões narrativas em que as decisões são tomadas de forma intuitiva, nas revisões temos que aplicar critérios. Fase de seleção de estudos: No início temos muitos artigos. Em primeiro lugar vamos querer avaliar quais desses artigos são relevantes para o nosso estudo. Muitos destes são falsos positivos. As palavras chave aparecem lá de alguma forma mas não é o que realmente queremos, quando vamos ver a estrutura/natureza do estudo, não cumpre os critérios de inclusão e inclui alguns critérios de exclusão. Extração de informação/codificação de características dos estudos: importante para sintetizar a literatura e mais ainda se antecipamos querer fazer uma meta-análise. Assim criamos uma base de dados para fazer essa meta-análise (experimental, operacional, etc). É preciso desenvolver um guia de codificação. Extrair a informação propriamente dita, continuando a incluir os critérios de inclusão e exclusão. Tentamos a partir do título e do abstract ver qual artigo é relevante ou não. Mas depois fazemos a leitura do artigo para perceber como o incluir na meta-análise. É aqui que revemos a nossa decisão de inclusão do estudo. A primeira decisão é dicotómica: se o artigo fica ou se sai. Avaliamos a relevância. Será que o estudo responde ao meu problema de investigação? Se sim, cumpre os critérios que faz com que isso seja assim. Se eu quero fazer uma revisão sistemática sobre estudos experimentais envolvendo a aplicação de terapia cognitiva comportamental breve em sintomas de ansiedade, a partir daqui consigo identificar alguns critérios de inclusão: o estudo ser experimental (se fosse correlacional - critério de exclusão). Usar as estratégias SPIDER e a PICO. Tudo o que nos ajudar a limitar e a focar a abordagem pode ser útil. Visão mais superficial sobre os estádios. Bastará o título e o resumo dos artigos para saber se são para incluir ou excluir. Nestas fases iniciais, vamos ter dúvidas, então, se eu quero ser exaustivo e quero incluir o máximo número de artigos na meta-análise, então em dúvida mantemos o estudo na lista. - sobreinclusivo. O que excluirmos aqui não vamos voltar a encontrar. O artigo que ficamos na dúvida podemos assinalar como “maybe? (rayyan)”, para quando examinarmos o texto completo esclarecer essa dúvida. Como fazemos isto? Esta decisão deve ser feita por mais de uma pessoa para controlar enviesamentos ou erros. Se há duas pessoas a fazer o processo é improvável que ambas cometam o mesmo erro no mesmo artigo. Logo, as incongruências serão fáceis de detectar e de esclarecer. Se foi erro ou se há decisões diferentes. Nem sempre é transparente se o critério está lá ou não, às vezes é interpretação do próprio resultado. Os erros são fáceis de resolver e o consenso é rápido. Agora quando nós temos que aplicar uma certa inferência "só quero estudos de elevada qualidade" isso depende como cada um de nós operacionaliza essa ideia, tem a ver com opiniões, há pessoas que acham que cumprir x critérios indica que é de qualidade (ex: haver grupo de controlo). Tem que ser esclarecido qual é o critério para resolver os desacordos. Se é procurar o consenso e discutirem sobre isto. Caso não se resolva haver um terceiro revisor ou consenso. Pode não ser viável ter duas ou mais pessoas a fazer este processo - se estivermos a aplicar 10 mil artigos isto é muito demorado por isso deve haver um compromisso. Deve haver uma percentagem onde se vai calcular o critério do acordo e se correr tudo bem, continua a mesma pessoa a fazer este trabalho. Exemplo: Se tivermos 10 mil artigos deverão ser pelo menos 2 pessoas a ler o título e o resumo, no entanto pode não haver recursos suficientes para isso, então podemos dividir isso por diferentes pessoas: 4 pessoas a fazer a seleção, cada uma faz 3 mil, faz 2 mil sozinha e 1 mil com outra pessoa e se depois os acordos forem bons continua igual (sobreposição). Isto pode ser feito em papel ou num ficheiro em PC (word, Excel). No entanto, existem ferramentas desenhadas especificamente para estes passos: rayyan (o professor demonstrou como utilizar na aula). Devemos incluir os motivos da exclusão assim sabemos quantos foram excluídos e porquê. Conhecer os critérios utilizados. E se houver desacordo vamos aos critérios e chegamos a consenso. A fase de seleção e de extração de informação são as mais demoradas. A extração de informação é também o que distingue a abordagem sistemática da narrativa. Ter um plano concreto de qual a informação a retirar de acordo com os nossos interesses de investigação. Para isto é bom ter um codebook para dizer quais são as variáveis, o que elas significam. Há informação que queremos recolher à partida dos estudos primários. Normalmente, estamos a fazer uma revisão para aprender mais sobre a área de investigação. Por outro lado, temos que fazer um codebook ajustado à área de investigação que eu ainda não conheço. Então vamos conseguir prever algumas coisas/variáveis que começamos a investigar. Termos que saber quais são os autores, o ano. Vai haver um grupo experimental e controlo, logo posso definir as características demográficas para cada grupo a priori (sexo, idade) e assim desenvolvo a primeira codificação do codebook. Logo sabemos todos a priori que é isto que vamos buscar. Podemos modificar acrescentando alguns campos nesse teste piloto até estarmos satisfeitos e acharmos que temos uma grelha suficientemente desenvolvida - deve ser feito por mais de uma pessoa para evitar erros e enviesamentos. Devemos codificar tudo o que poderá ser por acaso relevante - sobrecodificação, para termos a certeza. Também devemos deixar comentários sobre o artigo e o processo, dívidas que tenham surgido, preocupações que apareçam. Se eu encontro um erro que é óbvio vou corrigir e colocar já a versão corrigida na base de dados e coloco um comentário a dizer esta alteração que eu fiz. Também quando a pessoa fica com dívida da própria validade do estudo devemos colocar este comentário nas observações (“a amostra do estudo parece exatamente igual à amostra aplicada noutro estudo” (publicação duplicada - ex)). Uma sistematização possível da sistematização dos estudos: - 4 características diferentes: extrínsecas (não pertencendo ao estudo não tem conteúdo. Não influencia os resultados do estudo. Ex: ano de publicação do estudo; quem é que foram os codificadores); metodológicas; substantiva (tema, domínio do estudo); resultados (queremos extrair resultados quantitativos do mesmo para conseguir calcular o tamanho de efeito). Nem sempre a fronteira entre metodológicas e substantiva é clara, ou seja, se eu utilizo um questionário isso é metodológico mas se for questionário de ansiedade já é substantiva porque tem a ansiedade. Então o que fazemos é: características metodológicas são as que facilmente identificamos que têm um objeto de estudo diferente. (Questionário para ansiedade (substantiva), questionário correlacional (metodológico)). As características do documento (extrínsecas): segundo Cooper - ano de publicação, autor - universidade, país (contexto) O critério não é absoluto. Ver o exemplo do professor no slide 11. Ao construir esta base de dados aprendemos imenso sobre esta área de investigação e ficamos a saber que tarefas, estímulos e questionários são os mais usados. Ao ficar sistematizados os dados podemos extrair alguma informação: quantos os estudos utilizam o cérebro para a tarefa? quais são os questionários de ansiedade mais utilizados na literatura?. Vamos aos artigos primários e vamos em busca desta informação (Slide 11). Temos as variáveis e depois temos que as definir - importante quando temos mais de uma pessoa a codificar. Temos que colocar uma descrição objetiva de todas as variáveis na base de dados, para recorrermos a ela quando existe alguma dúvida. Documento que define todas as variáveis da base de dados: Nome da variável a codificar e descrever a variável e as opções de resposta que aceita a variável (value labels SPSS, Excel, Google sheets) → codebook (folha de codificação que contém: Como é codificada e quais os valores que pode assumir). O codebook garante que toda a gente tenha o mesmo referencial ao extrair a informação. Não há um único software recomendado para isto. O Excel é útil porque permite organizar a base de dados e fazer operações simples (contar o número de células; querer só ver os estudos experimentais; querer ver só os correlacionais). O Excel faz autoformações (queremos ver 2.11 e ele assume que é 2 de novembro) → Ter cuidado com isto! Ao utilizar a folha de cálculo: - deve ser legível por nós humanos e também computadores porque vai ser processada por eles. Nunca unir células porque destrói a estrutura do ficheiro de dados, o programa não vai conseguir tratar os dados neste formato. - Não devemos usar acentos, colocar o underscore (_). - Exemplo de base de dados bem estruturada (slide 15). Muitas vezes há dados em falta dos próprios artigos e por vezes nem conseguimos encontrar e deixamos como recomendação que, por exemplo, reportem os dados x ou y daqui para a frente. Perante algum dado que esteja omisso podemos tentar contactar os autores do estudo e solicitar esse dado. Quando não conseguimos o contacto com os autores, podemos procurar literatura satélite (tese de doutoramento que poderá trazer mais detalhe nos dados. Tem que ter o mesmo autor e o ano próximo. Se virmos que é o mesmo teste e a mesma amostra podemos ir lá recuperar os dados que me faltam e reportar isto). Quando a nossa hipótese é mais específica do que o estudo geral, os resultados não respondem à minha pergunta mas os dados reportados sim, então vamos aí e procuramos o que precisamos. Outra forma é a base de dados do artigo ser partilhada online, assim quando não tivermos alguma informação no artigo vamos à base de dados do mesmo. Caso não consigamos por nenhum destes recursos, podemos excluir a revisão. Devemos calcular os acordos simples da codificação feita pelas pessoas a trabalhar connosco. "o nosso acordo é x%" não tem em conta o acordo ao acaso, é mais ou menos. Então para ser mais preciso podemos calcular o Kappa de cohen ou a correlação intraclasse. (Nota: Umbrella review --> revisão sobre outras revisões; ver scoping e rapid review!!). MASL T5 21-10 Fizemos a pesquisa, encontramos os artigos, aplicamos os critérios e extraímos a informação dos estudos e chegamos à conclusão que nem todos os estudos são bons: esquecem de dar informação sobre a amostra, etc. Ao lê-los isto torna-se saliente. A qualidade de cada estudo nem sempre é simples de determinar: dois níveis: - tem a ver com as limitações e potencialidades dos diferentes desenhos (experimental); - se o estudo dentro desse desenho foi bem implementado ou se houve vieses durante a construção desse estudo. Fiz tantas asneiras que não me dá evidência concreta. Quando falamos de desenho de investigação: temos o design experimental, quase experimental, correlacional, descritivo (não há necessariamente uma inferência estatística, fazer uma sondagem para saber a prevalência de um certo comportamento, é puramente descritivo, utilizo estatísticas descritivas, sondagens), longitudinal, transversal, inter-participantes ou intra-participantes. Se o grupo é independente ou dependente. → Qual é o estudo que nos permite fazer inferências mais fortes? R: saber a relação causal entre causas e efeitos = Estudo experimental. Para testarmos a causalidade temos que produzir este estudo, manipular a variável independente e observar efeitos na variável dependente. Por isso precisamos de um grupo de controlo onde não há manipulação para sabermos a causa. → A seguir a estes estudos (experimentais) quais me oferecem mais força de evidência? R: os quase experimentais = Estudo observacional onde não há manipulação da variável independente. Ex: recrutamos uma população clínica e comparamos com o grupo de controlo. Apesar de termos selecionado esse grupo, nós não causamos a condição clínica. Grupos com esquizofrenia e grupos sem esquizofrenia, nós não lhes provocamos a esquizofrenia para fazer o estudo. Experimentais e Quase experimentais utilizam diferenças entre grupos (teste t e anovas). Os correlacionais utilizam a ANOVA e a correlação (?). A técnica estatística é irrelevante para a inferência que fazemos. Ciências biomédicas: Nos experimentais manipulamos a variável para ver o seu efeito. Nos observacionais nós só observamos o que já aconteceu naturalmente, ou seja, vamos à natureza procurar casos onde está presente a condição de interesse e vamos comparar com casos que não têm essa condição. Não conseguimos causar essa condição. Estudos de coorte - é acompanhado um grupo de pessoas doentes ou saudáveis que são acompanhadas ao longo do tempo - longitudinal - permite ver quais eram as condições iniciais das pessoas que depois tiveram a doença. A doença ainda não está presente no início - é o mais informativo. Estudos caso-controlo - recruto pessoas com a condição de interesse e um grupo de controlo e comparo os dois. A doença já está presente, apenas vou à procura dela. Vou comparar com sujeitos que não têm essa doença. A que tipo de estudo este corresponde? Estudo quase experimental. Estamos no nível observacional. A evidência correta salva vidas e a incorreta leva à perda de vida, no caso mais extremo. Estudos de caso - são apenas observações de coisas espontâneas na prática clínica. Demos uma medicação e vemos como a pessoa reagiu. A hierarquia de evidência é muito clara nas ciências. Conjunto de estudos experimentais (pegar em vários ensaios clínicos e sistematizar essa evidência) organizados numa meta análise - maior evidência. Psicologia vs biomedicina: (O que está numa coluna é equiparável à outra coluna). Temos que recordar onde estão na pirâmide de evidência. - O nosso problema como ciência não é principalmente técnico, é essencialmente ético. São limites éticos e civilizacionais que impedem fazermos certos estudos. Tudo o que causa mau-estar não pode ser feito. Não podemos tratar os seres humanos como cobaias. O que hoje em dia parece ser um dado adquirido é algo recente e então temos que continuar a lutar por ela. A psicologia é uma ciência. Só não temos mais estudos experimentais porque não podemos pegar numa pessoa e dar-lhe um traumatismo cerebral e abrir-lhe o cérebro. Temos que esperar pelos que voltam das guerras, que têm traumas. Há falta de participantes. Por isso não temos tantos estudos experimentais e não somos vistos como ciência. Avanço civilizacional → Aquisição de direitos humanos → mais ética → mais limites da nossa ciência → experiências que não podem ser feitas → devido a limites éticos. A maior parte dos estudos que podemos fazer são correlacionais e observacionais, logo a evidência que nos dão é fraca, não nos dão a evidência causal e são suscetíveis a vários enviesamentos - temos que ter consciência disso ao tirar conclusões dos estudos. Não podemos tirar conclusões como se fossem experimentais. Não são estudos controlados o suficiente, logo é natural haver essa variabilidade. Vai haver sempre estudos que estarão fora da nossa capacidade experimental. → Exemplo de estudo experimental em psicologia: Recrutar 100 pessoas e aleatoriamente foram colocadas em dois grupos - as diferenças entre si não são devidas às suas características prévias mas sim à manipulação e à distribuição ao acaso. Tudo isto feito dentro dos limites éticos. → Estudo quase experimental é equivalente aos correlacionais, a não ser a organização das variáveis, é isso que difere um do outro. Na medicina há estudos experimentais com seres humanos. E porquê? As condições para isto ser aceite têm que ser tão extremas para ser permitido. Ex: Temos um novo medicamento para o cancro que funciona nos ratinhos, mas não fazemos ideia do que pode acontecer nos humanos. Só podem participar pessoas que estejam em condição terminal. Se o prognóstico da pessoa é uma morte a curto prazo, então fazer parte de um estudo que poderá prolongar o seu prazo de vida é permitido e razoável. As condições éticas são reguladas na medicina. Só funcionam se forem aprovados pela comissão ética nacional. A medicina também tem elevadas limitações e só nos casos em que se justifica é que vão para o experimental. Experimental é melhor que não experimental. Se eu tenho estudo experimental para explorar o efeito da terapia na ansiedade. Os experimentais têm que ser lidos com mais peso do que os não experimentais na nossa revisão. Grupo clínico (aplico a terapia) e o grupo de controlo e vejo os efeitos da terapia → experimental. Depois das pessoas terem feito a terapia eu vou recrutar e comparar as duas → quase experimental. Independentemente do desenho, os estudos podem estar bem feitos ou mal feitos. Há tantos compromissos feitos durante a implementação do estudo que aquilo não me diz nada. Outro nível de avaliação do estudo para além do design é se foi bem implementado ou não, se há enviesamentos. Se o resultado não é objetivo e foi enviesado por uma prática menos correta: - Estudos primários: excluímos pessoas através dos critérios de exclusão. Quando percebemos que a pessoa não percebeu nada da tarefa depois de ela a fazer. Agradecemos por ter vindo, mas não a incluímos na base de dados. - Estudos secundários: eu recolho estudos primários e se eu detesto um primário que não cumpriu o que devia cumprir eu posso identificar e excluí-lo. Não dá uma resposta válida à questão de investigação. Se temos erros metodológicos ou de implementação temos que excluí-lo. Avaliar a qualidade de cada estudo independentemente do seu desenho de investigação. Pode haver estudos correlacionais de alta ou baixa qualidade. Como avaliamos essa qualidade? - a olho, lemos o artigo e ficamos com uma sensação se foi bem aplicado ou não. Apreciação subjetiva, depende da atenção com que eu leio o estudo. Mas temos ferramentas para ajudar neste processo, existem instrumentos/escalas que podemos aplicar a cada artigo para sistematizar a qualidade de implementação do estudo: - study diad: avaliar o desenho e a implementação do estudo. Indicadores de qualidade. Desenhado especificamente para a área da psicologia. Avalia a qualidade interna e externa, etc. - APA: linha orientadoras do que é importante constar num manuscrito. O que o estudo submetido deve conter. Dá-nos um guião para todas as informações que devem estar presentes num estudo primário ou meta análise. Há também instrumentos com o mesmo objetivo nas ciências biomédicas e eles são muitos: - ma et al (artigo que tenta sintetizar os que existem (são imensos)). Apreciar a qualidade dos estudos primários - the Cochrane collaboration. Área biomédica mais desenvolvida. As revisões da Cochrane exigem que utilizemos as ferramentas deles. Mas para os outros temos que decidir qual a ferramenta adequada a cada caso. Qual destes desenhos oferece mais força de evidência? A seguir ao experimental vem o Longitudinal, porque permite maior evidência por causa de serem longitudinais. Os quase experimentais e os correlacionais estão ao mesmo nível (vêm a seguir aos longitudinais) - pergunta de exame. Excluir estudos que apresentem baixa qualidade de implementação. Se estamos a estudar uma área com muitos experimentais vamos focar-nos nesses porque têm maior força de evidência. No entanto, se for muito mau, excluímos o estudo. Ao interpretar os resultados agregados: todos os estudos dizem que o tratamento funciona exceto um mas esse tem problemas metodológicos, então excluímos esse estudo. Na área biomédica existe uma ponderação: baixa qualidade vs alta qualidade. Maior ponderação influencia mais a média, ou seja maior qualidade do estudo influenciam mais e os de menos influenciam menos - corremos um risco de estar a concluir um resultado artificial, porque estamos a transformar a qualidade num coeficiente. Estamos a criar flutuação nos tamanhos de efeito, e não sabemos se esta escala de qualidade faz sentido. Apresentar e integrar os resultados dos estudos: Qualquer revisão sistemática com ou sem metanálise deve reportar uma tabela de síntese dos estudos (não com muitos estudos): útil para passarmos os olhos por todos os estudos revistos, para conferir alguma informação. Síntese da literatura da forma mais económica possível. Tabela com a informação mais relevante. Se for uma meta análise há sempre dados quantitativos. A tabela de síntese dos estudos diz-nos qual o estudo, os grupos que participaram, informação sobre a amostra (gênero, ibm), que medida foi utilizada, quais os outcomes medidos e os principais efeitos estatísticos encontrados. Estamos a sintetizar um estudo em meia dúzia de informações. Colocamos também os autores e o ano. Ficamos logo com uma noção do tipo de amostras recrutadas, as medidas utilizadas, os principais resultados. Temos um sumário estrito. Visão global dos estudos que há e para que lado os resultados nos estão a levar. Por vezes fazemos uma metanálise e vamos agregar quantitativamente o resultado de cada estudo primário: síntese de resultados de investigação logo há relação de variáveis e meta-efeito a analisar. Precisamos de vários estudos primários que abordem a mesma hipótese conceptual, a mesma relação entre as variáveis. Para que o resultado numérico faça sentido juntar ao estudo seguinte. Se é estudo qualitativo e outro laboratorial é difícil de fazer a meta-análise. Ao fazer uma meta-análise exploratória, metanalisar três estudos é parvo, porque posso inferir o resultado dos três numa frase. É mais económico eu dizer que há simplesmente estes três, então devemos descrever a média dos estudos agregados do que está a reportar a média de cada estudo. ( A média do estudo é x, a média do estudo é y, etc). Qualquer que sejam os números que eu coloco no algoritmo eu obtenho um resultado. Se os números iniciais não fizerem sentido, a média também não me vai fazer sentido. Quando mais criteriosos fomos a selecionar as informações melhor é a metanálise. A revisão da literatura deve ser sistemática para garantir a qualidade. Dentro do mesmo artigo com múltiplos estudos primários: quatro estudos sempre com a mesma hipótese e fazemos uma mini meta-análise destes dados obtidos dentro do mesmo projeto. Não estamos a fazer revisão de literatura mas sim a encontrar a média de estudos. Cada estudo primário vamos ter que calcular um tamanho de efeito - medida de associação entre as variáveis, quanto maior maior é a associação maior é o tamanho de efeito. Podemos estimar a presença de viés de publicação através deste tamanho de efeito. Depois aplicamos um modelo de metanálise e vamos calcular uma média ponderada pelo tamanho do estudo (quanto maior o estudo maior é a média analítica). Perceber quando é que cada efeito individual está perto ou longe do valor médio para avaliar a heterogeneidade. Estudo com tamanhos de efeito superior à média, Porquê? Estamos a analisar moderadores do tamanho de efeito. Quanto mais psicoterapia menos sintomas tem, há estudos que dizem que tem um efeito elevado e quanto menor psicoterapia menor é o efeito, posso olhar para as características dos estudos e identificar os que têm melhores resultados. Será que tem a ver com a experiência do terapeuta? Cada estudo primário é uma amostra daquele efeito que estamos a estudar, sendo que cada estudo vai variar simplesmente pela existência do erro de amostragem. Dentro de uma distribuição de resultados possíveis. De todos os estudos possíveis sobre o efeito da psicoterapia na minha ansiedade, esperaríamos que a média da distribuição seja a mais provável. Os estudos que encontro na literatura são uma amostra dos estudos que existem no total (estudos imaginários na população). Estudo que me diz que o efeito é superior à média - devido a erros de amostragem. Mas todos estes efeitos estão dentro do intervalo de confiança. Vai haver sempre flutuação nos tamanhos de efeito por causa do erro de amostragem. Explica a heterogeneidade observada. Se eu estivesse a fazer uma metanálise com estes tamanhos de efeito havia dois em que o tamanho de efeito estava mais alto do que eu queria, portanto, estes estudos podiam ter características diferentes dos outros. A análise de heterogeneidade vai tentar ver se existe alguma explicação deste género. Estes resultados quantitativos e qualitativos da leitura de resultados, o nosso objetivo é dar sentido a estes. O que concluímos a partir do trabalho? Temos que conhecer a hipótese, as variáveis e o campo de investigação. Para fazer isto temos que ter em conta as limitações a serem encontradas. Se não existir nenhum estudo experimental e só observacional isto é uma limitação. No caso de termos dados quantitativos podemos interpretar a magnitude e a direção (melhoria ou piora do grupo clínico): um tamanho de efeito segundo Cohen é pequeno - não devemos dizer isto, não devemos reduzir a uma categoria menos informativa, devemos apenas reportar o número. O tamanho de efeito depende do efeito de heterogeneidade dos estudos. O pequeno, médio e grande efeito não nos diz nada. Às vezes o tamanho de efeito pequeno traduz-se na salvação de milhares de pessoas no ano (caso da aspirina). Para passar isto a escrito temos a: jars (utilizada para estudos de revisão (qualitativa) e meta-análise (quantitativa)). Na área biomédica e na psicologia temos o PRISMA. (ESTUDAR O PRISMA) Tentar encontrar as leis gerais do comportamento - nomotética - encontrar leis gerais para todos os seres humanos - métodos qualitativos (perguntar à pessoa como correu depois de aplicar o estudo) e quantitativos. Tentam descrever o que é específico da pessoa - ideográfico - clínica que tenta perceber a pessoa pela sua unicidade, história de vida e características - conhecer a realidade particular - fazer uma entrevista ou instrumentos como questionários, se eu quero fazer a história de vida. Em ambos temos quali e quanti. O modelo prisma propõe que organizemos um fluxograma. Esta é a forma de apresentarmos os processos de seleção destes estudos. Sintetizar o processo. Estudos finais foram incluídos na revisão. Os tamanhos de efeito podem ser apresentados em tabela - dados metanalítiícos. Número de estudos que entraram na metanálise - k Outra forma de apresentar os resultados metanalíticos - gráfico de florestas - x tamanho de efeito, y número de estudos que entraram na meta análise. Média ponderada de todos os estudos da metanálise. Gráficos de funil em estudos metanalíticos que nos dão pistas sobre o viés de publicação. Se tiver uma forma de funil invertido (largo na base), quanto mais simétrico for quanto maior a precisão do estudo. Não há viés da publicação. Estatisticamente estamos bem. Se houver assimetria, mais estudos de um lado do que do outro, está a ser enviesada. 28-10 MASL T6 Tamanhos de efeito: Análise estatística e medidas de tamanho do efeito: → Gráfico dos effect sizes: para diferentes magnitudes cada um dos pontos representa um dado estatístico/amostra/tamanho diferente. Inferência estatística: D de cohen resume toda a informação do teste. Foi criada uma task force para pensar o pensamento estatístico na psicologia. Recomendações de como utilizar a estatística na psicologia de forma rigorosa e progressiva. Principais pontos da análise da task force: - importância de reportar os tamanhos de efeito. É muito importante reportar. Porque se eu encontro um valor t de 2 com 30 pessoas e encontro outro t de 2 em 300 pessoas, o tamanho do efeito não é o mesmo, apesar da estatística do teste ser igual. Tamanhos amostrais diferentes. → O tamanho de efeito mostra a magnitude e a direção do efeito permitindo ter a noção prática do efeito: quantos desvios padrões um grupo está acima de outro; força de associação entre duas variáveis. - incluir os intervalos de confiança que mostrem a incerteza em torno das estatísticas. Se temos 95% de confiança que esteja entre dois valores. Quando reportamos a estatística pontual, a média é o valor único, mas se colocarmos os intervalos de confiança mostramos a incerteza estatística em torno daquela estatística. Mais rigorosa mas menos precisa naquele parâmetro estatístico. As medidas não são perfeitas, têm uma incerteza. → Muitos estudos com amostras pequenas têm intervalos de confiança tão grandes que o efeito podia ir no sentido contrário. Se esconderem isso parece que encontraram algo espetacular, mas não. - é importante fomentar o uso das metanálises como forma de rentabilizar a investigação passada e implementar o pensamento metanalítico: todo o estudo que é feito observa a realidade mas pode resultar em estatísticas enviesadas devido ao erro que eu cometo no processo e o erro de amostragem (azar de calhar na minha amostra os valores mais extremos, a média da população não é essa - quero saber a altura média de Portugal e recruto participantes que jogam basquetebol, vou medir a altura e chego à conclusão que em média em Portugal medem 1.95 H e 1.82 F. Isto é um erro de amostragem. A minha média da amostra, está distante da média da população, fiz processo de recrutamento enviesado. Teria que recrutar aleatoriamente na população portuguesa). Por muito confiante que eu esteja no meu estudo, ele pode ter sido muito afetado pelo erro de amostragem. Mas se eu continuar a fazer estudos em outros contextos e recrutar pessoas de outros contextos vou ter análises metanaliticas cada vez mais próximas da realidade, tamanhos de efeito próximos dos reais da população → replicação e o conhecimento cumulativo. Pensamento metanalítico é mesmo isto, fiz o meu estudo com aquela amostra bizarra, mas vou esperar que saiam mais estudos ou eu faço mais estudos e a média de todos os estudos já vai dar a média real da altura dos portugueses. → Extensão e replicação conceptual (replicação com extensão): replicar as mesmas variáveis (estudar o mesmo fenômeno) mas em contextos diferentes (diferente amostra). → Replicar puramente: amostra o mais parecida possível. Reportar o tamanho de efeito, os intervalos de confiança e as metanálises são muito importantes para se perceber o que já se sabe, levando ao aumento exponencial da investigação. Técnicas paramétricas: Porque é que os testes se chamam paramétricos? R: Quando temos uma amostra de alguma coisa nós a primeira coisa que olhamos é o resultado do questionário - média dos resultados - como sabemos se a média é um bom sumário daqueles resultados? → De acordo com a dispersão dos resultados. Poderão haver médias que representam bem ou não, sabemos isso através do desvio padrão ou invariâncias. Temos que ver para onde os resultados tendem e quão dispersos estão. Se houver um desvio padrão grande quer dizer que há resultados afastados do valor médio. Se for pequeno há resultados próximos. - A média e o desvio padrão são parâmetros da amostra - descritiva. Inferência da amostra para a população - estatística inferencial - encontrar os parâmetros da população. - Nos testes paramétricos temos a distribuição normal - curva normal. Dispersão da população, como sei? R: Parâmetros amostrais - Média e desvio padrão. Esta é a melhor informação da amostra da população. Vou pegar neles e vou poder estimar o que é que seria a distribuição total daquela população, porque com estes parâmetros consigo desenhar a curva gaussiana. Curva larga ou estreita - diz-nos a dispersão. Na população as estatísticas de teste distribuem normalmente e obedecem a uma distribuição observada na nossa amostra. E é a partir daqui que falamos de técnicas paramétricas porque da amostra conseguimos inferir a população. A curva normal da população dá para fazer a inferência estatística, se o valor é significativo ou não. → A média da amostra tende a ser próxima da da população mas não é igual. Exemplo: Estudo 1: Se eu tirar uma amostra da população, será que vou obter uma média igual? Não. Estudo 2: Se eu tirar outra amostra da mesma população, será que vou obter uma média igual à que obti anteriormente? Não. É sempre próximo mas não é igual. 5% das nossas amostras aceitamos que são diferentes mas na verdade não são, diferem apenas de erro de amostragem. Há uma variação entre os estudos devido ao erro de amostragem. Tiro uma amostra ligeiramente diferente da população todas as vezes. Slide 5: Dois grupos: controlo e experimental. Gráfico de bigodes com os resultados de ambos os grupos. Mostra a diferença das distribuições. Como interpretamos este gráfico? R: Através da distância interquartílica dentro do retângulo. Entre estes limites do retângulo temos 95%. Podemos imaginar a distribuição normal que está subjacente: E assim temos a distribuição mais clara dos dados. Se é simétrica, se é superior ou inferior. Isto são os dados da amostra - slide 6. Mas queremos generalizar para a população, para isso calculamos a média e o DP e introduzimos na curva gaussiana. Assim conseguimos ver como isto ocorre na população (modelo ideal da distribuição dos resultados). A curva normal é o fenómeno causado por inúmeros fatores independentes entre si, o que observamos é uma distribuição normal - observação empírica. Em certas áreas usamos outros modelos estatísticos - distribuição uniforme, binomial, se isso representar melhor o fenómeno subjacente. a, b, c e d: histograma da curva normal. Slide 7: Dentro dos testes paramétricos há muitos testes e surge a dúvida de qual o teste usar - descobrimos através de gráficos taxonómicos. → 2 amostras - independentes - teste t para amostras independentes. → Duas amostras Dependentes - recolhendo as mesmas pessoas deram informação para as 2 variáveis que estamos a testar. → Duas amostras Independentes - Diferentes pessoas a responder → Uma amostra independente → Uma amostra dependente - pessoas com a mesma doença e idade, por exemplo. Exemplo: Se eu tenho dois questionários (um deles é de ansiedade) aplicados na mesma amostra que teste uso para ver que estão associados? Correlação de Pearson. Se eu agora divido a minha amostra entre homens e mulheres e quero ver quem tem níveis maiores de ansiedade, como faço? Teste t para amostras independentes. Diferença entre 2 grupos - teste t Análise de variância - se eu tenho 3 grupos e quero ver a diferença. Slide 8: 2 grupos e pessoas diferentes, e quero ver se a média difere entre eles: teste t para amostras independentes. Vamos avaliar a significância: Se o valor t for suficientemente extremo para observar que a hipótese nula é verdadeira (diferença na pop é 0), então é muito improvável que tenha vindo de grupos com médias diferentes de zero. Logo os grupos vêm de populações diferentes. Slide 9: Diferença estatisticamente significativa Análise de variância = ANOVA. Fiz a análise de variância e notei algo parecido entre os dois testes: têm o mesmo valor p. Mas o F de um não tem nada a ver com o F de outro. No entanto... A distribuição F é t ao quadrado. Então (-3.552)² é igual a 12.617. Slide 11: Modelo Linear para os dois na população (gráfico) e fazemos a correlação: o que obtemos é que conseguimos obter o r através do d e t. Peguei nas duas variáveis e pedi a regressão linear: tenho (o que está a vermelho) - são tudo valores conhecidos anteriormente. Então qual é o teste correto? R: Todos estes testes dão a mesma inferência estatística. São matematicamente diferentes mas acabam nos mesmo resultados. Portanto são matematicamente equivalentes. Logo diferentes estudos com diferentes testes podem ser combinados entre si porque estão a combinar a mesma coisa - ótima notícia para a metanálise. Todos os testes paramétricos são instâncias do modelo linear (slide 13). Slide 13: O teste t, a variância, a correlação são formas matemáticas para chegar aos mesmos resultados/parâmetros. Variável preditora: x Variável outcome/resultado: y Para grupos utilizar testes t e anovas Para dados contínuos: utilizar regressões e variações. Mas na prática podemos fazer qualquer um. Chegamos à mesma inferência. Isto apenas para os casos bivariados!!! Nos multivariados: o resultado independente é o somatório das dependentes. Soma Linear de vários preditores (somatório) para prever uma soma linear de vários outcomes. Toda a estatística paramétrica tem a mesma base e pode ser derivada dos mesmos fundamentos matemáticos - modelo linear geral - relação linear entre x e y e a soma de vários x e ys, que se somam linearmente. Isto permite-nos converter numa mesma métrica de tamanho de efeito que podemos juntar à metanálise. Testes não paramétricos: Os resultados não são matematicamente comparáveis, porque em certos conjuntos de dados temos uma elevada correlação de Pearson e de spearman e noutros há uma elevada de spearman mas pode não haver uma elevada de Pearson, logo não podemos juntar os dois na mesma metanálise - Isto acontece com testes não paramétricos. → Não devemos utilizar paramétricos com não paramétricos no mesmo modelo. → Se forem ambos paramétricos estamos seguros em compará-los - útil na metanálise. Slide 15: Todo o tipo de testes paramétricos permite recolher tamanhos de efeito comparáveis entre si. Slide 16: Tamanhos de efeito: O que é e quais são os mais utilizados em metanálise, o que significam e como são calculados? R: Há diferentes métricas, é tudo o que representa a força de associação entre 2 variáveis. Mais informativo que o valor p. Se encontrarmos os intervalos de confiança a 95 significa que o tamanho de efeito é significativamente diferente de 0. Se temos dois grupos com o mesmo valor, assumimos que as populações são iguais e um tamanho de efeito pequeno quer dizer que são equivalentes. Mas se for maior, significa que elas são mais afastadas. Slide 17: Tipos de tamanhos de efeito: Tamanhos de efeito standardizados. A forma mais simples de medir o tamanho de efeito é a diferença bruta entre as médias (resultados brutos da amostra) → Retemos a mesma unidade de medida utilizada pelo teste. Em psicologia não fazemos isto porque não conseguimos ter unidade de medida para a ansiedade. Na psicologia não se usa diferenças brutas. Então vamos para as diferenças de média standardizadas: dividimos pelo desvio da distribuição a diferença de médias. -1