Resumos MASL comprimido PDF

Métodos Avançados de Síntese da Literatura Fernando Ferreira-Santos [email protected] Neuropsicologia Fernando Ferreira-Santos 1  Neuropsicologia Fernando Ferreira-Santos 2  Neuropsicologia Fe...

Métodos Avançados de Síntese da Literatura Fernando Ferreira-Santos [email protected] Neuropsicologia Fernando Ferreira-Santos 1  Neuropsicologia Fernando Ferreira-Santos 2  Neuropsicologia Fernando Ferreira-Santos 3  Porém, conhecer a literatura científica é uma tarefa cada vez mais difícil. Em 2018 foram publicados mais de 2.5 milhões de artigos científicos (https://ncses.nsf.gov/pubs/nsb20206/publication- output-by-region-country-or-economy) Imprimir a primeira página de todos os artigos indexados na Web of Science à data de 2014 levaria a uma pilha de +5.5 km de altura (Van Noorden et al., 2014, Nature. https://doi.org/10.1038/514550a) Este problema coloca-se na investigação científica mas também em contextos aplicados de prática baseada na evidência. Neuropsicologia Fernando Ferreira-Santos 4  Solução: revisões ou sínteses da literatura Resume porções da literatura científica Oferece sumário da evidência empírica, podendo este ser quantitativo (meta-análise) Potencialmente útil para investigação, prática, desenho de políticas Neuropsicologia Fernando Ferreira-Santos 5  Síntese de literatura e hierarquia de evidência Neuropsicologia Fernando Ferreira-Santos 6  Métodos Avançados de Síntese de Literatura Conhecimento e competências de síntese de literatura como competência transversal Se não como “produtor”, pelo menos como “consumidor” Neuropsicologia Fernando Ferreira-Santos 7  Objetivos UC 1. Conhecer as diferentes tipologias de sínteses de literatura (e.g., sistemáticas/não sistemáticas, narrativas/quantitativas) e as vantagens das sínteses sistemáticas e meta-análises. 2. Ser capazes de apreciar a força de evidência empírica em função da qualidade dos estudos e seu desenho metodológico e enquadrar as sínteses de literatura como sumários da evidência acumulada. 3. Conhecer e ser capaz de aplicar os passos envolvidos na revisão sistemática da literatura, desde a formulação do problema de investigação até à redação da síntese propriamente dita. 4. Compreender e aplicar os procedimentos estatísticos de cálculo, combinação meta-analítica e análise da heterogeneidade de tamanhos de efeito. 5. Conhecer ferramentas computacionais (software) para a condução de sínteses sistemáticas da literatura e meta-análises. Neuropsicologia Fernando Ferreira-Santos 8  Programa 1. Síntese da literatura 1.1. Da revisão narrativa da literatura à síntese sistemática de resultados de investigação 1.2. Breve história da síntese de literatura e meta-análise 1.3. A "crise da reproducibilidade": consequências para a revisão sistemática 2. Síntese sistemática da literatura 2.1. Formulação do problema 2.2. Pesquisa por estudos 2.3. Critérios de inclusão/exclusão de estudos 2.4. Codificação das características dos estudos 2.5. Avaliação da qualidade da evidência 2.6. Síntese de literatura para estudos “quantitativos” e “qualitativos” 3. Análise estatística e medidas de tamanho do efeito 4. Meta-análise: combinação de tamanhos do efeito 4.1. Métodos de combinação de tamanhos de efeito (meta-análise) 4.2. Análise do viés de publicação 4.3. Análise da heterogeneidade 4.4. Apresentação de resultados meta-analíticos 5. Considerações práticas 5.1. Software para apoio a sínteses sistemáticas da literatura e meta-análise 5.2. Ferramentas de apoio à reproducibilidade (do pré-registo à publicação) Possibilidade de participação de convidados Neuropsicologia Fernando Ferreira-Santos 9  Bibliografia Cooper, H. (2017). Research synthesis and meta-analysis: A step-by- step approach (5th ed.). Sage. Cumming, G., & Calin-Jageman, R. (2017). Introduction to the new statistics: Estimation, open science, and beyond. Routledge. Cooper, H., Hedges, L. V., & Valentine, J. C. (2019). Handbook of research synthesis and meta-analysis (3rd ed.). Russell Sage Foundation. Revista (métodos advançados): Research Synthesis Methods. http://onlinelibrary.wiley.com/journal/10.1002/(ISSN)1759-2887 Neuropsicologia Fernando Ferreira-Santos 10  Bibliografia Cooper, H. (2016). Research synthesis and meta-analysis: A step-by- step approach (5th ed.). Sage. Cumming, G., & Calin-Jageman, R. (2017). Introduction to the new statistics: Estimation, open science, and beyond. Routledge. Cooper, H., Hedges, L. V., & Valentine, J. C. (2019). Handbook of research synthesis and meta-analysis (3rd ed.). Russell Sage Foundation. Revista (métodos advançados): Research Synthesis Methods. http://onlinelibrary.wiley.com/journal/10.1002/(ISSN)1759-2887 Neuropsicologia Fernando Ferreira-Santos 11  Avaliação Avaliação distribuída com exame final – Exame: 70% – Exercícios semanais: 30% Exercícios semanais – Exercícios/questões no Moodle da UC relativos aos conteúdos lecionados – Nota dos Exercícios semanais (0-20 valores) corresponderá à média das pontuações obtidas em todas as semanas exceto aquela em que o estudante tiver pior pontuação – Anúncio de início dado na aula – Cada exercício será lançado no final da aula e terão de responder até à aula seguinte – Estudantes abrangidos por estatutos especiais poderão realizar a UC por exame final, devendo solicitar esse formato de avaliação ao docente no início do semestre Neuropsicologia Fernando Ferreira-Santos 12  Neuropsicologia Fernando Ferreira-Santos 13  Métodos Avançados de Síntese da Literatura Introdução Fernando Ferreira-Santos [email protected] Neuropsicologia Fernando Ferreira-Santos 1  Sumário 1. Síntese da literatura – 1.1. Da revisão narrativa da literatura à síntese sistemática de resultados de investigação – 1.2. Breve história da síntese de literatura e meta- análise – 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática Neuropsicologia Fernando Ferreira-Santos 2  Disseminação do conhecimento científico Literatura científica: – Conhecimento mais recente, menos estabelecido Artigo científico divulgado online (pre-print; e.g., https://psyarxiv.com) Artigo científico publicado após revisão de pares (peer-review) Handbook Textbook Ensino obrigatório – Conhecimentos menos recente, mais estabelecido – Aprendizagens iniciais baseiam-se nas fontes bibliográficas mais sintéticas e estabelecidas (textbooks, handbooks) – Porém, acompanhar o progresso científico implica acompanhar a publicação dos novos artigos Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 3  O problema do volume da publicação científica Em 2018 foram publicados mais de 2.5 milhões de artigos científicos (https://ncses.nsf.gov/pubs/nsb20206/publication- output-by-region-country-or-economy) Imprimir a primeira página de todos os artigos indexados na Web of Science à data de 2014 levaria a uma pilha de +5.5 km de altura (Van Noorden et al., 2014, Nature. https://doi.org/10.1038/514550a) Este problema coloca-se na investigação científica mas também em contextos aplicados de prática baseada na evidência. Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 4  Revisão da literatura “The individual scientist is being overloaded with scientific information. Perhaps the alarm over an “information crisis” arose because sometime in the last information doubling period, the individual psychologist became overburdened and could no longer keep up with and assimilate all the information being produced that was related to his [sic] primary specialty.” (p. 350) Em que ano terá sido publicada a afirmação apresentada? Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 5  Revisão da literatura “The individual scientist is being overloaded with scientific information. Perhaps the alarm over an “information crisis” arose because sometime in the last information doubling period, the individual psychologist became overburdened and could no longer keep up with and assimilate all the information being produced that was related to his [sic] primary specialty.” (p. 350) Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 6  Neuropsicologia Fernando Ferreira-Santos 7  Revisão da literatura Grande crescimento na investigação (1960-1970) Facilidade de acesso a artigos de investigação com a Internet Necessidade de ter fontes de confiança que resumam a investigação passada Abordagens baseadas na evidência para definição de políticas que dependem de um relato objetivo da evidência acumulada Solução para o problema: revisões de literatura Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 8  O que é uma “revisão da literatura”? Revisão de literatura – Definição geral: Estudo realizado sobre material publicado previamente (i.e., sobre estudos primários) É um estudo secundário – Taxonomia (tabela) → Cooper, H., Hedges, L. V., & Valentine, J. C. (2019). Research synthesis as a scientific process. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (3rd ed., pp. 3–16). Russell Sage Foundation. Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 9  O que é uma “revisão da literatura”? Tipologia de revisões de literatura (Grant & Booth, 2009) – Revisão da literatura: termo genérico – Revisão sistemática: envolve procedimento sistemático de pesquisa, apreciação e síntese de resultados – Meta-análise: técnica estatística de combinação de resultados quantitativos entre estudos – Outros tipos de revisão (selecionados, lista completa em Grant & Booth, 2009): Scoping review: avaliação preliminar do tamanho e escopo potenciais da literatura existente; procura identificar a natureza e extensão da evidência para o problema em questão. Rapid review: revisão rápida, devido a restrições temporais do que é conhecido na literatura sobre um problema muito específico; pode utilizar métodos sistemáticos, embora por vezes simplificados para garantir maior rapidez Umbrella review: revisão de outras revisões para compilar essa evidência num documento único Grant, M. J., & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26(2), 91–108. https://doi.org/10.1111/j.1471-1842.2009.00848.x Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 10  Síntese sistemática de resultados de investigação Dentro das revisões, um tipo central é a revisão de resultados. Síntese de resultados de investigação: definição – Conjunção de aspetos específicos da taxonomia de revisões de literatura de Cooper et al.: Focus: research findings Goal: integration | generalization Embora abordem outros pontos (e.g., teorias, identificação de temas centrais) – “Replace those papers that have been lost from sight behind the research front” (Price, 1965, p. 515) Price, D. (1965). Networks of scientific papers. Science, 149, 510-515. https://doi.org/10.1126/science.149.3683.510 Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 11  Síntese sistemática de resultados de investigação Síntese de resultados de investigação: definição – “Meta-análise” por vezes usado como sinónimo, mas não devia Definição original de meta-análise: procedimentos quantitativos que podem ser usados para combinar estatisticamente os resultados de estudos “Nem todas as sínteses de resultados de investigação são apropriadas para meta-análise” (Cooper, Hedges, & Valentine, 2019, t.l.) Cooper, H., Hedges, L. V., & Valentine, J. C. (2019). Research synthesis as a scientific process. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta-analysis (3nd ed.) (pp. 3-16). New York: Russel Sage Foundation. Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 12  Síntese sistemática de resultados de investigação Síntese de resultados de investigação – Síntese narrativa Forma tradicional de síntese, dependente da posição e interesses do autor – pode ser uma leitura muito interessante, mas… Suscetível a viés do autor – Pesquisa e inclusão de estudos – Recolha de informação dos estudos – Avaliação/interpretação dos estudos Critérios de pesquisa, inclusão, recolha de informação dos estudos primários não são tipicamente reportados Virtualmente impossível de replicar Não resulta na indicação da magnitude do efeito Cooper, H. (2017). Research synthesis and meta-analysis: A step-by-step approach (5th ed.). Sage. Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 13  Síntese sistemática de resultados de investigação – Síntese narrativa -- exemplo https://doi.org/10.1146/annurev-psych-120710-100422 Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 14  Síntese sistemática de resultados de investigação Síntese de resultados de investigação: abordagem científica – Síntese sistemática Paralelismo entre estudo secundário (de revisão) e estudo primário: transparência e rigor metodológico deve aplicar-se em ambos os casos – E se um estudo primário não reportasse características da amostra? Viés continua a existir, mas é reconhecido e controlado Decisões metodológicas tomadas durante o processo de revisão são explicitamente reportadas Estudo potencialmente replicável Nalgumas situações, permite meta-análise resultando num tamanho de efeito combinado Cooper, H. (2017). Research synthesis and meta-analysis: A step-by-step approach (5th ed.). Sage. Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 15  Síntese sistemática de resultados de investigação – Síntese sistemática -- exemplo https://doi.org/10.1111/obr.12607 Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 16  Síntese sistemática de resultados de investigação = revisão narrativa Síntese de resultados de investigação http://libguides.library.curtin.edu.au/c.php?g=202420&p=1332858 Neuropsicologia Fernando Ferreira-Santos 1.1. Da revisão narrativa da literatura à síntese sistemática 17  Breve história Primeiras abordagens: – Herbert Nichols (1891) 1ª revisão “proto-”sistemática sobre 22 experiências relativas à Lei de Weber – Karl Pearson (1904) Realizou aquela que é considerada a primeira meta-análise: calculou o coeficiente de correlação médio entre 11 estudos relativos a eficácia de uma vacina para a febre tifoide. – Ronald A. Fisher (1932) Preconiza a possibilidade de combinar valores p entre estudos. William Cochrane (colega de Fisher) vem a desenvolver esta metodologia. – Outras revisões adotam abordagem “sistemática” durante o século XX Por exemplo, Lazarus et al., 1952, “Review of research on effects of psychological stress upon performance” Cooper, H. (2017). Research synthesis and meta-analysis: A step-by-step approach (5th ed.). Sage. Petticrew, M., & Roberts, H. (2006). Systematic reviews in the social sciences: A practical guide. Blackwell Pub. Neuropsicologia Fernando Ferreira-Santos 1.2. Breve história da síntese de literatura e meta-análise 18  Breve história Consolidação da área: – Gene V. Glass (1976): cunha o termo “meta-análise” Análise Primária Análise Secundária Meta-Análise Gene V. Glass – Meta-análises seminais Smith & Glass (1977) – eficácia psicoterapia Rosenthal & Rubin (1978) – efeito de expectativas interpessoais Hunter, Schmidt, and Hunter (1979) – diferenças “raciais” em testes de emprego – Kenneth A. Feldman (1971) Revisão de literatura como uma forma de investigação, com um conjunto de técnicas e métodos próprios – Harris Cooper (1982) Defende paralelismo entre síntese de resultados de investigação e investigação primária Cooper, H. (2017). Research synthesis and meta-analysis: A step-by-step approach (5th ed.). Sage. Petticrew, M., & Roberts, H. (2006). Systematic reviews in the social sciences: A practical guide. Blackwell Pub. Neuropsicologia Fernando Ferreira-Santos 1.2. Breve história da síntese de literatura e meta-análise 19  Crise da reprodutibilidade Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 20  Revisão de inferência estatística – Teste de significância (hipótese nula: H0) Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 21  Revisão de inferência estatística – O que é o valor p? Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 22  Revisão de inferência estatística – Valor p Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 23  Crise da reprodutibilidade Open Science Collaboration (2015) Science Cem estudos publicados de Psicologia for a repetidos. Quantos replicaram os resultados originais? Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 24  Crise da reprodutibilidade Open Science Collaboration (2015) Science Replicações consideradas com sucesso: 39 dos 100 estudos Para além disso, no geral, os tamanhos de efeito das replicações foram inferiores. Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 25  Open Science Collaboration (2015) Science Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 26  Crise da reprodutibilidade – Porque é que os estudos não replicam: Fraude (casos proeminente nas Psicologia Social) » Verfaellie & McGwin: The case of Diederik Stapel: http://www.apa.org/science/about/psa/2011/12/diederik- stapel.aspx Questionable Research Practices/Researcher Degrees of Freedom » Simmons, Nelson, & Simonsohn (2011) Psycholocial Science Replicação pode não ser um critério robusto para estudos que dependem do contexto » Lisa Feldman Barrett: https://www.nytimes.com/2015/09/01/opinion/psychology-is- not-in-crisis.html\ Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 27  Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 28  Problemas: p-hacking Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 29  Problemas: p-hacking Source: https://twitter.com/msusocialpsy/status/822114255273074688 Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 30  Problemas: HARKing Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 31  Problemas: Flexibilidade na análise de dados que não é reportada no artigo – Questionable Research Practices – Researcher Degrees of Freedom Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 32  Problemas: Flexibilidade na análise de dados que não é reportada no artigo – Questionable Research Practices – Researcher Degrees of Freedom Neuroskeptic (2015). https://doi.org/10.6084/m9.figshare.1572147.v1 Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 33  Problemas: Poder estatístico – Poder estatístico é a probabilidade de encontrar um efeito significativo, quando ele existe – Estima-se que, em média, ronde os 50% na Ciência Psicológica – “Mas se encontrar um efeito significativo nos meus dados com baixo poder estatístico, isso não quer dizer que o efeito deve ser muito grande?” Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 34  Problemas: Poder estatístico – Amostras mais pequenas (baixo poder) levam a estimativas de tamanhos de efeito mais variáveis, aumentando a chance de encontrar um valor extremo por acaso (que é artificial) Lakens (2018) Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 35  Os problemas identificados relacionam-se com o vies de publicação (publication bias) – Literatura publicada está enviesada para resultados estatisticamente significativos (p <.05) – Tradicionalmente, estudos que não produziam resultados significativos: não eram submetidos para publicação pelos autores eram rejeitados pelos editores (algumas revistas chegaram a definir isso como política editorial) ou revisores Resultado: The File-Drawer problem (Rosenthal, 1979, Psychological Bulletin) Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 36  Revisão sistemática e meta-análise podem melhorar a qualidade da investigação em Psicologia: – Pensamento meta-analítico: o resultado de cada estudo individual é apenas um ponto de informação e não devemos sobre-interpretá-lo – Acumulação de evidência ao longo de vários estudos permite chegar a conclusões mais robustas – Viés de publicação pode ser identificado e quantificado nas meta-análises Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 37  Revisão sistemática e meta-análise podem melhorar a qualidade da investigação em Psicologia: – Mas é necessário ter em conta os obstáculos identificados nos estudos primários – É necessário um esforço também para tornar as revisões/meta-análises elas próprias reprodutíveis Lakens, D., Hilgard, J., & Staaks, J. (2016). On the reproducibility of meta- analyses: Six practical recommendations. BMC Psychology, 4(1), 1–10. https://doi.org/10.1186/s40359-016-0126-3 – Muitas meta-análises não reportam toda a informação (em media, apenas 55% dos critérios- chave são reportados) Polanin, J. R., Hennessy, E. A., & Tsuji, S. (2020). Transparency and reproducibility of meta-analyses in Psychology: A meta-review. Perspectives on Psychological Science, 15(4), 1026–1041. https://doi.org/10.1177/1745691620906416 Neuropsicologia Fernando Ferreira-Santos 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática 38  Revisão 1. Síntese da literatura – 1.1. Da revisão narrativa da literatura à síntese sistemática de resultados de investigação – 1.2. Breve história da síntese de literatura e meta- análise – 1.3. A "crise da reprodutibilidade": consequências para a revisão sistemática Neuropsicologia Fernando Ferreira-Santos 39  Métodos Avançados de Síntese da Literatura Síntese Sistemática da Literatura 1 Fernando Ferreira-Santos [email protected] Neuropsicologia Fernando Ferreira-Santos 1  Sumário 2. Síntese sistemática da literatura – 2.1. Formulação do problema – 2.2. Pesquisa por estudos – 2.3. Seleção de estudos (critérios de inclusão/exclusão) – 2.4. Codificação das características dos estudos – 2.5. Avaliação da qualidade da evidência – 2.6. Apresentação e interpretação dos resultados Neuropsicologia Fernando Ferreira-Santos 2  Síntese sistemática de resultados de investigação: abordagem científica Síntese sistemática – Antes de fazer a síntese sistemática… – Modelo de Cooper (2017) 1. Formulação do problema 2. Pesquisa da literatura 3. Recolha de informação dos estudos primários 4. Avaliação da qualidade dos estudos 5. Análise e integração dos resultados dos estudos 6. Interpretação da evidência 7. Apresentação dos resultados Cooper, H. (2017). Research synthesis and meta-analysis: A step-by-step approach (5th ed.). Sage. Neuropsicologia Fernando Ferreira-Santos 3  Antes de fazer a síntese sistemática… Protocolo da revisão / registo / pré-registo – Protocolo da revisão Descrição das decisões relativas à revisão sistemática feira antes de começar o processo de revisão para evitar enviesamento (semelhante ao pré-registo de investigação empírica). Pode ser publicado ou pré-registado Linhas de orientação PRISMA-P – http://www.prisma-statement.org/Extensions/Protocols – [Sugestão: consultar checklist PRISMA-P para exemplos] The PLoS Medicine Editors. (2011). Best practice in systematic reviews: The importance of protocols and registration. PLoS Medicine, 8. http://doi.org/10.1371/journal.pmed.1001009 Neuropsicologia Fernando Ferreira-Santos 4  Antes de fazer a síntese sistemática… Registos prospetivos de revisões sistemáticas : Campbell Collaboration: – https://www.campbellcollaboration.org/ – Efeitos de intervenções sociais Cochrane Reviews: – https://www.cochranelibrary.com/about/about-cochrane-reviews – Área da saúde PROSPERO: – https://www.crd.york.ac.uk/prospero/ – Área da saúde (largo espectro) [Sugestão: Publicação do protocolo Consultar sites, – Por ex.: revista Systematic Reviews experimentar pesquisar] Registos sem curadoria – Por ex.: Open Science Framework: https://osf.io Neuropsicologia Fernando Ferreira-Santos 5  Antes de fazer a síntese sistemática… Registos prospetivos de revisões sistemáticas : E se tiver de mudar alguma coisa em relação ao protocolo pré-registado? – Submeter uma emenda ao protocolo (com justificação) – Documentar e justificar essas alterações no documento final Durante todo o processo é essencial manter um registo escrito de todos os passos (log/diário – agora é normalmente um documento digital) – Termos que considerei na formulação do problema – Data das pesquisas, número de resultados – Etc. Neuropsicologia Fernando Ferreira-Santos 6  Síntese Sistemática (Cooper, 2017) 1. Formulação do problema Orientador/a Estudante: Tenho um problema! Orientador/a: Ótimo, avançe com a revisão sistemática Neuropsicologia Fernando Ferreira-Santos 7  Síntese Sistemática (Cooper, 2017) 1. Formulação do problema Semelhante a um estudo primário Neuropsicologia Fernando Ferreira-Santos 8  Síntese Sistemática [Ver Exemplo PICO (PDF)] 1. Formulação do problema Modelo PICO (ou a modificação PICOS) P I C O S Patient, Intervention or Comparison Outcome Study design Population exposure or Problem What are the What do you want to do What is the What are the What is the study characteristics of with this patient (e.g., alternative to the relevant outcomes design? the patient or treat, diagnose, intervention (e.g., (e.g., morbidity, population? observe)? placebo, different death, drug, surgery)? complications)? What is the condition or disease you are interested in? Higgins J. P. T. , & Green S. (Eds.) (2011). Cochrane Handbook for Systematic Reviews of Interventions (Version 5.1.0). The Cochrane Collaboration. Available from www.handbook.cochrane.org Richardson, W. S., Wilson, M. C., Nishikawa, J., & Hayward, R. S. (1995) The well-built clinical question: A key to evidence-based decisions. American College of Physicians Journal Club, 123, A12-13. Neuropsicologia Fernando Ferreira-Santos 9  Síntese Sistemática 1. Formulação do problema Modelo SPIDER – adaptado para incluir também estudos qualitativos e metodologias mistas S Sample PI Phenomenon of Interest (behaviours, experiences and interventions) D Design E Evaluation R Research Type (qualitative, quantitative or mixed method) Cooke, A., Smith, D., Booth, A. (2012). Beyond PICO: the SPIDER tool for qualitative evidence synthesis. Qualitative Health Research, 22, 1435–1443. https://doi.org/10.1177/1049732312452938 Methley, A. M., Campbell, S., Chew-Graham, C., McNally, R., & Cheraghi-Sohi, S. (2014). PICO, PICOS and SPIDER: a comparison study of specificity and sensitivity in three search tools for qualitative systematic reviews. BMC Health Services Research, 14, 579. https://doi.org/10.1186/s12913-014-0579-0 Neuropsicologia Fernando Ferreira-Santos 10  Síntese Sistemática 1. Formulação do problema - exemplo (…) Neuropsicologia Fernando Ferreira-Santos 11  Síntese Sistemática 1. Formulação do problema – exemplo “Population: group of participants with obesity diagnosis. No age restrictions were considered. Interventions: No restrictions were defined on the modality of obesity treatment to which the participants were to be submitted, except the explicit participation in programs for emotion processing improvement. Comparator: control group composed of healthy individuals, community samples or normal-weight participants. Comparisons based on the presence/absence of BED were also eligible. Outcomes: Primary outcome variables were the emotional processing competencies categorized according to the adaptation of the Williams et al.’s (6) framework. Secondary outcome variables were depression, anxiety, age, gender and body mass index (BMI). Study designs: observational (case-control and cross-sectional studies).” (pp. 112-113) Fernandes, J., Ferreira-Santos, F., Miller, K., & Torres, S. (2018). Emotional processing in obesity: A systematic review and exploratory meta-analysis. Obesity Reviews, 19(1), 111–120. https://doi.org/10.1111/obr.12607 Neuropsicologia Fernando Ferreira-Santos 12  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Neuropsicologia Fernando Ferreira-Santos 13  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Literatura publicada pode corresponder a menos de 25% dos estudos realizados Fonte: Cooper (2017) Neuropsicologia Fernando Ferreira-Santos 14  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Canais direto ao/à investigador(a) – Contacto pessoal direto ou em massa (e.g., mailing list) Canais com controlo de qualidade (risco: viés de publicação) – Apresentações em conferências – Revistas com revisão de pares Canais secundários – Lista de referências bibliográficas de estudos de interesse – Registos prospetivos – Outros Neuropsicologia Fernando Ferreira-Santos 15  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Revistas com revisão de pares – Atualmente, principal forma de pesquisa é feita através de bases de dados online – Outras formas de identificar estudos relevantes » Consulta das listas de referências de artigos da área » Consulta dos índices de revistas científicas da área » Consulta de registos prospetivos de estudos » Outros canais (Cooper, 2017) Neuropsicologia Fernando Ferreira-Santos 16  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Bases de Dados gratuitas – Pubmed (Medline) - https://pubmed.ncbi.nlm.nih.gov/ – Google Scholar - https://scholar.google.com/ Bases de dados com subscrição (acessível na FPCEUP ou por VPN) – Web of Science - https://www.webofscience.com/ – Scopus – https://www.scopus.com/ – EBSCOhost (agregador) – Via site Biblioteca FPCEUP » APA PsycINFO, ERIC, etc. Bases de dados de registos de revisões – Campbell - https://www.campbellcollaboration.org/better- evidence.html – Cochrane Library - https://www.cochranelibrary.com/ – PROSPERO registrations - https://www.crd.york.ac.uk/prospero/ Neuropsicologia Fernando Ferreira-Santos 17  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Pesquisas nas Bases de Dados – Identificação de termos-chave decorrente da formulação do problema – Utilização de operadores para complexificar e melhorar a expressão de pesquisa Neuropsicologia Fernando Ferreira-Santos 18  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Pesquisas nas Bases de Dados [Rever Exemplo PICO (PDF)] – Exemplo de pesquisa – Exportar resultados da pesquisa – Importar resultados » Software para gestão da revisão » Gestor de referências bibliográficas Neuropsicologia Fernando Ferreira-Santos 19  Exemplo de pesquisa Começar a partir do problema de investigação (e.g., PICO, SPIDER) P Psychopathy I C No comorbid psychotic pathology O Decision-making Estratégia para criar expressão de pesquisa: – Termos complementares que devem aparecer simultaneamente → AND – Termos alternativos (sinónimos) para o mesmo conceito → OR – Termos a excluir → NOT Pubmed: https://www.ncbi.nlm.nih.gov/pubmed (search date 2021-10-24) Neuropsicologia Fernando Ferreira-Santos 20  P Psychopathy Exemplo de pesquisa I C No comorbid psychotic pathology Operador “AND” O Decision-making psychopathy → 12861 results (Pubmed)! decision-making → 362135 results!!! Termos complementares que devem aparecer simultaneamente → AND psychopathy AND decision-making → 363 results Neuropsicologia Fernando Ferreira-Santos 21  Exemplo de pesquisa Operador “OR” – Termos alternativos para o mesmo conceito → OR P Psychopathy, psychopath, psychopathic I C No comorbid psychotic pathology O Decision-making, “decision making”, decision* (psychopathy OR psychopathic OR psychopath) AND (decision* OR "decision making" OR decision-making) → 525 results (vs. 363 antes de refinar a expressão de pesquisa) Neuropsicologia Fernando Ferreira-Santos 22  Exemplo de pesquisa Operador “NOT” – Termos a excluir → NOT (psychopathy OR psychopathic OR psychopath) AND (decision* OR "decision making" OR decision-making) NOT (schizophren*) → 496 results (...) AND (schizophren*) → 29 results (525 - 496) – Nota: risco de excluir estudos que apenas mencionem o termo a excluir Neuropsicologia Fernando Ferreira-Santos 23  Exportar resultados da pesquisa Opções para exportar resultados – Dependem do motor de busca/base de dados, mas todos terão alguma forma de gravar os resultados como ficheiro Exemplos: Save, Export, Send to (reference/citation manager) Ao exportar: – Selecionar todos os resultados – Incluir abstract – Ficheiros exportados podem ter Formato geral: – Texto simples (.txt), Comma Separated Values (csv) Formato específico para referências bibligráficas: – BibTex (.bib), RIS (.ris), PubMed files (.nbib) Neuropsicologia Fernando Ferreira-Santos 24  Importar resultados da pesquisa Utilização dos resultados noutro software – Importação para software de gestão de revisões (e.g., Cochrane Review Manager; Rayyan) Rayyan (https://rayyan.ai/) tem guias de exportação de várias bases de dados (num formato que poderá ser depois importado no Rayyan) – https://rayyan.ai/guides – Exemplo guia PubMed [Demo importação Rayyan] Neuropsicologia Fernando Ferreira-Santos 25  Importar resultados da pesquisa Utilização dos resultados noutro software – Importação para gestor de referências bibliográficas Zotero (gratuito, open-source) – www.zotero.org Mendeley (gratuito) – www.mendeley.com Endnote (disponível via UP) Nota: gestor de referências é muito útil pois integra-se com processador de texto para formatação automática das referências. – Nesta fase não é ainda necessário obter o texto completo dos estudos, pois a partir da análise dos abstracts é provável que vários estudos sejam excluídos [Demo importação Zotero] Neuropsicologia Fernando Ferreira-Santos 26  Síntese Sistemática (Cooper, 2017) 2. Pesquisa da literatura Todos os passos devem ser documentados detalhadamente – Formas de pesquisa (e que bases de dados foram utilizadas) – Expressão de pesquisa – Data da pesquisa – Filtros ou restrições (se for utilizado) – Número de resultados [Rever Exemplo PICO (PDF)] Neuropsicologia Fernando Ferreira-Santos 27  Revisão 2. Síntese sistemática da literatura – 2.1. Formulação do problema – 2.2. Pesquisa por estudos – 2.3. Seleção de estudos (critérios de inclusão/exclusão) – 2.4. Codificação das características dos estudos – 2.5. Avaliação da qualidade da evidência – 2.6. Apresentação e interpretação dos resultados Neuropsicologia Fernando Ferreira-Santos 28 PICO Worksheet and Search Strategy 1. Develop your search strategy using the PICO concept by identifying: Problem, Intervention, Comparison and Outcomes. Patient/Problem Middle aged women suffering migraines Intervention Botulinum toxin type A Comparison Placebo Outcome Decreased migraine frequency 2. Write out your question: In middle aged women suffering migraines, is Botulinum toxin type A compared to placebo effective at decreasing migraine frequency? 3. List the main concepts and alternative terms from your question that you will use in your search: botulinum toxin type A botulinum toxins clostridium botulinum toxins migraine migraine disorders migraine headache women woman female 4. Check any limits that may pertain to your search: Age: Middle aged (45 to 64 years) Language: English Year of publication: 2001 – 2011 5. Boolean operators can be used to combine your terms: Use OR to broaden your search Use AND to narrow your search Use NOT to exclude terms More search tips: Use truncation e.g. disorder* for disorder, disorders Use wildcards e.g. wom?n for woman or women Phrase searching e.g. “migraine headache” NOTE: Check the search tips within each database because requirements may vary.  Our search strategy would be: botulinum toxin type A OR botulinum toxins OR clostridium botulinum toxins AND migraine OR migraine disorder* OR migraine headache AND women OR woman OR female 6. Type of study/publication you want to include in your search. NOTE: These will sometimes be available as limits within a database OR alternatively you can search for the term itself e.g. Randomized Controlled Trial and combine it with your topic. Systematic Review or Meta‐Analysis X Clinical Practice Guidelines X Randomized Controlled Trial X Individual Research Studies Electronic Textbooks 7. List the databases you searched: Trip database (access via internet) – (search results filtered by Evidence Based Synopses, Systematic reviews and guidelines) Medline (Ovid) ‐ 25 results (with all limits applied) Cochrane Library ‐ 1 result (with all limits applied) CINAHL with full text – 11 results (year and evidence based practice limits applied only) Appendix Medline search strategy Database: Ovid MEDLINE(R) 1948 to Present with Daily Update Search Strategy: ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 1 Botulinum Toxins, Type A/ or Botulinum Toxins/ (10164) 2 Migraine Disorders/ (17752) 3 1 and 2 (183) 4 limit 3 to (("middle age (45 to 64 years)" or "middle aged (45 plus years)") and (meta analysis or practice guideline or randomized controlled trial) and last 10 years) (25) This form is adapted from Syrene A. Miller, PICO Worksheet and Search Strategy, National Center for Dental Hygiene Research MASL 14-10 aula T4 Pesquisa nas bases de dados científicas e exportação de referências importadas em ferramentas como o rayyan - lecionado na semana passada. Síntese sistemática: - estamos a seguir o modelo de Cooper, recolha de informação que dividimos em 2 pontos. - contrariamente às revisões narrativas em que as decisões são tomadas de forma intuitiva, nas revisões temos que aplicar critérios. Fase de seleção de estudos: No início temos muitos artigos. Em primeiro lugar vamos querer avaliar quais desses artigos são relevantes para o nosso estudo. Muitos destes são falsos positivos. As palavras chave aparecem lá de alguma forma mas não é o que realmente queremos, quando vamos ver a estrutura/natureza do estudo, não cumpre os critérios de inclusão e inclui alguns critérios de exclusão. Extração de informação/codificação de características dos estudos: importante para sintetizar a literatura e mais ainda se antecipamos querer fazer uma meta-análise. Assim criamos uma base de dados para fazer essa meta-análise (experimental, operacional, etc). É preciso desenvolver um guia de codificação. Extrair a informação propriamente dita, continuando a incluir os critérios de inclusão e exclusão. Tentamos a partir do título e do abstract ver qual artigo é relevante ou não. Mas depois fazemos a leitura do artigo para perceber como o incluir na meta-análise. É aqui que revemos a nossa decisão de inclusão do estudo. A primeira decisão é dicotómica: se o artigo fica ou se sai. Avaliamos a relevância. Será que o estudo responde ao meu problema de investigação? Se sim, cumpre os critérios que faz com que isso seja assim. Se eu quero fazer uma revisão sistemática sobre estudos experimentais envolvendo a aplicação de terapia cognitiva comportamental breve em sintomas de ansiedade, a partir daqui consigo identificar alguns critérios de inclusão: o estudo ser experimental (se fosse correlacional - critério de exclusão). Usar as estratégias SPIDER e a PICO. Tudo o que nos ajudar a limitar e a focar a abordagem pode ser útil. Visão mais superficial sobre os estádios. Bastará o título e o resumo dos artigos para saber se são para incluir ou excluir. Nestas fases iniciais, vamos ter dúvidas, então, se eu quero ser exaustivo e quero incluir o máximo número de artigos na meta-análise, então em dúvida mantemos o estudo na lista. - sobreinclusivo. O que excluirmos aqui não vamos voltar a encontrar. O artigo que ficamos na dúvida podemos assinalar como “maybe? (rayyan)”, para quando examinarmos o texto completo esclarecer essa dúvida. Como fazemos isto? Esta decisão deve ser feita por mais de uma pessoa para controlar enviesamentos ou erros. Se há duas pessoas a fazer o processo é improvável que ambas cometam o mesmo erro no mesmo artigo. Logo, as incongruências serão fáceis de detectar e de esclarecer. Se foi erro ou se há decisões diferentes. Nem sempre é transparente se o critério está lá ou não, às vezes é interpretação do próprio resultado. Os erros são fáceis de resolver e o consenso é rápido. Agora quando nós temos que aplicar uma certa inferência "só quero estudos de elevada qualidade" isso depende como cada um de nós operacionaliza essa ideia, tem a ver com opiniões, há pessoas que acham que cumprir x critérios indica que é de qualidade (ex: haver grupo de controlo). Tem que ser esclarecido qual é o critério para resolver os desacordos. Se é procurar o consenso e discutirem sobre isto. Caso não se resolva haver um terceiro revisor ou consenso. Pode não ser viável ter duas ou mais pessoas a fazer este processo - se estivermos a aplicar 10 mil artigos isto é muito demorado por isso deve haver um compromisso. Deve haver uma percentagem onde se vai calcular o critério do acordo e se correr tudo bem, continua a mesma pessoa a fazer este trabalho. Exemplo: Se tivermos 10 mil artigos deverão ser pelo menos 2 pessoas a ler o título e o resumo, no entanto pode não haver recursos suficientes para isso, então podemos dividir isso por diferentes pessoas: 4 pessoas a fazer a seleção, cada uma faz 3 mil, faz 2 mil sozinha e 1 mil com outra pessoa e se depois os acordos forem bons continua igual (sobreposição). Isto pode ser feito em papel ou num ficheiro em PC (word, Excel). No entanto, existem ferramentas desenhadas especificamente para estes passos: rayyan (o professor demonstrou como utilizar na aula). Devemos incluir os motivos da exclusão assim sabemos quantos foram excluídos e porquê. Conhecer os critérios utilizados. E se houver desacordo vamos aos critérios e chegamos a consenso. A fase de seleção e de extração de informação são as mais demoradas. A extração de informação é também o que distingue a abordagem sistemática da narrativa. Ter um plano concreto de qual a informação a retirar de acordo com os nossos interesses de investigação. Para isto é bom ter um codebook para dizer quais são as variáveis, o que elas significam. Há informação que queremos recolher à partida dos estudos primários. Normalmente, estamos a fazer uma revisão para aprender mais sobre a área de investigação. Por outro lado, temos que fazer um codebook ajustado à área de investigação que eu ainda não conheço. Então vamos conseguir prever algumas coisas/variáveis que começamos a investigar. Termos que saber quais são os autores, o ano. Vai haver um grupo experimental e controlo, logo posso definir as características demográficas para cada grupo a priori (sexo, idade) e assim desenvolvo a primeira codificação do codebook. Logo sabemos todos a priori que é isto que vamos buscar. Podemos modificar acrescentando alguns campos nesse teste piloto até estarmos satisfeitos e acharmos que temos uma grelha suficientemente desenvolvida - deve ser feito por mais de uma pessoa para evitar erros e enviesamentos. Devemos codificar tudo o que poderá ser por acaso relevante - sobrecodificação, para termos a certeza. Também devemos deixar comentários sobre o artigo e o processo, dívidas que tenham surgido, preocupações que apareçam. Se eu encontro um erro que é óbvio vou corrigir e colocar já a versão corrigida na base de dados e coloco um comentário a dizer esta alteração que eu fiz. Também quando a pessoa fica com dívida da própria validade do estudo devemos colocar este comentário nas observações (“a amostra do estudo parece exatamente igual à amostra aplicada noutro estudo” (publicação duplicada - ex)). Uma sistematização possível da sistematização dos estudos: - 4 características diferentes: extrínsecas (não pertencendo ao estudo não tem conteúdo. Não influencia os resultados do estudo. Ex: ano de publicação do estudo; quem é que foram os codificadores); metodológicas; substantiva (tema, domínio do estudo); resultados (queremos extrair resultados quantitativos do mesmo para conseguir calcular o tamanho de efeito). Nem sempre a fronteira entre metodológicas e substantiva é clara, ou seja, se eu utilizo um questionário isso é metodológico mas se for questionário de ansiedade já é substantiva porque tem a ansiedade. Então o que fazemos é: características metodológicas são as que facilmente identificamos que têm um objeto de estudo diferente. (Questionário para ansiedade (substantiva), questionário correlacional (metodológico)). As características do documento (extrínsecas): segundo Cooper - ano de publicação, autor - universidade, país (contexto) O critério não é absoluto. Ver o exemplo do professor no slide 11. Ao construir esta base de dados aprendemos imenso sobre esta área de investigação e ficamos a saber que tarefas, estímulos e questionários são os mais usados. Ao ficar sistematizados os dados podemos extrair alguma informação: quantos os estudos utilizam o cérebro para a tarefa? quais são os questionários de ansiedade mais utilizados na literatura?. Vamos aos artigos primários e vamos em busca desta informação (Slide 11). Temos as variáveis e depois temos que as definir - importante quando temos mais de uma pessoa a codificar. Temos que colocar uma descrição objetiva de todas as variáveis na base de dados, para recorrermos a ela quando existe alguma dúvida. Documento que define todas as variáveis da base de dados: Nome da variável a codificar e descrever a variável e as opções de resposta que aceita a variável (value labels SPSS, Excel, Google sheets) → codebook (folha de codificação que contém: Como é codificada e quais os valores que pode assumir). O codebook garante que toda a gente tenha o mesmo referencial ao extrair a informação. Não há um único software recomendado para isto. O Excel é útil porque permite organizar a base de dados e fazer operações simples (contar o número de células; querer só ver os estudos experimentais; querer ver só os correlacionais). O Excel faz autoformações (queremos ver 2.11 e ele assume que é 2 de novembro) → Ter cuidado com isto! Ao utilizar a folha de cálculo: - deve ser legível por nós humanos e também computadores porque vai ser processada por eles. Nunca unir células porque destrói a estrutura do ficheiro de dados, o programa não vai conseguir tratar os dados neste formato. - Não devemos usar acentos, colocar o underscore (_). - Exemplo de base de dados bem estruturada (slide 15). Muitas vezes há dados em falta dos próprios artigos e por vezes nem conseguimos encontrar e deixamos como recomendação que, por exemplo, reportem os dados x ou y daqui para a frente. Perante algum dado que esteja omisso podemos tentar contactar os autores do estudo e solicitar esse dado. Quando não conseguimos o contacto com os autores, podemos procurar literatura satélite (tese de doutoramento que poderá trazer mais detalhe nos dados. Tem que ter o mesmo autor e o ano próximo. Se virmos que é o mesmo teste e a mesma amostra podemos ir lá recuperar os dados que me faltam e reportar isto). Quando a nossa hipótese é mais específica do que o estudo geral, os resultados não respondem à minha pergunta mas os dados reportados sim, então vamos aí e procuramos o que precisamos. Outra forma é a base de dados do artigo ser partilhada online, assim quando não tivermos alguma informação no artigo vamos à base de dados do mesmo. Caso não consigamos por nenhum destes recursos, podemos excluir a revisão. Devemos calcular os acordos simples da codificação feita pelas pessoas a trabalhar connosco. "o nosso acordo é x%" não tem em conta o acordo ao acaso, é mais ou menos. Então para ser mais preciso podemos calcular o Kappa de cohen ou a correlação intraclasse. (Nota: Umbrella review --> revisão sobre outras revisões; ver scoping e rapid review!!). MASL T5 21-10 Fizemos a pesquisa, encontramos os artigos, aplicamos os critérios e extraímos a informação dos estudos e chegamos à conclusão que nem todos os estudos são bons: esquecem de dar informação sobre a amostra, etc. Ao lê-los isto torna-se saliente. A qualidade de cada estudo nem sempre é simples de determinar: dois níveis: - tem a ver com as limitações e potencialidades dos diferentes desenhos (experimental); - se o estudo dentro desse desenho foi bem implementado ou se houve vieses durante a construção desse estudo. Fiz tantas asneiras que não me dá evidência concreta. Quando falamos de desenho de investigação: temos o design experimental, quase experimental, correlacional, descritivo (não há necessariamente uma inferência estatística, fazer uma sondagem para saber a prevalência de um certo comportamento, é puramente descritivo, utilizo estatísticas descritivas, sondagens), longitudinal, transversal, inter-participantes ou intra-participantes. Se o grupo é independente ou dependente. → Qual é o estudo que nos permite fazer inferências mais fortes? R: saber a relação causal entre causas e efeitos = Estudo experimental. Para testarmos a causalidade temos que produzir este estudo, manipular a variável independente e observar efeitos na variável dependente. Por isso precisamos de um grupo de controlo onde não há manipulação para sabermos a causa. → A seguir a estes estudos (experimentais) quais me oferecem mais força de evidência? R: os quase experimentais = Estudo observacional onde não há manipulação da variável independente. Ex: recrutamos uma população clínica e comparamos com o grupo de controlo. Apesar de termos selecionado esse grupo, nós não causamos a condição clínica. Grupos com esquizofrenia e grupos sem esquizofrenia, nós não lhes provocamos a esquizofrenia para fazer o estudo. Experimentais e Quase experimentais utilizam diferenças entre grupos (teste t e anovas). Os correlacionais utilizam a ANOVA e a correlação (?). A técnica estatística é irrelevante para a inferência que fazemos. Ciências biomédicas: Nos experimentais manipulamos a variável para ver o seu efeito. Nos observacionais nós só observamos o que já aconteceu naturalmente, ou seja, vamos à natureza procurar casos onde está presente a condição de interesse e vamos comparar com casos que não têm essa condição. Não conseguimos causar essa condição. Estudos de coorte - é acompanhado um grupo de pessoas doentes ou saudáveis que são acompanhadas ao longo do tempo - longitudinal - permite ver quais eram as condições iniciais das pessoas que depois tiveram a doença. A doença ainda não está presente no início - é o mais informativo. Estudos caso-controlo - recruto pessoas com a condição de interesse e um grupo de controlo e comparo os dois. A doença já está presente, apenas vou à procura dela. Vou comparar com sujeitos que não têm essa doença. A que tipo de estudo este corresponde? Estudo quase experimental. Estamos no nível observacional. A evidência correta salva vidas e a incorreta leva à perda de vida, no caso mais extremo. Estudos de caso - são apenas observações de coisas espontâneas na prática clínica. Demos uma medicação e vemos como a pessoa reagiu. A hierarquia de evidência é muito clara nas ciências. Conjunto de estudos experimentais (pegar em vários ensaios clínicos e sistematizar essa evidência) organizados numa meta análise - maior evidência. Psicologia vs biomedicina: (O que está numa coluna é equiparável à outra coluna). Temos que recordar onde estão na pirâmide de evidência. - O nosso problema como ciência não é principalmente técnico, é essencialmente ético. São limites éticos e civilizacionais que impedem fazermos certos estudos. Tudo o que causa mau-estar não pode ser feito. Não podemos tratar os seres humanos como cobaias. O que hoje em dia parece ser um dado adquirido é algo recente e então temos que continuar a lutar por ela. A psicologia é uma ciência. Só não temos mais estudos experimentais porque não podemos pegar numa pessoa e dar-lhe um traumatismo cerebral e abrir-lhe o cérebro. Temos que esperar pelos que voltam das guerras, que têm traumas. Há falta de participantes. Por isso não temos tantos estudos experimentais e não somos vistos como ciência. Avanço civilizacional → Aquisição de direitos humanos → mais ética → mais limites da nossa ciência → experiências que não podem ser feitas → devido a limites éticos. A maior parte dos estudos que podemos fazer são correlacionais e observacionais, logo a evidência que nos dão é fraca, não nos dão a evidência causal e são suscetíveis a vários enviesamentos - temos que ter consciência disso ao tirar conclusões dos estudos. Não podemos tirar conclusões como se fossem experimentais. Não são estudos controlados o suficiente, logo é natural haver essa variabilidade. Vai haver sempre estudos que estarão fora da nossa capacidade experimental. → Exemplo de estudo experimental em psicologia: Recrutar 100 pessoas e aleatoriamente foram colocadas em dois grupos - as diferenças entre si não são devidas às suas características prévias mas sim à manipulação e à distribuição ao acaso. Tudo isto feito dentro dos limites éticos. → Estudo quase experimental é equivalente aos correlacionais, a não ser a organização das variáveis, é isso que difere um do outro. Na medicina há estudos experimentais com seres humanos. E porquê? As condições para isto ser aceite têm que ser tão extremas para ser permitido. Ex: Temos um novo medicamento para o cancro que funciona nos ratinhos, mas não fazemos ideia do que pode acontecer nos humanos. Só podem participar pessoas que estejam em condição terminal. Se o prognóstico da pessoa é uma morte a curto prazo, então fazer parte de um estudo que poderá prolongar o seu prazo de vida é permitido e razoável. As condições éticas são reguladas na medicina. Só funcionam se forem aprovados pela comissão ética nacional. A medicina também tem elevadas limitações e só nos casos em que se justifica é que vão para o experimental. Experimental é melhor que não experimental. Se eu tenho estudo experimental para explorar o efeito da terapia na ansiedade. Os experimentais têm que ser lidos com mais peso do que os não experimentais na nossa revisão. Grupo clínico (aplico a terapia) e o grupo de controlo e vejo os efeitos da terapia → experimental. Depois das pessoas terem feito a terapia eu vou recrutar e comparar as duas → quase experimental. Independentemente do desenho, os estudos podem estar bem feitos ou mal feitos. Há tantos compromissos feitos durante a implementação do estudo que aquilo não me diz nada. Outro nível de avaliação do estudo para além do design é se foi bem implementado ou não, se há enviesamentos. Se o resultado não é objetivo e foi enviesado por uma prática menos correta: - Estudos primários: excluímos pessoas através dos critérios de exclusão. Quando percebemos que a pessoa não percebeu nada da tarefa depois de ela a fazer. Agradecemos por ter vindo, mas não a incluímos na base de dados. - Estudos secundários: eu recolho estudos primários e se eu detesto um primário que não cumpriu o que devia cumprir eu posso identificar e excluí-lo. Não dá uma resposta válida à questão de investigação. Se temos erros metodológicos ou de implementação temos que excluí-lo. Avaliar a qualidade de cada estudo independentemente do seu desenho de investigação. Pode haver estudos correlacionais de alta ou baixa qualidade. Como avaliamos essa qualidade? - a olho, lemos o artigo e ficamos com uma sensação se foi bem aplicado ou não. Apreciação subjetiva, depende da atenção com que eu leio o estudo. Mas temos ferramentas para ajudar neste processo, existem instrumentos/escalas que podemos aplicar a cada artigo para sistematizar a qualidade de implementação do estudo: - study diad: avaliar o desenho e a implementação do estudo. Indicadores de qualidade. Desenhado especificamente para a área da psicologia. Avalia a qualidade interna e externa, etc. - APA: linha orientadoras do que é importante constar num manuscrito. O que o estudo submetido deve conter. Dá-nos um guião para todas as informações que devem estar presentes num estudo primário ou meta análise. Há também instrumentos com o mesmo objetivo nas ciências biomédicas e eles são muitos: - ma et al (artigo que tenta sintetizar os que existem (são imensos)). Apreciar a qualidade dos estudos primários - the Cochrane collaboration. Área biomédica mais desenvolvida. As revisões da Cochrane exigem que utilizemos as ferramentas deles. Mas para os outros temos que decidir qual a ferramenta adequada a cada caso. Qual destes desenhos oferece mais força de evidência? A seguir ao experimental vem o Longitudinal, porque permite maior evidência por causa de serem longitudinais. Os quase experimentais e os correlacionais estão ao mesmo nível (vêm a seguir aos longitudinais) - pergunta de exame. Excluir estudos que apresentem baixa qualidade de implementação. Se estamos a estudar uma área com muitos experimentais vamos focar-nos nesses porque têm maior força de evidência. No entanto, se for muito mau, excluímos o estudo. Ao interpretar os resultados agregados: todos os estudos dizem que o tratamento funciona exceto um mas esse tem problemas metodológicos, então excluímos esse estudo. Na área biomédica existe uma ponderação: baixa qualidade vs alta qualidade. Maior ponderação influencia mais a média, ou seja maior qualidade do estudo influenciam mais e os de menos influenciam menos - corremos um risco de estar a concluir um resultado artificial, porque estamos a transformar a qualidade num coeficiente. Estamos a criar flutuação nos tamanhos de efeito, e não sabemos se esta escala de qualidade faz sentido. Apresentar e integrar os resultados dos estudos: Qualquer revisão sistemática com ou sem metanálise deve reportar uma tabela de síntese dos estudos (não com muitos estudos): útil para passarmos os olhos por todos os estudos revistos, para conferir alguma informação. Síntese da literatura da forma mais económica possível. Tabela com a informação mais relevante. Se for uma meta análise há sempre dados quantitativos. A tabela de síntese dos estudos diz-nos qual o estudo, os grupos que participaram, informação sobre a amostra (gênero, ibm), que medida foi utilizada, quais os outcomes medidos e os principais efeitos estatísticos encontrados. Estamos a sintetizar um estudo em meia dúzia de informações. Colocamos também os autores e o ano. Ficamos logo com uma noção do tipo de amostras recrutadas, as medidas utilizadas, os principais resultados. Temos um sumário estrito. Visão global dos estudos que há e para que lado os resultados nos estão a levar. Por vezes fazemos uma metanálise e vamos agregar quantitativamente o resultado de cada estudo primário: síntese de resultados de investigação logo há relação de variáveis e meta-efeito a analisar. Precisamos de vários estudos primários que abordem a mesma hipótese conceptual, a mesma relação entre as variáveis. Para que o resultado numérico faça sentido juntar ao estudo seguinte. Se é estudo qualitativo e outro laboratorial é difícil de fazer a meta-análise. Ao fazer uma meta-análise exploratória, metanalisar três estudos é parvo, porque posso inferir o resultado dos três numa frase. É mais económico eu dizer que há simplesmente estes três, então devemos descrever a média dos estudos agregados do que está a reportar a média de cada estudo. ( A média do estudo é x, a média do estudo é y, etc). Qualquer que sejam os números que eu coloco no algoritmo eu obtenho um resultado. Se os números iniciais não fizerem sentido, a média também não me vai fazer sentido. Quando mais criteriosos fomos a selecionar as informações melhor é a metanálise. A revisão da literatura deve ser sistemática para garantir a qualidade. Dentro do mesmo artigo com múltiplos estudos primários: quatro estudos sempre com a mesma hipótese e fazemos uma mini meta-análise destes dados obtidos dentro do mesmo projeto. Não estamos a fazer revisão de literatura mas sim a encontrar a média de estudos. Cada estudo primário vamos ter que calcular um tamanho de efeito - medida de associação entre as variáveis, quanto maior maior é a associação maior é o tamanho de efeito. Podemos estimar a presença de viés de publicação através deste tamanho de efeito. Depois aplicamos um modelo de metanálise e vamos calcular uma média ponderada pelo tamanho do estudo (quanto maior o estudo maior é a média analítica). Perceber quando é que cada efeito individual está perto ou longe do valor médio para avaliar a heterogeneidade. Estudo com tamanhos de efeito superior à média, Porquê? Estamos a analisar moderadores do tamanho de efeito. Quanto mais psicoterapia menos sintomas tem, há estudos que dizem que tem um efeito elevado e quanto menor psicoterapia menor é o efeito, posso olhar para as características dos estudos e identificar os que têm melhores resultados. Será que tem a ver com a experiência do terapeuta? Cada estudo primário é uma amostra daquele efeito que estamos a estudar, sendo que cada estudo vai variar simplesmente pela existência do erro de amostragem. Dentro de uma distribuição de resultados possíveis. De todos os estudos possíveis sobre o efeito da psicoterapia na minha ansiedade, esperaríamos que a média da distribuição seja a mais provável. Os estudos que encontro na literatura são uma amostra dos estudos que existem no total (estudos imaginários na população). Estudo que me diz que o efeito é superior à média - devido a erros de amostragem. Mas todos estes efeitos estão dentro do intervalo de confiança. Vai haver sempre flutuação nos tamanhos de efeito por causa do erro de amostragem. Explica a heterogeneidade observada. Se eu estivesse a fazer uma metanálise com estes tamanhos de efeito havia dois em que o tamanho de efeito estava mais alto do que eu queria, portanto, estes estudos podiam ter características diferentes dos outros. A análise de heterogeneidade vai tentar ver se existe alguma explicação deste género. Estes resultados quantitativos e qualitativos da leitura de resultados, o nosso objetivo é dar sentido a estes. O que concluímos a partir do trabalho? Temos que conhecer a hipótese, as variáveis e o campo de investigação. Para fazer isto temos que ter em conta as limitações a serem encontradas. Se não existir nenhum estudo experimental e só observacional isto é uma limitação. No caso de termos dados quantitativos podemos interpretar a magnitude e a direção (melhoria ou piora do grupo clínico): um tamanho de efeito segundo Cohen é pequeno - não devemos dizer isto, não devemos reduzir a uma categoria menos informativa, devemos apenas reportar o número. O tamanho de efeito depende do efeito de heterogeneidade dos estudos. O pequeno, médio e grande efeito não nos diz nada. Às vezes o tamanho de efeito pequeno traduz-se na salvação de milhares de pessoas no ano (caso da aspirina). Para passar isto a escrito temos a: jars (utilizada para estudos de revisão (qualitativa) e meta-análise (quantitativa)). Na área biomédica e na psicologia temos o PRISMA. (ESTUDAR O PRISMA) Tentar encontrar as leis gerais do comportamento - nomotética - encontrar leis gerais para todos os seres humanos - métodos qualitativos (perguntar à pessoa como correu depois de aplicar o estudo) e quantitativos. Tentam descrever o que é específico da pessoa - ideográfico - clínica que tenta perceber a pessoa pela sua unicidade, história de vida e características - conhecer a realidade particular - fazer uma entrevista ou instrumentos como questionários, se eu quero fazer a história de vida. Em ambos temos quali e quanti. O modelo prisma propõe que organizemos um fluxograma. Esta é a forma de apresentarmos os processos de seleção destes estudos. Sintetizar o processo. Estudos finais foram incluídos na revisão. Os tamanhos de efeito podem ser apresentados em tabela - dados metanalítiícos. Número de estudos que entraram na metanálise - k Outra forma de apresentar os resultados metanalíticos - gráfico de florestas - x tamanho de efeito, y número de estudos que entraram na meta análise. Média ponderada de todos os estudos da metanálise. Gráficos de funil em estudos metanalíticos que nos dão pistas sobre o viés de publicação. Se tiver uma forma de funil invertido (largo na base), quanto mais simétrico for quanto maior a precisão do estudo. Não há viés da publicação. Estatisticamente estamos bem. Se houver assimetria, mais estudos de um lado do que do outro, está a ser enviesada. 28-10 MASL T6 Tamanhos de efeito: Análise estatística e medidas de tamanho do efeito: → Gráfico dos effect sizes: para diferentes magnitudes cada um dos pontos representa um dado estatístico/amostra/tamanho diferente. Inferência estatística: D de cohen resume toda a informação do teste. Foi criada uma task force para pensar o pensamento estatístico na psicologia. Recomendações de como utilizar a estatística na psicologia de forma rigorosa e progressiva. Principais pontos da análise da task force: - importância de reportar os tamanhos de efeito. É muito importante reportar. Porque se eu encontro um valor t de 2 com 30 pessoas e encontro outro t de 2 em 300 pessoas, o tamanho do efeito não é o mesmo, apesar da estatística do teste ser igual. Tamanhos amostrais diferentes. → O tamanho de efeito mostra a magnitude e a direção do efeito permitindo ter a noção prática do efeito: quantos desvios padrões um grupo está acima de outro; força de associação entre duas variáveis. - incluir os intervalos de confiança que mostrem a incerteza em torno das estatísticas. Se temos 95% de confiança que esteja entre dois valores. Quando reportamos a estatística pontual, a média é o valor único, mas se colocarmos os intervalos de confiança mostramos a incerteza estatística em torno daquela estatística. Mais rigorosa mas menos precisa naquele parâmetro estatístico. As medidas não são perfeitas, têm uma incerteza. → Muitos estudos com amostras pequenas têm intervalos de confiança tão grandes que o efeito podia ir no sentido contrário. Se esconderem isso parece que encontraram algo espetacular, mas não. - é importante fomentar o uso das metanálises como forma de rentabilizar a investigação passada e implementar o pensamento metanalítico: todo o estudo que é feito observa a realidade mas pode resultar em estatísticas enviesadas devido ao erro que eu cometo no processo e o erro de amostragem (azar de calhar na minha amostra os valores mais extremos, a média da população não é essa - quero saber a altura média de Portugal e recruto participantes que jogam basquetebol, vou medir a altura e chego à conclusão que em média em Portugal medem 1.95 H e 1.82 F. Isto é um erro de amostragem. A minha média da amostra, está distante da média da população, fiz processo de recrutamento enviesado. Teria que recrutar aleatoriamente na população portuguesa). Por muito confiante que eu esteja no meu estudo, ele pode ter sido muito afetado pelo erro de amostragem. Mas se eu continuar a fazer estudos em outros contextos e recrutar pessoas de outros contextos vou ter análises metanaliticas cada vez mais próximas da realidade, tamanhos de efeito próximos dos reais da população → replicação e o conhecimento cumulativo. Pensamento metanalítico é mesmo isto, fiz o meu estudo com aquela amostra bizarra, mas vou esperar que saiam mais estudos ou eu faço mais estudos e a média de todos os estudos já vai dar a média real da altura dos portugueses. → Extensão e replicação conceptual (replicação com extensão): replicar as mesmas variáveis (estudar o mesmo fenômeno) mas em contextos diferentes (diferente amostra). → Replicar puramente: amostra o mais parecida possível. Reportar o tamanho de efeito, os intervalos de confiança e as metanálises são muito importantes para se perceber o que já se sabe, levando ao aumento exponencial da investigação. Técnicas paramétricas: Porque é que os testes se chamam paramétricos? R: Quando temos uma amostra de alguma coisa nós a primeira coisa que olhamos é o resultado do questionário - média dos resultados - como sabemos se a média é um bom sumário daqueles resultados? → De acordo com a dispersão dos resultados. Poderão haver médias que representam bem ou não, sabemos isso através do desvio padrão ou invariâncias. Temos que ver para onde os resultados tendem e quão dispersos estão. Se houver um desvio padrão grande quer dizer que há resultados afastados do valor médio. Se for pequeno há resultados próximos. - A média e o desvio padrão são parâmetros da amostra - descritiva. Inferência da amostra para a população - estatística inferencial - encontrar os parâmetros da população. - Nos testes paramétricos temos a distribuição normal - curva normal. Dispersão da população, como sei? R: Parâmetros amostrais - Média e desvio padrão. Esta é a melhor informação da amostra da população. Vou pegar neles e vou poder estimar o que é que seria a distribuição total daquela população, porque com estes parâmetros consigo desenhar a curva gaussiana. Curva larga ou estreita - diz-nos a dispersão. Na população as estatísticas de teste distribuem normalmente e obedecem a uma distribuição observada na nossa amostra. E é a partir daqui que falamos de técnicas paramétricas porque da amostra conseguimos inferir a população. A curva normal da população dá para fazer a inferência estatística, se o valor é significativo ou não. → A média da amostra tende a ser próxima da da população mas não é igual. Exemplo: Estudo 1: Se eu tirar uma amostra da população, será que vou obter uma média igual? Não. Estudo 2: Se eu tirar outra amostra da mesma população, será que vou obter uma média igual à que obti anteriormente? Não. É sempre próximo mas não é igual. 5% das nossas amostras aceitamos que são diferentes mas na verdade não são, diferem apenas de erro de amostragem. Há uma variação entre os estudos devido ao erro de amostragem. Tiro uma amostra ligeiramente diferente da população todas as vezes. Slide 5: Dois grupos: controlo e experimental. Gráfico de bigodes com os resultados de ambos os grupos. Mostra a diferença das distribuições. Como interpretamos este gráfico? R: Através da distância interquartílica dentro do retângulo. Entre estes limites do retângulo temos 95%. Podemos imaginar a distribuição normal que está subjacente: E assim temos a distribuição mais clara dos dados. Se é simétrica, se é superior ou inferior. Isto são os dados da amostra - slide 6. Mas queremos generalizar para a população, para isso calculamos a média e o DP e introduzimos na curva gaussiana. Assim conseguimos ver como isto ocorre na população (modelo ideal da distribuição dos resultados). A curva normal é o fenómeno causado por inúmeros fatores independentes entre si, o que observamos é uma distribuição normal - observação empírica. Em certas áreas usamos outros modelos estatísticos - distribuição uniforme, binomial, se isso representar melhor o fenómeno subjacente. a, b, c e d: histograma da curva normal. Slide 7: Dentro dos testes paramétricos há muitos testes e surge a dúvida de qual o teste usar - descobrimos através de gráficos taxonómicos. → 2 amostras - independentes - teste t para amostras independentes. → Duas amostras Dependentes - recolhendo as mesmas pessoas deram informação para as 2 variáveis que estamos a testar. → Duas amostras Independentes - Diferentes pessoas a responder → Uma amostra independente → Uma amostra dependente - pessoas com a mesma doença e idade, por exemplo. Exemplo: Se eu tenho dois questionários (um deles é de ansiedade) aplicados na mesma amostra que teste uso para ver que estão associados? Correlação de Pearson. Se eu agora divido a minha amostra entre homens e mulheres e quero ver quem tem níveis maiores de ansiedade, como faço? Teste t para amostras independentes. Diferença entre 2 grupos - teste t Análise de variância - se eu tenho 3 grupos e quero ver a diferença. Slide 8: 2 grupos e pessoas diferentes, e quero ver se a média difere entre eles: teste t para amostras independentes. Vamos avaliar a significância: Se o valor t for suficientemente extremo para observar que a hipótese nula é verdadeira (diferença na pop é 0), então é muito improvável que tenha vindo de grupos com médias diferentes de zero. Logo os grupos vêm de populações diferentes. Slide 9: Diferença estatisticamente significativa Análise de variância = ANOVA. Fiz a análise de variância e notei algo parecido entre os dois testes: têm o mesmo valor p. Mas o F de um não tem nada a ver com o F de outro. No entanto... A distribuição F é t ao quadrado. Então (-3.552)² é igual a 12.617. Slide 11: Modelo Linear para os dois na população (gráfico) e fazemos a correlação: o que obtemos é que conseguimos obter o r através do d e t. Peguei nas duas variáveis e pedi a regressão linear: tenho (o que está a vermelho) - são tudo valores conhecidos anteriormente. Então qual é o teste correto? R: Todos estes testes dão a mesma inferência estatística. São matematicamente diferentes mas acabam nos mesmo resultados. Portanto são matematicamente equivalentes. Logo diferentes estudos com diferentes testes podem ser combinados entre si porque estão a combinar a mesma coisa - ótima notícia para a metanálise. Todos os testes paramétricos são instâncias do modelo linear (slide 13). Slide 13: O teste t, a variância, a correlação são formas matemáticas para chegar aos mesmos resultados/parâmetros. Variável preditora: x Variável outcome/resultado: y Para grupos utilizar testes t e anovas Para dados contínuos: utilizar regressões e variações. Mas na prática podemos fazer qualquer um. Chegamos à mesma inferência. Isto apenas para os casos bivariados!!! Nos multivariados: o resultado independente é o somatório das dependentes. Soma Linear de vários preditores (somatório) para prever uma soma linear de vários outcomes. Toda a estatística paramétrica tem a mesma base e pode ser derivada dos mesmos fundamentos matemáticos - modelo linear geral - relação linear entre x e y e a soma de vários x e ys, que se somam linearmente. Isto permite-nos converter numa mesma métrica de tamanho de efeito que podemos juntar à metanálise. Testes não paramétricos: Os resultados não são matematicamente comparáveis, porque em certos conjuntos de dados temos uma elevada correlação de Pearson e de spearman e noutros há uma elevada de spearman mas pode não haver uma elevada de Pearson, logo não podemos juntar os dois na mesma metanálise - Isto acontece com testes não paramétricos. → Não devemos utilizar paramétricos com não paramétricos no mesmo modelo. → Se forem ambos paramétricos estamos seguros em compará-los - útil na metanálise. Slide 15: Todo o tipo de testes paramétricos permite recolher tamanhos de efeito comparáveis entre si. Slide 16: Tamanhos de efeito: O que é e quais são os mais utilizados em metanálise, o que significam e como são calculados? R: Há diferentes métricas, é tudo o que representa a força de associação entre 2 variáveis. Mais informativo que o valor p. Se encontrarmos os intervalos de confiança a 95 significa que o tamanho de efeito é significativamente diferente de 0. Se temos dois grupos com o mesmo valor, assumimos que as populações são iguais e um tamanho de efeito pequeno quer dizer que são equivalentes. Mas se for maior, significa que elas são mais afastadas. Slide 17: Tipos de tamanhos de efeito: Tamanhos de efeito standardizados. A forma mais simples de medir o tamanho de efeito é a diferença bruta entre as médias (resultados brutos da amostra) → Retemos a mesma unidade de medida utilizada pelo teste. Em psicologia não fazemos isto porque não conseguimos ter unidade de medida para a ansiedade. Na psicologia não se usa diferenças brutas. Então vamos para as diferenças de média standardizadas: dividimos pelo desvio da distribuição a diferença de médias. -1