Tema 8 Métodos y gestión de la recogida de datos PDF

Tema 8 Métodos y gestión de la recogida de datos. Introducción. Métodos de recogida de datos básicos. Recogida de datos asistida por ordenador. Otros métodos de recogida. Introducción. Implementación de la en- cuesta. Gestión activa del trabajo de campo. Paradatos. Monitorización de la calidad de l...

Tema 8 Métodos y gestión de la recogida de datos. Introducción. Métodos de recogida de datos básicos. Recogida de datos asistida por ordenador. Otros métodos de recogida. Introducción. Implementación de la en- cuesta. Gestión activa del trabajo de campo. Paradatos. Monitorización de la calidad de la respuesta. Monitorización del proceso de producción de una encuesta. Evaluación de la encuesta y el informe de calidad. Este tema está elaborado usando la siguiente bibliografía. G. Snijkers y col. (2013). Designing and Conducting Business Surveys. Wiley Eurostat (2017). Handbook on Methodology of Modern Business Statistics (Memoboost). URL : https : / / ec. europa. eu / eurostat / cros / content / handbook - methodology-modern-business-statistics_en A. Wallgren y B. Wallgren (2007). Register-based Statistics: Administrative Data for Statistical Purposes. Wiley Esta documentación es orientativa y no es exclusiva ni única para el correcto desa- rrollo de este tema. Tampoco vincula al órgano convocante ni al Tribunal actuante. Aviso: El INE se reserva las acciones legales que pudieran corresponder por la venta de esta información. 8.1 Introducción a los métodos de la recogida de datos La recogida de datos es un “proceso sistemático de recogida de datos para estadísticas oficiales”, según se recoge en el Statistical Data and Metadata eXchange (SDMX 2012)1. Además, el proceso de recogida de datos está muy articulado, y que se desarrolla a lo largo de diferentes fase del proceso de producción: desde la fase de diseño del cuestio- nario y de la metodología a emplear, hasta la finalización de la información obtenida 1 sistema de intercambio de datos y metadatos estadísticos, que fue creado en 2001 por siete orga- nizaciones que trabajaban en estadísticas a nivel internacional: Banco de Pagos Internacionales (BPI), Banco Central Europeo (BCE), Eurostat, Fondo Monetario Internacional (FMI), Organización para la Cooperación y el Desarrollo Económico (OCDE), División de Estadística de las Naciones Unidas y el Banco Mundial. Estas siete organizaciones trabajan como patrocinadores de SDMX 1 8.2. Métodos de recogida de datos básicos 8-2 (UNECE 2019), definiendo el GSBPM (del inglés Generic Statistical Business Process Model, véanse los Temas 15 y 16). Dicho esto, la recogida de datos se basa en reunir la información necesaria de cada unidad seleccionada en la muestras, considerando que existen diferentes fuentes de datos: a) encuestas (la más utilizada tradicionalmente); b) registros administrativos (RR.AA., véase Tema 14); c) datos digitales. Cabe señalar que la recogida de datos es diferente para cada tipo de fuente y que se utilizan diferentes técnicas que pueden, o no, ser asistidas por ordenador y pueden, o no, necesitar el apoyo de entrevistadores (entre las principales podemos señalar: CAPI, CATI, CAWI, PAPI, cuestionarios por correo y observación directa). En este tema nos centraremos en la recogida de datos a través de encuestas. Durante la recogida de datos, los miembros de la población son localizados, se contacta con ellos y se busca su participación en la encuesta. A continuación se usa un cuestiona- rio y se graban sus respuestas. Este proceso es caro, requiere mucho tiempo y muchos recursos, y tiene un impacto directo en la calidad de los datos. El (Los) método(s) de recogida de datos deben de elegirse para conseguir una tasa de respuesta alta y recoger los datos lo más completos y acurados posible, tratando de minimizar la falta de res- puesta. Hay que aclarar que habitualmente se utiliza el término “encuestado (s)”, el cual, preten- de representar a todos los “actores” involucrados en brindar la información a recolectar de acuerdo a las necesidades de las encuestas. Por tanto, los encuestados se pueden definir como “empresas, establecimientos, instituciones, personas individuales, etc., de quienes se recopilan datos e información asociada para su uso en la compilación de es- tadísticas”, (Glosario de términos estadísticos de la OCDE 2 ). Es decir, en esta definición se incluyen todas las expresiones como “unidades informadoras”, “unidades de obser- vación”, “proveedor de datos”, etc. cuya definición se puede encontrar en dicho glosario. Los paradatos juegan un papel muy importante de la recogida de datos. Se definen los paradatos como la información relativa a la recogida de datos o al proceso de pro- ducción estadístico [...] distinto de la información que es el objetivo de la recogida de datos o al proceso de producción estadístico. Algunos ejemplos de paradatos es la duración de la encuesta, el estado de la encuesta (cuestionario enviado, cuestionario grabado, cuestionario depurado), los edits que no se verifican, las observaciones de los informantes, etc. Los paradatos se verán en la Sección 8.8. 8.2 Métodos de recogida de datos básicos En relación con el proceso de recogida de datos y con los diferentes métodos existentes, indicar que la elección de la técnica a utilizar depende de muchos factores (tema de la 2 https://stats.oecd.org/glossary/ Tema 8. Métodos y gestión de la recogida de datos. 8.2. Métodos de recogida de datos básicos 8-3 encuesta, tiempo disponible para la recogida, dificultad para encontrar la información requerida, tipo de informantes involucrados, presupuesto, etc.) y generalmente se de- cide durante la fase de diseño del proceso, ya que el modo de recogida influye en la forma en que se lleva a cabo la recogida de datos, así como en el diseño del cuestionario de la encuesta. El uso del modo mixto 3 , es decir, la combinación de diferentes modos de recogida de datos para la misma encuesta, puede superar las limitaciones específicas de cada técnica y, si se diseña correctamente, puede reducir la tasa de falta de respuesta de la operación estadística. Una tendencia general entre los Institutos de Estadística es recoger la información que necesitan mediante el uso de datos administrativos para reducir la carga a los informan- tes y el coste. Esto se debe a que los INEs pueden aprovechar los datos ya existentes, almacenados en registros administrativos en poder de otros organismos públicos que ya han realizado una fase de recogida de datos, de acuerdo con sus necesidades y propósitos, aunque en algunos casos, las definiciones administrativas pueden diferir de las estadísticas. El Intercambio Electrónico de Datos (EDI del inglés Electronic Data Interchange) represen- ta otra forma de recoger datos tanto de las instituciones públicas como de las empresas, ya que se basan en el intercambio de información entre el proveedor de datos y el INE sobre la base de un sistema común y modelo de datos estructurados acordado. El proceso de recogida de datos no es sólo una cuestión de técnicas de entrevista, sino también de estrategias de contacto, así como de actividades de seguimiento. El primer conjunto de actividades es necesario para ponerse en contacto con los informantes y puede variar según el tipo de unidad estadística (empresas nuevas, personas, etc.). El segundo conjunto de actividades es importante para mantener bajo control la recogida de datos mientras tiene lugar y una vez recogidos los datos, para tomar las medidas necesarias para asegurar la calidad de los datos recogidos. Durante la recogida y después de la misma, tiene lugar el proceso de depuración de los datos, que permite, mediante la detección y corrección de errores, evitar sesgos e inconsistencias. La depuración de los datos se ve en el Tema 9 y se condicionada por el/los modo(s) utilizado(s) durante la recogida. Los métodos de recogida de datos básicos son: Autocumplimentación. En este caso los informantes rellenan el cuestionario (en papel, en formato electrónico u online) sin la ayuda de un entrevistador. El cues- tionario se puede enviar y recibir por correo postal o electrónicamente, o estar disponible online. Estos métodos requieren un cuestionario muy bien estructurado y fácil de seguir, con instrucciones muy claras. Se suele proporcionar un teléfono gratuito y un mail de contacto para ayudar al informador. Es más barato que los 3 del inglés mixed mode Tema 8. Métodos y gestión de la recogida de datos. 8.3. Recogida de datos asistida por ordenador 8-4 métodos que usan un entrevistador. Se suele usar para encuestas que precisan información detallada, ya que el informante puede consultar documentos. Tam- bién es útil para el caso de temas sensibles, ya que el cuestionario puede rellenarse con privacidad. Un inconveniente es que es necesario que los informantes sean expertos en la materia y es necesario disponer de datos de contacto (dirección postal, teléfono, correo electrónico). Con la ayuda de un entrevistador. Son la encuesta personal y por teléfono. El mayor beneficio de estos métodos es que un entrevistador puede aumentar la tasa de respuesta (estimulando en interés en la encuesta o tranquilizando a los informantes sobre cualquier duda que pueda tener) y la calidad global de los datos (evitando la falta de respuesta total o parcial, proporcionando las definiciones y conceptos correctos). Estos métodos son útiles cuando los conceptos de los cues- tionarios son complejos o cuando la autocumplimentación es difícil. Otra ventaja es que permite periodos de recogida más flexibles. El principal inconveniente es que son métodos caros (especialmente en el caso de entrevistas personales y/o aquéllas en las que la muestra esté muy dispersa) y si los entrevistadores no están bien entrenados pueden dar lugar a errores de respuesta. Las entrevistas personales se suelen usar para encuestas muy complejas o cuestionarios muy largos. Las entrevistas por teléfono son más baratas que las personales y es el método más rápido, el principal problema es que es necesario tener un teléfono, por eso se suelen usar después de la personal de la autocumplimentación. La siguiente tabla compara los métodos de recogida de datos: entrevistas personales, por teléfono y Auto-cumplimentación: Comparación de métodos Autocumplimentación Con entrevistador Teléfono Personal Coste Bajo Medio Alto Tiempo Más largo Más corto En la media Tasa de respuesta Bajo Medio-alto Alto 8.3 Recogida de datos asistida por ordenador Uno de los principales factores a tener en cuenta en el diseño de la encuesta es si la recogida implica métodos con ordenador o un enfoque tradicional basado en la recogida en papel. Los primeros son cada vez más usados, tanto en las encuestas económicas como en las sociales. Para encuestas que se van a realizar una única vez los métodos basados en el papel son a menudo más baratos, aunque una vez recogidos es necesario grabarlos y transformar las respuestas en un formato legible por la máquina (con la posibilidad de cometer errores de grabación). El principal beneficio de lo métodos asistidos por ordenador es que la recogida y la grabación de datos tienen lugar a la vez, dando lugar a un proceso Tema 8. Métodos y gestión de la recogida de datos. 8.3. Recogida de datos asistida por ordenador 8-5 de recogida integrado más rápido y eficiente. Este tipo de métodos se puede llevar a cabo con métodos autocumplimentación (CASI), por teléfono (CATI), en persona (CAPI) u online (CAWI). El CAWI es un método muy utilizado en el cual el cuestionario, junto con un conjunto de edits que identifican valores missing, inválidos o inconsistentes, está disponible en la página web del instituto de estadística. También podría ocurrir que el cuestionario en formato electrónico se envíe al informante para que lo complemente en su ordenador (CASI). Las ventajas del uso de Internet es que se reducen los costes y se mejora el timeliness (tiempo que pasa entre que ocurre el fenómeno que queremos estudiar y la publicación de los resultados). Entre las ventajas se encuentran la flexibilidad y la comodidad para el informante, ya que puede contestar el cuestionario en varias veces, grabando las respuestas cada vez y retomando el cuestionario donde se había quedado la última vez. Normalmente los informantes reciben un código para poder entrar en el cuestionario y rellenarlo. Hace años el acceso a Internet era un problema que con el tiempo ha desaparecido. En el caso de CATI y CAPI cada entrevistador tiene un ordenador. El entrevistador lee las preguntas e introduce las respuestas directamente en el ordenador. El proceso se explica de forma detallada a continuación. Para poder realizar entrevistas CATI, los entrevistadores tienen asignado un grupo de informantes, a los que llamarán y entrevistarán por teléfono, grabando sus respuestas en el sistema de gestión de la recogida de datos. Para poder hacer esto, se deben seguir varios pasos. Uno importante es que los entrevistadores deben de tener un cupo dentro de su horario, los datos de contacto del informante (empresa, establecimiento, individuo) y la hora del día en la que conviene hacerlo preferentemente para aumentar la tasa de respuesta. En ocasiones puede que la información de contacto del encuestado se haya quedado desactualizada, por lo que es conveniente que en el cuestionario haya un apartado para que se proporcionen los datos correctos. Y en el sistema de gestión de la recogida se debe de disponer de un apartado para que los encuestadores incluyan información sobre el mejor horario y forma de contacto (mail, teléfono) con el informante. Es necesario hacer una asignación de encuestadores a encuestados y encuestas. Para ello hay que tener en cuenta los plazos de realización de las encuestas, que varían dependiendo de si las operaciones son coyunturales o estructurales. Cabe señalar que se pueden combinar los métodos de recogida y proporcionar al in- formante la posibilidad de usar el que considere en cada momento. Sobre todo en el caso de las operaciones coyunturales o encuestas repetidas en las que el informante se mantiene en la muestra durante largos periodos de tiempo. En general los métodos asistidos por ordenador tiene muchas ventajas sobre los méto- dos basados en el papel. Los primeros incluyen edits que permiten la depuración de los Tema 8. Métodos y gestión de la recogida de datos. 8.4. Otros métodos de recogida 8-6 datos en el momento de la recogida, lo que reduce la carga al informante y el tiempo de recogida. Y es más sencillo implementar el control de calidad debido a los paradatos que se generan durante la recogida. Además el cuestionario puede ser más complejo en términos de edits y de saltos de preguntas. Uno de los inconvenientes de estos métodos es que es necesario la programación de los cuestionarios y de los edits, de la ayuda online, definiciones y descarga de las respuestas en una base de datos. Sin embargo, para operaciones con una muestra muy grande o que sean periódicas, a largo plazo puede resultar más barato. 8.4 Otros métodos de recogida 8.4.1 Observación directa Este método consiste en la observación o medición directa de ciertas características de interés. Puede ser la única posibilidad para algunos conceptos (p.e., algunos datos médicos) y es muy común en el caso de encuestas de precios desde la óptica de la de- manda. La observación directa se caracteriza por ser no intrusiva, es decir, el elemento observado no interactúa con ningún observador. Eso significa que los datos obtenidos a través de este método son reconocidos y valorados, por su confiabilidad. Como ejemplos prácticos, los sensores remotos son una forma de observación directa que interpreta imágenes de satélite (p.e., en el censo agrario para estimar superficies); los equipos aforadores (conteo) instalados en centros comerciales, estaciones de auto- bús, aeropuertos, instalaciones deportivas o de ocio,... para cuantificar el número de personas que entran o salen en determinados períodos temporales (por hora, por día, por semana,...), pueden ser por infrarrojos o mediante cámaras inteligentes. No se puede aplicar a la mayoría de los datos, ya que no son directamente observables, pero sí a los datos básicos que son necesarios para cuantificar y analizar variables muy concretas (precios, elementos, cantidades). Cuando hay una observación directa no hay falta de respuesta, pero en el caso de la medición, la carga al informante puede ser alta. Uno de los inconvenientes es que puede resultar cara debido al tipo de equipo de medición necesario. 8.4.2 Intercambio electrónico de datos (EDI, Electronic Data Interchange) Algunas encuestas permiten que los datos se descarguen directamente de una base de datos y se proporcionen en un fichero XML (eXtended Markup Language) o XBRL (eXtended Business Reporting Language) que son estándares globales para el inter- cambio de información financiera o estadística. Se utilizan, normalmente en encuestas económicas. Los lenguajes XML / XBRL etiquetan la información individual en un documento con la información necesaria. Por tanto, es necesaria una taxonomía XML / XBRL (desarrollado por los INEs) que defina las variables y las relaciones que pueden existir entre esas variables. Una taxonomía, a su vez, es el diccionario o el vocabulario Tema 8. Métodos y gestión de la recogida de datos. 8.4. Otros métodos de recogida 8-7 común y sus reglas de uso en XBRL. Específicamente son esquemas o mecanismos de clasificación que definen nombres o etiquetas específicas para cada elemento de información (por ejemplo: “Utilidad Neta”). El fichero es transferido del ordenador del informante al sistema de gestión de la oficina de estadística mediante un web service o subiendo el fichero a una página web. Entre sus ventajas están que la carga al informante es casi nula, los datos no contienen errores (en caso contrario no se permite su envío) y se reduce el tiempo de respuesta y de procesamiento, además de permitir el envío de una cantidad de datos mayor que con un cuestionario. La principal desventaja es su coste tanto para el informante como para la oficina de estadística. Por tanto, EDI representa el “intercambio electrónico de datos, generalmente en for- mas que son compatibles, de modo que el software o una combinación de personas y software pueden poner los datos en una forma compatible en el extremo receptor si es necesario”. (SDMX, 2009). De esta manera, EDI ofrece a las empresas la oportunidad de recuperar información electrónicamente desde sus sistemas internos y para reenviar ese información a socios comerciales/proveedores/clientes/gobierno a través de una red de comunicaciones (SDMX, 2009). VENTAJAS: Para los encuestados: – Una gran reducción de la carga de respuesta; – Una interacción mejorada con los INE. Para los INE: – Un aumento de la calidad de los datos (sin errores tipográficos, sin falta datos, validación antes de incluir los datos en la base de datos del INE); – Una reducción en los costes (no es necesario grabar los datos, no es necesario depuración o imputación); – Una mejora de los tiempos fijados y la puntualidad. DESVENTAJAS: Para los encuestados: – Coste en dinero y/o tiempo para comprar/desarrollar la aplicación; – Los establecimientos pueden tener miedo a los problemas técnicos o de confidencialidad. Para los INE: Tema 8. Métodos y gestión de la recogida de datos. 8.4. Otros métodos de recogida 8-8 – Costes de implementar el nuevo sistema de recogida, aunque una vez el sistema está implementado se puede utilizar para otras encuestas, y el uso del software de fuentes abiertas puede ayudar. 8.4.3 Datos administrativos Los datos administrativos son “el conjunto de unidades y datos derivados de una fuente administrativa”, y una fuente administrativa es “un depósito de datos que contiene información recopilada y mantenida con el propósito de implementar una o más regula- ciones administrativas” (SDMX, 2009). Un registro administrativo almacena registros de todos objetos a administrar, siendo re- querido que sea posible identificar todos los objetos. Las identidades utilizadas pueden ser números de identidad únicos, dentro de un sistema administrativo nacional, o un número de identidad en un subsistema con claves de las identidades en otros sistemas. Estas identidades se utilizarán en la coincidencia exacta de los objetos en diferentes registros. Un registro estadístico se basa en datos de registros administrativos que se hayan tramitado para adaptarse a fines estadísticos. Dichos registros pueden basarse en un registro de población realizado por el INE, o en registros administrados provenientes autoridades y organizaciones fuera del INE. Algunas encuestas pueden obtener la información necesaria de datos administrativos existentes. Los datos administrativos son aquellos que han sido recogidos por motivos administrativos (p.e., para administrar, regular o gravar actividades de empresas o individuos) en contra de los motivos estadísticos. Los registros administrativos tienen la gran ventaja de que eliminan una gran parte de los costes de recogida de datos y la carga la informante. También pueden reducir el tiempo de proceso, si los datos necesarios ya existen. Sin embargo, los conceptos y las definiciones deben de ser cuidadosamente evaluados ya que pueden diferir de los estadísticos. También hay una falta de control sobre la calidad de los datos y un trabajo de procesamiento de los datos para que tengan el formato necesario. Algunos ejemplos de datos administrativos se enumeran a continuación, en base a su tipología: (a) Por propietario: – (a1) Estado: Registro de población, Registro fiscal, Registro de la propiedad, Registro de la Seguridad Social, empresas de transporte de pasajeros, etc.; – (a2) Comunidades Autónomas (con poderes transferidos): Registro Fiscal en País Vasco y Navarra, establecimientos de alojamiento colectivo, empresas de transporte de pasajeros, hospitales, centros educativos, etc. (b) Por propósito: Tema 8. Métodos y gestión de la recogida de datos. 8.4. Otros métodos de recogida 8-9 – (b1) Encuestas sociales: padrón de población, catastro, Registro de la Seguri- dad Social, etc.; – (b2) Encuestas económicas: Registro Fiscal, Registro de la Seguridad Social, establecimientos de alojamiento colectivo, concesiones de empresas de trans- porte de viajeros, etc. En cuanto al uso de los datos Administrativos, los INE pueden usarlos para las siguien- tes aplicaciones estadísticas: en la producción de estadísticas como sustitutos de los datos de las encuestas; como input para registros estadísticos que se utilizarán como marco muestral y fuente de información auxiliar en el diseño muestral; como fuente de variables adicionales que se utilizarán para estimaciones; como información auxiliar para apoyar el procesamiento de datos primarios (por ejemplo, depuración de datos, imputación, calibración de estimaciones). Los INEs que quieran utilizar datos administrativos deben: (a) Tener conocimiento de la existencia y acceso a los datos administrativos. El derecho de acceso debe estar respaldado por ley así como la protección de la privacidad; (b) Evaluar la idoneidad de su uso (por ejemplo, calidad, puntualidad, definiciones) de los datos administrativos disponibles. Es necesaria la coherencia en cuanto a poblaciones y variables. Una vez que se ha evaluado la aptitud para el uso, es necesario establecer acuerdos de entrega de los datos con el proveedor de los mismos. 8.4.4 Modos combinados (Mixed-modes) A menudo la estrategia de recogida más satisfactoria es la de ofrecer a los informantes una selección de métodos de recogida. Las ventajas son la mejora de las tasas de respues- ta, menos errores de respuesta y una recogida más rápida. Uno de los inconvenientes es que la recogida puede ser más compleja y cara y produce datos heterogéneos que pue- den complicar el procesamiento y análisis. Y se puede introducir sesgo si los distintos métodos tienen distinta calidad. Para más información sobre los posible errores en caso de modos combinados, véase la Sección 14.2. En la actualidad muchos INE de todo el mundo están pasando del diseño unimodal al modo mixto. Cuando hablamos de modos en las encuestas, podemos distinguir entre los modos (o canales) de comunicación que se utilizan en una estrategia de comunicación de contacto o encuesta (como cartas de recordatorio y anticipado, seguimiento telefónico, etc.) y modos de recogida de datos, es decir, el modo utilizado para el cuestionario o la entrega de los datos. Por lo que hay que partir de los diseños de modo mixto y unimodal, discutiendo las características de los distintos modos de recolección de datos. Tema 8. Métodos y gestión de la recogida de datos. 8.4. Otros métodos de recogida 8-10 Cuestionarios en papel (enviados y devueltos por correo o por fax), los modos tradicionales. Autocumplimentados normalmente. Riesgos de falta de respuesta y errores de medición, alta. Costes, bajos. CAWI (Computer Assisted Web Interviewing o encuesta web asistidas por or- denador) son cuestionarios digitales distribuidos a través de medios online que permiten recabar información de manera rápida y analizarla de forma óptima. Se diferencia de las Encuestas CATI y CAPI por ser un proceso menos invasi- vo e impersonal (especialmente en encuestas a hogares). Autocumplimentada normalmente. CATI (Computer-Assisted Telephone Interviewing o encuesta telefónica asistida por ordenador) es un modo muy común en las encuestas sociales desde la década de 1970; en encuestas económicas de modo mixto, se puede utilizar como modo adicional para aumentar las tasas de respuesta o para recontactar durante la fase de depuración. Riesgos de falta de respuesta y errores de medición, baja (dependiendo del tema, puede ser alta en temas sensibles). Costes, medios. CAPI (Computer-Assisted Personal Interviewing ó encuesta personal asistida por ordenador), un encuestador (agente de campo) visita a un encuestado para completar o ayudar a completar un cuestionario digitalizado. Riesgos de falta de respuesta y errores de medición, baja (dependiendo del tema, puede ser alta en temas sensibles). Costes, altos. TDE (Touchtone Data Entry o entrada de datos por tonos telefónicos), como su nombre indica, las respuestas de la encuesta se contestan utilizando los tonos telefónicos, no siendo necesaria ninguna manipulación de datos al ser recibidos en formato electrónico, sin necesidad de encuestador. Autocumplimentada. Casi no se utiliza en la estadística oficial. Smart phone, con cuestionarios web. Autocumplimentada. Es un nuevo método de recogida que se está probando. Plantea el problema de cómo conseguir incluir en la pantalla de un teléfono móvil la pregunta del cuestionario junto con la información auxiliar. Estos distintos métodos de recogida también permiten clasificar los datos en primarios y secundarios, siendo así considerados en muchos países a la hora de diferenciar los procesos de recogida de datos. Hay que partir de la idea de que los INEs tienen como objetivo producir estadísticas de calidad y actualizadas, lo que requiere a su vez, datos actualizados en los que se puedan confiar, de fuentes oficiales o contrastadas. Estos podrían ser datos que la propia organi- zación recopila (datos primarios) o datos que están disponibles en el mundo exterior (datos secundarios). Estos últimos pueden ser, por ejemplo, fuentes administrativas mantenidas por otras organizaciones gubernamentales, y fuentes identificadas hoy en día como “Big data”, como datos disponibles en Internet y datos generados por sensores, lo cual enlaza a su vez con el proceso de sensorización que se está produciendo en los últimos años. Conscientes del coste y la carga de respuesta que implica la recogida de datos primarios, cada vez más INEs tienen como objetivo maximizar el uso de datos secundarios para la producción de estadísticas. El proceso completo de recogida de Tema 8. Métodos y gestión de la recogida de datos. 8.5. Introducción a la gestión de la recogida de datos 8-11 datos ya existentes se denomina generalmente recogida de datos secundarios. Para poder utilizar datos de fuentes secundarias, los INE deben saber qué fuentes secun- darias existen con respecto a su país y si se les permite acceder a ellas de forma regular. A continuación, es necesario determinar la idoneidad para el uso de la fuente de datos para las estadísticas oficiales. Hay muchas formas de determinar esto y los enfoques más importantes se centran en la calidad de los metadatos de la fuente, en la calidad de los datos de entrada y en la calidad de los datos de las estadísticas producidas, así como en la existencia de una metodología para el uso de los datos. Cuando se considera que una fuente de datos secundaria es adecuada para su uso, es necesario establecer acuerdos de entrega con el proveedor de datos. Se considera una buena práctica asig- nar a un empleado de INE como persona de contacto para la fuente y el proveedor de datos. Para las estadísticas importantes que dependen de la disponibilidad de los datos secundarios, es necesario configurar formas de lidiar con cualquier interrupción o retraso en la entrega. Estos supuestos escenarios alternativos pueden variar desde acciones muy simples, como contactar directamente con el proveedor de datos, hasta el uso de modelos complejos que son capaces de hacer frente a los datos que faltan (falta de respuesta). Aparte de los datos administrativos, algunos trabajos más recientes también se centran en el uso de fuentes secundarias innovadoras, los denominados Big Data, para las estadísticas, aunque muchos de estos proyectos todavía están en marcha y estas fuentes todavía no se utilizan, masivamente, para las estadísticas oficiales de los INE. 8.5 Introducción a la gestión de la recogida de datos Lo primero que necesitamos son los elementos principales a tener en cuenta en el diseño de los componentes de la recogida de datos: la muestra, el cuestionario (tanto su diseño como su implementación en los distintos modos), el personal formado y la estrategia de comunicación. Una vez que todos los componentes de la encuesta están listos para su implementación y se lanza la encuesta, hay que llevar a cabo una eficiente gestión del trabajo de campo o de la recogida de datos. Esto implica un control y seguimiento del proceso de recogida de datos, de cara a garantizas la calidad de los resultados. Entonces, es cuando se comprobará si el diseño de la encuesta planificada es eficaz, en particular si los desafíos de calidad discutidos en fases previas se han abordado de manera adecuada. Por tanto, el enfoque de la gestión del trabajo de campo debe ser activo, lo que puede implicar cambiar el diseño preparado durante el trabajo de campo. Al discutir la planificación de una encuesta se deben seguir los principios de la gestión de proyectos, al asimilar la ejecución de una encuesta a la ejecución de un proyecto. Para ello, se debe planificar una encuesta con anticipación y trabajar en consecuencia, para asegurarnos de alcanzar los resultados de la encuesta dentro del plazo y el presupuesto, siguiendo los niveles de calidad previamente acordados. Tema 8. Métodos y gestión de la recogida de datos. 8.6. Implementación de la encuesta 8-12 Ello supone la gestión de riesgos, en cuanto a su tratamiento y planificación de acciones de mitigación. Además, hay que tener en cuenta que una parte importante del proceso de producción está más allá del control de la organización de la encuesta: el diseño del proceso de respuesta de los elementos encuestados. Porque, aún con una preparación cuidadosa, la efectividad del diseño para obtener respuestas de calidad es incierta. En la etapa de diseño, las pruebas preliminares y la prueba piloto pueden ayudar a estimar estas incertidumbres y mejorar el diseño inicial (véase el tema 11 4 del bloque “Producción Estadística Oficial: Métodos Avanzados ”de la especialidad de Estadística y Ciencia de datos del grupo B de materias específicas). Estas incertidumbres amenazan la capacidad organizativa de las encuestas para cumplir con los resultados marcados inicialmente, considerando el plazo y el presupuesto (Groves y Heeringa 2006; Wagner 2010; Kreuter, M. Couper y Lyberg 2010). Para que los datos recogidos tengan una buen calidad es necesario controlar el trabajo de campo de forma continua en tiempo real. Esto depende de la disponibilidad en tiempo real de paradatos. Los indicadores basados en paradatos permiten la identificación de problemas en el proceso de recogida de datos y la intervención adecuada para aumentar la probabilidad de lograr los objetivos de la encuesta (Groves y Heeringa 2006; Kreuter, M. Couper y Lyberg 2010). Sin embargo, esto también debe planificarse cuidadosamente. Por tanto, es necesario realizar una gestión activa de la recogida de datos, partiendo de unos diseños receptivos a los elementos de respuesta, para posteriormente discutir sobre el mejor proceso de implementación de la recogida de datos. Los paradatos y los indicadores de control y seguimiento, lógicamente, están relacionados directamente con los errores en las encuestas, lo cual nos lleva a saber si disponemos de unos datos de calidad. Esto nos proporciona un marco para seleccionar indicadores adecuados para monitorizar la recogida de datos, los cuales pueden estar relacionados con (1) el resultado del trabajo de campo (es decir, los datos de la encuesta) y (2) el proceso de trabajo de campo, que se relaciona con la calidad y el coste del diseño de la encuesta (Renssen y col. 1998): -indicadores de calidad de los datos de la encuesta, incluida la tasa de respuesta; -indicadores de la eficacia y eficiencia del diseño de la encuesta (con respecto al coste y los recursos). 8.6 Implementación de la encuesta Antes de que pasar de la etapa de diseño, construcción y prueba (design–build–test, DBT) de la recogida de datos, o implementación de la encuesta, es necesario disponer de 4 Tema 11. Métodos para el desarrollo, testeo y evaluación de instrumentos de recogida de datos I. Un marco para el desarrollo, testeo y evaluación. Desarrollo de contenido, medidas y cuestiones en encuestas. Testeo de preguntas y cuestionarios. Evaluación de preguntas y cuestionarios. Métodos para el desarrollo, testeo y evaluación de instrumentos de recogida de datos. II. Desarrollo, testeo y evaluación de instrumentos de recogida electrónica de datos. Análisis de datos cuantitativos. Enfoques multimétodo para el desarrollo, testeo y evaluación. Organización y logística. Tema 8. Métodos y gestión de la recogida de datos. 8.6. Implementación de la encuesta 8-13 los elementos fundamentales listos: la muestra, el cuestionario, el material de comunica- ción. Igualmente, se han de tener todos los sistemas implementados, las herramientas desarrolladas, y dispuestos los flujos de trabajo y operacionales relacionados con la recogida de datos, y habrán sido diseñados, construidos y probados los métodos y procedimientos asociados: grabación, codificación y depuración de datos. La implementación de la encuesta implica tener todo listo para el trabajo de campo, lo que afecta a todos los componentes del proceso de recogida de datos. Esto incluye: La muestra ha sido seleccionada y se dispone de una lista de unidades con infor- mación actualizada sobre ellas. El cuestionario final está impreso, los cuestionarios electrónicos están disponibles en la página web, los cuestionarios CATI y CAPI están listos en los ordenadores de los encuestadores, y los cuestionarios para otros modos de recogida de datos están implementados en los equipos y el resto de actividades necesarias (el esquema XML/XBRL está disponible para los usuario, se he desarrollado una aplicación para subir los ficheros XML/XBRL, etc.). Se tiene el calendario para la estrategia de comunicación y recogida de datos, todos los documentos de comunicación están impresos, subidos en Internet o implementados, los entrevistadores tienen su listado de informantes. Los métodos y procedimientos de grabación, codificación y depuración de datos están implementados en las herramientas e instrucciones correspondientes. Todos los sistemas de producción, herramientas y procedimientos están finaliza- dos, incluyendo los sistemas de datos, metadatos y paradatos. El personal ha sido instruido en relación con sus funciones y está capacitado en habilidades, procedimientos, sistemas y herramientas. El procedimiento de recogida de datos está montado, al igual que la logística, los flujos de trabajo y las operaciones. La secuencia de actividades destinadas a realizar con éxito la encuesta y cumplir con los objetivos marcados está lista. Todo esto requiere una planificación previa. Durante la etapa DBT, la planificación de la encuesta puede haber cambiado. En ocasiones puede que el trabajo de campo se retrase, quizás debido al tiempo adicional necesario para diseñar y probar el cuestionario, pero esto no significa necesariamente que la finalización del trabajo de campo se encuentre en una etapa posterior. Y por supuesto, no tiene por qué afectar al resultado final de la encuesta. Sin embargo, si un inicio posterior del trabajo de campo afecta los componen- tes de la encuesta, estos deben actualizarse. Es posible que sea necesario actualizar la información de contacto, es posible que se necesite establecer un nuevo calendario de trabajos y actividades, lo que afectará al personal involucrado en el trabajo de campo. Para que el trabajo de campo resulte eficaz, todas las componentes deben de funcionar adecuadamente y de forma sincronizada. En la etapa de diseño, se han probado los componentes, procedimientos, sistemas y herramientas individuales, pero aún no se Tema 8. Métodos y gestión de la recogida de datos. 8.7. Gestión activa del trabajo de campo 8-14 han probado como un sistema conjunto en condiciones reales. Por tanto, es muy recomendable realizar un piloto antes de realizar la encuesta, tomando de ejemplo a una parte de la muestra. Sobre todo, es muy recomendable realizarla, al menos, en caso de un rediseño importante de la encuesta como puede ser el rediseño completo del cuestionario, o un sistema de recogida de datos completamente nuevo. En una encuesta recurrente, esto se puede hacer, por ejemplo, con una parte representativa de la muestra. De esta forma, en lugar de correr el riesgo de que surja un problema con toda la encuesta, el riesgo se reduce a una pequeña parte de la muestra, lo que garantiza la entrega de resultados. Una vez más, la realización de una prueba piloto también requiere una planificación previa (para más información sobre pruebas piloto véase el tema 11 de la especialidad de Estadística y Ciencia de datos del grupo B de materias específicas). 8.7 Gestión activa del trabajo de campo Finalmente, las unidades muestrales son contactadas, la recogida de datos está en fun- cionamiento y, por tanto, es necesaria una gestión del trabajo de campo ya que nos podemos encontrar con incertidumbres que pueden afectar a los resultados finales. Es imprescindible un sistema eficaz de control y seguimiento de los trabajos que nos permi- ta monitorizar el proceso de recogida de datos, respondiendo a preguntas clave: ¿cuál es la tasa de respuesta? ¿cuál es el edit que mayor número de unidades no verifican? ¿cuál es el modo de recogida más utilizado por las unidades?, ¿es necesario recontactar con las unidades?, ¿cuántas unidades son sancionadas por no proporcionar la información?. Pero, la gestión no es una única acción, sino una serie de pasos, y para que funcione correctamente la gestión del trabajo de campo debemos adoptar un enfoque activo de dicha gestión. Esto incluye: Planificación. Incluye dos aspectos: (1) identificar indicadores relevantes para ha- cer un seguimiento del proceso en general; y (2) además, identificar características críticas del diseño y planificar intervenciones atenuantes. Seguimiento. El objetivo es identificar problemas durante la recogida tan pronto como sea posible. Identificación de los problemas y encontrar soluciones. Por ejemplo, si la tasa de respuesta es muy baja, se puede recontactar con las unidades para ver si tienen algún problema en la cumplimentación, si no entienden bien el cuestionario, etc. Propuestas de acciones correctivas. Una vez que se detectan los problemas, las propuestas de acciones correctivas (preparadas previamente) son propuestas a los responsables, que tomarán las medidas necesarias. Comunicación y toma de decisiones. Una vez tomadas las decisiones es necesario su comunicación a todo el personal involucrado. Tema 8. Métodos y gestión de la recogida de datos. 8.7. Gestión activa del trabajo de campo 8-15 Evaluación y documentación. Una vez el proceso ha terminado tiene lugar la evaluación y la documentación, con el fin de mejorar si es necesario, más adelante. Es decir, en la práctica, al realizar encuestas hay que solventar muchas incertidumbres que afectan los costes y errores de las mismas, incertidumbres que pueden no haber sido identificadas previamente durante las pruebas preliminares. En la gestión activa del trabajo de campo, el objetivo general del seguimiento es identificar los problemas de recogida durante la recogida de datos lo antes posible en el proceso y no al final, cuando es demasiado tarde para actuar. En este punto la pregunta relevante es, ¿vamos por buen camino? Para responder a esta pregunta, es importante monitorizar muy de cerca las caracterís- ticas críticas del diseño de la encuesta, lo que se denomina enfoque de diseño receptivo y fue propuesto por Groves y Heeringa 2006. En este enfoque, el seguimiento está dirigido a las características de diseño potencialmente problemáticas y que previamente identificadas, lo que reduce el riesgo de no cumplir con los objetivos de la encuesta. Este enfoque incluye la planificación de intervenciones apropiadas en el diseño y la planificación de cuatro pasos: 1. Identificación previa de las características del diseño que potencialmente afectan a los errores y los costes de la encuesta, p. ej. basado en pruebas piloto, ya que es probable que estas características de diseño pongan en peligro obtener los resultados previstos. 2. Identificación de indicadores, que muestren las propiedades de coste y error de esas características de diseño, y monitorización de esos indicadores durante la recolección de datos. Para calcular estos indicadores, necesitamos definir los paradatos apropiados. 3. Preparar la recogida y el análisis en tiempo real de los paradatos. Esto implica que durante la recogida de datos, los indicadores relevantes deben calcularse en tiempo real. 4. En las fases posteriores de la recogida de datos, las características de la encuesta se pueden modificar de acuerdo con las “reglas de decisión de compensación de costes y errores”. Las reglas de decisión deben definirse y concretarse antes del trabajo de campo y deben garantizar que se alcancen los niveles de calidad predeterminados de los resultados de la encuesta. Sobre la base de estas reglas de decisión, se deben preparar diseños alternativos y acciones apropiadas. En los diseños receptivos, el diseño de la encuesta se cambia, si es necesario, durante la recogida de datos. El desafío es planificar la recogida de datos de tal manera que el diseño realmente se pueda cambiar. Por tanto, en los diseños receptivos, el proceso de recogida de datos se divide en fases, y cada fase se supervisa calculando el conjunto de indicadores definidos inicialmente, de tal manera que los resultados se corresponden con determinadas reglas de decisión. Al final de cada fase, si los indicadores muestran niveles inaceptables de acuerdo con las reglas de decisión, se toman las acciones apro- piadas. Tema 8. Métodos y gestión de la recogida de datos. 8.8. Paradatos 8-16 En determinadas encuestas, esto incluye, por ejemplo, un cambio en el modo de recogi- da de datos en subpoblaciones específicas (de la web al papel); en una fase posterior, para el control y seguimiento de la falta de respuesta, se puede implementar un cambio de recordatorios en papel, a recordatorios telefónicos; y en una fase final, el cuestionario puede acortarse con solo preguntas clave básicas (Bethlehem 2009). Si se dispone de un cuestionario acotado en número de preguntas clave, se necesitará menos tiempo para la recogida de datos y se podrá realizar más encuestas en menos tiempo, optimizando así los recursos. Esto requiere una planificación anticipada y un proceso de recogida de datos flexible. Se pueden encontrar ejemplos de reglas de decisión en los Estándares de Calidad de las oficinas de estadística o en organismo internacionales (como Eurostat). A modo de ejemplo, el subrequisito establecido en EE.UU. indica que “los análisis de sesgo por falta de respuesta deben realizarse cuando las tasas de respuesta por unidad, artículo o cantidad (es decir, ponderadas) para la muestra total o subpoblaciones importantes caen por debajo de los siguientes umbrales”: (1) El umbral para las tasas de respuesta unitaria es del 80 %; (2) El umbral para las tasas de respuesta de los elementos clave es del 70 %; (3) El umbral para las tasas de respuesta de cantidad total es del 70 %. Teniendo en cuena que los umbrales 1 y 2 no se aplican a las encuestas que utilizan tasas de respuesta de cantidad total. 8.8 Paradatos Los paradatos, o datos de procesamiento, son esenciales para la gestión del proceso de recogida de datos. Con el enfoque de la gestión activa del trabajo de campo, permiten el seguimiento y la toma de decisiones para este proceso. El concepto de paradato fue introducido por M.P. Couper 1998. Los paradatos incluyen una gran variedad de datos. Un gran número de clasificaciones de paradatos han sido propuestos, por ejemplo, dependiendo del tipo de datos o macro/microparadatos. Entre los objetivos de los usos de los paradatos están los siguientes: Seguimiento y evaluación de una entrevista individual. Estado de la recogida de los datos, de los edits, información acerca del informante. Seguimiento y evaluación del marco de producción de la encuesta. Mejoras a corto plazo (feedback continuo con el proceso de producción), mejoras a largo plazo (para evaluar la eficiencia y calidad a lo largo del tiempo para mejorar el proceso), mejoras metodológicas (investigación con el fin de mejorar las componentes de la encuesta como el cuestionario o los edits). Imagen corporativa. Proporcionando al público general indicadores de calidad, para alcanzar la confianza en los resultados estadísticos. El uso de paradatos en el contexto de la gestión activa del trabajo de campo para el Tema 8. Métodos y gestión de la recogida de datos. 8.9. Monitorización de la calidad de la respuesta 8-17 seguimiento de encuestas individuales requiere un enfoque conjunto en el proceso y la gestión de la calidad. Desde la perspectiva de la gestión del proceso, los paradatos están relacionados con varias tareas en la recogida de datos y sus costes: Paradatos asociados con el proceso en la organización. Lógística (cuándo se envió el cuestionario), actividad del personal (cuándo y cómo contactar con el infor- mante), proceso de grabación de los datos (número de cuestionarios procesados), estado de la respuesta (tasa de respuesta, tiempo de respuesta), proceso de depu- ración (variables y registros que han sido combinados, número de recontactos). Paradatos asociados con el proceso desde el lado del informante. Resultado mien- tras se contesta el cuestionario (número de cuestiones modificadas, edits que han saltado), resultado del proceso de realización (estado de la respuesta), help desk, información para el acceso al cuestionario (código y contraseña). Paradatos de gestión del proyecto. Gasto de dinero, recursos humanos y de mate- rial, y de tiempo. Por último, los paradatos están relacionados con las causas de error en las encues- tas. Estos paradatos y sus indicadores se pueden usar para evaluar la calidad de los componentes de la encuesta y de los datos. Algunos ejemplos son: Errores de muestreo: errores de cobertura. Error de sobrecobertura: número de duplicados, de erróneamente incluidos, de unidades no localizables. Errores de muestreo: errores de falta de respuesta. En la salida a campo: número de unidades no contactadas. Durante la recogida: recordatorios enviados, número de llamadas, sanciones. Depuración: número de recontactos. Errores de medida. Modo de recogida: tasa de respuesta para cada modo, cambios de modos. Carga al informante: tiempo necesario para completar el cuestionario, número de informantes. Cuestionario: falta de respuesta parcial, preguntas con mucha falta de respuesta. 8.9 Monitorización de la calidad de la respuesta Durante la recogida de datos necesitamos realizar un seguimiento de la respuesta para asegurarnos de que los niveles de calidad son los deseados (para más información sobre la calidad véase el Tema 18). Los indicadores de calidad del producto final incluyen: A nivel de unidad: tasa de respuesta, de falta de respuesta y de devolución de cuestionarios. En el caso de la tasa de devolución se considera en el numerador el número de unidades que enviaron el cuestionario. Estos indicadores se pueden calcular para cada uno de los modos de recogida. Estos indicadores también se pueden calcular para tipos específicos de subpoblaciones. En relación con la importancia relativa de la unidad: tasa de respuesta ponderada. En algunas operaciones estadísticas, como pueden ser las encuestas económicas, algunas empresas o establecimientos son más relevantes que otros. Un pequeño número de unidades puede contribuir a la estimación en mayor proporción. Por Tema 8. Métodos y gestión de la recogida de datos. 8.10. Monitorización del proceso de producción de una encuesta 8-18 eso puede ser más significativa la tasa de respuesta ponderada. En los pesos se puede considerar distintas variables, como la cifra de negocios o el número de empleados de la empresa o del establecimiento. En relación con la distribución de la respuesta: indicador de representatividad. Después de monitorizar la tasa de respuesta ponderada, necesitamos monitorizar la representatividad de la distribución de respuesta para las variables auxiliares. Sobre la calidad de las medidas: falta de respuesta parcial y el gráfico de eficiencia del proceso. El gráfico de eficiencia del proceso es un gráfico de control que traza la evolución de las estimaciones para una variable objetivo cuando se reciben los cuestionarios. En el momento de empezar la recogida de datos se sitúa en el 100 % de falta de respuesta y posteriormente esta tasa va descendiendo, sobre todo en las fechas en que se mandan los recordatorios y en los que se sanciona a las unidades. Se debería de disponer de la tasa de respuesta ponderada y sin ponderar. Los indicadores de calidad de los datos indican lo cerca que estamos de la muestra inicial que se extrajo para obtener resultados acurados, completos y a tiempo. Uno de los indicadores de calidad más comunes es la tasa de respuesta (o de falta de) tanto ponderada como sin ponderar, porque es un indicador fácil de calcular y de interpretar. Pero hay que tener en cuenta varios aspectos de la respuesta para tener una idea clara de la calidad de la respuesta. Si se utiliza una muestra existe una varianza de muestreo (error de muestreo). Esta varianza se controla con el procedimiento de selección de la muestra. La falta de res- puesta total introduce una varianza adicional. La falta de respuesta también puede dar lugar a sesgo si la distribución de la falta de respuesta está sesgada para las variables objetivo o auxiliares. El sesgo será más importante cuando más grandes (en peso) sean las unidades que no responden. Un segundo tipo de falta de respuesta es la parcial. Esto introduce una varianza y un sesgo adicional. 8.10 Monitorización del proceso de producción de una encuesta Además de realizar un seguimiento de la respuesta, será necesario monitorizar también los procesos de campo y posterior con el fin de estudiar la efectividad y el coste- eficiencia del diseño de la encuesta. El diseño de la encuesta es efectivo si produce datos acurados, completos y en plazo. La monitorización del proceso incluye por tanto la monitorización de la muestra, el cuestionario, el modo de recogida de datos, la estrate- gia de comunicación y el procesamiento de los datos, en relación con las fuentes de error. Veamos algunos de estos indicadores: Muestra. – Tasa de ilocalizables. Tema 8. Métodos y gestión de la recogida de datos. 8.11. Evaluación de la encuesta y el informe de calidad 8-19 – Tasa de unidades mal clasificadas. – Tasa de duplicados. Calidad del cuestionario y de la respuesta. – Tasa de recontacto. – Tasa de edits que han saltado para las principales variables. – Tasa de cambio por pregunta. Envío de cuestionarios. Número de cuestionarios enviados. Modo de recogida de datos. – Tasa de respuesta y de devolución por modo. – Tasa de cambio de modo. Estrategia de comunicación – Tasa de respuesta y de devolución antes del primer recordatorio, o en general, antes de cada recordatorio. – Tasa de intento de contacto. – Tasa de no contacto. – Tasa de negativa a responder. – Tasa de aplazamiento. Procesamiento de los datos – Tasa de no verificación de los edits. – Tasa de imputación automática y manual. 8.11 Evaluación de la encuesta y el informe de calidad Después de terminar el trabajo de campo hay que evaluar el proceso estadístico. Esto incluye: Una evaluación del proceso de campo. Esta evaluación nos permitirá ver si (1) se han alcanzado los resultados de acuerdo con las especificaciones iniciales, y (2) el trabajo de campo ha sido efectivo a la hora de alcanzar los resultados y dónde se puede mejorar. Esta evaluación puede ser realizada internamente o por auditorías externas. Una evaluación del usuario. A los usuarios de los datos se les pregunta por varios aspectos de calidad de los resultados como la relevancia, acuracidad, comparabili- dad, oportunidad, etc. Una evaluación de la gestión del trabajo de campo. Esto conlleva una evaluación del dinero gastado, los recursos y el tiempo empleados. Tema 8. Métodos y gestión de la recogida de datos. 8.11. Evaluación de la encuesta y el informe de calidad 8-20 Una evaluación en relación con la carga de respuesta. Estas evaluaciones se relacionan con los objetivos de mejora del uso de paradatos. Como consecuencia de estas evaluaciones, se propondrán medidas de mejora: proceso a corto plazo, proceso a largo plazo y/o mejora metodológica. Estas evaluaciones también deben planificarse en el plan del proyecto del trabajo de campo. Los resultados de estas evaluaciones se documentan en un informe de calidad. Todos los indicadores relevantes definidos inicialmente están documentados en el in- forme de calidad sobre el proceso de producción de la encuesta, que debería incluir la tasa de respuesta general no ponderada, la tasa de respuesta completa, la tasa de no respuesta y la tasa de retorno. La tasa de respuesta por unidad de tiempo se puede mostrar en gráficos de control y se puede tabular la distribución de las tasas de res- puesta para subgrupos o estratos relevantes, al igual que la distribución de respuesta para los diversos modos de recogida de datos. Para mostrar la calidad de los datos, se pueden publicar las tasas de respuesta ponderadas y, para las variables clave, el gráfico de eficiencia del proceso y las tasas de respuesta de los elementos. Es recomendable no solo definir estas tasas, si no también mostrar sus fórmulas descriptivas, incluyendo una tabla que muestre los códigos de resultado de la respuesta final. Además, el informe debe incluir una sección sobre costes y carga de respuesta, indican- do los costes totales de la encuesta, los costes promedio por unidad de respuesta y las cargas de respuesta reales y percibidas, que deberán contrastarse con las estimadas y requeridas para alcanzar los objetivos marcados. El informe de calidad también debe incluir una sección metodológica que describa el diseño de la encuesta y las medidas que se hayan tomado para asegurar la calidad, incluida la minimización de los errores, actualización del marco muestral que incluya un procedimiento de muestra eficiente, pretest del cuestionario en la etapa de concep- tualización y planificación de la operativa, la adaptación del cuestionario, la aplicación del enfoque de diseño de siete pasos para la estrategia de comunicación y la realización de una prueba piloto de campo. En la página web del INE se pueden consultar, para cada operación estadística, el informe metodológico estandarizado. Por ejemplo, el informe de los Índices de precios industriales: https://ine.es/dynt3/metadatos/es/RespuestaDatos.html? oe=30051. Bibliografía Bethlehem, J. (2009). Applied Survey Methods: A Statistical Perspective. New York: Wiley. Couper, M.P. (1998). Measuring survey quality in a CASIC environment. URL: http:// www.amstat.org/sections/srms/proceedings/papers/1998_006.pdf. Tema 8. Métodos y gestión de la recogida de datos. 8.11. Evaluación de la encuesta y el informe de calidad 8-21 Eurostat (2017). Handbook on Methodology of Modern Business Statistics (Memoboost). URL : https : / / ec. europa. eu / eurostat / cros / content / handbook - methodology-modern-business-statistics_en. Groves, R.M. y S.G. Heeringa (2006). “Responsive design for household surveys: tools for actively controlling survey errors and costs”. En: 169, págs. 439-457. Kreuter, F., M. Couper y L. Lyberg (2010). The use of paradata to monitor and manage survey data collection. Proceedings of the Survey Research Methods Section, ASA (Ameri- can Statistical Association). URL: http://www.asasrms.org/Proceedings/ y2010f.html. Renssen, R.H., A. Camstra, C. Huegen y W.J.G. Hacking (1998). A model for evaluating the quality of business surveys. URL: http://citeseerx.ist.psu.edu/viewdoc/ download?doi=10.1.1.547.7824&rep=rep1&type=pdf. SDMX (2012). SDMX 2.1 User Guide. URL: https : / / sdmx. org / wp - content / uploads/SDMX_2-1_User_Guide_draft_0-1.pdf. Snijkers, G., G. Haraldsen, J. Jones y D.K. Willimack (2013). Designing and Conducting Business Surveys. Wiley. UNECE (2019). The Generic Statistical Business Process Model v5.1. URL: https : / / statswiki.unece.org/display/GSBPM/Generic+Statistical+Business+ Process+Model. Wagner, J. (2010). “The fraction of missing information as a tool for monitoring the quality of survey data”. En: Public Opinion Quarterly 74 (2), págs. 223-243. Wallgren, A. y B. Wallgren (2007). Register-based Statistics: Administrative Data for Statisti- cal Purposes. Wiley. Tema 8. Métodos y gestión de la recogida de datos.