Google Cloud Platform (GCP)

Introducción y objetivos

• El capítulo se enfoca en Google Cloud Platform (GCP), examinando su estructura, recursos, servicios IaaS y ofertas relacionadas con big data, analítica y machine learning.
• Los objetivos son conocer GCP como proveedor de servicios en la nube, explorar su catálogo, estudiar sus servicios IaaS para big data, y conocer alternativas PaaS y SaaS para estas tecnologías.

Google Cloud Platform

• GCP se originó para gestionar las aplicaciones de Google a gran escala y se expandió para ofrecer servicios al público bajo un modelo de pago por uso.
• Proporciona recursos accesibles globalmente, centrados en alta disponibilidad, seguridad y una variedad de servicios como almacenamiento, procesamiento y tecnologías específicas como analítica de datos e inteligencia artificial.
• Permite desplegar modelos en la nube o de forma híbrida, facilitando migraciones según las necesidades del usuario.

Regiones y zonas

• GCP ofrece disponibilidad global, dividiendo sus servicios en regiones y zonas para asegurar baja latencia y alta disponibilidad.
• Una región es un área geográfica con zonas que actúan como dominios de fallo únicos; los recursos pueden ser zonales, regionales o multirregionales.
• Al elegir dónde desplegar servicios en GCP, se consideran factores como latencia, coste, legislación y disponibilidad.

Servicios transversales: seguridad y gestión

• La seguridad es una prioridad en GCP, con un enfoque en la privacidad del usuario y medidas de protección en varias capas.
• Ofrece herramientas para la detección de amenazas y vulnerabilidades, y presta especial atención a las leyes de protección de datos.
• GCP sigue un modelo de responsabilidad compartida que especifica las obligaciones del proveedor y del usuario en seguridad y gestión de datos.

Servicios de computación

• GCP ofrece servicios gestionados para aplicaciones (PaaS) e instancias virtuales (IaaS) donde el usuario controla el hardware.
• Google Compute Engine (GCE) permite elegir configuraciones personalizadas de máquina virtual.
• Otras opciones incluyen instancias preemptibles, nodos de tenant único y servicios de contenedores como Google Kubernetes Engine (GKE) y Google Run para microservicios.

Servicios de red

• Google Cloud Virtual Private Cloud (VPC) interconecta recursos y permite el control de tráfico mediante reglas de firewall.
• Cada VPC contiene subredes, asociadas a una región, para mayor seguridad y control del tráfico.
• La gestión de tráfico eficiente se logra mediante balanceadores de carga y la creación de redes compartidas entre diferentes proyectos.

Servicios de almacenamiento

• GCP ofrece almacenamiento para bloques, objetos y archivos adaptándose a distintas necesidades.
• Persistent Disk ofrece almacenamiento persistente para instancias VM, mientras que Cloud Storage proporciona almacenamiento para objetos con alta durabilidad.
• Las opciones de almacenamiento (estándar, acceso frecuente, archivo) varían según la frecuencia de acceso.

Bases de datos

• GCP ofrece bases de datos relacionales (Cloud SQL), NoSQL (Bigtable, Cloud Firestore) y en memoria (Cloud Memorystore).
• Cloud SQL gestiona bases de datos relacionales para consultas transaccionales.
• Cloud Spanner ofrece disponibilidad y escalabilidad global.
• Bigtable y Firestore son soluciones NoSQL diseñadas para necesidades específicas de velocidad, flexibilidad y arquitectura. Cloud Memorystore provee soluciones para bases de datos en memoria con alta disponibilidad y velocidad de respuesta.

Servicios de big data y analítica

Introducción

• GCP ofrece servicios gestionados para big data y analítica, incluyendo clústeres Hadoop y herramientas propietarias, similares a AWS.
• Las tecnologías de big data pueden instalarse en instancias VM de Google Cloud Engine o en contenedores GKE.

Dataproc

• Dataproc permite desplegar clústeres Hadoop gestionados por GCP, con tecnologías como HDFS, MapReduce, YARN, Zookeeper, Hive, Pig y Spark, usando Google Cloud Storage.
• Dataproc permite autoescalado, ajustando nodos worker durante la ejecución de tareas, y se integra con BigQuery y Cloud Storage.

Dataflow

• Dataflow es un sistema ETL que usa Apache Beam para procesar datos en batch y streaming a través de pipelines (grafos dirigidos acíclicos - DAG).
• Los pipelines en Dataflow encapsulan procesos desde la adquisición hasta la producción de resultados, permitiendo flexibilidad en el manejo de fuentes y sumideros de datos.

BigQuery

• BigQuery es un sistema de almacenamiento de datos que permite consultas SQL sobre grandes volúmenes, optimizando el procesamiento sin operaciones transaccionales (OLTP).
• Usa un modelo schema-on-read, que permite inferir esquemas de datos durante el acceso; los datasets están organizados en tablas, tanto 'nativas' como 'externas'.

Cloud Pub/Sub

• Cloud Pub/Sub es un sistema de mensajería asíncrona entre publicadores y suscriptores usando topics, facilitando el desacoplamiento entre los sistemas.
• Proporciona persistencia en los mensajes y se integra con otras tecnologías GCP, siendo útil para el balanceo de carga, procesamiento asíncrono, y gestión de logs.

Cloud Datalab

• Cloud Datalab ofrece Jupyter notebooks en contenedores en instancias VM, permitiendo la exploración y transformación de datos, integrándose con BigQuery y Dataflow.
• Facilita la interacción mediante el navegador web, simplificando el análisis de datos y el uso de herramientas de machine learning.

Cloud Dataprep

• Cloud Dataprep, gestionado por Trifacta, limpia y transforma grandes volúmenes de datos en bruto para generar conjuntos de datos estructurados y listos para análisis.
• Puede leer datos de fuentes GCP y externas y es clave para el procesamiento y almacenamiento eficiente de información para su posterior análisis.

Casos de uso

• Los servicios de GCP en analítica y big data permiten construir casos de uso como procesamiento de tareas batch, exploración de datos, entrenamiento de modelos de machine learning y data warehousing.
• Se destaca la arquitectura y combinación de servicios en el desarrollo de soluciones escalables y eficientes en el manejo de datos.

Aprendizaje automático e inteligencia artificial

Servicios de machine learning en Google Cloud

• Google Cloud ofrece servicios de machine learning e inteligencia artificial, incluyendo TensorFlow, para el desarrollo de soluciones de machine learning y deep learning.
• La gama de servicios de machine learning se adapta a los conocimientos del usuario y se divide en AI Platform y Cloud AI Building Blocks.

AI Platform

• AI Platform cubre todo el ciclo de vida de los modelos de machine learning, desde la preparación de datos hasta el mantenimiento, requiriendo conocimientos técnicos.
  • AI Platform Data Labeling Service permite contratar personas para etiquetar datos, asegurando que los modelos se entrenen con datos precisos.
  • BigQuery Datasets ofrece conjuntos de datos masivos para el entrenamiento de modelos, tanto generados por el usuario como públicos.
  • Cloud AutoML ofrece modelos preconstruidos personalizables para usuarios con poca experiencia en machine learning, con versiones para traducción, tablas, texto, video y visión.
  • AI Platform Notebooks proporciona instancias de JupyterLab preconfiguradas con Deep Learning VM, optimizadas para el desarrollo y entrenamiento de modelos de deep learning.
  • AI Platform Training permite entrenar modelos en la nube utilizando contenedores, mejorando la eficiencia del proceso.
  • Explainable AI permite interpretar y validar los resultados de los modelos, ayudando a mejorar las predicciones.
  • AI Platform Vizier optimiza los hiperparámetros de los modelos, y AI Platform Prediction gestiona el despliegue de modelos entrenados ofreciendo soporte para predicciones en tiempo real y por lotes.
  • AutoML Vision Edge permite el despliegue de modelos creados con AutoML Vision.
  • TensorFlow Enterprise ofrece soporte empresarial para TensorFlow, mientras que AI Platform Pipelines automatiza flujos de trabajo de machine learning utilizando Kubernetes.
  • Continuous evaluation vigila el rendimiento de los modelos, y Deep Learning VM Image y Deep Learning Containers dan soporte de computación avanzada para el desarrollo de deep learning.

Cloud AI Building Blocks

• Cloud AI Building Blocks ofrece APIs que permiten resolver problemas sin conocimientos previos en machine learning.
  • Vision ayuda en la clasificación de imágenes y detección de objetos.
  • Video ofrece capacidades similares para el contenido de video.
  • Translation permite traducir entre varios idiomas, mientras que Natural Language clasifica textos y extrae significados y entidades.
  • Dialogflow facilita la creación de chatbots.
  • Las APIs de Cloud Text-to-Speech y Cloud Speech-to-Text permiten la conversión de texto a voz y de voz a texto, respectivamente.
  • Recommendations AI genera recomendaciones basadas en análisis de datos.
  • Cloud Inference API ayuda a identificar correlaciones en datos de series temporales.