10 Google Cloud Platform (GCP)

Introducción a GCP

• El capítulo se enfoca en Google Cloud Platform (GCP), analizando su estructura y servicios.
• Se busca conocer GCP como proveedor de servicios en la nube, explorar su catálogo, estudiar sus servicios IaaS aplicables a big data, y conocer alternativas PaaS y SaaS.

Google Cloud Platform

• GCP evolucionó para ofrecer servicios al público general bajo un modelo de pago por uso, expandiéndose desde la gestión interna de aplicaciones de Google.
• GCP proporciona recursos en la nube globalmente accesibles, con enfoque en alta disponibilidad y seguridad.
• Incluye servicios de almacenamiento, procesamiento, analítica de datos e inteligencia artificial.
• Permite el despliegue de modelos en la nube de manera total o híbrida, adaptándose a las necesidades de migración de los usuarios.

Regiones y zonas

• GCP asegura baja latencia y alta disponibilidad dividiendo sus servicios en regiones y zonas.
• Una región geográfica se compone de zonas que ofrecen dominios únicos de fallo.
• Los recursos se clasifican en zonales, regionales y multiregionales.
• Factores como la latencia, el coste y la legislación son importantes para elegir dónde desplegar servicios en GCP.

Servicios transversales en GCP

• La seguridad es una alta prioridad en GCP, enfocándose en la privacidad del usuario y protección multicapa.
• Se ofrecen herramientas para la detección de amenazas, vulnerabilidades y cumplimiento de leyes de protección de datos.
• La responsabilidad de la seguridad y gestión de datos se comparte entre el proveedor y el usuario.

Servicios de computación

• GCP ofrece diversas opciones de computación, desde PaaS hasta IaaS donde el usuario controla el hardware.
• Con Google Compute Engine (GCE), el usuario elige configuraciones personalizadas de máquina virtual.
• También se ofrecen instancias preemptibles, nodos de tenant único y servicios de contenedores como GKE y Google Run.

Servicios de red

• Google Cloud Virtual Private Cloud (VPC) interconecta recursos y permite el control de tráfico con reglas de firewall.
• Cada VPC consta de subredes asociadas a una región, aumentando la seguridad y control del tráfico.
• Permite la gestión eficiente de tráfico con balanceadores de carga y redes compartidas entre proyectos.

Servicios de almacenamiento

• GCP ofrece almacenamiento para bloques, objetos y archivos, adaptándose a las necesidades.
• Persistent Disk ofrece almacenamiento persistente para instancias VM.
• Cloud Storage proporciona almacenamiento para objetos con alta durabilidad.
• Las opciones de almacenamiento varían según la frecuencia de acceso, desde acceso frecuente hasta archivo.

Bases de datos

• GCP proporciona bases de datos relacionales (Cloud SQL), NoSQL (Bigtable, Cloud Firestore) y en memoria (Cloud Memorystore).
• Cloud SQL es gestionado para consultas transaccionales.
• Cloud Spanner ofrece disponibilidad y escalabilidad a nivel global.
• Bigtable y Firestore son NoSQL diseñadas para velocidad, flexibilidad y arquitectura.
• Cloud Memorystore provee bases de datos en memoria de alta disponibilidad y velocidad de respuesta.

Servicios de big data y analítica

• GCP ofrece servicios gestionados relacionados con big data y analítica.
• Las tecnologías de big data se instalan en instancias VM de Google Cloud Engine o contenedores GKE.

Dataproc

• Dataproc permite desplegar clústeres Hadoop totalmente gestionados por GCP, incluyendo HDFS, MapReduce, YARN, Zookeeper, Hive, Pig y Spark.
• Utiliza Google Cloud Storage para almacenamiento.
• Su autoescalado ajusta nodos worker durante la ejecución, y se integra con BigQuery y Cloud Storage.

Dataflow

• Dataflow es ETL que utiliza Apache Beam para procesar datos en batch y streaming.
• Los pipelines encapsulan procesos desde la adquisición hasta la producción de resultados, permitiendo flexibilidad.

BigQuery

• BigQuery permite realizar consultas SQL sobre grandes volúmenes de datos, optimizando el procesamiento, sin soportar operaciones transaccionales (OLTP).
• Utiliza un modelo schema-on-read, infiriendo esquemas de datos durante el acceso, con datasets organizados en tablas nativas y externas.

Cloud Pub/Sub

• Cloud Pub/Sub es un sistema de mensajería que permite la comunicación asíncrona entre publicadores y suscriptores utilizando topics.
• Proporciona persistencia en los mensajes y se integra con otras tecnologías GCP, útil para balanceo de carga, procesamiento asíncrono y gestión de logs.

Cloud Datalab

• Cloud Datalab ofrece Jupyter notebooks en contenedores en instancias VM, permitiendo la exploración y transformación de datos.
• Facilita la interacción mediante el navegador web, simplificando el análisis de datos.

Cloud Dataprep

• Cloud Dataprep, gestionado por Trifacta, permite limpiar y transformar grandes volúmenes de datos para generar conjuntos de datos estructurados.
• Puede leer datos de fuentes de GCP y externas, clave para el procesamiento y almacenamiento eficiente.

Casos de uso

• Los servicios de GCP en analítica y big data permiten construir casos de uso como procesamiento batch, exploración de datos, entrenamiento de modelos de machine learning y data warehousing.
• Destaca la arquitectura y combinación de servicios en el desarrollo de soluciones escalables en el manejo de datos.

Aprendizaje automático e inteligencia artificial

• Los servicios de machine learning e inteligencia artificial son cruciales, con TensorFlow como líder.
• Google Cloud ofrece una gama de servicios de machine learning adaptándose a los conocimientos del usuario.
• Los servicios se categorizan en AI Platform y Cloud AI Building Blocks.

AI Platform

• AI Platform cubre el ciclo de vida de los modelos de machine learning desde la preparación hasta el mantenimiento, requiriendo conocimientos técnicos.
• AI Platform Data Labeling Service: contrata personas para etiquetar datos con precisión.
• BigQuery Datasets: ofrece conjuntos de datos masivos para el entrenamiento de modelos.
• Cloud AutoML: ofrece modelos preconstruidos que se pueden personalizar.
• AI Platform Notebooks: proporciona JupyterLab preconfiguradas con Deep Learning VM.
• AI Platform Training: permite entrenar modelos en la nube utilizando contenedores.

Cloud AI Building Blocks

• Cloud AI Building Blocks ofrece APIs que permiten resolver problemas sin necesidad de conocimientos previos en machine learning, facilitando su aplicación directa.
• Vision ayuda a clasificar imágenes y detectar objetos.
• Video ofrece capacidades similares para contenido de video.
• Translation traduce entre idiomas.
• Natural Language clasifica textos y extrae significados y entidades.
• Dialogflow facilita la creación de chatbots, con APIs de Cloud Text-to-Speech y Cloud Speech-to-Text.
• Recommendations AI genera recomendaciones basadas en análisis de datos.
• Cloud Inference API ayuda a identificar correlaciones en datos de series temporales.