Convolutional Neural Networks (CNNs)

Motivation

• Traditional neural networks not effective for image classification tasks due to:
  • High dimensionality of image data
  • Spatial hierarchies and structures in images

Key Components

• Convolutional Layers:
  • Apply filters to small regions of the image (local connectivity)
  • Convolve filters with image regions to generate feature maps
  • Multiple filters learn different features (e.g., edges, lines)
• Pooling Layers:
  • Downsample feature maps to reduce spatial dimensions
  • Max Pooling: retain maximum value in each region
  • Average Pooling: retain average value in each region
• Flatten Layer:
  • Flatten feature maps into 1D arrays for fully connected layers
• Fully Connected Layers:
  • Traditional neural network layers for classification

Advantages

• Translation Invariance: convolutional layers learn features that are insensitive to image translations
• Local Connectivity: convolutional layers only consider small regions of the image, reducing number of parameters
• Spatial Hierarchies: CNNs can capture spatial hierarchies and structures in images

Applications

• Image Classification: CNNs achieve state-of-the-art performance on various image classification tasks
• Object Detection: CNNs used for object detection tasks, such as YOLO and SSD
• Image Segmentation: CNNs used for image segmentation tasks, such as semantic segmentation

Common Architectures

• LeNet: one of the earliest CNN architectures, introduced in 1998
• AlexNet: winner of the ImageNet Large Scale Visual Recognition Challenge (ILSVRC) in 2012
• VGGNet: uses convolutional layers with small filters and max pooling, achieved state-of-the-art performance on ILSVRC in 2014
• GoogLeNet: introduced the Inception module, which combines multiple parallel convolutional layers, achieved state-of-the-art performance on ILSVRC in 2014

卷积神经网络 (CNNs)

动机

• 传统神经网络无法有效地完成图像分类任务，因为：
  • 图像数据的高维度
  • 图像中的空间层次结构

关键组件

• 卷积层：
  • 将滤波器应用于图像的小区域（局部连接）
  • 将滤波器与图像区域卷积以生成特征图
  • 多个滤波器可以学习不同的特征（例如，边缘、线）
• 池化层：
  • 将特征图的空间维度减少
  • 最大池化：保留每个区域中的最大值
  • 平均池化：保留每个区域中的平均值
• 展平层：
  • 将特征图展平为一维数组，以供完全连接层使用
• 完全连接层：
  • 传统神经网络层，用于分类

优点

• 平移不变性：卷积层学习的特征对图像平移不敏感
• 局部连接：卷积层仅考虑图像的小区域，减少参数的数量
• 空间层次结构：CNNs 可以捕捉图像中的空间层次结构

应用

• 图像分类：CNNs 在各种图像分类任务中获得了最good性能
• 目标检测：CNNs 用于目标检测任务，如 YOLO 和 SSD
• 图像分割：CNNs 用于图像分割任务，如语义分割

###常见架构

• LeNet：1998 年引入的早期 CNN 架构
• AlexNet：2012 年 ILSVRC 的获奖者
• VGGNet：使用小 filters 的卷积层和最大池化，2014 年 ILSVRC 中获得了最good性能
• GoogLeNet：引入了 Inception 模块，结合多个并行卷积层，2014 年 ILSVRC 中获得了最good性能

CNNConvolutional Neural Networks