4.15 Learning Unet(Training parameter)
本小节主要介绍机器学习神经网络之中相关的概念以及更好地理解的进行训练
Last updated
本小节主要介绍机器学习神经网络之中相关的概念以及更好地理解的进行训练
Last updated
本小节主要介绍训练参数，在的图形层面训练时候的涉及到的相关的训练参数
我们在训练过程之中经常会看到一些参数比如学习率（Learning Rate）、批量大小（Batch Size）、优化器（Optimizer）、损失函数（Loss Function）等相关的内容都与神经网络的结构密切先关。
这张图展示的是一种常见的卷积神经网络（CNN）架构，具体来说，是一个U-Net模型，这是一个用于图像分割的深度学习模型。U-Net由一个编码器（收缩路径）和一个解码器（扩展路径）组成，能够有效地处理图像分割等任务。
卷积层和池化层的操作会影响模型的参数数量和计算复杂度。
跳跃连接帮助保留高分辨率特征，有助于提高分割精度。
上采样操作帮助恢复图像的空间分辨率，确保输出图像与输入图像在空间尺寸上的一致性。
通过调整这些参数和结构，研究人员和工程师可以优化神经网络的性能，达到更好的结果。
这张图形象地展示了学习率对梯度下降优化过程的影响。图中的三个子图分别展示了学习率过低、适中和过高的情况。学习率是神经网络训练过程中非常关键的超参数，决定了每次更新权重时所跨越的步幅。
学习率过低（Too low）：
图解： 左边的子图显示，当学习率过低时，梯度下降算法每次更新权重的步幅非常小。
影响： 训练过程会非常缓慢，需要很多次迭代才能接近最优解。虽然最终可能会收敛到全局最小值或较优的局部最小值，但训练时间会显著增加。
和U-Net模型中的关系： 如果在训练U-Net模型时学习率过低，模型参数更新缓慢，导致训练时间过长，影响效率。
学习率适中（Just right）：
图解： 中间的子图显示，当学习率适中时，梯度下降算法能够迅速且稳健地收敛到最优解。
影响： 适中的学习率能够保证较快的收敛速度，同时避免过大的波动，通常能在较短时间内找到全局或局部最优解。
和U-Net模型中的关系： 适中的学习率可以有效地训练U-Net模型，使其快速收敛到较优的分割结果，提高训练效率。
学习率过高（Too high）：
图解： 右边的子图显示，当学习率过高时，梯度下降算法每次更新权重的步幅过大，导致跳跃过头，甚至可能远离最优解。
影响： 过高的学习率会导致训练过程不稳定，参数更新剧烈波动，可能无法收敛到最优解，甚至导致模型发散。
和U-Net模型中的关系： 如果在训练U-Net模型时学习率过高，模型参数会剧烈波动，导致训练不稳定，分割结果差，甚至无法正常训练。
学习率调优： 选择适当的学习率通常需要通过实验和调优。常见的方法包括使用学习率调度器（如余弦退火、指数衰减等）和学习率搜索（如网格搜索、随机搜索）。
自适应学习率优化器： 使用自适应学习率优化器（如Adam、RMSprop）可以在训练过程中动态调整学习率，提高训练的稳定性和效果。
所以我们在训练时候使用的一定的自适应的学习率调整。
https://www.youtube.com/watch?v=3JQ3hYko51Y&t=5s
"Neural Network 3D Simulation" 是指使用三维图形和动画来模拟和可视化神经网络的结构和行为。这种模拟可以帮助研究人员、工程师以及教育领域的从业人员更好地理解神经网络的内部机制及其学习过程。以下是一些关键点来解释这个概念：
神经网络（Neural Network）： 神经网络是一种受生物神经系统启发的计算模型，由多层神经元（节点）组成，用于模式识别、分类和预测等任务。
3D（三维）： 三维模拟意味着模型和数据在三维空间中可视化，而不仅仅是在二维平面上。这种方法可以提供更丰富的视觉信息和更直观的理解。
模拟（Simulation）： 模拟是指使用计算机模型来模仿实际系统的行为。在这里，模拟神经网络的运行、学习过程和调试方法。
