GEE数据集——1763 年至 2023 年美国地下水井数据库（USGWD）包括水井用途、位置、深度和容量
我们创建了一个从各州和联邦机构收集的地下水井记录综合数据库，我们称之为美国地下水井数据库（USGWD）。USGWD 以表格和矢量点两种形式呈现，包含 1420 多万条水井记录，其中包括水井用途、位置、深度和容量等属性，这些水井的建造时间可追溯到 1763 年至 2023 年。为确保数据的准确性，我们采用了严格的交叉验证步骤。USGWD 是一个宝贵的工具，可帮助我们更好地了解美国各地区和各部门如何获取和...
深度学习基础——Seq2Seq框架在编码-解码过程中的信息丢失问题及解决方法
深度学习基础——Seq2Seq框架在编码-解码过程中的信息丢失问题及解决方法 在自然语言处理领域，Seq2Seq模型是一种常用的序列到序列模型，用于处理序列数据，例如机器翻译、文本摘要等任务。Seq2Seq模型由编码器（Encoder）和解码器（Decoder）组成，编码器负责将输入序列转换为固定长度的向量表示，解码器则根据该向量表示生成输出序列。 然而，在Seq2Seq模型中存在一个常见的问题，即...
深度学习基础：循环神经网络中的长期依赖问题
循环神经网络中的长期依赖问题 在深度学习中，循环神经网络（RNN）是一种经典的模型，用于处理序列数据，如自然语言处理、时间序列预测等任务。然而，传统的RNN存在着一个长期依赖问题，即在处理长序列时，模型往往难以捕捉到序列中远距离的依赖关系，导致性能下降。在本文中，我们将介绍长期依赖问题的概念、常见的解决方法以及用Python实现示例代码并进行可视化展示。 1. 概述 在循环神经网络中，信息的传递是通...
【PyTorch与深度学习】1、PyTorch介绍与张量的创建
课程地址 最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记 1. 张量Tensor 张量是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，我们使用张量对模型的输入和输出以及模型的参数进行编码。张量与NumPy 的ndarray类似，不同之处在于张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和 NumPy 数组通常可以共享相同的...
【PyTorch与深度学习】5、深入剖析PyTorch DataLoader源码
课程地址 最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，此节课很详细，笔记记的比较粗 1. DataLoader 1.1 DataLoader类实现 1.1.1 构造函数__init__实现 构造函数有如下参数： dataset：传入自己定义好的数据集类Datasetbatch_size：默认值为1，它代表着每批次训练的样本的个数shuffle：布尔...
PyTorch与NLP：自然语言处理的深度学习实践
如何看待AIGC技术？ 目录 如何看待AIGC技术？ 一、引言 二、PyTorch与深度学习基础 2.1 PyTorch概述 2.2 深度学习基础 三、自然语言处理基础 3.1 文本表示 3.2 常见NLP任务 四、PyTorch在NLP中的应用 4.1 文本预处理 4.2 模型搭建 4.3 模型训练与评估 五、案例实践 5.1 情感分析 5.2 命名实体识别 六、进阶与扩展 6.1 模型优化 6.2...
【深度学习实战（29）】后处理之NMS（非极大值抑制）
一、NMS工作原理 NMS 的工作原理： 置信度排序：对于每个类别，NMS 首先根据每个边界框的置信度（即预测框中含有目标的概率）进行排序。选择最高置信度框：从置信度最高的边界框开始，将其作为当前考虑的“最大”候选。计算交并比（IoU）：计算当前最大候选与所有其他边界框的交并比（Intersection over Union）。IoU 是两个边界框交集面积与并集面积的比值，用于衡量边界框之间的重叠程...
【深度学习实战（25）】搭建训练框架之ModelEMA
一、什么是ModelEMA： 在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。 二、如何实现ModelEMA 创建EMA eval mode，去并行化 self.ema...
深度优先搜索与广度优先搜索，你知道它们的区别吗？
什么是深度优先搜索？ 深度优先搜索（DFS，Depth-First Search）是算法中的一种重要的搜索策略。它的核心思想是“深入探索，直至无路可走，然后再回溯”。这种策略在许多问题中都有着广泛的应用，例如图的遍历、路径查找、解决迷宫问题等等。 让我们通过一个生活中的例子来理解深度优先搜索。假设你正在玩一个迷宫游戏，你需要从迷宫的入口找到出口。你可以选择往前走，直到遇到死胡同，然后再回头，选择另外...
【深度学习实战（17）】计算语义分割的性能指标mIOU
一、指标介绍 在训练语义分割模型时，我们不仅需要知道训练，验证损失，还想要知道性能指标。 二、计算流程 （1）读取验证集的图片和标签（mask图） （2）对模型预测的特征图进行解码，获得预测的mask图 （3）创建num_class x num_class尺寸的混淆矩阵hist （4）将标签mask图和预测mask图转换为numpy数组 （5）将两个numpy数组展平为一维数组，使用np.binco...