• 学术研究 • 下一篇
邱云飞, 刘一菲, 于智龙, 金海波
QIU Yunfei, LIU Yifei, YU Zhilong, JIN Haibo
摘要: 由于Transformer模型基于全连接注意力机制,导致在求解经典旅行商问题(Traveling Salesman Problem,TSP)时,计算复杂度较高并且GPU内存使用量过大。针对此问题,提出了一种基于图卷积嵌入层和多头局部自注意力机制的GCN-Pointransformer模型。首先,使用图卷积嵌入方式从输入数据中进行空间特征学习,图卷积嵌入层包含多个可以提取输入数据局部特征的卷积核;其次,使用多头局部自注意力机制MHLSA(Multi Head Local Self Attention,MHLSA),删除冗余信息并提取有用的特征;此外,在编码器中使用可逆残差网络,在反向传播过程中只存储输入和输出嵌入特征对;最后,模型在解码器中增加了Pointer指针层,使用注意力权重作为概率分布,确定要访问的下一个节点。在TSP随机数据集上进行对比实验,优化间隙减少12%、GPU内存减少约11%、推理时间减少约25%,结果表明,该方法优于求解TSP的标准Transformer模型。