# 高级人工智能期末考
# 符号主义(看ipad的就行)
归结原理的完备性证明
modus ponens完备性证明
转换为合取范式
一句话描述为一阶谓词逻辑
# 联结主义(看bp和ipad手写笔记)
# 图卷积神经网络
卷积神经网络(Graph Convolutional Network,GCN)是一种在图结构数据上进行学习的神经网络模型。它是卷积神经网络(Convolutional Neural Network,CNN)在图数据上的扩展。
基于谱的方法,主要是将图信号与频谱信号进行转换和分析,然后再恢复图信号所在的空域,从而完成图信号的降噪与特征提取。
基于空间的方法,其思想较为直观,主要是将图结构的数据转化为卷积神经网络能够高效处理的结构。处理过程主要分为两个步骤:从图结构中选出具有代表性的节点序列;对于选出的每一个节点求出一个卷积的邻域。这种方法主要通过聚合来自邻居的特征信息来实现图卷积。
基于谱的方法和基于空间的方法在图卷积神经网络中都有应用,它们有一些区别和联系。
区别:
- 理论基础:基于谱的方法主要基于图谱理论,通过计算图的拉普拉斯矩阵的特征分解,在傅里叶域中定义卷积运算。而基于空间的方法则将图结构的数据转化为卷积神经网络能够高效处理的结构,通过聚合来自邻居的特征信息来实现图卷积。
- 操作方式:基于谱的方法通过傅里叶变换将图信号转换为频谱信号,然后在频谱空间中进行卷积操作,最后再通过反傅里叶变换将结果转换回空域。而基于空间的方法则直接在图结构上进行卷积操作,通过聚合邻居节点的特征信息来更新节点特征。
- 适用范围:基于谱的方法主要适用于节点分类、链接预测等任务,而基于空间的方法则更适用于图分类、节点分类等任务。
联系:
- 谱方法和空间方法是图卷积神经网络的两种主要方法,它们都是为了从图数据中提取特征并建立节点之间的关系。
- 谱方法和空间方法都采用卷积操作来提取图中的局部结构特征,并使用邻域聚合来更新节点特征。
- 在某些情况下,谱方法和空间方法可以相互转换。例如,通过傅里叶变换将空间域转换为频域,然后在频域中进行卷积操作,最后再通过反傅里叶变换将结果转换回空域。
空间方法的一般性框架包括以下几个步骤:
- 数据预处理:对图数据进行预处理,包括对节点和边的特征进行归一化处理、去除无关边等操作,以消除数据中的噪声和异常值。
- 特征提取:利用空间方法从图数据中提取特征。这一步通常通过卷积操作实现,卷积核可以在节点和边的空间域上定义。卷积操作可以提取局部结构特征,例如节点的度、节点的邻居节点等。
- 邻域聚合:根据提取的特征,对每个节点进行邻域聚合,将邻居节点的特征信息融合到该节点的特征中。这一步可以通过平均值、最大值或最小值等方式实现。
- 更新节点特征:根据邻域聚合的结果,更新每个节点的特征。这一步通常通过激活函数实现,例如ReLU、sigmoid等。
- 训练模型:利用训练数据集训练模型,并对模型进行优化。常用的优化算法包括梯度下降、随机梯度下降等。
- 预测与评估:使用测试数据集对模型进行预测,并根据预测结果与真实结果的差异评估模型的性能。常用的评估指标包括准确率、精度、召回率等。
Pooling是一种特征提取技术,用于从卷积层中提取更高级别的特征。它在卷积神经网络中起到了至关重要的作用,原因如下:
- 减少参数数量:Pooling层通过下采样(减小特征图尺寸)的方式减少了网络中的参数数量,从而降低了模型的复杂度,减少了过拟合的可能性。
- 保留主要特征:Pooling层通过对输入数据的降采样和特征选择,保留了输入数据中的主要特征,同时抑制了一些次要特征或噪声。这有助于提高模型的泛化能力。
- 增加模型对平移、旋转等变换的鲁棒性:Pooling层通过对输入数据的下采样和特征选择,使得模型对输入数据的平移、旋转等变换具有一定的鲁棒性。这意味着模型的输出结果不会因为输入数据的细微平移或旋转而发生显著变化。
- 提高模型的并行计算能力:Pooling层可以与卷积层并行计算,提高了模型的并行计算能力,从而加速了模型的训练和推断速度。
图卷积神经网络(GCN)是一种强大的神经网络模型,适用于处理图结构数据。关于其表达能力,有研究指出GCN具有指数级表达能力,并给出了其表达能力的上界。指数级表达能力意味着GCN能够通过增加网络深度或节点特征的维度来更好地表示复杂的图结构数据。此外,GCN的表达能力还与其参数数量、网络深度和节点特征的维度等因素有关。
图卷积神经网络的WL Test(Weisfeiler-Lehman Test)是一种用于测试两个图是否同构的算法。在图论中,如果两个图可以通过重新标记节点而相互转换,则称它们是同构的。换句话说,这两个图具有相同的拓扑结构。
WL Test在图卷积神经网络中的应用主要是用于评估图神经网络模型的表达能力。如果一个图神经网络模型在经过多次迭代后仍然不能区分两个不同构的图,那么就可以认为这个模型的表达能力有限。
# 行为主义(看ppt)
格子问题20
蚁群和粒子群 10