Datawhale干货

作者：鸣也，中国科学院大学，Datawhale成员

(资料图片)

很幸运能在WWW23中稿两篇论文，作为22年中旬才开始做深度学习方面的科研新手来说，给即将入门科研的人一些我总结的经验和技巧。

主要分成这几点来介绍：

科研前的选题

科研中的耐心

科研后的延续

总结

工作简介

作为一个深度学习小白，我之前科研的主要方向是矩阵优化和统计优化（一个偏数学的方向），后面因为一些原因转到图神经网络的组里，主要做深度学习和数据挖掘。这时候我们需要思考自己的优势，我们不像计算机科班的同学那样，各种代码的框架信手拈来，代码的实现轻而易举，我们有的是一些虚无缥缈的数学功底。

在阅读图神经网络的各种相关文献的时候，发现文章一般有两种风格，一个是解决问题的“技术报告”，另一种是理论丰富但是实现起来较为容易的。我作为数学系的学生自然就选择了后者 （因为不会写代码5555）。确定了论文风格之后，再加上同期还在参与一个图谱理论的讨论班，所以就开始着重阅读一些偏理论的图谱网络的文章。

文献的积累够了之后，我们就需要思考整个领域的缺陷和可能可以发展的地方，也就是常说的idea。我认为文章大概又能分成几种，一种是占坑类型的（A+B），一种开创类型的，一种是深挖类型的。而我当然就是选择从A+B中进行深挖，往往最好下手（要从科研质疑的角度看待每一篇论文，而不是学习）。

确定了科研题目之后，就会遇到证明猜想和代码实验的困难。对于我的选题，代码的部分往往并不困难（难的我也不会写呀5555），所以我只有一些对数学证明的感触。每篇文章我往往都会写一到两个小定理或者性质命题，我们需要对我们新的设定做一些简单的假设，然后在一些特殊情况下，构建起对于整个模型的认识，然后根据一些参考文献，给出我们的猜想的命题，比如收敛，收敛性，鲁棒性...证明的方法虽然大相径庭，但一般都是关于矩阵论和随机过程的东西，强相关的参考文献中的证明过程一定要仔细过一遍，因为往往能学到这个领域的“套路”。

对于代码实验，除了将自己的想法实现出来，我也有一些小小的心得，那就是一定要和合作者一起把代码review一遍（因为我写的都是bug5555），遇到效果不佳或者提升并不明显的时候，不要轻易放弃，不一定是你的idea不可行，可能是框架的一些别的模块和我们的方法不适配，这就需要经验的积累了，也是科研经验很重要的一部分。

很多人会好奇科研后是什么意思，其实就是如果对这个领域进行进一步的深挖，甚至是在这个课题做完之后如何进行更多的改进。这个一般在论文收尾或者修改论文的时候思考。我往往会在大规模跑实验和写论文的时候，阅读一些其他小领域的文章，粗略的了解一些不曾触及的知识，这对于idea的迸发和科研的推进应该是非常有用的。

关于2022年整个科研过程，我觉得有几点非常重要。

（1）打好数学基础，不要贪图看论文的数量，看一篇就要看懂一篇；（2）多和伙伴交流，这真的很重要很重要，多听听别人的建议和想法会让你受益匪浅，也会脑洞大开hhh；（3）不要局限自己的领域，不要功利性的看一些论文，对于和自己科研方向看起来无关的知识也可以适当的了解；（4）除了论文的理论和结果，论文的写作也是非常重要的，往往一篇文章修改的时间甚至比写作还长，需要耐心理清楚逻辑让审稿人和读者明白你的意图。

最后简单的介绍一下我们在WWW23中稿的两篇论文的主要内容。（1）图神经网络是处理图数据的强大工具。然而，现有的图神经网络面临着over-smoothing和over-squashine的挑战。我们提出了一种新的基于曲率的拓扑感知的Dropout采样技术CurvDrop。在该技术中，我们将离散的Ricci曲率整合到图神经网络中，以实现更具表现力的图模型。同时，这项工作可以通过量化图中的连接和使用图中的社区结构等结构信息来改进图神经网络。因此，我们的方法可以统一解决over-smoothing和over-squashine的问题。在多个公共数据集上的实验验证了所提方法的有效性。

（2）马尔科夫逻辑网络（MLN）是一个强大的概率逻辑推理的统计建模框架。尽管MLN很有效，MLN的推理存在效率问题。即使是最先进的MLN引擎也不能在开放世界的环境下扩展到中等规模的现实世界知识库。（开放世界指的是知识库中所有未观察到的事实都需要预测。）我们这篇文章中，通过关注某类具有足够表现力的一阶逻辑规则，我们开发了一个高效的MLN推理引擎，名为MLN4KB，可以利用知识库的稀疏性。MLN4KB享有相当强的理论特性；它的空间和时间复杂度可以比现有的MLN引擎小上指数倍。在合成和真实世界的知识库上的实验证明了所提方法的有效性。在开放世界环境下，MLN4KB比现有的MLN引擎快几个数量级（在某些数据集上快10^3$倍以上）。在没有任何近似技巧的情况下，MLN4KB可以扩展到包括WN-18和YAGO3-10在内的真实世界的知识库，并在没有任何花哨的情况下达到相当的预测精度。而且我们以一个名为MLN4KB.jl的Julia包的形式实现了MLN4KB。该包支持MLN引擎的所有基本功能，包括最大后验（MAP）推理和学习规则的权重。我们之后后开源MLN4KB.jl。

整理不易，点赞三连↓

关键词： 神经网络 参考文献 真实世界