学霸从谈恋爱开始第三十七章 苏飞的菠萝
在回去的路上，夏薇凉全程姨母笑地看着苏飞。
“大神，你还蛮厉害的嘛。”
“你是指什么方面？”
“之前就听说您和姜大校花关系不清不楚的，在图书馆又和那个英文系的小学妹邻座，今天又勾搭上一个新妹子。”
“……事情可能和你想象的完全不是一个样子。”
毒舌女王姜倾雪，笑里藏刀林依曼，现在又来个摸不清路数的顾亦如，如果不是要完成任务获取学力，苏飞是真的不想和这些妹子极限拉扯。
“所以，大神你更喜欢谁啊？”
问得好。
“她们都是我的翅膀。”
……
吃饱喝足后，下午自然是要去图书馆的。
苏飞先回了趟寝室，把他那小破笔记本提了过去。
让他有些意外的是，林依曼居然一直把他占着座。
“谢谢。”苏飞轻声道。
“学长，你太客气了啦……”林依曼咦了一声，轻轻嗅了嗅，道：“学长，你是去吃烤鱼了吗？”
这也能闻得出来么？
苏飞自己轻轻闻了闻，还真有股麻辣鲜香。
林依曼又认真地闻了闻，道：“还是和女生一起吃的？”
卧槽，真的假的，这也能闻出来？
林依曼看着一脸不可置信的苏飞，莞尔一笑，道：“其实我是猜的啦，学长这种直男，平常都三点一线的，突然要去吃大餐，肯定是和女生有约吧。”
她微笑道：“想不到猜对咯。”
‘叮！林依曼好感度-1，目前好感度43。’
这女人也太狡猾吧。
苏飞打开笔记本，他此刻只想遁入学习的世界。
在通读完《认知神经科学》后，苏飞有了一个新的论文想法，他思考了一会儿，在word文档上打下了一个题目。
【基于注意力机制的全新模型结构】。
随后，他开始对这个想法进行一个大致的阐述，他想用注意力机制构建一个新的模型单元。
模型单元是最基础的模型结构，任何复杂的模型结构其实都是由模型单元堆叠而成，近年深度学习大火，每年新的模型结构层出不穷，但是模型单元用来用去还是那么几个。如现在最常用的长短期记忆神经网络（LSTM）甚至是1994年的产物，而如今比较普遍使用的卷积神经网络（）和循环神经网络（RNN）也是实际很多年前的论文成果。
为什么这么久都没有新的模型单元诞生，究其原因，一个是技术上太难突破了，第二个原因就是劣币驱逐良币。
即便是在学术领域，劣币驱逐良币也是一个很常见的事情，简单来说就是，大家都发现构造一个模型单元太难了，但是用现有的模型单元去堆叠出一个新的模型结构就简单很多，那既然如此，为何要死磕前者呢。
例如一个商城只有苹果、香蕉、桃子三种水果，现在要贩卖水果拼盘，最具有经济效益，也就是贩卖的最好的拼盘是3苹果2香蕉1桃子，这种组合就是一个模型结构，然后过了一年，有位大老发现，1苹果1香蕉1桃子能产出更高的经济效益，于是，这个模型大受欢迎，这位大老便荣登顶会。
当然，这只是一个很简单的例子，真正的模型构造必定比贩卖水果拼盘要难很多，需要大量数学理论来左证，但本质上其实与水果拼盘没什么不同。
苏飞此前的ELMo模型所做的工作本质上也是水果拼盘，只不过他的拼盘领先了一个时代，能超越目前最好的模型10个性能百分点，大大提高了准确率还减少了算力消耗。
但是，如今整个学术界渐渐的，都开始拼水果拼盘，所有人都在现有的苹果、香蕉、桃子里选择，开始自由组合，对不同的任务和实验拼出解决这个问题的最优模型。
而很少有人会去往这个拼盘里创造一个新的水果，毕竟吃力不讨好。
但既然选择了做学术界的清流，苏飞就想要成为创造新水果的人，他想要往这个水果拼盘里引入菠萝，至于为什么称之为菠萝，嗯……因为他最爱吃菠萝。
而他与大多数人写论文的方式相反，对苏飞来说，再难的技术问题都不是问题，他怀疑只要有足够的灵感激发卡，他甚至可以突破号称永远的三十年的“核聚变”技术。
于他而言，最重要的就是idea或者说一个正确的思路。
注意力机制毫无疑问就是一个很好的idea。近年无论图领域还是自然语言处理领域，对注意力机制这块动刀子的人可不少，但至今为止，注意力机制更像是在其他的模型单元上起到一个基础运算，或者说锦上添花的作用。
苏飞不认为注意力机制的作用仅限于此，不止苏飞不这么认为，世界上几乎所有相关领域学者都不认为注意力机制仅限于此，然而令人遗憾的是，还没有人能真正发挥注意力机制的作用。
苏飞在学习《认知神经科学》后，认为这是一个很好的机会。
于是，他把近年的注意力机制相关的论文全部罗列了出来。
【基于注意力机制的端到端机