“而且,自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量,这极可能导致过拟合。”
他这边刚说话,谷歌自家dl的席尔瓦也反驳了乌思克尔特提出的新路线,其中一个重要原因在于rnn的循环结构太符合大家对序列数据处理的理解,即当前状态依赖于过去的信息,而自注意力的全局依赖一看就不如rnn直观。
易科与谷歌的两大领导者都批评了自注意力self-attention,但乌思克尔特并不服气,他直接登台阐述自己更多的想法。
而且,针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路,比如,引入位置编码,比如,进行多头注意力的研究。
有人觉得眼前一亮,有人觉得异想天开,还有人现场进行快速的分析和演算。
第一排的方卓极其茫然,他扭头询问旁边沉思的英伟达掌门人黄仁勋:“他们在讨论什么?”
“乌思克尔特说,gpu是最适合深度学习技术的硬件。”黄仁勋给出一句总结。
方卓:“???”
他纳闷道:“我怎么完全没听到类似的表述?”
“因为自注意力self-attention更加强调并行处理,这是gpu更擅长的。”黄仁勋笑道,“至于其他的,不重要,我们只要提取对我们有利的就好。”
方卓观察着现场的气氛,这已经不是知识的交流,更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是,等到晚上,方卓还是当面询问了这次参与辩论的吴恩达,想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
“方总,等我们想一想再写一份报告吧。”他思考许久之后由衷地说道,“这样的交流或许应该多来几次,他那个自注意力,我现在想想,缺点也不是不能解决。”
方卓耐心的询问:“那我们应该做些什么?”
吴恩达回味今天的整场辩论,思考着不同人提出的不同想法,喃喃道:“或许,我们需要先试试一种新型软件,让它可以和计算机对话。”
方卓“嗯”了一声,表达一贯的支持:“行,开始吧。”
吴恩达哭笑不得,真心地说道:“方总,你给我们的支持真的太优渥了。”
“我也就只能给我所能给的东西。”方卓笑道,“试试呗,如果人手不够,那就国内再招招人,我是朴素的认知哈,既然能引起争论,新的东西就有可取之处。”
吴恩达竖起拇指,喜欢老板的这种支持。
只是,易科的现状并不是那么美妙。
他提出了这方面的小小担忧。
方卓不以为意地说道:“你们这些投入才多少钱,正好英伟达的一批gpu快到货了,先用看吧,我看黄仁勋今天笑得特别开心。”
吴恩达要不是不擅长搞商业的事情,恨不得赤膊上阵帮易科卖货了。
不过,他虽然不能卖货,但易科与谷歌还有硅谷公司们的交流热度直接进一步稳住了公司的股价。
易科看起来是有扎实的研发的,尽管不知何时能有商业价值,但ai在围棋领域击败人类无疑是一次实打实的突破。
易科股价已经跌得足够惨了,难道现在还不够吗?
针对媒体里出现的这种声音,rc对冲基金的拉塞尔颇有些气急败坏,他和一帮空头同样在关注易科近期与谷歌等公司的交流,但是,并不认可这个领域对易科股价的提升。
不仅如此,拉塞尔还请来了美国厂商杜邦公司的高层康博恩,让专业人士对易科与冰芯的现状进行判断。
“冰芯的光刻胶肯定已经用完了!这是材料本身决定的,冰芯不可能违背现实定律!”
“中国的光刻胶很落后,最少五年之内都不可能为冰芯提供可用的原材料!”
来自杜邦的高层在镜头面前信誓旦旦的给予结论。
这种垄断领域的专业论断确实让一些人对易科、冰芯的未来产生阴影,而时间进入七月,易科手机的市场表现似乎也验证了冰芯尖端工艺停产的可能性。
不过,拉塞尔私底下与康博恩的交流在时限上有小小的缩水。
“短则两年,长则三年,冰芯就有能用的光刻胶。”康博恩仍旧对于自己的判断信誓旦旦,“不能太高估易科与冰芯这方面的研发,但也不能太低估。”
他在电视上夸大了一倍的预期,那是真心夸大,但现在也是真心帮拉塞尔分析情况。
“两三年的时间,足够了,完全足够了。”拉塞尔很满意这样的动作给易科的股价带来的刺激,“这已经足够让易科产生难以挽回的衰退了。”
他评价了易科:“康博恩,易科有一个缺点,你知道是什么吗?”
康博恩聆听这位空头的高见:“是什么?”
拉塞尔笑道:“易科只有一个缺点,它不够强。”
康博恩持保留意见,世界上就不会有面面俱到的公司,易科已经很强了,但他也尊重这位正在狙击易科股票的空头。
并且,他还在推特上分享了与这位的交流。
——易科只有一个缺点,它不够强。
7月19日,不够强的易科发布了q2财报,向市场陈述当前阶段的公司财务状况与这段时间的转变。
整个二季度,易科的营收环比q1再度下降,从29344亿美元降到1814亿美元,幅度达到3818,而运营利润、净利润等关键数据也有较为一致的下滑。
通常来说,二季度属于淡季,易科往年的二季度也都会比一季度的数字要低,但抛开常规影响,这个3818的下滑仍旧十分难看。
尽管,华尔街对于易科q2的财报出现了不同声音,认为“广告营收大幅升高”“技术许可费用大幅升高”“云业务的增长出乎意料”这些共同支撑住易科的转型,但是,近期稳在2800亿美元的易科市值还是骤然下跌。