第11章 吴院士?不,吴老师!

会议室的日光灯管在铝扣板天花板上投下冷白的光晕,刘明远调整着投影仪焦距,红色激光笔在幕布上晃出细小的轨迹。

牛剑坐在汇报位置上,手指飞快的在键盘上敲打,他刚刚发现了一个略有歧义的地方,如今正在修改。

从刘明远通知他要开会到现在才不过两个小时,根本不够牛剑做完PPT后再检查一遍。

“没事,PPT只是辅助,技术交流主要还是靠人来讲。”

吴院士看到牛剑手忙脚乱的模样,出言安抚了一下。

“有啥问题我会直接问出来的,出了错误也不用担心,现在坐在这的,都是咱们自己人!”

有了吴院士的这两句话,之前还有些紧张的牛剑顿时平静了下来。

清了一下喉咙,牛剑也没有装模作样的拿个话筒,就这么直截了当的开始了。

“在我看来,训练生成式AI就像教婴儿认字。“

牛剑的开场白就非常的口语化,不过比喻却是非常恰当。

他点击PPT,一个极其复杂的思维导图铺满了整个屏幕。

“直接退出放映,放大着看吧。”

杨文峰打断了汇报,朝着荧幕指了指。

牛剑顺着一看,发现这张思维导图已经糊成一坨,根本看不清楚里面写的是什么。

他连忙嗯下esc,随后把屏幕放大到自己要讲的那一部分内容。

“首先要准备百万量级的标注数据——相当于给婴儿看的识字卡片。“

“这就是数据清洗,而我在这一步取了巧,用的是别人的数据。”

牛剑撒了个小谎,不过根本没有人在意。

在场三位人工智能专家全部把注意力集中到了他所采用的算法上,其中杨文峰更是掏出手机查了起来,似乎是在想到了什么。

吴梦达忽然举起保温杯:“停一下,你刚才说梯度裁剪阈值设置成10的负四次方?“

老院士的镜片反射着投影仪的蓝光,“去年NIPS有篇论文提到过,这个数值在中文语料场景会引发模态崩溃。“

“如果你说的是李飞飞团队的研究的话,那他们失败的原因其实很简单,没有集成残差连接网络。”

牛剑这段时间除了训练自己的模型外,就一直在网上下载阅览各种与人工智能有关的文章。

如今的他对于现在业内同行的水平已经有了充足的了解,明白这些人跟自己的差距到底有多大。

如果按照曾经的发展速度,他们至少还需要差不多十年时间才能追上牛剑。

但若是以如今这种发展平和,三天打鱼两天晒网的竞争情况,恐怕十几二十年也很难发展到同一水平。

只能说内卷也并非全是坏处,至少在总发展速度上的确是要更胜一筹。

“残差连接网络。”

吴梦达沉吟了一下,然后在本子上把这个东西给记了下来。

“继续吧…”

“你这个损失函数是怎么定义的,我怎么之前从来没有见过类似的形式。”

牛剑还没开口继续讲,杨文峰又插了一嘴,他刚刚用手机搜了半天,竟是没有在论文里发现有什么类似的地方。

总不能,这些东西全部是牛剑一个人搞得吧!

“我把KL散度与交叉熵放到一起,做了做动态加权之后吐了出去。”

他拖动PPT,划到了后面,这一页上详细的绘制了一个损失函数曲线。

“这就是你训练大模型的过程?”

刘明远非常惊叹的开了口,这并非他少见多怪,看到一个曲线就开始颅内高潮。

实在是这个曲线太漂亮了,完美的梯度下降过程,有快速学习段,也有停滞段。

其中更是夹杂着退化和顿悟过程,完全就是一个神经网络训练过程应有的样子。

“对,这个模型是我分多次训练的,这是其中一组的训练结果。”

看没有其他问题之后,牛剑再次划动PPT回到那个思维导图,从刚才停下的地方继续讲了起来。

不过和刚刚一样,这场汇报还是会被在场的三人频频打断。

原因无他,牛剑这个PPT虽然简陋无比,不仅没有任何特效,甚至连布局和对齐都没做到,但是在内容上却一次又一次颠覆了其他三人的认知。

神经网络特么还能这么玩?

握草,这个算法不是很早之前就被判了死刑吗?

怎么又活过来了,还这么有用!

惊叹声此起彼伏,他们也开始变得有些麻木,只是机械的在笔记本上疯狂的抄写着。

原定一个小时就结束的汇报最后生生花了将近三个小时,等到牛剑讲完最后一页,钟表的时针也已经指向了第十个数字。

但在场的人非但没有觉得疲惫,反而是各个神采奕奕,意犹未尽。

“我本来以为你会给我一个惊喜。”

吴院士笑着总结道:“没想到最后不是惊喜,而是差点把我的天花板给掀了。”

“倒不如说是已经掀了,然后又给我现场盖了一个更高更大的屋子。”

杨文峰打趣着补充,眼中充满了对牛剑的肯定。

“这些内容我觉得随便哪一个部分拿出来,都是能够在业内引起轩然大波的重量级成果。”

刘明远把头转向吴院士,试探性的问到。

“要不,咱还是先保密比较好?”

“保密是一定要做的,但也不能为了保密把人给捂死了。”

吴院士点了点头:“小牛还年轻,正是需要成果的时候,总要让人劳有所得嘛。”

“这个是一定的,我看最近有个国际顶会要开,到时候我拉着小牛一起去开。”

刘明远点了点头:“让小牛写一篇摘要出来,从神经网络架构里面挑一些内容出来就行。”

“单单是一篇会议可不行,还是要正式论文才有说服力。”

吴院士多关照了几句,才把头转向牛剑。

“小牛啊,还有最后一个问题。”

被一群大佬安排的明明白白的牛讲慌不迭的点了点头,不知道吴院士有什么安排。

“你愿意读我的博士吗?”

“虽然现在看来已经没什么可以教给你的了,但我觉得这个身份对于你未来的职业规划还是很有用的。”

万万没想到居然是这种好事的牛剑露出了狂喜的神情,重重的一点头。

开玩笑,这可是院士的博士,而且看上去还是要亲自带的那种,怎么可能拒绝!

“好,好!”吴院士很是得意的摸了摸胡子,“那明天早上你去我办公室一趟,有个申请书需要你改一下。”

“这就算是我给你科研路上加的第一把力吧!”