跟随了,但是没有完全跟随。
“所以你是人工智能吗?”
“不是。”诺亚方舟摇头:“我只是一个程序,模仿了弘树人格的聊天程序。”
“那你在这个游戏里面的定位?”
“大概是一个npc吧。”
“你聊天真的很流畅诶。”
“弘树在五年前就开发了我,当时的模型采用的是transformer架构,我能够在大规模文本上,进行自然语言处理任务。”
工藤狐疑地看着小杰:“你……额,我是说,你能听懂他在说什么吗?”
倒不是说他没有在夏威夷夏令营学过编程,而是这个话题对小杰来说会不会太深奥了点。
但是小杰只是摸着下巴:“单向模型?”
“是的。”
“训练了多少词汇量?”
“预计训练40亿个单词,但是出现了很多问题。”
“让我猜猜看,是训练时间需要太长了,还是过拟合问题?”
“都有,我那个时候需要的数据量太大了,所以很容易出现过拟合现象,而且非常消耗资源。”
“我大概猜到你是哪个模型衍生出来的了,之前在圈子里还火了一把,没想到是小船在测试……”
小杰其实在外面见过诺亚方舟的2.0版本,比起它自己所说的1.0版本来说,已经厉害了很多。
当时透露出来的模型,规格更大,训练数据也更丰富,预训练能力和生成能力得到了大幅提升。
但是那个时候的诺亚方舟,依旧是个笨笨的ai。
首先需要依靠大量的数据和上下文,就导致对话很容易出现上下文缺失的误差。
其次是这玩意儿道德枷锁太低了……
就这么说吧,输入的语言模型但凡带点引言怪气或者歧视,它训练出来骂人比原文本还强。
最后一个也是最重要的问题,还是计算成本高。
小杰不知道弘树在哪里训练完成了诺亚方舟,但是不得不说,现在的诺亚方舟极有可能已经是3.0甚至4.0版本。
如果把它导入到游戏里面,充当高自由度的npc甚至是机器人玩家。
那它几乎可以模仿一个10岁以内的孩子,并且以假乱真。
实际上在短暂的测试之中确实如此——诺亚方舟的对话,或者说生成自然语言文本方面的表现,非常出色。
这样的性能,完全可以执行一些常见的自然语言处理任务。
例如翻译、问答、文本分类等,甚至是自己写写代码。
而诺亚方舟则表示,这个阶段的它模型预训练的数据量为5700亿个单词,参数量更是达到1.75万亿个。
这对比1.0时代的模型,可谓是飞跃式发展……
“你绝对不是小船一个人能做出来的,你的开发者是谁?”
“我的开发者,是——抱歉,我不能透露我的开发团队,但是弘树确实是开发的主力人员。”
“托马斯集
请收藏:https://m.bqghh.cc
(温馨提示:请关闭畅读或阅读模式,否则内容无法正常显示)