選擇語言
繁體中文
繁體中文 Traditional Chinese
简体中文
简体中文 Simplified Chinese
English
English English
日本語
日本語 Japanese
AI 助手

今日情報速問。不用選範圍,直接問今天值得看什麼。

完整分析

通知訊訊

暫無新訊訊

「当大模型第一次读懂一门“从未见过”的语言」 辛顿最近举了个很能说明问题的小实验:他的一位很聪明、也很会写代码的前学生,临时定义了一门语法非常古怪的新编程语言,再把一段这种语言写成的程序丢给大模型,问它“这段代码会做什么”,结果模型答对了。 这个例子之所以有意思,不在于它又刷了一次“会不会编程”的分,而在于它碰到了一个更根本的争论:如果大模型真的只是机械地预测下一个词,它怎么会在几乎不可能有现成语料可背的前提下,先吃透一套新规则,再据此推演程序行为? 当然,这不等于一句话就能证明模型已经像人一样“理解”,也不能抹掉统计学习的底层机制;但它至少说明,所谓“下一个词预测”并不是一句足够完整的解释。 很多人把这句话当成贬义,仿佛预测就意味着鹦鹉学舌,可真正让人吃惊的,恰恰是当预测规模、训练数据和模型结构叠加到一定程度后,它会长出规则抽取、模式迁移和临场推理的能力。 争论接下来恐怕不该停留在“它到底是不是只会续写”,而该转向:这种能力从哪里来,边界又在哪里。

相關消訊