医生用AI几个月自己找息肉的本事掉两成!卖AI的自己测出用AI学得更差、7个模型当交易员越强越像、九亿人外接同一个大脑、中共的模型还多一道筛子、市场一起买一起翻船!独立比正确值钱
本期节目探讨AI时代人类群体是变得更智慧还是更蠢。主播指出AI带来了“答案平权”,但由于信息源于“惊奇”,AI提供的是统计众数,导致个人创造性及医学、编程等实操能力退化;同时,当全球9亿人接入同一公共大脑甚至受中共规制筛选题库时,群体信息趋于一致,导致资本市场羊群效应加剧、流动性脆化。主播建议把AI当作笔记本而非大脑,保持独立判断、多找反例,强调在AI时代“独立比正确值钱”。
视频链接:
完整文本:
最近我一直在思考一个问题,就是AI时代群体是变得更加智慧了,还是更蠢了?当然这里边正方反方肯定都有。我认为的是,AI时代呢,答案更加标准了,但是信息呢是更少了。答案平权不等于信息平权。进一步来说呢,答案越一致,信息能力实际上呢会变得更差。这我们就得回到1948年香农对于信息的基本定义了。香农关于信息的定义呢,两个字儿就可以概括完毕,哎,就是惊奇。什么叫信息?就是能够引起你惊奇的,改变你的决策,甚至改变你决策背景的那个东西才叫做信息。我们再进一步来说啊,飞流直下,如果让你接的话,基本上谁都能接得上,哎,就是三千尺嘛。但是如果问你AI明天会如何发展,或者问你明天的资本市场会如何表现,那就产生无数种回答。换句话来说,一个众所周知的答案含不含信息量,完全不含。信息呢,就是你完全没有意识到,但一下子摆在你面前,并对你决策产生影响的一个东西,这才叫做信息。拿这把尺子去量的话,今天的问题呢就变成AI时代的答案变多了,但是信息本身呢并没有变多。要探讨这个问题,我们就从最微观开始,我们先测量一个人的答案,再量一个人还能不能产生惊奇,最后呢量一群人加起来还剩多少信息。
首先我认为答案平权这个事儿倒是一个真命题,这也是有数据支撑的。今年2月份的美国国家研究局有一篇工作论文,里边呢有个很有意思的实验。实验让1174个25到45岁的成年人做商业决策的题,在没有AI的时候,高学历跟低学历的人呢,在同一个问题上的答案的差距呢是0.55个标准差,配上AI之后,这个差距呢缩到了0.14个,直接抹掉了四分之三。在这个场景当中,标准差量的是什么呢?量的是一群人分数散的有多开,你可以理解成原来这两拨人呢差了大半个档次,配上AI之后呢只差这么一小截了。教育这帮呢就更加整齐了。在今年3月26号的人文与社会通讯上有一项元分析,哎,元分析呢就是把一堆研究合在一块儿算,这个分析呢合了35项课堂的对照实验,参与实验的一共是4193个学生,算出来的结果是用ChatGPT学生的成绩呢啊有中等程度的一个提升,然后在今年6月份呢又有一项元分析这项专门看的是什么呢?看的是批判性思维的。他合了26项研究,算出来什么呢?哎,用生成式AI的学生那个批判性思维的得分呢是上升的,它也不是下降的。所以一个人配上AI答案呢会变得更准,学的也会更多,这就使得什么呢?学历之间的门槛呢被抹平了,这就是答案平权。但是,一旦你拿香农这把尺子量一下这些实验,他们量的都是什么?都是有标准答案的题,有商业案例的题,有课堂考试的题。这种题有个共性,就是答案呢早就在那儿了。只不过以前呢你得多花几年时间读书才可以拿到这个题的答案,现在呢你打黑一个对话框就OK了。当然啊这是好事啊,但是按照香农的定义,你够得着那个东西是什么呢?是早就在那儿那个答案,这个根本就不算信息。1174个人都答对了同一道题,就是谁也没让谁惊喜,所以答案平权,凭的是群体能够够得着那个答案的距离,而不是产生什么信息。
那人自己产生惊奇的能力呢?哎,这头证据是更硬的。今年的6月1号,法国的里昂呢有一家癌症中心,这个中心的研究团队在欧洲肿瘤的内科学会的期刊上发了一篇综述。这篇综述研究什么呢?哎,研究医生用了AI之后手会不会生疏?里边有波兰四家医院的内镜医生的一个记录,这些医生呢每个人都做过2000例以上的肠镜操作,然后给这些医生呢配上AI这个辅助操作系统,用了几个月之后,研究人员呢去看他们不开AI的时候,哎他们表现会怎么样,就是手生没生?结果是什么呢?他们自己找到腺瘤这个比例从过去的28.4%一直降到了22.4%。哎,腺瘤就是一种癌前的息肉,病理科呢就更狠了,有项实验呢直接给病理医生加了一个时间压力,然后让AI呢故意给错误提示,结果30%以上的医生把自己本来诊断对的片子改成了错的了。你想啊,医生在一次诊断里的价值是什么呢?就是他们看见了机器没标出来那个病灶嘛,那一眼,哎,就是那一眼就是惊喜,这就是信息。一个只会确认AI答案的医生,他给这次诊断增加的信息量呢是零。AI如果错了,他就跟着错。当然还有针对程序员的,今年1月底有一个实验,而且实验的发起者呢就是澳大利亚人。实验呢找了52个程序员,学了一个新的一个编码库。这里边呢,其中有一半人用AI帮忙,一半人呢自己动手,学完之后呢还要考试。用AI那组的平均得分呢是50分,自己动手那组呢是67分。这个数呢可是卖AI的公司自己测出来的啊,他们还把用AI那一半人的对话呢全翻了一遍,结果呢翻出了六种用法,大概呢分为两类,哎一类是整个交给AI去写的那几种,他们考试呢平均分不到40分,哎就是要代码同时也要解释的,或者只问概念然后自己动手做的那几种,他们的考试呢是在65分以上的。为什么会这样呢?因为学一门本事靠的是你自己把题给做出来,做的过程你脑子里边得留下一套办法,对吧?你下次再遇到没见过的题呢,你还能拿这套办法出来碰一碰,碰出来这个东西呢才能让人惊喜。你把做题的过程整个交出去了,题是做完了,那套办法呢一点都没有形成。如果下次不开AI的话,你还是只能付出众所周知的答案。
学生那边呢也是一样的。英国的高等教育政策研究所的今年3月份呢发了一份问卷调查,问了一千零五十四个全日制的本科生,其中有94%的学生呢用生成式AI做这个积分的作业,直接把AI写的东西贴进作业交上去的呢占12%。这个比例去年的是8%,前年是3%,两年时间翻了两番。到这儿两头我们都量完了,我们看到这个数据给出的答案了吧?就是一个人的答案呢更加标准了,但是产生惊奇的能力呢在退化。这两件事的本质并不矛盾,甚至可以说他们就是同一个动作的两面。你把想题的过程交出去了,换回来的只能是一个更加标准的答案而已。真正狠的呢其实是最后一个,也是我最想说的,就是一群人加在一起还剩下多少信息量?在说这个群体之前呢,我先讲一个老故事啊。这个故事我可能以前也讲过,在1907年的时候,高尔顿在《自然》杂志上发布了一篇乡村集市上的一个称牛比赛。这个比赛呢,就是让787个独立的个体各自猜一头牛的重量。当然,大多数人呢是猜不准的。但是你把所有人的猜测从小排到大,正中间那个数呢是1207磅,而牛的实际重量呢是1198磅,差的不到1%。哎,这就是群众的智慧。用相同的话来说呢,787个人的独立猜测,他们之间呢都是惊奇的。每个人往里加的都是别人没有那份信息,并且呢错误的方向还不一致。哎,因为有的人会猜的很高,有的人会猜的很低嘛。这么一平均就抵消掉了。我们现在呢把这个故事给改一下,如果这787个人在猜之前先看了同一份还给的一个估重,然后各自在这个数上做一个上下的一个调整,每个人呢还是会错。但是错的方向会怎么样?会跟着AI的估中走,这个时候独立性就会怎么样?被消失了,因为你猜的是多少,我基本上都能猜得到。然后整个数值呢,基本上也会在那个数值上上下晃悠啊,就是AI估中那个数值。也就是说,787个人之间那份互相的惊奇呢,没有了,也就是没有信息了。就算你找一万个人来平均,共同那份错误呢还在那儿,根本就抵消不掉。答案越一致,群体的信息量呢就越少。所以我开头那句话说的就是这个。
这个经过改过的故事呢,今年9月3号,麻省理工学院的罗恩团队真的做了一遍,只不过他们猜的呢不是牛,而是资本市场,让7个大模型当交易员,然后跑64种市场的情形,每种跑5遍,结果是非常让人意料之外的。模型越强,彼此的决定呢就越像,并且呢是不是同一家公司出的反而不重要,只要它够强。做出来的事儿呢,就高度相关。你把这些模型混在一起用,能靠分散消掉的误差呢,只有一半,另外一半呢是他们共同的这部分,你换多少个模型都消不导。最狠的一步他妈是什么?是喂假消息。实验团队呢在盘面上放了八条滚动评论,都说盘面给出的合理价格比真实价格高估了25%到30%。当市场里全是AI交易员的时候,价格偏离真实价值的幅度是平时的5到7倍。当时其中能力最强的模型呢是Claude 3.5,它判断涨跌的正确率是多少呢?只有42%,比他妈抛硬币还要低。但是这里边还有一个让人惊奇的地方,那就是能力弱一点的模型反而没有那么容易被骗。论文的题目叫为什么更好的模型会造出更危险的系统?哎,大家可以去翻去找一找,还蛮有意思的。我们再说回来啊,这几个模型的意见那是高度一致的,但他们不是被分成了几份信息,而只有一份,并且这份信息还是什么?就是这几个模型居然答案是一致的,这个才叫信息。
那为什么AI会把大家的信息给归一呢?而以前的工具就不会呢?我用哲学上一个很有名的例子来说这个事儿啊。98年呢有两个哲学家Andy Clark跟David Chalmers,两个都是搞这个心灵哲学跟认知科学的。他俩研究的东西呢也是很有意思的,研究什么呢?研究心智到底是什么,意识是什么?哎,都是这类问题。他们提出了一个说法叫做拓展心智,我觉得放在这儿呢是非常合适的。他们讲了一个人叫奥托,奥托这人呢得了失忆症,然后呢靠一本随身的笔记来记这个事儿。比如说他想要去博物馆,哎就得翻出这个笔记查这个地址,反正大概就是这么情况吧。他们的哲学观点是什么呢?哎,奥托的笔记本就是他记忆的一部分,因为这个笔记本干的活呢,跟正常人脑子里的记忆呢干的是一样的活。但是你注意笔记本的一个特点啊,奥托的笔记本记的是奥托自己遇到过的事儿,或者是他自己想做的事儿。我们的笔记本记的是什么呢?是我们遇到过的事儿,或者是我们想做的一个事儿。每一本存的都是什么?都是各自的惊奇,对吧?但是大语言模型它不是笔记本,它返回给你的不是你已经写进去的东西,而是全世界语料库出现最多的那种说法。也就是说,AI给的答案呢,它是个众数,而众数按定义就是最不让人惊奇的那个说法。OpenAI在今年3月31号自己公布了一个数,每周有超过9亿人在用ChatGPT,9亿人打开同一个对话框,背后是同一家公司的同几个模型。按照拓展心智的说法呢,如果它是你思考过程的一部分的话,那也就是我思考过程的一部分,对吧?那你我的思考过程本身呢,就共享了同一段了,对吧?这一段呢,没有你我之间的惊奇,这就是笔记本跟公共大脑的区别。笔记本呢,是让每一个人的记忆各有各的惊奇;但公共大脑让每一个人的判断外接到了同一个地方。
这个公共大脑吧,在中共国还多了一道工序。我记得前年还是大前年来着,中共不是搞了一个什么狗屁的生成式AI服务管理办法吗?这个办法要求什么呢?要求训练数据合规,生成内容呢还要体现什么狗屁的社会主义核心价值观?说白了,体现就是中共他妈要说的话,中共的口径嘛。这样一来,中共的模型呢,不止给出了众数,而且呢还是一个先过了审的中共要的那个众数。我开头说那个中共那种傻逼通稿,本来就是把最不清晰的说法再筛一遍,现在这道筛子呢直接装到模型里边了。所以呢,就别看中国又说啊发布多少多少个模型,就算他妈发一亿个模型,本质上也都是过同一道筛子。模型多不等于信息多,即使是海外这种公共大脑呢,也让大家的答案归一了。墙内的公共大脑呢,不仅让大家归到那个一,还他妈是指定了那个一。所以如果在中国的话,你读原文要比在别处呢更加值钱,因为连众数都不是自然长出来的。
我们再说说资本市场啊,资本市场靠什么定价?靠信息定价,价格一动就有惊喜发生了。但是现在呢,我们想个问题:当所有人都拿着同一份答案进场的时候,市场会不会留下看得见的痕迹?一定会。首先是什么?基金的持仓就先像起来了。今年8月,新加坡国立大学跟中山大学两位研究者发了一篇论文,论文比较的是什么呢?论文比较的就是ChatGPT发布前后依赖生成式AI的基金的彼此的持仓变化的关联度。结论就是变得更像了,并且很多维度呢都是高度相似。例如这些基金扎住的股票,还有价格对消息的一个反应速度。副作用是什么?瞬间的流动性变得更差了。反应快是因为什么?因为大家同时收到了同一份答案。流动性差是因为你想要卖的时候根本就没人接,没有人手里边有一份不一样的判断。速度上也留了痕迹。国际货币基金组织有个部门,这个部门呢叫货币与资本市场部,这个部门主任叫Tobias Adrian。他在前一阵呢说一句非常猛的话,他说未来那种几分钟之内暴跌的闪崩,可能呢不再来自代码错误了,而是来自许多AI系统对同一份信息同时做出反应。他改变的是什么?共识的寿命啊,兄弟们!以前信息传播的范式是什么?是传的慢,散的也慢。现在是所有人同时看到同一个判断,判断只要一趋同,那就是所有人同时翻船的时候。慢扩散那一段呢,直接就没有了。大家发现没有?今年以来,或者是从去年开始吧,市场行情整个就是这个鬼样子。你看伊朗战事那一轮,标普500呢从1月27号收盘那个高点到3月30号那个低点,跌了多少呢?跌了9.1%。然后恐慌指数VIX在3月9号盘中直接冲到35了。然后呢?4月15号,标普500直接收到了一个历史的新高点,离低点只隔了16天。纳斯达克的综合指数呢,从6月2号的收盘的高点回撤到7月29号那个低点,直接跌了9.8%。两个月之后,纳指呢又重新创了一个历史新高了。芯片股就更极端了,费城半导体指数今年二季度呢直接涨了88%,这是1994年有记录以来的最好的一个季度。然后在7月份一个月就跌了20.6%。这几轮涨跌呢各有各的消息,但是我要说的是节奏,买是一起买,卖也是一起卖,中间呢没有分歧的过程。这种共识有个特点就是看着牢,但是其实非常的脆,因为撑着这个价格的呢不是每个人手里的信息,而是同一份答案,并且呢这个人看东西越来越少也是连着的。
ChatGPT统计了今年第二季度全球读者的一个数据,发现什么呢?发现全球读者在一篇文章上平均只停留了26秒钟。还有更牛逼的,今年头4个月,美国68%的谷歌搜索没有点开任何链接。2024年的时候,这个比例还是60%。那原文看的越少,能碰到的惊奇呢就会越少,同时就会越依赖那份共用的判断。只要共用那个判断一翻船,所有人就一起翻船了。不仅如此,连金融市场说的话也是越来越同质了。由G20牵头成立的国际机构叫做金融稳定理事会,他们在今年6月10号发了一份征求意见稿,写的非常直白,依赖共同的AI模型、数据集成或者是基础设施,会让各家金融机构做出相似的动作,放大羊群效应以及顺周期性。羊群效应就是大家一起买一起卖,顺周期性就是什么?就是涨的时候他妈加仓,跌的时候他妈一起减仓。英格兰银行呢也坐不住了,他们那个副行长呢在欧洲央行那个论坛上直接把话直接挑明了,他说能自己下单的AI程序,要是对同样的出发做出同样的反应,市场呢就应该按一个类似熔断全市场的一个总开关。你看,就是监管层已经开始担心流动性瞬间爆炸这个问题了。这个全市场熔断呢还只是一个提议,哎也没有什么实施细则。但是就在前两天,哎也就是9月30号,英格兰银行公布了9月25号金融政策委员会的会议记录,记录里边引用了摩根士丹利那个估算。这个估算什么呢?就是2026年到9月为止,全球AI相关的债券发行呢大概是4500亿美元,已经超过2025年全年的两倍了。那有个问题就是这些钱是不是靠同一份答案借出来的?你就品吧。
现在我们回到普通人的视角上,既然AI时代缺的不是答案,而是惊奇,那办法就是什么呢?让自己重新变成一个能产生惊奇的人。我们呢要把AI当成奥托那个笔记目前来用,别把它当成一个公共大脑来用。哎,你让他帮你存,帮你查,让他帮你整理东西。哎,这些都是笔记本应该干的活儿,这些他干的肯定比人类要好。但是判断这一步千万别外包,判断要用你自己的信息,而你的信息从哪儿来呢?从原文来,从原著来,从书本来,从你自己走过的地方来,从模型没读过的东西里边来,惊奇只在原料里边来,众数里边没有惊奇。你读了一份原文,你的判断就跟9亿人的判断呢分开了,而且还要做一个训练,什么训练呢?你让AI给你找反例,不让它给你下结论。如果你问他这只票怎么样,他给你的一定是全世界的众数,此时你的判断呢就被并进了九亿人的判断。你要问他我这个判断哪儿站不住脚,反方最强的理由是什么?他给你的一定是你没想到的那条理由,这才是他在给你惊奇,此时他才是在给你提供信息。同样是9亿人在用,用法决定你是并进去的还是分出来的。
还有一个小习惯,哎,这是来自9月17号慕尼黑大学发的一项实验数据。实验呢,让704个人带着AI助手练这个分数运算,练完之后呢,再关掉这个AI,然后考一次试。其中的一组是每做完一道题呢,屏幕上会提醒他,哎,这道题是你自己算的还是直接找AI要的答案呢?然后再问他一句,下一道题你打算让AI帮你到哪一步?就这么一个动作,直接抄AI答案的几率呢被压到了不到一半了。考试成绩也是略好了一点,只是这一条呢在统计上还没有站稳。另一组是自己做对了给高分,要答案做对了只给低分。这组呢没有测出任何效果了。就是你让AI给你答案之前,你自己先写下自己的判断,然后再看他的,你的判断跟他的答案之间差在哪儿,那个差就是你手里的信息量。如果差是零的话,说明你这次呢没有信。只有答案。最后一条也很重要,就是保留不听他的机会。这不是为了逞能,是因为在这个时代,独立比正确值钱。一个并不比大家强的独立判断,往群体里加的是一份别人没有的信息。因为一万个抄来的判断,加进的信息量呢是零。我们回到这个题目本身,AI时代的人是更蠢了还是更聪明了?我的结论是非常明确的,答案呢是平权了,但是信息没有,群体呢会变得更蠢,但是个人如果善用AI的话会变得更聪明。原因很简单,AI让一个人的答案呢更标准了,但一群人的信息呢归一了。所以我们要做的不是在这个两派里边站队,是别让自己变成9亿份一样打理的一份。好了,今天先跟大家分享到这里。如果大家喜欢我节目,请点下方铃铛。如果大家想支持我的话,可以加入会员频道,会员频道每个月有四集的深度节目,欢迎加入狠人的团伙。我们下期节目再见。