文章转载来源：华尔街见闻
作者：周晓雯
(相关资料图)
OpenAI似乎找到了解决生成式人工智能“一本正经胡说八道”的办法。5月31日，OpenAI在其官网宣布，已经训练了一个模型，能够有助于消除生成式AI常见的“幻觉”和其他常见问题。OpenAI表示，可以训练奖励模型来检测幻觉，奖励模型又分为结果监督（根据最终结果提供反馈）或过程监督（为思维链中的每个步骤提供反馈）模型。也就是说，过程监督奖励推理的每个正确步骤，而结果监督只是简单地奖励正确的答案。OpenAI表示，相比之下，过程监督有一个重要的优势——它直接训练模型以产生由人类认可的思维链：
过程监督与结果监督相比有几个一致性优势。它直接奖励遵循一致的思维链的模型，因为过程中的每一步都得到了精确的监督。
过程监督也更有可能产生可解释的推理，因为它鼓励模型遵循人类批准的过程
结果监督可能会奖励一个不一致的过程，而且通常更难审查。
OpenAI在数学数据集上测试了这两种模型，发现过程监督方法导致了“显著更好的性能”。
但需要注意的是，到目前为止，过程监督方法仅在数学领域进行了测试，并且需要更多的工作来观察它如何更普遍地执行。
此外，OpenAI没有说明这一研究需要多长时间才能应用在ChatGPT，它仍然处于研究阶段。
虽然最初的结果是好的，但OpenAI确实提到，更安全的方法会产生降低的性能，称为对齐税（alignment tax）。
目前的结果显示，在处理数学问题时，过程监督不会产生对齐税，但在一般的信息上的情况尚不知晓。
生成式AI的“幻觉”
生成式AI问世以来，围绕其编造虚假信息、“产生幻觉”的指控从未消失，这也是目前生成式AI模型最大的问题之一。
今年2月，谷歌为应对微软资助下ChatGPT，仓促推出了聊天机器人Bard，结果却被发现在演示中出现了常识性错误，导致谷歌股价大跌。
导致AI出现幻觉的原因有多种，输入数据欺骗AI程序进行错误分类是其中一种。
例如，开发人员使用数据（如图像、文本或其他类型）来训练人工智能系统，如果数据被改变或扭曲，应用程序将以不同的方式解释输入并产生不正确的结果。
幻觉可能会出现在像ChatGPT这样的基于语言的大型模型中，这是由于不正确的转换器解码，导致语言模型可能会产生一个没有不合逻辑或模糊的故事或叙述。
关键词：
文章转载来源：华尔街见闻作者：周晓雯OpenAI似乎找到了解决生成式人工智能“一本正经胡说八道”的办法。52023-06-01
天眼查App显示，近日，北京自由派餐饮有限公司被北京市西城区市场监督管理局罚款10万元。处罚事由显示，当2023-06-01
1、用过好几款都不错，比如说清洁的氨基酸泥浆面膜，美白的耀白面膜，还有补水的畅饮面膜，效果都挺好的。22023-06-01
一切为了孩子，为了孩子一切。“六一”国际儿童节来临之际，川观新闻记者从四川省民政厅获悉，去年以来，我2023-06-01
中青报·中青网记者蒋肖斌婉转缠绵的瑶家山歌和自由活泼的东乡花儿，能量充沛的鄂伦春斗熊舞和祈愿丰收的土2023-06-01
央视网消息（焦点访谈）：此时此刻，在我们头顶大约400公里外的太空中，中国空间站，神舟十五号乘组和神舟2023-06-01
隆基发布最新可持续发展报告全面深化ESG管治和体系建设新要求,5月31日下午，隆基绿能科技股份有限公司（以2023-06-01
微信公众号更改了推送规则，如您不想错过精彩内容，请将“上海工地”公众号设为星标，并在文尾点击 "收藏 "2023-06-01
对于李湘与王岳伦离婚，也是见怪不怪了，毕竟王岳伦在圈内的风评其实并不算太好，屡屡有一些小消息传出。相2023-06-01
现在大家使用手机的频率越来越频繁，手机也为我们提供了许多的便利，也来说一下这个分享小米手环5进行拍照2023-06-01
快钱支付再次走到了“卖身”这一步。2023-06-01
首盘阿尔卡拉斯在第2局率先破发，第3局他化解破发点保发，取得3-0的领先。第9局丹尼尔太郎在发球胜盘局顺利2023-06-01
来为大家讲解以上的问题。礼记·月令，记·月令介绍这个很多人还不知道,我们一起来看看！1、《礼记·月令》2023-06-01
来为大家解答以上问题，三星手机大全，三星8150手机很多人还不知道，现在让我们一起来看看吧！1、下面小编2023-06-01
1、您好，我对爱搜书的网站部知道怎么样，但是个人觉得当当网还是不错的。2、还有卓越，都还不错，第九大道2023-06-01
来为大家讲解以上的问题。礼服西服定制，服西服定制介绍这个很多人还不知道,我们一起来看看！1、礼服西服定2023-06-01
“六一”儿童节就要来了。5月31日，针对儿童经济热点，江苏省消保委总结分析了近年来开展的专项调查和比较2023-05-31
5月31日，鸿博股份再次涨停，至此公司股票已经五连板。自今年1月30日起，鸿博股份股价从最初的6 72元 股，2023-05-31
活动现场图片来源：成都市青羊区提供5月29日，由四川省委人才工作领导小组办公室指导，成都市委人才工作领2023-05-31
每日小编都会为大家带来一些知识类的文章，那么为大家带来的是2012年cba总决赛方面的消息知识，那么如果各2023-05-31
南宁市云景路小学党支部书记邓颖涛致辞。潘世超摄人民网南宁5月31日电5月31日上午，南宁市云景路小学举办了2023-05-31
App5月31日消息，工信部组织开展全国人大建议《关于支持四川建设钒钛战略材料、新能源汽车、集成电路等重要2023-05-31
截至2023年5月31日收盘，中信证券(600030)报收于20 05元，下跌1 52%，换手率0 86%，成交量98 25万手，成交额19 7亿元。2023-05-31
1、贫血如果严重，最好找医生诊断处理。2、一般贫血患者大多数是因为缺铁，消化吸收不好。3、食谱要全面。42023-05-31
深圳市发布《深圳市加快推动人工智能高质量发展高水平应用行动方案（2023—2024年）》。《方案》指出，要大2023-05-31
