本文来自作者[慕莲]投稿，不代表郡东平台立场，如若转载，请注明出处：https://suzjd.com/smkj/202411-8441.html
OpenAI 的下一代大语言模型「Orion」可能遭遇了前所未有的瓶颈。 据 The Information 报道，OpenAI 的内部员工称 Orion 模型的性能提升没有达...
OpenAI 的下一代大语言模型「Orion」可能遭遇了前所未有的瓶颈。 据 The Information 报道，OpenAI 的内部员工称 Orion 模型的性能提升没有达到预期，与从 GPT-3 到 GPT-4 的升级相比，质量提升要「小得多」。 此外，他们还表示 Orion 在处理某些任务时并不比其前身 GPT-4 更可靠。尽管 Orion 在 语言技能上更强，但在 编程方面可能无法超越 GPT-4。 图源：WeeTech关注 AI 第一新媒体，率先获取 AI 前沿资讯和洞察报道指出，训练高质量文本和其他数据的供应正在减少，这使得找到好的训练数据变得更加困难，从而减缓了大语言模型（LLMs）在某些方面的发展。 不仅如此，未来的训练将更加耗费 计算资源、财力甚至电力。这意味着开发和运行 Orion 以及后续大语言模型的成本和代价将变得更加昂贵。 OpenAI 的研究员诺姆·布朗（Noam Brown）最近在 TED AI 大会上就表示，更先进的模型可能「 在经济上不可行」： 我们真的要花费数千亿美元或数万亿美元训练模型吗？在某个时候，扩展定律会崩溃。对此，OpenAI 已经成立了一个由负责预训练的尼克·雷德（Nick Ryder）领导的基础团队，来研究如何应对 训练数据的匮乏，以及大模型的 扩展定律（scaling laws）将持续到什么时候。 Noam Brown扩展定律（scaling laws）是人工智能领域的一个 核心假设：只要有更多数据可供学习，并有更多的计算能力来促进训练过程，大语言模型就能继续以相同的速度提升性能。 简单来说，scaling laws 描述了投入（数据量、计算能力、模型大小）和产出之间的关系，即我们对大语言模型投入更多资源时，其性能提升的程度。 举例来讲， 训练大语言模型就像在车间生产汽车。最初车间规模很小，只有几台机器和几个工人。这时，每增加一台机器或一个工人，都能显著提高产量，因为这些新增资源直接转化为生产能力的提升。 随着工厂规模的扩大，每增加一台机器或工人带来的产量提升开始减少。可能是因为管理变得更加复杂，或者工人之间的协调变得更加困难。 当工厂达到一定规模后，再增加机器和工人可能对产量的提升非常有限。这时，工厂可能已经接近土地、电力供应和物流等的极限， 增加的投入不再能带来成比例的产出增加。 而 Orion 的困境就在于此。随着模型规模的增加（类似增加机器和工人），在初期和中期，模型的性能提升可能非常明显。但到了后期，即使继续增加模型大小或训练数据量，性能的提升也可能越来越小，这就是所谓的「 撞墙」。 一篇近期发表在 arXiv 上的论文也表示，随着对公共人类文本数据需求的增长和现有数据量的有限性，预计到 2026 年至 2032 年之间，大语言模型的发展将耗尽现有的公共人类文本数据资源。 图源：arXiv即使诺姆·布朗指出了未来模型训练的「经济问题」，但他还是对以上观点表示反对。他认为「 人工智能的发展不会很快放缓」。 OpenAI 的研究人员也大都同意这种看法。他们认为，尽管模型的扩展定律可能放缓，但依靠优化推理时间和训练后改进，AI 的整体发展不会受到影响。 此外，meta 的马克·扎克伯格、OpenAI 的山姆·奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统扩展定律的极限，并且仍在开发昂贵的数据中心以提升预训练模型的性能。 Sam Altman（图源：Vanity Fair）OpenAI 的产品副总裁彼得·韦林德（Peter Welinder）也在社媒上表示「人们低估了 测试时计算的强大功能」。 测试时计算（TTC）是机器学习中的一个概念，它指的是在模型部署后， 对新的输入数据进行推理或预测时所进行的计算。这与模型训练阶段的计算是分开的，训练阶段是指模型学习数据模式和做出预测的阶段。 在传统的机器学习模型中，一旦模型被训练好并部署，它通常不需要额外的计算来对新的数据实例做出预测。然而在某些更复杂的模型中，如某些类型的深度学习模型，可能需要在测试时（即推理时）进行额外的计算。 例如，OpenAI 所开发的「o1」模型就使用了这种推理模式。实际上，整个 AI 产业界正将重心转向 在初始训练后再对模型进行提升的模式。 Peter Welinder（图源：Dagens industri）对此，OpenAI 前首席科学家伊利亚·苏茨克弗（Ilya Sutskever）最近在接受路透社采访时承认，通过使用大量未标记数据来训练人工智能模型，以使其理解语言模式和结构的预训练阶段，其效果提升已 趋于平稳。 伊利亚表示「2010 年代是扩展的时代，现在我们再次回到了探索和发现的时代」，并且指出「 扩大正确的规模比以往任何时候都更加重要」。 Orion 预计将在 2025 年推出。OpenAI 将其命名为「Orion」而非「GPT-5」，这也许暗示着一场新的革命。虽然暂时受理论限制而「难产」，我们仍然期待着这个拥有新名字的「新生儿」能给 AI 大模型带来新的转机。 文｜范津瑞
赞 (9)
本文作者
文章推荐
-
三国杀逐鹿令获取 三国杀逐鹿阵容搭配
三国杀逐鹿令获取如果您想获取三国杀逐鹿令，您可以尝试以下方法：1.在游戏官方网站购买：访问三国杀的官方网站，查找官方的逐鹿令购买页面，并按照指示进行购买。2.在线游戏平台购买：许多在线游戏平台都提供三国杀逐鹿令的购买服务，您可以在这些平台上搜索并购买。3.实体店购买：有些实体游戏店可能会有
-
今晚上特马开什么号，资料解释落实_高速版307.526
在彩票世界中，每一次的开奖都充满了悬念与期待。尤其是对于“今晚上特马开什么号”这一问题，无数彩民都在寻找着答案。本文将围绕这一主题，提出可能的问题，并围绕这些问题构建内容，以期为读者提供有价值、信息丰富的内容。可能的问题如何根据历史数据预测今晚的特马号码？有哪些常见的彩票预测方法？
-
今晚出的特马，效率资料解释落实_休闲版28.27.47
在博彩领域，特马预测一直是热门话题。今晚的特马，尤其是休闲版28.27.47，引起了广泛关注。本文将围绕这一主题，提出可能的问题，并构建内容，以确保提供有价值、信息丰富的内容。1.特马预测的准确性问题特马预测的准确性一直是玩家关注的焦点。休闲版28.27.47的出现，让许多人开始思考：
-
今晚澳门开码开奖结果，效率资料解释落实_烧脑版81.83.41
在澳门博彩业中，每一次的开奖结果都牵动着无数人的心。今晚的澳门开码开奖结果，尤其是效率资料解释落实与烧脑版81.83.41，更是引起了广泛的关注和讨论。本文将围绕这一主题，提出可能的问题，并深入分析这些数据背后的含义，以期为读者提供有价值、信息丰富的内容。一、效率资料解释落实的意义何在？
-
新奥全部开奖记录查询，特别资料解释落实_快玩版88.41.74
新奥全部开奖记录查询：深入解析与应用在数字时代，彩票作为一种流行的博彩形式，吸引了无数玩家的参与。新奥彩票作为其中的一种，其开奖记录的查询成为了玩家们关注的焦点。本文将围绕新奥全部开奖记录查询，特别是快玩版88.41.74，探讨可能的问题，并提供详尽的解析，以帮助玩家更好地理解和应用这些数据。
-
新澳门六开资料大全，决策资料解释落实_正版58.753
在当今快速变化的商业环境中，决策资料的解释与落实成为了企业成功的关键因素。新澳门六开资料大全作为行业内的权威资料，提供了丰富的数据和分析，帮助企业做出明智的决策。然而，如何有效地利用这些资料，并将其转化为实际的行动计划，是许多企业面临的挑战。本文将探讨在使用新澳门六开资料大全时可能遇到的问题，并
-
2024新版跑狗图自动更新，政策词语解释落实_V32.83.32
随着技术的不断进步，2024年新版跑狗图自动更新政策（V32.83.32）的实施，为相关行业带来了新的挑战与机遇。本文将围绕这一政策，探讨可能出现的问题，并提供深入的分析与解读。政策背景与关键词解读自动更新“自动更新”是指系统或软件无需用户手动操作，即可自动进行版本升级或内容更新的功
-
2024新奥今晚开什么下载，确保答案曝光落实_WP50.12.97
随着科技的不断进步，数字娱乐领域也在迅速发展。2024年，新奥公司推出了一款备受期待的新游戏，引发了广泛的关注和讨论。本文将围绕“2024新奥今晚开什么下载”这一关键词，提出可能的问题，并围绕这些问题构建内容，确保文章提供有价值、信息丰富的内容。1.新奥公司简介首先，我们需要了解新奥公
-
2024澳门历史记录查询53期，政策词语解释落实_ZOL91.39.70
在2024年的澳门历史记录查询第53期中，政策词语解释落实成为了关注的焦点。这一期详细记录了澳门在政策执行过程中的一些关键问题和解决方案，特别是在政策词语的解释和落实方面。本文将围绕这些问题构建内容，确保提供有价值、信息丰富的内容。政策词语解释的重要性政策词语的解释是政策执行的第一步，也
-
2024新奥门开奖结果，确保答案曝光落实_V版14.40.54
2024新奥门开奖结果分析与展望随着2024年新奥门开奖结果的公布，公众对于这一事件的关注度持续升温。本文旨在探讨此次开奖结果背后的可能问题，并围绕这些问题构建内容，以期提供有价值、信息丰富的分析。1.开奖过程的透明度问题首先，公众对于开奖过程的透明度持有高度关注。在数字化时代，技术的
评论列表（4条）
我是郡东平台的签约作者“慕莲”！
希望本篇文章《OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线》能对你有所帮助！
本站[郡东平台]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：OpenAI 的下一代大语言模型「Orion」可能遭遇了前所未有的瓶颈。 据 The Information 报道，OpenAI 的内部员工称 Orion 模型的性能提升没有达...