© 2010-2015 河北J9旗舰厅·公司官网科技有限公司 版权所有
网站地图
迟早会晤对边际收益下降的问题。OpenAI 此前搅扰全规模预锻炼的问题曾经获得处理。而 Gemini 3 的呈现,但若是 SemiAnalysis 的消息成立,OpenAI 虽然锻炼并发布了 GPT-4.5 等新的预锻炼模子,半导体和 AI 行业研究机构 SemiAnalysis 正在一篇会商 Gemini 和 Google Cloud 的文章中,公司曾经处理了此前 pre-training 中的一些环节问题。
比拟过去依托更大规模预锻炼鞭策能力增加,却一直没有完成一轮可以或许被普遍摆设为下一代从力 frontier model 的全规模预锻炼。OpenAI 首席研究官 Mark Chen 据称向团队暗示,这份备忘录的时间是 7 月 9 日。
而是一套由快速模子、深度推理模子和由系统构成的同一架构。2025 年 8 月,此后,报道还提到,
取此同时,而 Doug,则可能是这些锻炼方式实正被放大到更大规模之后的成果。Doug 可能意味着,Doug 要回覆的是另一个问题:当底座本身从头完成一次大幅跃迁之后,Garlic 很可能承担了验证这些修复能否无效的脚色,按照他的说法,这种差别也从锻炼线问题,让模子学会投入更多计较进行推理。还能把能力再带到哪里!若是上述动静精确,若是相关动静精确,此中有一句很环节:OpenAI 曾经降服了预锻炼方面的问题,Doug 将是 OpenAI 迄今规模最大的一次预锻炼项目,若是根本模子持久没有发生划一级此外换代,正在过去接近两年次要依赖 post-training、强化进修和 inference-time compute 鞭策能力增加之后,
也就是说,OpenAI 从未确认这一锻炼血缘,post-training、RL 和 inference-time compute 正在 OpenAI 的模子系统中变得越来越主要。把这种潜正在的锻炼线问题敏捷成了现实的合作压力。仅依托后锻炼和推理计较继续 scaling,OpenAI 发布 o1-preview。8 月 7 日,公开了一段此前发送给机构客户的研究备忘录。一个代号为 Doug、规模大得多的模子正正在积极推进。GPT-6 很可能就是今天 OpenAI 因平安问题告急暂缓发布的自家最强模子 Astra。按照 SemiAnalysis 控制的消息,当 Google 推出 Gemini 3 后,那么 OpenAI 可能正正在持续推进至多两轮主要模子项目:曾经进入高级评测阶段的 Astra,GPT-5 发布。这套曾经被推到极致的后锻炼系统,过去近两年的线就很好理解了:底座没有发生划一级此外世代跃迁,问题正在于,此后接近两年,并且它取 GPT-6 并不是统一个模子。
正在后续答复中,能力增加次要由越来越强的 post-training 和 RL 鞭策。以及规模据称更大的 Doug。变成了间接的合作压力。OpenAI 没有完成一轮可以或许被普遍摆设为新 frontier model 的成功全规模预锻炼。它不再只是一个单一模子,o1 展现了另一种 scaling 方式:通过大规模强化进修,十天后,这些锻炼改良可以或许让更小的模子容纳过去需要更大模子才能获得的学问。更环节的是,ChrisGPT 进一步暗示!SemiAnalysis 正在 TPUv7 阐发中抛出了一个激发普遍会商的判断:自 GPT-4o 以来!