张俊林：OpenAI o1道理逆向工程图解

　　OpenAI o1的推出称为横空降生不为过，假使闭于Q*、草莓等种种风闻良久了，用了深化练习巩固逻辑推理本事这个大偏向行家猜的也八九不离十，然则调解LLM和RL来天生Hidden COT，推断很少人能思到这点，况且目前看恶果确实挺好的。

　　OpenAI奔向Close的途上越走越远，你要从o1官宣字面来看，除了“深化练习天生Hidden COT”表，根本找不到其它有技能含量的实质。Sora好歹还给出了个简陋的技能框架图，字里行间也透漏不少隐含的技能点，留神点总能出现许多蛛丝马迹，串起来之后整体背后的技能就若隐若现。况且，假使目前有不少公然文件正在用LLM+RL巩固大模子的推理本事，但简直找不到做Hidden COT天生的作事，因而可供直接参考的实质特殊少，这为阐发o1进一步扩展了难度。

　　那是否就没举措了呢？倒也不愿定，假若多侦察细节，再加上少许专业性的推论，我以为照旧有踪迹可循的。本文以相对容易分解的办法来对o1做些技能道理阐发，试图答复下列题目：

　　O1中的RL状况空间怎么界说？行动空间怎么界说？会用何种Reward Model？能够用何种操练数据？LLM和RM调解后的模子构造能够会是怎么的？……等等。

　　为行文中指称便当，我将文中推导的模子称为“Reverse-o1”。当然，内里有些个人有判定凭借，有些则是依照主流技能作出的猜度，只消OpenAI不官宣技能框架，粗略一千个从业者能有一千种解法，我闭键参考了AlphaZero的做法，试图正在此根底上调解LLM和RL，许多主张斗劲主观，仔细参考。

　　我幼我以为OpenAI o1是大模子技能规模的一个广大冲破，除了杂乱逻辑推理本事取得极大提拔表，这里睁开阐发下它正在其它方面的意思和价格所正在。

　　起首，o1给大模子带来了自我反思与舛错厘正本事，我以为这点价格稀少大。GPT 4这类模子，由于正在输出谜底的时刻是逐一Token输出，当输出长度较长的时刻，中心某些Token犯错是肯定会爆发的，但假使LLM其后显露前面输出的Token错了，它也得将功补过往下不停编（这也是大模子幻觉的出处之一，为了看上去逻辑合理，LLM得用100个舛错来遮盖前面的第一个舛错），由于落Token无悔，没有机造让它去厘正前面的舛错。

　　而o1正在“考虑”也即是天生Hidden COT的经过中，假若你阐发过OpenAI官网给出的Hidden COT例子的话，会出现它确实能认识到之前出错了，并能自愿举办厘正。这种自我舛错识别与厘正对付LLM能做长链条考虑及处理杂乱义务特殊紧张，相当于越过了一个锁住LLM本事的很高的门槛。

　　第二，所谓新型的RL的Scaling law。OpenAI本人PR能够更夸大这点，种种解读也斗劲看中这一点。我推断o1的RL粗略率要么用了相对杂乱的、相仿AlphaGo的MCTS树探索，要么用了大略树构造拓展，例如天生多个候选，从入拣选最好的（Best-of-N Sampling），这种计谋假若一语气用，原本也是一种大略的树探索构造。也有能够两者一道用。不管怎么，树探索构造粗略率是用了，COT是线性的不假，但这是产出结果，不代表内部考虑经过就肯定是线性的，我以为靠线性思想推导经过很难处理杂乱题目，树形构造简直是不成避免的。

　　有人问了，你有证据能解说o1粗略率用了探索树构造吗？我没有证据，然则能够猜度，我的判定凭借来自于o1 mini。之前的磋议结论是如此的：假使幼模子措辞本事强、宇宙学问还能够，但逻辑推理本事很难提起来，假使你通过例如蒸馏等步骤试图把逻辑本事内化到幼模子的参数里，恶果有但有限，幼模子和大模子差异最大的本事即是逻辑推理本事了。趣味是说，纯靠参数内化来提拔幼模子的逻辑推理本事推断提拔幅度有限。但o1 mini彰彰是个幼模子，其杂乱逻辑推理本事特殊强，况且看形貌可通过筑设来提拔或者下降它的逻辑推理本事（所谓inference-time Scaling law），假若你理会AlphaGo的运作机造的话，会出现这都是斗劲范例的探索树的特征，能够通过左右探索空间巨细来提拔模子本事。

　　固然我幼我以为，假若把通过成立参数来左右怎么拓展树构造（例如左右探索的宽度和深度），这种形式假若能被称为Scaling law的话，多少有点做作，若如此，那咱们能够说2006年AlphaGo出来就有Scaling law了。

　　但不管何如称谓它，无法玩忽的是这种手法的可扩展性极好，无论是正在RL操练阶段，照旧LLM的Inference阶段，只消改下参数筑设来增添树探索的宽度和深度，就能通过增添算力提拔恶果，可扩展性好且办法活跃。从这点讲，o1确实拥有紧张意思，由于这证实了它把何如调解LLM和树探索这条途走通了，LLM模子不妨抵达AGI的上限就被普及了一大截。

　　第三，正在o1之后，幼模子大行其道真正成为能够。幼模子迩来泰半年也斗劲火，但从本事获取角度看，原本照旧有上限锁定的，这个锁定幼模子上限的即是逻辑推理本事。上面提到了，幼模子的本事特征是：措辞本事很强不比大模子弱、宇宙学问不如大模子然则能够通过给更多半据接续提拔、受限于模子界限，逻辑推理本事能提拔但斗劲贫苦。

　　因而幼模子的优化核心是宇宙学问和逻辑推理本事，而从o1 mini的恶果（宇宙学问弱、逻辑推理强）可推出，之后咱们能够采用“本事分治”（DCA，Divide-and-Conquer of Ability）的形式推动幼模子的技能繁荣（参考上图）：把措辞、宇宙学问及逻辑推理三个本事解耦，措辞本事靠幼模子本身、逻辑推理靠相仿o1的通过RL取得的深度考虑本事，而宇宙学问能够靠表挂RAG取得巩固。

　　通过“本事分治”，幼模子全体能够具备目前最强壮模子的本事，这等于真正为幼模子扫清了进步途上的窒息，而SLM做起来本钱又斗劲低，许多人和机构都能够做这事，因而能够预测：之后这种DCA形式将会大行其道，酿成一种新的研发幼模子的范式。

　　第四，o1能够会激励“太平对齐”新的范式。O1正在做太平对齐方面，粗略采用了相仿Anthropic的“AI宪法”的思绪，即是说给定少许太平守则，指明哪些行动能做，哪些不行做，正在o1逻辑推理本事普及之后，它效力这些规矩的本事也取得了极大巩固，安万本事比GPT 4o强许多。这能够激励太平对齐新的形式：行家能够先把模子的逻辑推理本事增强，然后正在此之上接纳相仿“AI宪法”的思绪，由于OpenAI o1证实这种形式可极大巩固大模子的安万本事。

　　第五，“深化练习+LLM”的规模泛化本事，能够不局部于理科规模。深化练习适合处理Reward斗劲明了的杂乱题目，范例的是数理化、Coding等有准则谜底的学科，因而许多人会质疑o1是否能泛化到更宽的规模。确实，o1的考虑本事能否泛化到没有明了准则谜底、Reward欠好量化的规模是它繁荣的枢纽，泛化得好，则翻开阳光大道，泛化得欠好，规模局部性就会斗劲强。

　　我揣测OpenAI能够依然找到了少许非数理学科的Reward界说手法，并将这个手法通过RL拓展到更多规模。既然o1能够读懂并效力太平原则，以 “AI宪法”的思绪处理太平题目，我以为由此能够推导出一种针对笼统准则的Reward给与手法：即是说针对欠好量化的规模，通过写少许文字类的判定准则或原则，让大模子读懂并效力它，以此来行动是否赐与Reward的准则，适宜标规则Reward高，不然Reward低。比如，针对写作文，就能够列出好著作的准则（构造明晰、文笔美好等原则），让大模子据此来给Reward。如许就能拓展到许多规模。

　　当然，思要这么做能够要分次序，先用好给Reward的数理题目巩固模子的杂乱推理本事到肯定层级，如此它就能看懂原则了，然后再做那些欠好量化Reward的规模。（这都是我的推断，没有凭借）

　　由上述阐发可看出，o1这条技能偏向不单巩固了模子的杂乱逻辑本事，由此能够激励大模子研发许多紧张偏向的厘革，这是为何我说o1紧张的闭键原故。

　　GPT 4等LLM模子操练凡是由“预操练”和“后操练”两个阶段构成（参考上图）。“预操练”通过Next Token Prediction来从海量数据汲取措辞、宇宙学问、逻辑推理、代码等根原本事，模子界限越大、操练数据量越多，则模子本事越强，咱们凡是说的Scaling Law指的是这一阶段的模子扩展特征，也是LLM操练最打发算力资源的地方。“后操练”则分为SFT、RM和PPO三个经过，统称为人为反应的深化练习（RLHF），这一阶段的闭键主意有两个，一个是让LLM能效力指令来做种种义务，另一个是实质太平，不让LLM输出不礼貌的实质。而操练好的模子推理（Inference）经过则是对付用户的题目直接逐一世成Token来酿成谜底。

　　OpenAI o1的整体操练和推理经过应与GPT 4这类范例LLM有较大区别。起首，“预操练”阶段应当是从头操练的，不太能够是正在GPT 4o上通过不停预操练取得。证据很好找，OpenAI官方屡屡声称o1 mini逻辑推理本事极强，但活着界学问方面很弱。假若是正在其它模子上魔改的，宇宙学问不会比GPT 4o mini更弱，因而侧面解说了是从头操练的；别的，这也解说了o1这类注重逻辑推理的模子，正在预操练阶段的数据配比喻面，应当极大增添了逻辑类操练数据例如STEM数据、代码、论文等的比例，乃至我都质疑o1 mini是否引入了通用数据都欠好说，不然不需求老夸大学问方面本事弱。

　　正在“后操练”阶段，应当有一个闭键是用来巩固LLM模子的指令效力本事的，也即是说RLHF阶段应当是有的。由于o1正在效力指令方面本事并不弱，况且天生的Hidden COT片断里彰彰也包括许多指令性的实质，假若效力指令本事斗劲弱，推断对付天生Hidden COT也有负面影响。因而，猜度起来这个闭键粗略正在“考虑”阶段之前。（然则RLHF阶段未必有RM和PPO）。但这里和GPT 4对应的RLHF阶段应有两个紧张的区别：起首，o1应当正在这个阶段没有做实质太平方面的事件，粗略率是挪到后面的阶段了（也有能够这两阶段都做了？）。其次，这个阶段粗略率也会极大巩固逻辑推理类的指令效力数据比例，以此进一步增强基座模子的逻辑推理本事，原故咱们等会特意解说。

　　接下来的阶段，即是o1最大的特征，所谓引入了“体系2”的慢考虑本事。ClosedAI只说用了RL深化练习，其它任何都没提，技能保密作事一流。由此，咱们只可猜度出o1调解了LLM和RL来竣工模子“先思后说”的Think本事。

　　OpenAI o1应把“实质太平”闭联的本事挪到了“Think”阶段之后，况且做法和GPT 4应当也有很大区别。正在o1通过Think阶段进一步巩固了它的逻辑推理本事之后，并没有效与太平闭联的Instruct数据去调动模子参数，而是转为正在例如System Prompt里引入人写好的LLM应当效力的若干太平原则，例如不行输出成立无益产物例如毒品的细节实质等等。O1逻辑本事巩固后，正在输出时根本不妨参考“太平条例仿单”，不输出无益实质，这做法相仿于之前Anthropic的“AI宪法”的思绪(凭借参考上图)。况且，o1正在实质太平方面的本事比GPT 4o强许多，这意味着异日大模子太平范式的广大转折：应领先极大巩固模子的逻辑推理本事，继而接纳相仿“AI宪法”或者叫“AI太平仿单”的形式来做。很彰彰假若如此，太平这事件做起来就大略多了，由于等于把LLM当人看了，你告诉他哪些能做，哪些不行做，当它逻辑本事强起来，现正在就全体能看懂了，就这么回事。

　　以上是o1的操练经过，正在模子推理（Inference）阶段，o1再现出了“先考虑再谈话”的特征，分为三个阶段：起首通过考虑，依照用户Prompt的题目天生能再现考虑经过的Hidden COT数据，由于许多Hidden COT很长，于是引入了“COT摘要”阶段，从很长的Hidden COT里提取少许枢纽考虑闭键显现给用户看看，结尾依照COT输出谜底。

　　从上面实质可看出，o1无论正在操练照旧模子inference阶段，和守旧的LLM应当照旧有很大区其它。别的，我正在这里再睁开讲讲两个事件。

　　第一个，思要仿造模子来抵达相仿o1的恶果，一个很容易思到的取巧的办法是：既不去特意巩固基座模子的逻辑推理本事（例如大幅增添预操练中逻辑类数据占比），也不做“慢考虑”阶段的RL操练（由于不显露何如做的），只是注重正在模子inference阶段参与“Think”的经过，例如思举措引入最大略的Best-of-N Sampling这种树拓展计谋，再写写Prompt指导让LLM本人要自我考虑、自我反思，两者相纠合，也能够让模子本人写Hidden COT。如此做，也能肯定水准上提拔模子的推理恶果。然则，这种做法恶果提拔的天花板斗劲低，即是说你模子逻辑推理本事看着普及了少许，然后就会被卡住，假使再增添inference阶段的算力（即是把采样数目N例如从10个拓展到50个，相仿这种。Inference-time Scaling law粗略原本很能够即是这个趣味，您以为这做法是law照旧不law呢？）原本也没用。

　　这是为啥呢？您能够思思，原本内里的原因细思一下很好分解。这是由于对付大略或中等难度的题目，模子正在inference的时刻很能够给出谜底中的大个人次序都是对的（或者多次采样中多半是对的），惟有片面次序舛错，导致最终答复舛错。通过例如Best-of-N Sampling这种大略树探索手法来增添输出的多样性，再加上靠谱的Verifier筛一筛，是斗劲容易把这个幼舛错厘正过来的。但对付高难度的逻辑题目，由于模子输出实质中大个人次序能够都是错的（或者多次采样中公共半都是错的，这种环境你投个票接纳多半人私见看看，结果推断很悲催），你思靠inference-time增添算力无力回天工程。

　　我本人也是依照上述考虑，才进一步反推出上面讲的o1能够的操练经过的：OpenAI o1的基座模子，不管是Pre-training照旧Post-training阶段，粗略率极大巩固了基座模子的杂乱逻辑推理本事，这是它能正在后续inference-time增添算力处理杂乱题主意底子。

　　因而闭于这个点的结论应当是如此的：只靠inference-time增添算力，仅对容易和中等难度的逻辑题目有效，思要不停提拔模子的杂乱推理本事，还需求不停正在Pre-Train和Post-Training阶段下时间。

　　讲到这有人就问了：那我也没钱本人操练基座模子啊？这可怎么是好？这原本是绝公共半人面对的题目。原本拿来主义也应当能够，然则你得选那些逻辑推理本事强的基座模子，我推断代码类的基座模子相比较较适合，然后思举措正在“Think”操练和“Think”inference方面做点作事，感受应当也是能够的，况且对算力的需求也到不了公共半人做不了的水准。

　　第二个睁开讲讲的事件。原本跟第一个相闭，我看现正在许多人看了o1后都说，Scaling范式变了，只消去Scale Inference-time的算力，模子推理恶果就能平素Scaling。很彰彰这是进入误区了，原故上面讲了，假若只做Inference-time算力的拓展，模子恶果天花板应当不会太高，归根结底还得去拓展Pre-train或者Post-train阶段模子的杂乱逻辑推理本事，最最少两者是个相辅相成相互督促的效率，只讲inference-time Scaling粗略率是错误的。

　　从o1的System Card能够明了看出，o1除了一个主模子表，起码又有一个相对独立的“Hidden COT摘要模子”(参考上图)，它的效率是依照用户输入题目及天生的Hidden COT，供应一份爽快且实质太平的COT摘要。因而，o1起码由两个模子组成。

　　那么，题目是：除了主模子和摘要模子，又有其它模子存正在吗？我以为粗略率是有的。

　　咱们能够从o1的价值入手阐发。目前已知：o1 Preview比GPT 4o的输入价值贵3倍，输出价值贵4倍，o1 mini输入和输出价值都是GPT 4o的20倍（参考上图）。

　　这里插入一段，评释下为何大模子的输入价值和输出价值是区其它，这是由于正在大模子推理（inference，相对模子操练来说的，不是指逻辑推理）阶段，分为Prefill和Decoding两个阶段(参考上图)。Prefill阶段起首把用户的输入prompt通过并行预备，出现每个Token 对应Self Attention的Key-Value，并存储正在KV Cache中，供Decoding阶段出现每个Token时刻预备Self Attention时刻用，这个阶段每个Token的Key-Value可并行预备，模子运转一次能输轶群个Token的KV，因而GPU使用率高；而Decoding阶段依照用户Prompt天生后续实质，但模子运转一次只可出现一个Token，因而无法有用使用GPU的并行预备专长，资源使用率亏空。资源使用率的不同导致了输出阶段本钱高，这是为何大模子凡是输出价值是输入价值3到4倍的原故。

　　说回来，闭于价值的焦点题目是：为何例如o1 mini的输入价值（输入个人大模子的管造逻辑大略，只出现Prompt对应的KV Cache，更容易阐发）是GPT 4o mini的20倍？这是个很稀罕的点，贯注考虑的线内部机造的许多线索。输入价值对应Prefill阶段，Prefill规则上只管造用户输入Prompt和Sys Prompt。Prefill阶段价值贵20倍，惟有两个能够：

　　一种能够是用户Prompt+Sys Prompt的输入长度是GPT 4o mini输入的20倍。用户输入的Prompt对o1和4o来说当然是一律的，假若增添这么多输入，只但是OpenAI往sys Prompt里塞入了许多东西。然则切磋到o1 Preview只比GPT 4o贵3倍，那么sys Prompt稀少长的能够性就不大了，不然o1 Preview的输入价值也应当比GPT 4o贵20倍才是。别的，假若只是sys Prompt带来的价值上升，那么o1正在Decoding阶段就不应当那么贵了，由于sys Prompt 闭键影响Prefill阶段的预备本钱（当然，假若KV Cache长了，Decoding正在预备Self Attention的时刻预备量也会增添，由于要看到更长的上文，然则以目前大模子对长文本的帮帮本事，本钱不会高太多）。

　　因而，针对这种能够性，结论粗略是：OpenAI能够往sys Prompt里塞入东西了（应当是上面提到的“太平原则手册”啥的），然则并没有抵达20倍价值的不同。塞入很长的sys Prompt这条原故不行评释20倍价值差异。

　　咱们来切磋第二种能够性。假若假设输入Prompt长度不同没有太大，那么从Prefill预备机造角度来看，只可分解为o1 mini的模子总参数目是GPT 4o的20倍驾驭（除了摘要模子表，又有十多倍的不同）。这里又有两种能够，一种是说o1 mini就一个模子，那么它参数目是GPT 4o的约莫20倍，这个很彰彰不创建，咱们能够看到种种测试中o1 mini跑的速率挺速的，因而单个模子不行够太大；

　　于是，剩下的独一评释就只但是：o1 mini除了一个主模子，一个摘要模子表，粗略又有18个界限相当的其它模子。切磋到o1 Preview输入价值只比GPT 4o贵三倍，能够分解为o1 Preview除了一个主模子，一个摘要模子，又有别的一个界限相当的其它模子。由于o1 Preview的总体作事机造应当和o1 mini是相仿的，可知o1 Preview多出来的那一个模子，和o1 mini多出来的那18个模子（那为啥这18个模子不共享KV Cache呢？假若能够共享KV Cache的话，最少正在Prefill阶段，18个模子能够缩减为1个模子，那么o1 mini的输入价值只需求比GPT 4o mini贵3倍就够了。既然还是贵20倍，侧面解说了这18个模子自己模子参数或者筑设是有不同的，导致互相之间无法共享KV Cache），粗略是干统一类事件的。而这个事件的本质呢，是模子个数可伸缩筑设的，即是说你能够成立这个地方是安顿1个、5个照旧18个这类模子，况且这类模子互相之间又有些不同导致无法共享KV Cache。O1 mini正在许多场景的恶果要比o1 Preview恶果好，肯定水准上能够是跟这类模子的安顿个数相闭的，因而我猜度，这类模子粗略率跟树探索相闭。

　　归纳起来，也即是说，o1模子粗略由三个人组成(参考上图)：一个主模子，一个摘要模子，又有一类可活跃筑设个数的跟树探索闭联的模子池子。假若咱们本人思要给出技能计划逆向工程o1，你的技能计划能够就需求知足这个统造要求，需求包括这些模子，并能评释理会这类模子池子的运作机造。

　　起首，操练o1一定会人为标注一批COT考虑经过，即是说拿到一批题目，谜底数据，通过人为把处理题主意考虑经过和次序写下来，酿成题目，考虑经过（包含考虑经过中浮现的舛错及舛错厘正经过），谜底。假若没有人为标注经过，那么COT里浮现的:Hmm，wait，…这种，假若是纯靠LLM本人出现的，那推断LLM依然蓄志识了，这个概率很幼，这些粗略率最初来自于人为标注数据。能够用这些数据SFT一下o1初始的模子，启动模子的输出形式，让它谙习这种表达办法，然则仅靠SFT一定是不敷的。

　　人为标注难度大、本钱高，因而人为标注的COT数据数目不会太多，人为标注的题目是可扩展性太差，利益是质料斗劲高；之后能够采用合成数据的形式，一种最直观的合成数据的办法就相仿上面提到筑造PRM标注数据的形式：从人为标注的COT内里截取一段人为标注片断，然后利用MCTS树探索办法去补齐后续推理经过，每个片断跑多次，有的结尾谜底准确有的舛错，无论是准确照旧舛错，都能够行动合成数据来操练o1模子。假若更激进少许，对付有确定准则谜底的逻辑题目，能够通过不停试错的形式直接从题目先河探索准确谜底，这里探索到的准确谜底和舛错谜底都能够用来操练o1模子（然则这貌似就依然是o1了？因而能够性不大）。

　　AlphaProof这种本事强的数学解题体系，全体思绪是起首把天然措辞的数常识题通过一个模子转化为办法化措辞刻画，然后利用lean及相仿AlphaZero的形式，通过深化练习和树探索来不停探索并验证中心推理次序。这种手法恶果是能够保障的工程，目前根本可抵达IMO银牌选手水准（参考上图蓝色个人）。然则这种需求转化成办法化措辞再解题的体系有一个题目，即是通用性差，根本只可用来处理数学题，很难扩展到其它规模。

　　受到代码反向天生的诱导，我以为也能够反向天生数学COT（参考上图血色个人）。既然AlphaProof能够构造从天然措辞题目翻译成办法化数学措辞的神经收集，那也能够构造一个反向天生的模子，即是把数学办法措辞翻译成天然措辞，然后用这个翻译体系把AlphaProof找到的解题推理经过，从办法化措辞转换成天然措辞考虑COT。当然，中心做错的也能够用，由于它有明了的验证体系，每一步假使错了，为啥错也显露，这些也能够翻译成天然措辞。如此能够构造出切切量级乃至上亿量级的数学推理COT思想经过数据。我以为这个思绪概略是可行的。

　　OpenAI o1目前正在数学和Coding方面恶果最好，可知这方面的操练数据是最多的，我不显露是否会采用相仿反向天生的思绪来自愿构造COT数据，但貌似这种手法看上去可行性还斗劲高。

　　咱们从这里先河推导o1能够以何种办法将RL与LLM调解起来，并把推导出的模子称为Reverse-o1。

　　起首，传闻OpenAI员工每天要读好几遍萨顿写的“心酸的教训”，而内里提到“不妨阐述算力的通用手法，如探索和练习，将最终大获告捷”，这里的探索闭键指的即是DeepMind AlphaGo的MCST手法，OpenAI员工耳濡目染不把探索用起来做个实习也说不表去不是？

　　第二，前几天OpenAI官宣的o1主力成员采访视频里，有员工提到了他们平素往后都正在测试怎么将AlphaGo的探索手法和LLM调解起来，这也是证据之一。

　　因而，之后会大略先容下AlphaZero的作事道理，并测试将其和LLM调解起来构造杂乱逻辑推理体系。

　　闭于o1的RL状况空间，起首的题目是：这个状况空间是离散的照旧一语气的？粗略率是一语气状况空间，或者说最好把它算作是一语气状况空间。O1由LLM和RL组合而来，当用户输入题目时，很天然的，这些构成题主意Token序列行动一个全体能够算作第一个状况（State1），State1的Token序列行动o1模子的输入，o1熟行动空间里拣选某个行动（至于行动空间怎么界说后面再讲），先不管这个行动是什么，归正拣选这个行动后，o1会输出一个Token序列片断（不会是完备的Hidden COT，应当是此中的某个片断）。之后，o1把再造成的Hidden COT片断实质追加到State1之后，酿成State2，再次行动o1的新输入，o1依照新输入拣选新的行动，输出新的Token序列片断…..如许来去，直到Hidden COT输出终结。根本是这么个经过。

　　o1的RL状况空间不太能够由离散状况组成，你很难明晰地划分出若干简直状况。当然，能够说非常环境下，每个Token酿成状况空间中的一个离散状况，然则如此根本没有实质的可行性。假若是每个Token代表一个状况S，起首这个状况组合空间太大。假设Token辞书巨细是10万，2个Token组合空间即是10万的平方，长度为n的Token序列，状况空间即是10万的n次方，根本是天文数字。其次，对付o1的RL来说，每输入一个Token就需求拣选某个行动A，并天生下一个Token代表迁移到另一个状况S’。假若RL经过带有探索，意味着每个Token需求做一次探索，而咱们从许多o1的网上例子能够看到，许多时刻Hidden COT短长常长的，几十上百K都有能够，这预备量根本是不成领受的。因而把每个Token算作离散状况，不是不成，但颗粒度太细，感受很难正在实质中操纵。

　　我以为把o1的状况空间算作由Token序列构成的一语气状况空间斗劲符合，上面例子假使提到了State1或者State2，看着坊镳是离散状况，这只是便当评释经过云尔（当然，假若把State1算作正在广大无比的Token组合空间中采样的一个点，这没题目）。就相仿RL打游戏或者RL下围棋，RL输入的游戏（或围棋）画面由例如1024*1024个区别像素组成（区别像素能够类比为LLM的区别Token），因为像素组合空间过于广大，很难明晰界说离散的一个一个State毕竟是什么，因而凡是RL打游戏或者下围棋都是把输入图像算作一个全体，算作一语气状况空间，通过一个神经收集来照射到某个简直的行动上。O1的状况空间和图像是相仿的（参考上图），能够把一个Token片断类比RL打游戏对应的某个图片输入，算作由Token序列构成的一语气状况空间，源委o1的LLM+RL神经收集照射到某个行动空间中的行动。

　　从上面阐发能够看出，打游戏或者下围棋采用的RL技能，多半是以一语气状况空间行动收集输入，而输出多半是离散行动空间中的某个行动，因而很彰彰这些地方采用的RL技能就斗劲适适用来行动o1的RL个人的处理计划，而接纳离散状况空间的RL模子，例如MDP类手法就不太适合。

　　O1中RL的能够行动空间：“考虑因子（Thought-Factor）”离散行动空间

　　O1的RL技能计划，此中最枢纽的闭键很有能够是怎么界说行动（Action）空间。OpenAI 01的Hidden COT出现经过，素质上是正在让机械仿照人正在处理杂乱题目出现的考虑经过，而人正在考虑杂乱题目时，有斗劲固定且数目并不太多的“考虑形式”或者能够叫“考虑因子”。例如拿到一个杂乱题目，咱们凡是会起首明了这个题主意目的是什么，然后把杂乱题目拆解成几个闭键或者次序，为了取得某一个简直次序的解法，能够会提出一个假设，然后验证这个假设是否创建，假若不创建，那么不停提出新的假设，直随处理这个子题目…..咱们也能够正在经过中会举办验算并出现某些中心闭键浮现舛错，并把舛错厘正过来。

　　假若贯注阐发OpenAI官网放出来的几个Hidden COT，会出现是能够从内里总结出少许范例的人类考虑题主意少许隐含的“考虑因子”的（参考上图，我给出了少许简直的例子）。我以为假如把Hidden COT算作一个一个Token组成的，RL这事件就很难做了（Hidden COT的状况空间依然是一语气非离散的，假若行动空间也短长离散的或者组合空间过大，RL很难筑模。因而行动空间是离散的，这个极粗略率为真，当然何如界说离散的行动空间应有区别手法），正在我的设思中，一个合理的手法是总结出人类考虑杂乱题主意隐含的“考虑因子”,以此行动候选的行动集中，例如：“拆解题目”、“复述目的”、“查抄结果”、“厘正舛错”、“提出假设”等等，总体数目应当不会太多，假使划分得仔细少许的话，推断也就几十到上百种。而针对每个简直的“考虑因子”，能够出现适宜对应分散概率的Token片断，例如行动假如“提出假设”因子，则天生“Alternatively”这个Token的概率就斗劲大（通过PPO从操练数据里学到的）。那么，Hidden COT片断很能够其可靠样貌是长如此的：

　　也即是说，OpenAI的Hidden COT的原始实质或者操练数据，正在办法上有能够是如此的二级构造：

　　这种层级的hidden COT构造，能再现出RL和LLM的上风纠合，离散行动空间例如估算给定状况S接纳何种行动，即函数Q(S,A)的估算，这是RL擅长做的事件，而考虑因子标签中的Token天生则是LLM擅长的事件，LLM能够依照对应“考虑因子”的类型，练习调动因子标签内部Token的天生概率。上图显现了如上所述二级“考虑因子”离散行动空间后，o1的能够运作办法。正在天生Hidden COT的经过中，输入和输出都带有ACT行动Token的肇始和终结符号，起首，O1依照目前的题目和依然天生的Hidden COT片断，预测下一个最能够接纳的“考虑因子”，以决议后面要接纳怎么的简直考虑形式，然后正在这个“考虑因子”指点下，LLM天生简直的Token序列，以“考虑因子”的终结Token行动这种思想形式的终结符号。并将本步输出的Token序列并入输入，来轮回来去地天生下一步考虑的对应行动及Token序列。(当然整体经过都是我的设思，没有简直证据)。

　　那您会问：为啥我正在给出的Hidden COT例子里看不到“考虑因子”对应的肇始和终结Token呢？能够显现给用户的COT是过滤后的版本。你思，Hidden COT的肇始和终结Token（/），这两个Token极粗略率是会有的，您不也没看到不是？解说输出的是过滤后的COT，那么，原先是有“考虑因子”符号，但显示的时刻被过滤掉，这也是有能够的。

　　Reward怎么成立对付RL来说至闭紧张，之前LLM+RL的学术作事原本蛮多的，总结一下的话，目前常用的Reward模子有两种（参考上图）：结果奖赏模子（ORM，Output Reward Model）和经过奖赏模子（PRM，Process Reward Model ）。

　　ORM的趣味是操练一个模子，不管推导经过有多少步，只对结尾结果打分。假若对比Hidden COT看的线把Hidden COT完备地写完了，ORM才给出一个奖赏信号，模子结果若和准则谜底对上了，给奖赏1，假若谜底舛错，给奖赏-1，相仿这种。很彰彰，ORM的利益是反应信号切确，例如对付数学题，模子要么做对了，要么做错了，很明了，因而反应信号就精准；但ORM的坏处是反应寥落，趣味即是反应信号少，这个很直观，哪怕你推导经过写10页纸，归正结尾惟有一个反应信号。（OpenAI 操练大模子时RLHF阶段的RM模子，就属于ORM）

　　PRM的寄义是操练一个模子，能对中心每个经过都赐与反应信号，如此正在推导经过中错正在哪个次序就很理会，不消比及结尾，因而它的特征是反应信号雄厚不寥落。但题目来了，要操练PRM就需求有每一步有标注的数据，这么多标注信号何如来？老例做法是靠人为标注，例如客岁很火的OpenAI的PRM作事“Let’s Verify Step by Step”，即是靠人为标注了80万中心次序反应信号的数学题推导经过，况且证实了PRM恶果要比ORM好。因而，PRM的利益是反应多恶果好，然则操练数据筑酿本钱太高，凡是人做不了。

　　那有没有相对本钱低的手法来做给每一步做标注呢？有。我目前看到斗劲好的做法是这么做的（参考上图）：假设咱们手上有一批有完备推导经过的数学题，能够先把第一个解题次序抄过来，然后用MCTS树靠探索的办法去不停往后推导，能够从这个次序起程做多次推导，此中有些推导经过会取得准确谜底，有的结果舛错，规则上从这个次序起程的多次推导中，通向准确谜底比例越高，解说抄过来的这步推导经过对付取得准确谜底斗劲紧张，则能够标注一个高分，然后能够抄过来第二个解题次序，依此管造…..如此就能自愿给每个推导次序做质料标注。然后用这种数据去操练PRM模子，PRM就能给每个推理次序打分。但很彰彰，通过这种数据操练出来的PRM打分的精准性一定比不上ORM。

　　这里会起首先容下AlphaZero的根本作事道理，咱们后面给出的Reverse-o1计划，焦点是怎么将RL和LLM调解起来，大框架闭键参照AlphaZero的主体思绪，因而这里做些解说以便当后续实质的分解。

　　2017年年终AlphaGo的棋类游戏通用版本Alpha Zero问世，不单围棋，对付国际象棋、日本将棋等其他棋类游戏，AlphaZero也以胜过性上风克造包含AlphaGo正在内的最强的AI次序。

　　AlphaZero从技能本领上和AlphaGo比拟并未有素质上的更正，主体还是是MCST蒙特卡洛探索树加神经收集的构造以及RL操练手法，然则技能竣工上大略温婉许多（参考上图）。闭键改动包括两处：一处是将AlphaGo的两个预测收集（计谋收集P和价格收集V，计谋收集P闭键用于预测正在目前状况S下，实施每个行动a也即是能够的落子位子的胜率，即函数P(S，a)；而价格收集V闭键评估目前状况S最终不妨赢棋的全体概率，即函数V(S)，是一个正在例如0到1之间的数值，V(S)数值越大，从目前气象S起程赢棋概率越高。）兼并成一个收集，同时出现两类输出P(S,a)和V（S）；第二处是收集构造从CNN构造升级为ResNet。AlphaZero全体放弃了从人类棋局来举办下棋体味的练习，直接从一张白纸先河通过自我对弈的办法举办练习，并仅仅通过三天的Self Play便取得了远超人类千年堆集的围棋体味。

　　AlphaZero纠合了MCST和RL，MCST是主体，RL起到了加快探索速率的效率。正在Self Play经过中（参考上图a），对付某个AI棋手，它会用MCST探索，对目前状况S下各个能够落子（Action）都去搜一下，每个位子源委探索之后，能取得每个落子位子赢棋的概率分散pai，从入拣选概率最大的位子来落子，之后另一个AI棋手也采用相仿的思绪去落子……这么一来一回直到分出输赢（z指出谁是胜者,Reward信号）。

　　到目前为止，貌似咱们还没看到神经收集构造的效率，原本它闭键是正在MCST探索某个落子位子的时刻阐述效率。由于从某个落子位子起程先河探索，可探索空间实正在太大，靠暴力探索一定行欠亨，因而计谋收集P和价格收集V（AlphaZero依然调解为一个收集了，分隔说闭键是为了便当说明）的效率闭键是教导探索经过，优先探索赢面大的途径，剪枝掉赢面幼的途径，如此来增添探索效果。

　　正在探索经过中神经收集参数固定不动，当一盘棋下完最终分出输赢，显露胜者后，可针对下棋途径上源委的每个状况S出现对应的操练数据。对付计谋收集P来说，练习目的是MCST探索取得确当时状况S起程落子概率分散pai，而对付价格收集V来说，练习目的则是“结尾的胜者z获胜概率大”这一真相。然后依照这些操练数据就能够调动神经收集参数，如此它不才一局对弈经过中本事会更强（能够看出AlphaZero的奖赏模子是ORM）。如此通过无尽反复的对弈经过，AlphaZero本事就越来越强。

　　应当认识到：对付AlphaZero来说，其素质原本照旧MCST蒙特卡洛树探索。围棋之因而看着难度浩劫以驯服，闭键是探索空间实正在太大，纯正靠暴力探索全体不成行。假若咱们假设现正在有个机械无尽强壮，不妨火速遍历全体探索空间，那么原本纯正利用MCST树探索，不依托RL，机械也能抵达圆满的博弈状况。AlphaGo Zero通过自我对弈以及深度巩固练习闭键抵达了不妨更好地评估棋盘状况(V)和落子质料(P)，优先拣选走那些赢面大的博弈途径，如此不妨舍弃洪量的劣质途径，从而极大削减了需求探索的空间，自我进化闭键再现正在评估棋面状况（P和V）越来越准，因而能越来越速地找到赢面最大的落子位子。而之因而不妨通过自我对弈出现洪量操练数据，是由于下棋是个原则界说很明晰的义务，到了肯定状况就不妨赢或者输，无非这种最终的赢或者输来得晚少许，不是每一步落子就能看到的。

　　o1和下棋区其它一点是：除了RL，假使是Hidden COT，正在背后也是靠一个Token一个Token输出的，LLM肯定照旧此中的主体构造，但RL一定也需求一个收集构造去调动模子参数，来渐渐学会内部的考虑经过。因而，咱们起首面对的题目是：怎么调解LLM和RL两个模子，来取得一个同时夹杂LLM和RL两者效力的完备收集构造。

　　上图给出了一个我设思中的构造：主体还是是基于Transformer的LLM模子（Dense或MOE都能够，mini版本应是Dense构造），当输入“题目+依然天生的个人Hidden COT”（也即是由一语气Token序列构成确目前状况S）之后，经GPT收集对目前状况举办编码。正在LLM 输出Head之上，可分解出两个子构造：一个用于老例的LLM 预测Next Token，这与大凡的LLM一概；正在Head之上，能够搭筑RL模子构造，这里参考了AlphaZero的思绪，一个收集两个输出。例如能够用FFN收集构造，一方面输出计谋收集P结果（P(S,a)），代表正在目前状况S下，下一步Action“考虑因子”的分散概率pai，某个“考虑因子”概率越大，则下一步这个Action被选中实施能够性越大；别的一方面会输出价格收集V结果（V(S)），代表目前状况S通向最终准确谜底的概率巨细，概率越大解说目前状况S质料越高，意味着目前已输出的这个人Hidden COT全体质料较高。

　　到了这一步，当Hidden COT处于某个状况S的时刻，源委收集可知下一步应当接纳什么行为，也取得了目前状况S通向告捷谜底的概率。但目前仍欠缺一个人实质，即正在已知下一步“考虑因子”行动后，对应的Hidden COT 一系列输出的Tokens。

　　一种大略的手法是用LLM head之上的LLM个人接续输出后续Tokens(有人为数据操练的时刻，能够用PPO来增添对应Token的输出概率)，正在输出后续Token的时刻并不切磋RL的输出，直到LLM输出到之后，再去判定RL的输出拣选行为…..接续此经过，纠合LLM和RL输出Hidden COT的模子就能运行起来。

　　前文咱们阐发过，o1粗略率会利用经过奖赏模子PRM，又有，它能够是由多个模子组成的。正在这两个统造要求下，能够如许改造上面的模子构造（参考上图）：正在已知下一步“考虑因子”后，不由主模子来天生后续Tokens，为了增添后续天生COT的质料，可采用Best-of-N Sampling的思绪，由多个复造的Reverse-o1模子（区别副本能够成立区其它温度参数，增添输出的多样性）各自给出一个Token序列，然后由离线操练好的PRM行动评委打分，拣选得分最高的Token序列，行动本次“考虑因子”后续的输出Tokens。选出最佳实质后，可同步给主模子，主模子实施一次相仿Prefill的操作，即可同步输出最佳实质，然后先河下一轮的输出……可如许执掌，这么做彰彰天生的Token序列质料会更高。

　　咱们仿造AlphaZero，引入主体构造MCST，它的运转流程如下（参考上图）：当用户输入题目后，Reverse-o1利用MCST树，对付每个能够的“考虑因子”举办探索，正在探索时会用计谋收集P和价格收集V来火速寻找最优探索途径，如此取得全体“考虑因子”的概率分散pai，概率数值越大则代表接纳这类考虑通向准确谜底概率越高。之后拣选概率最大的“考虑因子”行动目前状况下的行动，并如上节实质所述，由Reverse-o1天生针对这个行动下的COT Tokens片断。将COT Tokens片断并入用户题目，酿成新的状况……依序往后走，直到出现题主意谜底，和准则谜底比较后，要么对要么错，由此取得对应的Output Reward。

　　仿造AlphaZero，从状况S起程，探索某个“考虑因子”指向准确谜底的概率时，以max(Q+U)的办法寻找最优下一状况S’，而Q函数与价格收集V(S)正闭联，U函数与计谋收集P(S,a)正闭联，因而Max(Q+U)的寄义是通过价格收集和计谋收集的指引，来寻找高质料的探索途径；当探索到叶结点的时刻，会举办节点扩展，并用计谋收集和价格收集估算初始化闭联探索参数，之后由低向上更新最优途径上全体状况对应的Q函数。当每个候选的“考虑因子”源委一轮探索后会取得全体行动的分散概率pai，结束探索次序。O1探索时与下棋区其它地耿介在于：假若要往下一状况迁移，还需求依照目前选到的行动，出现对应的Hidden COT tokens，这个次序可由上文讲述的Best-of-N Sampling计谋来结束。

　　当从题目先河，渐渐天生Hidden COT片断后，走到谜底阶段，会取得Output Reward，结束一次通过中心闭键到谜底的MCST探索经过。假若谜底准确，可成立Reward=1，谜底舛错可成立Reward=-1，正在此根底上针对走到谜底所源委的全体中心状况S构造操练数据，来操练计谋收集P和价格收集V，计谋收集的练习目的是对应状况MCST探索到的行动概率分散pai，价格收集的练习目的是Output Reward。

　　除别的，对付探索经过每个被选中“考虑因子”通过Best-of-N Sampling取得的对应Hidden COT tokens序列（也能够拿到PRM给与这个tokens序列对应的Process Reward分数），则能够使用PPO（PRM的Reward行动PPO的Reward）来调动LLM模子参数，使得LLM之后正在遭遇这个“考虑因子”后，普及这些Tokens的天生概率。

　　到目前为止，差不多能够终结o1的整体逆向工程之旅了，前文提到的少许统造要求（o1应当由多个模子组成、应当用了某种或者某几种树探索、RPM和ORM应当都邑用等）正在设思中的Reverse-o1中根本都取得了再现。

　　然则，我幼我以为又有一个题目值得深切考虑：“考虑因子”是必需存正在的吗？到底这需求靠人为去总结人类的潜正在思想形式，还是有斗劲强的人为踪迹存正在，况且会增添人为标注数据的本钱。这个题目我确实考虑了好几天，结论貌似是：整体框架还能够是这个框架，不消引入“考虑因子”应当也是能够的，因著作依然太长，评释起来有点杂乱，这里先略过。张俊林：OpenAI o1道理逆向工程图解