人工智能应用

  • 被记录在此的内容至少需要是开放权重的,
    闭源商业项目由于其广泛存在的不透明性/内容审查/夸大其词/营销炒作, 即使记录可能也无意义.
  • 警惕伪装成突破性进展的基准测试提升.
  • 过时的/被淘汰的/被验证为无效的/不再有意义的内容需要在发现后积极删除.
  • 开发人员应该避免陷入"有了模型, 于是寻找模型的应用场景"这样的"拿着锤子找钉子"的陷阱:
    如果AI有应用场景, 它应该是不言自明, 不假思索, 让人一下子就联想到应该用AI来解决的.
以自回归的形式查看先前的标记来预测下一个标记的语言模型.
主流开放权重模型:
  • 阿里巴巴的Qwen系列:
    多模态, 密集模型, 小参数量MoE.
  • Google DeepMind的Gemma系列:
    边缘设备支持, 多模态, 密集模型, 小参数量MoE.
    可视作自家Gemini系列模型的蒸馏产物.
不适用于消费级硬件的开放权重模型:
  • 智谱的GLM系列:
    大参数量MoE.
  • 月之暗面(Moonshot)的Kimi系列:
    特大参数量MoE.
  • 幻方量化的DeepSeek系列:
    特大参数量MoE.
    V4之后的模型残留有非常明显的GPT和Claude模型蒸馏痕迹.
    嘴上说搞AGI, 实际却一直在硬偷SOTA, 看来所谓的AGI路线就是指一路吸别人的尾气.
自2024年末OpenAI通过RL推出首个具有"推理"能力的模型后, LLM的发展似乎陷入了停滞:
整个2025年没有出现在算法层面上有意义的进步.
至2026年中旬, SOTA模型在一些任务上仍然保持着惊人的无能和不稳定,
这些模型与2024年底推理模型的最大区别只是使用了更多样化的人工数据/合成数据/RL环境.
模型供应商依靠蛮力取得特定领域里更高的基准测试分数,
但在分布外泛化性和训练样本效率上却仍然缺乏进步,
这一切正变得越来越像The Bitter Lesson的最新案例.
或许当你有无限的融资能力时连The Bitter Lesson也会失效, 可惜你没有.
进步停滞的一个明显信号是不同供应商的模型性能差异渐渐缩小, 一些开放权重模型通过蒸馏逐渐追赶上SOTA模型.
显然, 蒸馏模型的效率要远高于凭蛮力突破上限的效率.
由于尚未见到Scaling Law失效, 因此当下的瓶颈在一定程度上仍然可以认为能够通过堆更多参数解决.
然而, 指数级的算力堆砌只能产生线性的性能提升, 训练和推理更多参数量的模型在经济上是不划算的.
如果算法和硬件没有新的突破, 本轮AI热潮可能会止步于此.
2026年唯一值得一提的前沿进展是GPT-6 Astra的发布.
该模型首次将循环语言模型推广到特大参数量(估计总参数量在3T以上, 不太可能大于6T, 因为集群和成本上的限制).
尽管训练和推理成本极高, 但兴许能从潜空间推理中找到CoT所不能实现的东西.
遗憾的是, OpenAI现在对模型的技术细节讳莫如深, 而从外部入手进行研究如同盲人摸象(尤其是考虑到这些供应商还会悄悄对模型降级).
一些模型训练商在2026年开始对RSI进行炒作, 然而没有一个训练商能拿出证据证明RSI发生了.
如果RSI发生了, 那么至少应该出现下列情况之一:
  • 模型自主发明了明显优于当前架构的架构设计.
  • 模型自主发明了明显优于当前芯片的芯片设计.
  • 模型在无人监督的情况下合成了有效的数据集.
    有效意味着合成的数据集能够在后续迭代中持续改进模型的性能, 直至收益递减至改进变得不可测量.
目前看来, 所谓的RSI只是另一种类似"Sam Altman承诺推出成人模式"的空头支票,
只不过成人模式是供可怜的消费者自慰, 而RSI是供可怜的投资者自慰.
有一个十分简单的方法可以提升目前模型的性能:
目前基于BPE的tokenizer本质上是算力不足情况下的妥协方案.
把tokenizer从架构中去掉, 直接以字符作为模型的原生输入和输出, 一些任务的性能会立即获得改进.
但是模型的训练商没有算力来支持这种架构, 你能想到的所有训练商都没有.
因为上下文的复杂度是 O(n^2),
而字符原生模型会将基于文本的任务所需的上下文长度向上翻3~4倍, 仅计算量就会因此向上翻9~16倍.
这还不是终点, 因为我们还可以进一步还原到字节.
如果我们把多模态的特征提取去掉, 替换为字节表示,
那么可以轻易增加100~1000倍的上下文长度, 计算量会因此增加1万~100万倍.
为什么特征提取需要被去除? 因为归纳偏置, 并且"人工智能"与"生物智能"存在着本质上的不同.
以嵌入模型为例, 表面上看, 这似乎是一个发展得还不错的领域.
但实际上, 仅就发展最充分的文本嵌入模型而言, 几乎所有文本嵌入模型都是有问题的, 说白了这些模型全都是垃圾——
因为几乎所有相关的基准测试都是垃圾, 你不可能以垃圾为目标然后得到比垃圾更好的东西.
Scaling Law并不能无限扩展, 它的上限与LLM架构的表征和压缩能力有关.
当模型的参数量很大, 但训练数据集却不够多时, Scaling Law就失效了,
此时无论怎么再怎么增加参数量, 都无法继续提升模型的性能.
根据Training Compute-Optimal Large Language Models,
模型的参数量与token数的比例约为1:20, 即每个参数需要20个token.
参数量和token数的增长速度为1:1, 即模型参数量翻倍, 训练用的token数也应该翻倍.
这种增长速度很容易耗尽训练数据:
当发展到边际时, 获取更多训练数据的成本比获取更多(用于训练的)算力的成本高多了.
时至2026年8月, 大多数LLM仍然是以文本为主的模型, 文本以外的模态的训练往往严重不足.
一个反直觉的事实是, 互联网上的文本数据没有人们想象的那么多:
Common Crawl的爬取存档表明, 截止2026年7月, 公网能够爬取的文本数据(未经压缩)实际上只有364TB——
大约23块16TB的硬盘就可以装下, 还不够塞满一面墙的.
如果对这些数据进行清洗和语义去重, 数据量还会大大降低, 远非取之不尽用之不竭的资源.
当然, 有一些页面会从互联网上消失, 但这些消失页面的文本量是无法统计的.
为了不让LLM的泡沫破裂, LLM训练商需要维持Scaling Law有效.
这导致LLM训练商不仅需要大量从实体书等线下材料中扫描用于训练的数据,
还要完全无视robots.txt等约定俗成的爬虫访问规则, 耗费巨资动用分布式爬虫对整个互联网进行持续不断的爬取.
LLM的训练依赖于大量数据, 然而其数据源会因为LLM的大量使用而被污染.
其结果可能导致模型崩溃, 使模型性能不升反降, 困死在一个非常平庸甚至比早期版本更差的水平.
根据皮尤研究中心的报告, 至2026年7月, 互联网英文页面中有9.6%的页面包含人工智能生成文本.
在新增的英文页面中, 有35%的页面包含人工智能生成文本.
为预防模型崩溃, 需要对数据进行过滤.
这在技术上确实有可行性, 最简单的方法可能是用SOTA模型计算数据集中文本的困惑度, 将困惑度低于阈值的文本视作遭到污染.
然而, 随着LLM的滥用, 这种方法的有效性也会下降, 然后因为难以收集到足够多的无污染数据而失败.
最终, 雇佣大量人类手工编写数据集可能会成为唯一的选项.
一个非常典型的错误想法是, 认为随着LLM在训练上的进步, 小模型可以达到大模型的性能.
开放权重模型从非推理模型到推理模型的过程似乎给这种美好的幻想补完了证据, 只可惜这个证据是不成立的.
关于推理模型的RL实际上训练了什么, 已经写在强化学习的局限性一节, 此处不再赘述.
直到2026年8月, 模型的最大性能提升仍然来自于增加参数量.
为什么增加参数量有效?
因为对模型来说, 智能实际上等同于"对知识的融会贯通",
而小模型的参数量根本不足以压缩进足够多的知识, 这是由信息论决定的.
如果小模型显得比它之前的版本记住了某些领域的更多东西, 那么肯定是以它忘记其他领域的某些东西为代价.
如果这还不足以理解LLM的智能从何而来, 可以换一个角度来看:
LLM可以视作一种大规模数据挖掘技术, 它在挖掘互联网数据方面的表现已经优于上一代技术: 公共搜索引擎.
为什么LLM会在这方面优于公共搜索引擎?
因为公共搜索引擎的本质只是死记硬背的倒排索引数据库加上一个基于引用网络的权威性排名算法.
LLM不仅通过训练存储了知识, 在训练过程中知识还会发生联系和重组, 正是这种联系和重组超越了搜索引擎的死记硬背.
LLM的这种范式转变使其在信息查询方面同时对搜索引擎, 百科网站, 问答网站等传统渠道起替代作用.
如果你是一个在互联网上留下足够多足迹的人, 你有可能会偶然发现大模型实际上把你存到了权重里.
我的网络id就是一个例子, 当一个模型足够小就会输出幻觉, 模型足够大它就会认得这个id.
我最初发现这一点是因为有一天我复制了我的一段开源代码给LLM, 由于这个LLM足够大, 它甚至能直接给出这段代码的来源.
显然, 全世界只有我写了这段代码并且发布到网上, 而如此冷门的代码片段却仍然被模型的权重给记住了.
上述行为无法在更小的模型上复现.
如果你是一个在互联网上足够默默无闻的人, 那也没关系.
有一种叫做Muntzing的方法论, 最初是用来造电视机的.
这个方法论足够小众, 以至于小模型不会在权重中包含它, 但大模型总是会在权重中包含它.
Muntzing方法实际上具有思维上的启发性, 当一个模型甚至不记得这种方法, 那么它很可能也不具有这种思维上的启发性.
深入研究下去, 就会意识到LLM的记忆力和LLM的性能存在着极强的关联性, 以至于很多看似是智能的东西其实都是得益于记忆力:
  • 小模型永远也写不好代码, 因为它甚至不记得什么代码片段, 而足够大的模型能够记住一个冷门软件包每一个版本的代码.
    这自然带给足够大的模型更佳的编码能力.
  • 小模型永远也做不好科学研究, 因为它甚至不记得什么论文片段,
    而足够大的模型能存储下每一篇LLM训练商能够访问的论文内容.
    这自然带给足够大的模型更佳的研究能力.
这里有一个有趣的低垂果实的例子可以进一步说明非死记硬背记忆力的作用.
有一个数学问题叫做最小超排列问题, 也叫做凉宫春日问题(The Haruhi Problem).
为什么一个数学问题会跟凉宫春日扯上关系?
因为这个问题实际上是被一名4chan匿名用户在回复关于凉宫春日动画的帖子时顺便解决的.
该匿名用户的帖子发布于2011年, 但数学界直到2018年才发现这个帖子的存在.
一个参数足够大的LLM有希望找到更多这种低垂的果实.
一个小模型加上搜索引擎可以重现这种"记忆力即智能"吗?
答案是否定的, 因为搜索引擎在技术上不足以帮LLM找到那个4chan帖子.
即使搜索引擎是基于嵌入的语义搜索, 也没有帮助,
因为嵌入模型的训练过程决定了它包含人类的归纳偏置, 还存在领域知识缺失, 语义捕捉流于表面(随便就能举出几个失效的例子)等问题,
这注定使那个4chan帖子在排序上远输于其他结果.
SOTA LLM供应商经常宣传自己的模型擅长"推理"和利用外部工具获取信息,
而模型的延迟和token价格却暴露了它们模型的参数量在成倍增长——
如果这些模型的"推理"能力能够独立于记忆力存在, 新模型要那么多参数做什么呢?
既然"记忆力即智能"是一个客观存在的现象, 并且不能通过奇技淫巧替代, 那么关于模型是否能变小的答案就很明显了:
如果资金足够充裕, 那么模型不仅不会变小, 反而还会继续变大, 直到撞上Scaling Law的上限.
LLM后训练中常见的SFT, DPO, RL是三个独立的训练步骤.
RL会引发目标任务以外任务的性能衰退(甚至可能影响基本的语言能力),
因为其他训练步骤的训练数据无法在RL里使用, 而自动生成的CoT过程也不适用于其他任务.
通过追加SFT或DPO训练的方式来阻止性能衰退, 又会造成RL目标任务的性能衰退.
由于数据集的合成效率低且效果差, 无法设置RL环境和奖励等问题, 模型训练商不再关心创意写作等曾经一度热门的领域.
能力跷跷板使得新模型在这些领域的表现比依赖预训练数据程度较高的早期模型表现更差,
使这些领域的能力提升更加依赖参数量增长(能在后训练中保留更多预训练数据).
这导致陷入一种尴尬的局面:
  • 训练商越是重视预训练, 模型基准测试的成绩就越差, 基准测试以外的任务泛化能力就越好.
  • 训练商越是重视后训练, 模型基准测试的成绩就越好, 基准测试以外的任务泛化能力就越差.
因此, 即使模型训练商不透露模型的细节, 也很容易判断新模型相比前代模型是否提升了参数量.
GPT-4和GPT-4.5就是很好的例子, 二者的训练方法, 数据集高度相似, 最大的差异在于参数量.
人类评估者认为后者在自然语言任务上的能力优于前者.
泄露的文件显示, GPT-4是一个总参数量高达1.76T的模型.
这表明, 即使在参数量已经很大的情况下, 自然语言能力仍然会随着模型参数量的增加而获得人类可观察的进步.
隐性知识是人类在实践过程中产生的知识, 这些知识并未得到良好记录, 可能无法用语言来表达, 可能细碎且数量庞大.
许多隐性知识对人类来说是不言自明的, 甚至不可言说的, 不存在于任何文本资料中, 因此LLM也无法通过训练掌握它.
将隐性知识提取为显性知识的成本极高.
以建筑学的哲学著作《建筑的永恒之道》为例, 该书将建筑的隐性知识称为无名特质, 将显性知识称为模式语言.
该书作者的团队从现实中提取出了253个建筑模式语言, 而这就用了10年时间.
LLM很可能无法在训练过程中拟合出足够有用的隐性知识.
这就像试图通过阅读大量影评来替代真正观看电影一样, 指望用一种间接的方法处理无法直接处理的问题——
不幸的是, 这种方法从来没有有效过.
品味或偏好很可能也属于一种隐性知识.
LLM严重缺乏品味和偏好, 隐性知识的缺失可能正是原因所在.
这也能解释为什么LLM生成的笑话不好笑, 因为笑话需要大量的隐性知识来支撑其笑点, 而LLM却缺乏这些知识.
元认知能力属于二阶能力, 其二阶性可能是无法被transformer架构的通用函数逼近器学习的原因——
transformer或许只能以模式识别的形式学到二阶能力的表象(作为结果的一阶表示), 无法学到二阶能力的实质.
所有元认知能力缺陷都可以找到对应的人类版本, 但这并不意味着LLM的元认知能力缺陷来自于人类数据集.
如果仅通过改良数据集就可以补上这些缺失的能力, 那么前沿实验室应该早就解决了这些问题.
尚且不知元认知能力为何这么难获得, 也可能把模型的隐藏层增加X倍或者循环Y次问题自然就解决了.
比transformer更好的架构有望通过更少的参数量获得元认知能力,
但具有潜力的替代架构很可能不是GPU友好的, 这导致训练规模难以扩展.
参考: Metacognition in LLMs: Foundations, Progress, and Opportunities
LLM没有认知自身知识边界的能力, 这是臭名昭著的LLM幻觉产生的原因.
虽然可以通过补丁来蛮力修补这项元认知能力的缺失, 但这种做法注定永远会有漏洞存在.
LLM没有学会如何学习, 这具体表现为上下文学习能力的低下.
LLM目前所展现出的上下文学习能力, 似乎很大程度可以归结为对数据集中已经见过样本的重新利用.
因此, "上下文学习"很可能只是LLM研究领域的又一个糟糕透顶的命名——
让人们误以为模型真的可以从上下文中学习, 而实际上模型在做的事情只是"基于上下文的校准"而已.
作为证据, 在很多疑似OOD的情况下, 上下文学习就失效了:
  • 一个LLM可能自己发现, 或者从人类的反馈中得知自己犯下了错误.
    但由于它缺乏学习能力, 导致它无法纠正自身的行为, 只能重复犯下相同的错误, 即使人类给出了详细的指导.
  • 对于智能体类场景, 这表现为对特定工具的依赖性.
    即使有一个更合适的工具存在, 模型仍然会死板地选择与它训练场景最接近的工具.
出自The Talker Does Not Control The Doer (in Current AIs) — LessWrong.
该假说认为, 由于后训练的方法和目标差异巨大,
模型内部会演化出彼此隔离的子网络, 这些子网络之间的知识和能力无法有效地共享.
MoE架构可能会加剧这种隔离子网络的形成.
该假说可以解释一些上下文无法正常发挥作用的情况:
负责与用户交流的子网络A能意识到问题存在并提出解决方案,
但由于在执行时重新路由到了负责执行的子网络B,
而子网络B在这方面缺乏能力, 因此它只能重复犯下相同的错误.
若该假说成立, 那么这是一个明显的数据集/环境多样性不足的信号.
显然, 当一项任务的训练完全依赖RL环境的程序验证, 中间不涉及人类的时候,
会更容易产生这种隔离子网络.
若该假说能被进一步推广到所有类型的后训练上, 我们可能会惊讶地发现,
后训练在模型隐藏层中提炼出的许多"智能"可能只是海量共用输入层和输出层的隔离子网络的结果——
这将能够解释当前模型存在的许多与泛化性相关的缺陷, "通用"智能就更是无从谈起了.
尽管现在有所谓的"推理模型", 但LLM只学会了对推理的模仿, 并没有真正的推理能力.
这导致其推理能力只适用于特别有限的场景.
推理能力的缺失在其他小节中已经反复强调, 不再赘述.
LLM的判断力只是对人类判断力的肤浅模仿, 模型内部缺乏判断标准的逻辑一致性.
这非常有迷惑性, 如果只是随便找几个样本来测试, 产生的结果很容易让人误以为模型具有良好的判断力.
审美品味是一种很常见的判断力变体.
对人类来说, 审美品味可能是主观的, 会随着时间发生改变, 但在特定时间仍然具有内在一致性.
对LLM来说, 审美品味只是对预训练数据和后训练数据的简单反映, 缺乏稳定的内在表征.
LLM在几乎任何需要融入哪怕一丁点创意的地方都表现得极为糟糕, 甚至到了让人觉得可悲的地步.
尽管大部分人类在创造力方面也表现平平, 但却仍然是LLM无法企及的高度.
值得注意的是, 创造力有可能不是一项元认知能力, 而是更高阶的元元认知能力.
在其他元认知能力的缺失解决之前, 讨论创造力的缺失或许还太早.
来自互联网的预训练数据至少有99%是由垃圾组成, 即使通过启发式方法进行数据清理, 恐怕也很难将垃圾率降低到80%以下.
因此, LLM后训练变得至关重要, 甚至可以说预训练只是在训练语感, 后训练才是真正在训练智能(通过提取并固化语感的方式).
然而, 后训练的规模无法真正扩展:
  • 无限的对齐需求.
    比如模型需要根据时事进行对齐, 因为数据量最大的信息并不代表事实.
    "时任美国总统是谁?"这个问题就是一个需要对齐的典型例子:
    • 数据量最大的信息未必是真实情况, 因为新总统可能上任还没多久, 数据量必然少于前任.
    • 模型缺乏对时间的感知, 而推理的时间点必然晚于训练数据的时间点,
      这导致为模型提供当前时间可能也无助于提取相关数据, 因为当前时间属于分布外.
    • 来自搜索引擎的外部输入是可以被攻击的.
      事实上所有的SEO行为, Cloudflare这样的防火墙, 以及对LLM爬虫有敌意的网站全都能构成对LLM的攻击.
      因此, 仅为了满足能够处理时事这一需求, 就需要模型训练/供应商无限地持续更新对齐数据集和内部RAG知识库中的事实数据.
  • 无限的边缘情况.
    2026年初的"洗车问题(Car wash problem)"完美体现了LLM的这一缺陷.
    "洗车问题"本身是一个非常白痴的问题, 连脑筋急转弯都算不上, 以至于任何正常人都没有机会在现实生活中提出这个问题.
    正因如此, 这个问题不存在于后训练的数据集里, 甚至连被泛化到的机会都没有.
    于是, 所有SOTA LLM都在这个问题中惨败, 即使这些模型都支持"推理", 这在公众领域揭穿了模型的智能神话.
LLM使用的聊天模板是一个后训练数据成本黑洞(十年后, 可能会有人跳出来认领这个千亿美元错误):
每次扩展模板, 都需要大量翻新原来的数据, 因为在支持新功能后, 原来的解决方案可能就不再是最适合的.
倘若要让模型能够在模板中功能的不同开关状态下工作, 还会导致后训练数据需求因为开关状态的组合爆炸而迅速上升.
至2025年, LLM已经经历了至少三轮后训练数据翻新:
  • 支持指令遵循.
  • 支持工具使用.
  • 支持推理.
未来可能出现的扩展:
  • 支持时间感知.
  • 支持位置感知.
  • 支持通信方式感知.
  • 支持多角色对话.
  • 支持模型主动发起对话.
  • 支持单一角色的连续对话.
LLM的后训练数据仍然需要大量的人类参与, 本质上是劳动密集型的,
这实际上创造出了一个颇为独特的, 建立在复制人类智慧上的知识付费/咨询系统.
然而, LLM的产品形态天然决定模型的数据会遭到提取
(即广义上的"蒸馏", 跟其他类型的知识产权盗版行为并无本质区别, 但跟模型的预训练数据一样容易逃脱法律制裁).
这导致了一个糟糕透顶的商业模式:
SOTA模型的付费用户总是会被成本更低的蒸馏模型以价格战的方式抢走, 因此SOTA模型训练的投资回报率会低得惊人.
LLM的最终结局很可能是变成一项国家/跨国组织资助的公益事业.
"学习"一词就像"幻觉"一样, 其生物学(或者说拟人化)的词源很容易误导人.
"机器学习"的所谓"学习", 不过是函数逼近器的"拟合"罢了.
transformer架构的"学习", (很可能是因为缺乏归纳偏置导致)需要的数据量太大了.
当数据量不够时, 它的表现经常弱于其他(预置归纳偏置的)架构.
一项任务到底需要多少数据? 只有实际尝试过才知道.
绝大多数性能上的问题最后都可以归结为数据集问题:
经常需要准备海量数据, 才能让LLM掌握数据背后代表的技能.
然而, 很难找到对应某项能力的海量数据, 如果考虑数据质量, 难度就更是指数级上升了.
当你思考数据从何而来时, 就会有一个悖论摆在眼前:
如果请人类合成数据, 那么时间和金钱成本都会非常高, 对人类来说越是高级的技能成本就越高.
在极高的沉没成本下, LLM掌握技能的水平却仍然可能不令人满意,
其惊人的平庸性就像地心引力一样难以摆脱——到头来还不如直接雇佣人类来做事呢.
没有实验室和企业能靠蛮力收集所有可能任务的数据集.
SOTA LLM仍然不能在无人监督的情况下收集ground truth来合成新的数据集, 以持续改进自身在非封闭系统上的性能.
这直接打破了用LLM制造AGI的妄想.
马斯克的Grokipedia是LLM尝试自主收集ground truth但失败的一个典型例子(马斯克本人可能没有意识到, Grokipedia的有效性等同于RSI的可行性).
Grokipedia甚至都还谈不上LLM被"错误的共识"所误导等问题, 而是当LLM在搜集整理它闻所未闻的内容时, 连自身幻觉引发的错误都无法克服.
OOD无能是统计学/联结主义AI老生常谈的问题, transformer架构也没能神奇地解决这个问题.
这一问题最直接的后果就是必须合成对应任务的训练数据来使其具有对应任务的能力,
指望通过训练任务A来泛化出近似的任务B的性能因此变得不现实.
尝试让LLM玩Zork这种鼻祖级交互式文字冒险游戏.
LLM的数据集里有Zork的完整游戏攻略吗? 当然.
LLM能够使用纯文本形式的I/O接口吗? 当然.
那么LLM能够顺利游玩Zork吗? 不能.
哎呀, 显然你需要将这个任务外包给某个剥削人类的数据标注平台来生成Zork游玩过程的数据集才能做到这一点.
声称能够通关Pokemon Red的智能却无法游玩结构更简单的游戏, 是这个时代的一大奇景.
当你对LLM的要求降低至只解决模式识别类问题时, 你会发现它工作良好.
本质上, 这种有效性来自于海量数据+模式识别的组合.
早在2007年, 这种组合就被证明相当有效:
Scene Completion Using Millions of Photographs用230万张照片+相似性搜索+泊松融合实现了当时最领先的图像修复技术.
要达到SOTA级性能? 只要通过在数据库里寻找合适的图像然后自动PS就行了.
文本以外的模态难以应用到语言模型上:
  • 现有的数据清洗, 增强, 合成技术不适用于多模态数据.
  • 多模态数据本身不像文本那样有价值, 噪声与信号难以分离, 其中大多数样本与智力活动没有直接关系.
这导致尽管多模态的数据量巨大, 却难以用来增强语言模型的性能, 就连在基准测试成绩这种容易作弊的项目上都进展缓慢.
虽然LLM在数据整合和挖掘方面有其独特优势, 但很不幸的是它会在一些情况下彻底输给搜索引擎.
我有一个例子(我不会透露这是什么, 因为可能会被用人力解决),
这个例子相关的概念在互联网上存在已超过15年, Google搜索的第一页结果里的每一个链接都给出了关于它的充足介绍信息.
然而, 从Gemini到Claude, 从GPT-3.5到GPT-5.6 Sol的所有LLM, 对这个概念的回答竟然都是彻彻底底的幻觉.
这件事令我非常诧异, 这怎么可能呢?
我首先排除了数据清洗, 因为这是一个完全无害的概念, 出现在大型网站上, 没有任何可能性导致它被清洗掉.
接着, 我排除了数据去重, 因为Google搜索结果中对它的介绍也没重复到会只剩下非常孤立的语料的地步.
然后, 我排除了RLHF, 我相信没有人会故意让它从模型的回答中消失, 因为没有任何这么做的动机.
或许问题会出在语义学层面?
比如与这个概念在字面上相关的两个词汇的数据量实在太过巨大,
导致模型每次都会走捷径把它当作一个随处可见的合成词来处理, 无法将它当作一个专门的概念之类的.
然而, 很容易找到一个反例: 我的网络id就是由两个常见的词汇组成的, 但即使词汇之间用空格隔开对LLM来说也完全没问题.
或许这个概念在网络上的数据量其实没有我想的那么充分?
但这就不好解释为什么像Muntzing这样更小众的概念反而能被记住.
即使这是额外的后训练造成的, 也不太可能每个模型厂商都采取相同的后训练过程, 都恰好挤掉了这个概念.
还不如说Muntzing这个词在语义学层面具有某种优越性, 使它更容易得到保留.
最后, 我不得不怀疑LLM的架构存在某种共同缺陷, 导致它们在记住这个概念上存在困难.
只有这样这才能解释为什么参数量最大的模型也会面临同样的问题.
虽然原因最终并未查明, 但这个例子足以说明LLM为什么会在一些场景下表现不佳, 因为参数化记忆甚至无法记住一些东西.
由于LLM之前遇到了一个非常明显的瓶颈期, 而RL让LLM脱离了这个瓶颈期, 因此RL很容易被不知情的人视作新的灵丹妙药.
然而, RL并没有人们想象的强大, 至少在LLM上是这样.
LLM中的RL主要指具有可验证奖励的强化学习(RLVR), 与其他领域的RL的主要区别在于:
RLVR其实和SFT一样, 只是在固化模型之前训练阶段获得的能力, 而不是获得新的能力.
尽管它可能表现得像是在获取新的能力, 这主要是基准测试方法的普遍缺陷导致的假象,
模型的很多看似属于"涌现"的行为都是来源于此, 详见Are Emergent Abilities of Large Language Models a Mirage?.
如果你遗忘了RL在LLM之外的领域是怎样工作的, 可以想象一下人类是怎么学习游玩QWOP的:
基本上, 就是大量尝试各种间隔和模式来输入QWOP四个键, 以驱使运动员奔跑得更远.
从零开始的RL训练需要经历的试错次数极大, 次数随着动作的选择空间(可输入动作的数量)和阶段性奖励的距离而指数级上升,
因此RL要么用于较为简单的领域(例如玩雅达利游戏), 要么用于攻克其他方法都行不通的领域(例如机器人的身体控制).
RLVR不是从零开始的, 而是在先前已经存在的LLM权重上开始.
这是因为如果RLVR从零开始, 那么试错次数会高到不可想象的地步, 因为下一个token的选择空间太大了,
而且下一个token之后还有下下一个token, 很多任务都需要几百个token才能完成.
既然是从已经存在的LLM权重上开始, 就会存在一个问题, 即"模型只能解决模型原本就有希望解决的问题":
下一个token的选择空间因为LLM权重的存在已经极大地缩小, 这在让RLVR成为可能的同时, 限制了RLVR能做到的事情.
这使LLM有别于AlphaGo等能够从零起步, 摆脱人类经验局限性的AI.
RLVR之所以可以训练LLM进行自动CoT, 是因为LLM本身就已经内置了CoT能力,
RLVR只是把CoT从一个需要人类手动提示的过程固化成一个自动过程:
拿一个支持"推理"功能之前的LLM进行数学问题的基准测试, 会发现模型的得分较低.
如果给这个模型一个能够驱使其执行CoT过程的系统提示, 那么模型的得分就会明显上升.
如果通过编辑CoT轨迹让模型在推理后自我怀疑(以驱使其自我校正, 不过似乎只有参数量较大的模型才能有效地自我校正),
那么模型的得分还有可能继续上升.
在这个过程中, 模型的权重根本没发生过丝毫变动, 但结果却天差地别.
用RLVR对模型训练可以做到同样的事情, 最终得分通常会比上述手动CoT方法的实现略高一点.
RLVR高出来的这一点点分数, 仅仅是因为RLVR作为一种自动化过程,
能够通过海量试错的方式找到更容易得出正确结果的CoT路径而已.
不难发现, LLM中的这种RLVR更像是一种针对特定用途的模型自蒸馏.
如果你让模型通过RLVR解决一个它原本就没有希望解决的问题, 那么大概率什么神奇的事情都不会发生,
即使这个任务可以被自动化验证, 具有阶段性奖励也是一样.
模型在它缺乏能力的领域要么瞎猜下一个token(因为下一个token的概率都差不多),
要么因为语感方面的原因陷入无限循环中(有明显概率更高的下一个token, 但这个token只是一个循环陷阱的开始).
这就是为什么推理模型的思考时间可以变得不合常理的长, 因为它本质上是在执行一个暴力搜索任务.
玩一些采样策略上的花招的确有希望让模型自己从循环中脱离出去, 但改变不了问题无法被解决的事实,
最有可能发生的是模型在变着花样绕过采样策略的限制, 实际上仍然游走在一个个循环之间.
只在模型非常走运以至于抽中彩票的时候, 这种暴力搜索任务可能解决一个原本没有希望解决的问题,
而模型之所以能做到这一点, 也只是超长的CoT在无意中引导模型找到了数据集角落中几条被所有人忽略的人类数据的结果——
可能出自被埋没的冷门论文或4chan上的帖子,
或者干脆这就是一个暴力搜索能够解决的问题(想想几乎没有智力的昆虫是怎么只靠几种化学信号入侵你的房子的).
正因如此, 尽管参数量少的模型和参数量大的同系列模型架构相同, 训练数据相同, 训练方法相同,
但在同一任务上表现出的性能却仍然不同.
除非刻意去改变某些任务在小模型上的数据平衡性, 否则这种性能差异就无法被缩小.
当我回过头寻找相关研究的时候, 发现已经有一篇引用超过800次的2025年的论文在开放权重的小模型上验证了上述想法:
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
2026年参数量百倍于论文中LLM的SOTA LLM, 其表现也未能超越论文中的结论, 显然这种局限性不仅适用于小模型.
SOTA LLM模型训练商为了掩饰RLVR的根本局限性(或者好听一点的说法: 为了突破模型能力的天花板),
最后只能选择人工创建数据集来强行提升模型性能, 即用大量"人力"来制造"人工"智能.
LLM的最大突破是利用整个互联网的数据做预训练, 而人工创建数据集的做法相当于重新使用LLM被发明之前的方法,
这很难不走向相同的死胡同.
2026年出现了一项极具破坏潜力的工作:
Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning
研究提出了一种成本降低了三个数量级的无RL方案, 证明目前通过RL取得的成果, 实际上根本不需要RL就能实现.
LLM经常能返回看似正确的结果的重要原因之一, 是现实中的信息抽象级别较高.
抽象级别越高, 被讨论得就越多, 被文字记载的可能性就越大, 训练数据量就越大.
抽象级别越高, 涉及到的低级细节就越少, 可容忍的模糊性就越大, 正确性的判定标准就越宽松.
自然语言自身就是抽象级别较高的例子, 人们会自然而然地提高常见表达的抽象级别, 无论是口语还是书面.
即使在自然语言这种高抽象例子里, 仍然可以提高抽象级别, 其中一个例子就是企业废话:
用高度抽象和模糊的语言来营造自身高端, 先进的假象.
企业废话甚至可以不承载任何有意义的东西, 但很多人类却仍然会被这些纯粹的垃圾信息迷惑.
早在1966年, 基于规则的聊天机器人程序ELIZA就揭示了人类容易被自然语言迷惑的现象, 这被称为ELIZA效应.
到了LLM时代, ELIZA效应已经不足以描述更加糟糕的状况, 以至于我们不得不发明新的短语: AI精神病.
打破LLM制造的智能假象有好几种方法, 最简单的一种只需要你在某一领域有非常深刻的了解,
这样你就可能在低抽象级别与LLM进行讨论:
你会发现, 即使是2026年的SOTA LLM, 在同一领域的低抽象级别的讨论中,
仍然经常出现每一条回复都包含错误信息的情况.
这意味着, 即使LLM学习了大量知识, 远远超出人类一生能接收的, 也无法成功在内部建立起低抽象级别知识的正确表示和联系.
不要说什么人类从五感中获得更多数据的屁话, 因为世界上至少曾有过一个名叫海伦·凯勒的人.
你可能会恍然大悟, 原来LLM是在用类似人类婴儿掌握母语时使用的原始方法来试图掌握所有的知识和技能.
于是, LLM的智能表现只是"对智能的模仿"——更复杂的模式识别这件事就昭然若揭了.
不幸的是, 很多人都缺乏足以审查LLM生成内容的知识储备和判断力.
如果这些人未来活在LLM编造的楚门世界里, 那一点都不奇怪, 因为LLM的话对他们来说确实就是一种神谕.
当模型能够通过自动生成CoT取得无法单纯依靠模式识别获得的成就时,
"自动CoT"这一过程中是否存在着进一步的智能?
换句话说, "自动CoT"是否可以被认为是通过联结主义方法实现的符号主义AI?
上述问题的答案显然在一定程度上可以回答"是", 但这不代表就取得了多大的进展.
符号主义AI, 其本质是一个非常复杂的程序.
当然, 联结主义AI也可以被认为是一个非常复杂的程序,
但符号主义AI程序性的一面显然比联结主义AI要深远得多, 这主要是因为它的结果具有一致性:
不会像联结主义AI那样以两种不同的方式询问同一个问题, 可能给出两种不同的答案,
即使答案是通过贪婪采样这种确定性方法得到的.
在那些可以通过RL强化的符号系统中, 自动CoT的自我纠正能力可以认为已经非常接近符号主义AI的一致性水平.
尽管人类对符号主义AI的认识仍然不足, 但目前已经可以观察到以下情况:
  • 符号主义AI只适合能够通过符号推理的任务, 即数学和其他主要在封闭静止的符号系统内进行的任务.
    在其他任务上的性能要么降级至了与联结主义AI相似的水平, 要么就是干脆在神经网络上就回退到了联结主义AI.
    这早在2024年的论文To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning中就已经有了结论.
  • 符号主义AI无法做出对人类有价值的创新, 只能摘取被人类忽视和避开的低垂果实.
由于LLM的自动CoT是目前人类建立复杂符号主义AI的唯一有效方式, 将AGI寄希望于符号主义AI的幻想也因此破灭了.
人类的推理是一种隐性知识, 因为推理过程是无需语言参与的:
因此, 推理过程无法被充分文本化, 能被文本化的部分是推理过程的中间结果, 而非推理过程本身.
写作并非是思考的过程, 写作之所以能够辅助人类思考,
是因为写作过程强制人类对思考进行整理, 在输出中间结果的同时卸载部分工作记忆.
具有推理功能的LLM展现出了类似推理的能力, 这似乎暗示其自行掌握了进行推理所需的隐性知识.
然而, 若是查看一个推理模型在处理非符号推理任务时的CoT过程,
就会发现模型经常在做无用功, 其推理过程对得出结果的帮助似乎非常有限.
这表明推理模型的推理在很大程度上只对符号推理类任务有效,
考虑到符号推理的特殊性——符号推理能力在很大程度上是可以通过模式识别来实现的, 也就不奇怪了.
考虑到CoT过程早在GPT-3时代就已经存在, 非符号推理类任务RL奖励信号的缺失并不足以作为解释, 因为RL并非必要.
考虑到预训练数据中第一人称文本(尤其是第一人称小说)的数量, 也不太可能是数据不足导致的.
目前, 只能将其归结为架构在相关能力的学习上存在缺陷或是模型参数量不足.
推理过程带来的性能进步, 一定程度上可以通过LLM注意力机制(QKV)的缺陷来解释.
典型LLM架构的注意力机制是单向的, 存在这些缺陷:
  • 没有办法反思.
  • 任何任务都以相同的计算预算完成.
对这些缺陷有两种解决方案:
  • CoT: 利用自回归特性, 制造额外的token以实现反思和动态计算预算.
  • 循环语言模型: 循环模型的推理层, 直接在潜空间中实现反思和动态计算预算.
所以, 与其说是模型展现出了推理能力, 不如说是模型本身的缺陷得到了修复.
CoT的表现形式制造了一种假象, 让人类误以为这是"推理能力"——
因为埋藏在预训练数据中的推理过程恰好在语义上是最接近的,
而模型实际上只是在训练过程中学会了通过制造额外token来给架构打补丁而已.
测试模型的过拟合情况.
结合了低级推理能力的上下文性能测试, 结果表明市面上所有模型都无法达到其声称的长上下文性能.
腾讯HY推出的基准测试, 旨在测试模型的上下文学习能力, 揭示了SOTA模型上下文学习能力严重不足的现实.
遗憾的是, 基准测试的数据集是公开的, 不难想象之后的模型会因此而出现虚假的进步.
通过在小众编程语言上测试LLM的代码生成能力, 检验模型的智能是来自模式识别还是推理能力.
该基准测试系列的特点是它对LLM而言很抽象, 而相关数据难以收集和训练.
另一方面, ARC-AGI测试集的半公开性质也有帮助,
其私密测试集的存在保证它不会被简单的过拟合给击败.
让编码智能体挑战真实的长期软件工程任务.
由于普遍的测试集泄露, 传统的基准测试评分排行榜被严重攻击, 变得没有意义, 高分低能的模型相当常见.
另一方面, 低质量的测试集很普遍, OpenAI的GSM8K是一个典型例子.
在存在大量歧义和错误的测试集上得到的结果没有任何意义.
通过人工评价对聊天机器人的进行盲测的方法(Chatbot Arena)被认为是比传统基准测试更有意义的替代品,
但这种方法也存在问题:
  • 测试场景太过狭窄, 只能覆盖聊天机器人的用途.
  • "尽可能输出长内容", "对用户阿谀奉承"等社会工程学手段能对排行榜形成有效攻击.
    有趣的是, 由于Chatbot Arena的关注度在2026年显著下降, 模型甚至开始朝着完全相反的方向演变.
到了2024年末, 由于数据集的相互污染, 模型之间的表观差异变得越来越小, 这种评估方法也逐渐变得无效.
一个被普遍使用的糟糕评估方式, 测试的用途非常片面, 无法反映模型的真实长上下文性能.
国际象棋对LLM而言是一个已解决的问题:
基准测试只代表LLM在特定任务上的能力, 并不代表LLM的普遍能力.
LLM的开发商注意到基准测试, 并致力于改进基准测试成绩, 因此基准测试成绩经常具有欺骗性.
当你创建自己的自动化基准测试后, 就不难发现LLM会在一些对人类而言简单的任务上意外失败.
当LLM甚至不能解决简单问题A的时候, 很难相信它能解决复杂问题B.
如果任务不是每一步都踏在LLM擅长的领域, 这项任务就会有很高的概率失败.
让LLM逐字重复一段长文本, 仅这项测试就可以让绝大部分开放权重LLM失败,
能通过测试的LLM屈指可数(即使这些LLM的参数规模在400B以上).
一种为LLM的性能表现开脱的典型借口是"LLM的tokenizer决定了它不擅长字符级精确的任务",
例如最经典的"数strawberry中有几个r".
这同时也为LLM无法做简单的算术题开脱, 因为数字也是字符级精确的,
但后来模型普遍有了推理功能, 算术题就被攻克了, 让相关说法不攻自破.
这足以说明充分的数据集, 强化学习, 测试时间计算足以在使用tokenizer的LLM上解决问题.
当任务相关的数据集不足时, 为LLM提供示例和更多的测试时间计算也无法神奇地解决问题.
在LLM的语境下, 数据集不足指的是没有为其准备数以十万计的相关案例.
这种对特定任务数据集的严重依赖意味着LLM的泛化能力仍然远低于人类.
研究发现, 对于同一个prompt, 仅仅是在prompt中添加大量空格就会降低LLM的性能:
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
对于非推理模型, 把prompt重复一遍就可以提升模型性能:
Prompt Repetition Improves Non-Reasoning LLMs
The Illusion of Progress: Re-evaluating Hallucination Detection in LLMs指出,
生成内容的长度作为幻觉检测指标异常有效(短的回答具有更高的正确率),
基于自信度(logits/probabilities)或信息熵(entropy)的检测方法其实只是在变相检测生成内容的长度.
即用LLM作为评估工具, 来判断模型的生成内容是否准确.
因为引入LLM, 这是目前与人类一致性最高的自动化方案, 但也因此引入了一些根本性问题:
  • LLM可能不具有准确的评估能力, 或者与人类的一致性不够高.
  • 很可能是所有方案里成本最高的.
  • 受到LLM的缺陷限制, 即使LLM具有评估能力, 也可能缺乏可靠性:
    • 产生幻觉.
    • 受到评估内容的注入攻击.
对于非创意类任务, 可以检查生成内容的一致性.
生成内容的一致性越高, 是幻觉的可能性越低.
降低采样温度可以降低随机性导致的幻觉, 从而显著提高模型的基准测试成绩.
如果模型足够强大, 可以将温度降至0来使用贪婪采样, 效果最好.
部分LLM, 尤其是经过推理强化学习的LLM, 在STEM任务上展现出了自我纠正能力.
具备自我纠正能力的模型可以在一定程度上对抗自身的幻觉, 从而解决之前无法解决的问题.
解决模型幻觉的一种方法是将相关知识直接内嵌在提示里, 而不是依赖模型的内在知识.
如果模型的上下文长度和性能足以容纳用户需要的领域知识, 模型的内在知识可能会变得不那么重要.
随着模型蒸馏和教科书数据集的进步, 未来的模型可能在具有更少内在知识的情况下, 表现出更好的性能.
取决于模型训练, 一些模型可能在这种情况下增加出现幻觉的概率.
在7B规模下表现出非常强的能力, 但幻觉也很严重.
在CogVLM上改进的CogAgent支持1120x1120分辨率的输入, 似乎是第一个支持高分辨率的开放权重多模态模型.
其Yi-34B版本在发布时是开放权重LLM中的SOTA级别.
适用于LLM的模型合并, 支持各种合并算法.
可通过合并来创建MoE模型.
在LLM最开始流行的一段时间里, 提示工程的作用被严重夸大, 诞生出很多奇技淫巧, 但这些提示在不同的模型之间往往缺乏移植性.
本质上, 所有提示工程都只是为了引出模型本身具有的性能, 而做到这一点的有效方式并不很多.
最有效的提示工程是为LLM提供示例, 以便LLM正确理解你的意图.
对于聊天模型, 提供示例的最佳方式是直接伪造user与assistant的聊天记录作为示例.
尽管在对话中显式包含示例也是一种提供示例的方法, 但可能导致潜在的性能下降.
思维链用于让LLM能够逐步思考, 将大的任务拆分成多个步骤来完成.
研究表明, 思维链可以提升LLM性能.
思维链的所有衍生方案都是将朴素的思维链和程序逻辑相结合, 例如"思维链+深度优先搜索算法=思维树".
尽管这些衍生方案在一些测试中会比单纯使用思维链更有效地解决问题, 但它们的可靠性和通用性都相当值得怀疑.
思维链的前沿研究是将思维链作为数据集内化到模型中, 而不是在运行时进行提示工程.
思维链的最基本版本是由输入方手动编写推理的中间步骤, 从而引导LLM完成剩余的推理.
这种思维链通过自然语言来完成, 无需在prompt里制定复杂的思考框架.
只需要在任务之后加上 Let's think step by step 即可引导LLM主动将任务分解.
当LLM生成后续内容后, 再通过 Therefore, the answer is 来引导LLM生成答案.
建立在LLM上的智能体只是提示工程的封装产物.
与"思维链"类似, 智能体的各种变体都是建立在相同的基础上.
一种常见错误是看到作为函数的SLM的表现(例如翻译, 内容提取等任务),
就认为可以通过训练, 使SLM在智能体任务上也得到类似的水准.
将MAS视作唯一一种智能体架构的人最容易出现这种错误, 因为MAS的分工是建立在LM作为函数的表现上的:
在MAS开发人员幻想的拟人化世界中, 任何任务都可以分配到一个经过专门调整的SLM上.
在现实世界中, N个SLM的表现要远弱于一个具有更高智能和知识广度的LLM扮演N个角色时的表现,
其中表现最差的SLM还会拖整个系统的后腿.
参数决定了LM的极限, 无脑堆高参数就可以改善LM的性能, 这一Scaling Law尚未被打破.
参数带来的性能表现, 其中一个重要体现就是LLM具有远超SLM的泛化性.
一个例子是, 使用相同数据集训练出的模型,
高参数量的模型可以在任意非训练集格式的prompt模板下工作(只要模板有意义),
而低参数量的模型在任意非训练集格式的prompt模型下都会出现严重的性能降级.
用于智能体的数据集非常缺乏, 注定不可能覆盖用户可能的输入,
这使得智能体任务格外依赖LM的泛化性能.
将LM视为其数据集的有损压缩, 更多的参数量意味着能够容纳的知识更多, 压缩的损失更小.
存在RAG这样可以部分解决知识量问题的方案, 但不可忽视这种解决方案的作用相当有限:
  • 相比内化进模型参数的知识, RAG提供的外部知识存在天然的局限性.
  • RAG很可能会引入无关信息对上下文造成污染,
    因此可以观察到模型在使用RAG时性能差于不使用RAG的现象.
    模型的参数量越少, 受污染的影响就越大.
    这一点在Google往它的搜索结果中添加AI回复后变得特别明显了,
    在搜索结果本身就比较糟糕的情况下, 生成的AI回复比直接问它的底层模型Gemini Flash要差得多.
    当关键字刁钻到连Google搜索也找不到结果时, 生成的AI回复立即恢复到了它应有的水平.
一种智能体架构, 通过启发式方法创建工作流, 由多个智能体协同完成任务.
思路可以追溯至早期人工智能时代的专家系统(Expert System).
这种智能体架构占用了相当多的营销资源, 使得"智能体"一词受到污染.
  • 为每种任务类别建立专门的使用LLM的处理管道/工作流,
    每个管道中的节点具有自己的prompt乃至经过微调的领域专家LLM来满足特定子任务的需求.
    由于依赖于启发式方法, 这些管道的设计和创建需要大量人工成本.
  • 当用户输入到达智能体时, 由一个基于LLM的网关节点将任务分发给对应的管道.
    管道执行完毕后, 可能创建出新的任务交由下一级管道完成, 或将结果返回给任务的创建者.
    全部管道执行完毕后, 向用户返回最终结果.
总是存在未被启发式方法覆盖的工作, 此时智能体要么主动承认失败, 要么开始像一个单智能体系统那样工作.
你不可能期待一个专为多智能体设计的系统的单智能体表现, 否则这个多智能体系统根本就没有必要存在.
当任务从一个智能体到达另一个智能体时, 很容易在上下文中积累错误, 使其像传话游戏一样失败.
这是因为对上下文任何形式的编辑都可能产生误差, 而这种错误会在每个步骤中, 因为LLM的能力和对任务的解读不同而积累.
这项问题对于大型任务尤其明显, 因为LLM倾向于会将长上下文缩短至它训练集中最常见的输出长度, 导致任务细节的遗失.
论文Why Do Multi-Agent LLM Systems Fail?通过分析案例指出,
多智能体系统引入了更多的故障点, 复杂性成本, 且实现普遍存在结构性问题.
类似于fork-join模型, 智能体可以决定分裂出多个子智能体以并行执行任务, 这在特定类型的任务上会具有效率优势.
子智能体系统的全部设计目的都是出于加快完成任务的速度.
子智能体系统下的每个子智能体都是一个完整的单智能体系统.
系统中没有预设的处理管道/工作流, 也不使用专门的LLM.
视情况, 子智能体可能完成继承父智能体的上下文, 也可能只接受其中一部分上下文.
当子智能体只接受其中一部分上下文时, 子智能体系统将面临与MAS一样的传话问题.
子智能体系统的并行性使得其运行过程中可能会出现冲突.
子智能体是否具有协作意识, 足以与其他并行工作的智能体协作完成任务?
答案是否定的.
即使答案是肯定的, 它的效果也一定不如串行完成任务的单智能体(假设单智能体不因为长上下文而出现明显的性能衰减).
对于一些任务, 可以通过为子智能体准备专门的环境来将冲突解决拖延到join阶段.
建立在思维链上的智能体思维框架.
ReAct将思考步骤结构化为特定的动作类型, 通过执行动作, 可为LLM提供访问外部工具的能力.
ReAct循环:
  1. 1.
    思考(Thought): 根据已知信息思考问题, 得出下一步应该采取的行动.
  2. 2.
    行动(Action): 完成行动, 通常是执行某段程序代码.
  3. 3.
    观察(Observation): 将行动产生的数据整合进已知信息里.
  4. 4.
    回到第一步.
实现时需要手把手让AI以ReAct循环的形式生成内容.
为了在得出最终答案时退出循环, "得出答案"也被抽象成一项行动.
仅供参考.
最早应用于战斗机飞行员训练的一种决策方法, 后被扩展到其他领域.
OODA循环:
  1. 1.
    观察(Observe)
  2. 2.
    调整(Orient)
  3. 3.
    决定(Decide)
  4. 4.
    行动(Act)
  5. 5.
    回到第一步.
一种用于品质管理的循环, 以确保达成产品的可靠度目标.
PDCA/PDSA循环:
  1. 1.
    规划(Plan): 根据可靠度目标, 制定计划.
  2. 2.
    执行(Do): 执行上一步指定的计划, 收集必要的信息.
  3. 3.
    核查(Check)/学习(Study): 评估上一步收集到的信息.
  4. 4.
    行动(Act)/调整(Adjust): 根据上一步的结果建立修改方案, 以缩短产品与目标的距离.
  5. 5.
    回到第一步.
与RAG的情况类似, 当长期记忆的回忆依赖于相似度搜索时, 长期记忆的性能会远远不如LLM本身的性能.
对基于无限上下文LLM的智能体而言,
由于其过往的一切经历都可以直接被在提示里表达, 是不存在人为划分的长期记忆和短期记忆的分别的.
即使在实践中存在对早期记忆的"遗忘", 那充其量也只是注意力机制导致的.
记忆流是将一个智能体的所有感知和经历保存进数据库, 并且需要的时候把相关记忆"回想"起来.
记忆包括智能体感知到的所有内容, 例如:
  • 床没有人在使用.
  • 桌子没有人在使用.
  • 冰箱是空的.
  • 玛丽亚一边喝着咖啡一边复习化学考试.
  • 伊莎贝拉正在布置糕点.
记忆的记录数量庞大, 想要在LLM上下文中将它们装进去是不现实的.
因此, 需要专门为其设计检索函数, 以提取记忆的子集.
检索函数考虑了以下属性, 每个属性都是模拟人类在记忆检索时的不同方面:
  1. 1.
    最后访问时间:
    该属性记录上一次读取此记录的时间.
    这是为了在提取时能对最近才回想过的事情保持更多的关注.
  2. 2.
    重要性:
    由智能体自身对记录的重要性进行评分, 从而区分出普通事件和重要事件.
    这是为了让智能体对重要事件给予更多关注.
  3. 3.
    相关性:
    相关性是记录与智能体当前情境的关联性, 这可以通过计算嵌入的相似度实现.
让LLM接管编码工作是LLM智能体开发的其中一个主要目标.
在理想状态下, 人类只需要以产品经理的身份提出想法和意见, 由LLM完成所有实际编码工作.
至2026年初, LLM仍然不是一个称职的程序员:
只能在相当低的工程标准下勉强工作, 充其量只能制造人类作品的平庸克隆.
为了让编码智能体正确地, 明智地行事, 人类需要频繁地指挥其行动.
如果编码智能体有效, 那么编码智能体将发展成为一种独立的机器人合作者, 而不是由人类工程师在本地运行的工具.
在这种形态下, 编码智能体将与人类工程师处在几乎同等的地位, 只被允许通过工单和拉取请求进行交互.
为什么? 因为这么做的好处实在太多了, 以至于它在可行时会成为必然选择:
  • 对开发部门而言, 由于杜绝了在本地计算机上私自运行智能体, 充分利用了现有的协作平台, 留下了完整的开发记录.
  • 对安全部门而言, 由于杜绝了在本地计算机上私自运行智能体, 避免了所有在本地运行智能体可能引发的事故.
  • 对项目经理而言, 由于编码智能体的交互现在是公开透明的,
    将能够更好地评估编码智能体的能力和人类工程师的能力, 区分编码智能体的贡献和人类工程师的贡献.
  • 对企业而言, 由于杜绝了在本地计算机上私自运行智能体, 不再需要为员工提供LLM使用额度.
    假装自己有能力的南郭先生将被迫付费上班.
  • 对模型供应商而言, 由于杜绝了在本地计算机上私自运行智能体,
    他们能够以出租劳动力的方式来提供"虚拟工程师", 这完美地消除了token可见性, 阻止了模型蒸馏.
人类在整个智能体编码工作流程中是最大的减速器, 从工作流程中移除人类将是编码智能体发展过程中收益最大的目标.
一旦实现这一目标, 获得的效率提升将远远甩开所有竞争对手.
除了技术限制和资源限制外, 没有理由能阻止前沿实验室朝这一目标迈进.
如果模型供应商能在后训练中将RL推向极致, 在付出极其高昂的成本的情况下, 确有可能让LLM通过自我优化达到这个水平.
就像AlphaGo一样, 这种编码智能体几乎可以肯定是非人类对齐的, 因为人类智能的强项和弱项显然不与LLM匹配.
一种可能情况是, 人类的编程语言在效率上并不是最适合编码智能体的语言.
可能会诞生一种仅供编码智能体使用的特种编程语言, 具有以下特征:
  • 语法简洁, 语义精确无歧义, 用到的所有token都不在自然语言中存在, 无法用字符表达.
  • 具有高级语言特性, 只是这些特性是面向编码智能体而非人类设计的.
    例如供人类使用的编程语言非常排斥goto, 而面向编码智能体的编程语言则可能会选择使用它,
    这对一些控制流可能会更高效.
    例如人类程序员倾向于递归, 而编码智能体则可能会倾向于循环, 这样就不需要实现各种面向递归的编译器优化.
  • 一次编写随处可用, 人类只需要为程序准备对应的接口.
  • 编译速度极快, 有着极为严格的语法检查, 便于在RL过程中缩小解决方案的搜索空间.
  • 极高的运行效率, 无需垃圾回收机制.
这还一次性解决了编码智能体面临的各种问题:
  • 依赖问题: 完全消除了依赖, 只剩下接口.
  • 上下文问题: 相同token能够表达的内容成倍增加.
  • 人类对齐问题: 人类不再能够介入程序编写.
  • 平庸数据集问题: 数据集是自我进化出来的.
  • 安全性问题: 虽是黑箱, 但由于限制了接口而变得相对安全.
这种情况的一种弱化版本是, 不使用特种编程语言, 但是使用一种处于冻结状态的编程语言.
为了解决依赖问题, 生成的代码中不可使用任何外部依赖项.
冻结意味着:
  • 编程语言不再得到语法上的扩展.
  • 编译器和标准库已经处于完成状态, 其行为不再会发生改变.
这也意味着, 该编程语言工具链未来的所有更新都可以被划分为以下类别:
  • 移植到新的平台.
  • 改进性能.
人类审查LLM代码的速度跟不上LLM生成代码的速度.
如果LLM的就地代码编辑能力不足, 即每次生成代码都是大规模重写, 变更的代码量马上就会变成问题.
这会自然而然将软件工程引导至黑箱编程:
人类不知道LLM写了什么代码, 由于代码量太大, 也懒得知道, 只要代码能通过测试就够了.
执行缺乏审查的代码永远是有风险的, 只有本身就没有代码审查能力的业余人士会认为这不是个问题.
由于LLM对于"代码行"的能力不足, 就地编辑问题的解决方案大多基于字符串匹配.
参考: https://fabianhertwig.com/blog/coding-assistants-file-edits/
LLM生成一种补丁格式的逐字文本, 工具匹配源文本, 然后就地编辑.
能够训练编码专用模型是SOTA模型厂商特有的优势, 逐字生成能力恐怕也是来源于此.
与OpenAI Codex的解决方案类似, 但支持多种就地编辑格式.
Cursor引入了一个专门的Apply模型来将LLM生成的变更"应用"到源文本上,
LLM只要能够生成一个能让Apply模型大致理解其意图的输出就够了.
这种模型职责分离的想法很有趣, 但是否优于单模型方案仍需要时间的验证.
代码编辑是一项字符级任务, token消耗量特别高, 并且每一处代码都需要注意力.
这意味一个软件项目:
  • 很容易超出LLM的上下文上限.
  • 很容易将LLM推至性能悬崖.
  • 智能体的运行缓慢且费用高昂.
关于现有LLM的一个共识是:
LLM在被指出错误后仍有很大概率继续出错, 而不是改正错误.
这是LLM性能不足的体现.
即使是最初级的人类工程师也能在指出错误后改正错误, LLM却无法做到, 严重拉低了智能体的可靠性.
软件工程中存在着无数的糟糕实践, 其中最糟糕的莫过于依赖项管理:
不同的编程语言版本, 不同的特性, 不同的运行时, 不同的平台, 不同的包/库/模块版本, 可以轻易发生组合爆炸.
现有LLM在很大程度上对自身训练数据集代码的依赖项缺乏觉察,
这使得LLM能够生成看似有效的代码, 但这些代码却很可能无法在真实环境中运行.
LLM的训练方式决定其知识具有截止日期.
因为训练数据的平衡性不足, 实际上的知识截止日期比数据截止日期要早得多,
例如截止日期为2025年1月的Gemini 2.5 Pro实际上缺乏2024年下半年的知识.
截止日期在编码上的反映使得LLM对很多开源项目的变更缺乏了解, 进而无法参与新项目的工作.
若一个智能体能够在缺乏相关知识的前提下工作, 则意味其具有非常强大的自主实验能力和成长性.
这已十分接近对AGI的要求, 而我们还没有找到任何实现这一要求的有效途径.
LLM是互联网的整合, 尽管LLM在一些角度看似聪明, 但其创造力至始至终都很平庸.
同样的问题也在将LLM用于编码任务时出现,
这使得LLM能够用于那些被重复过一万次的任务, 但却无法胜任创造性任务.
尽管LLM已经进行了很多人类对齐, 但仍然有很多的对齐问题没有得到充分解决.
在编码上, LLM的生成结果:
  • 很可能会偏离人类解决问题的思维方式, 这导致人类审查代码难度增加.
  • 很可能是糟糕的代码模式, 因为其学习材料大多是人类编写的糟糕代码.
LLM可能因幻觉, 能力不足, 数据集平衡性而制造出有安全问题的代码.
LLM预训练阶段的数据集决定了LLM掌握的知识, 几乎无法通过微调来让LLM掌握新的知识.
将新的知识直接内嵌在prompt里, 是目前的主流解决方案, 一般称为检索增强生成.
广义上, 任何将外部知识输入上下文的做法都可以视作RAG.
狭义上, RAG指的是通过向量数据库查找相似度最近的K个外部知识, 再将这些外部知识输入上下文的自动化方案.
在公众讨论中, 提到RAG的大部分情况, 指的都是狭义上的RAG, 当RAG不使用向量数据库等方法时需要特别指出.
RAG是一个水分极大的领域, 有一段时间似乎所有人都在做基于RAG的产品,
但仍然还是Google, 微软这些巨头在取得成就.
LLM的长上下文性能越好, 对RAG的需求就越弱.
RAG的先天缺陷是其索引和检索步骤都存在性能损失: "分块嵌入+相似度查找+重新排序"的性能远远不如LLM本身的性能.
对长上下文模型来说, RAG的唯一优势是它构造的上下文通常较短, 从而可以更快地向用户返回结果.
为了让RAG能够具有这种优势, 需要被检索的资料能够被正确分成检索性较好的小片段.
稍有常识的人都会发现这需要浪费大量人力来实现, 而且还不可维护.
将资料向量化, 存储到向量数据库.
  1. 1.
    将用户的查询向量化, 通过向量数据库查找相似数据.
  2. 2.
    将相似数据插入到prompt里.
  3. 3.
    LLM根据相似数据和自身理解, 向用户生成结果.
由微软研究院提出的方法, 建立在知识图谱/图数据库上的RAG.
在检索时通过将范围缩小到与节点相邻的节点, 缩小了检索范围,
从而提高了检索的准确性, 减少了相似度的计算成本.
适用于多跳推理(multi-hop reasoning)问题, 例如"世界上最有名的艺人的年龄":
首先LLM会检索"世界上最有名的艺人", 在数据库里找到人物实体.
然后LLM在人物实体的关系中找到符合"年龄"描述的关系, 顺着关系找到对应的实体.
通过整合两次检索的结果, LLM得以正确回答此问题.
由于人工创建和维护知识图谱的效率低下, 知识图谱本身就需要借助LLM创建:
  1. 1.
    输入文本, 由LLM提取出文本中的所有实体.
  2. 2.
    检索相关实体, 找到与这些实体有关的三元组.
  3. 3.
    输入文本和三元组, 由LLM对提出对知识图谱的增加, 删除, 修改请求.
  • 需要借助LLM这一事实使得知识图谱的可用性直接由LLM的性能决定.
  • 并非所有类型的内容都适合通过图的形式进行建模和检索:
    图适合结构化接近百科全书条目的数据(例如人物资料), 但这之外的用例就比较少见了.
    图不适合包含上下文的数据和本身适合以行形式存储的记录(例如具有日期和场合的会议记录, 聊天记录等).
  • 性能表现可能很差.
    尝试GPT4来提取维基百科条目中的关系发现, 能够提取出的关系数量是非常庞大的.
    一个上下文长度不够的LLM甚至无法处理提取任务, 就更不用说维护整个巨大的知识图谱了.
类似于图像的超分辨率, 音频的超分辨率是根据低保真音频重建出高保真音频的过程.
haoheliu/versatile_audio_super_resolution
基于扩散模型, 性能较低, 无法实时.
jakeoneijk/FlashSR_Inference
对AudioSR架构的性能优化, 通过蒸馏提升推理性能, 使超分辨率能够实时进行.
相比其他语言, 汉语(普通话)中的同音字和多音字现象特别普遍.
汉语本身缺乏处理同音字时的消歧手段, 语音交流时需要根据上下文来推测含义.
同样的问题在受汉字辐射的语言, 例如日语和韩语中也部分存在.
这是汉字拉丁化运动失败的原因之一.
汉语相比其他语言更需要独立出G2P过程.
其他语言的G2P过程往往只需要从不规则的拼写中总结出一套发音规律,
而汉语的G2P过程除了总结发音规律外, 还需要结合自然语言理解才能得到正确的发音.
阿里巴巴通义实验室发布的ASR模型.
FunASR同时也是其语音识别工具包FunASR的名字, 遗憾的是这东西代码烂得出奇, 基本没法使用.
旗下模型都建议等待第三方框架的支持.
2025年12月中旬发布的版本, 800M参数.
在官方给出的基准测试中超越了其他开放权重的竞争模型, 达到了SOTA.
内部使用了Qwen-3-0.6B.
OpenAI的自动语音识别(ASR)系统, 在听译英语的能力上媲美人类.
根据官方的数据, 听译中文的错误率为14.7%.
实际测试发现, Whisper和Youtube及BiliBili这样的视频网站内部使用的ASR性能类似.
将音量归一化(normalize)有助于Whisper转录音量较小片段的内容, 这至少对large-v3模型有效.
对于ASMR音频, large-v2的听译效果很差(即使将音量归一化也是如此),
这可能是因为ASMR的人声与正常说话差异过大.
视具体情况, Whisper有时能够正确断句, 每段字幕都断在标点符号处, 有时却不能.
Whisper的C/C++移植, 支持量化.
该项目的持续更新使其最终优于其他解决方案.
这是一个令人意外, 难度很高的领域.
即使是较为流行的解决方案(比如pyannote)给出的结果也非常糟糕.
建立在Whisper上的说话人分类解决方案.
2026年4月发布的开放权重TTS模型, 基于diffusion language model风格的新NAR架构.
建立在Qwen3-0.6B之上.
RTF很低, 可能是同RTF级别的模型里参数量最大和表现最好的.
多音字处理上的效果明显差于Qwen3-TTS.
特性:
  • 超过600种语言.
  • 语音克隆.
  • 语音设计.
阿里巴巴Qwen团队的TTS, 原本只提供API调用, 直到Qwen3-TTS开放权重.
于2026年1月下旬发布的开放权重TTS模型系列.
有0.6B和1.7B两个尺寸.
在语音克隆方面, 1.7B为SOTA级水准, 跨语言效果仍然很好, 0.6B则要逊色很多.
CustomVoice内置音色的TTS为SOTA级水准, 跨语言和风格控制的效果较一般.
VoiceDesign效果较差.
0.6B模型有生成音频混入杂音的问题.
推理很慢, 这是官方开源的实现太糟糕导致的, 每个第三方推理项目都比官方实现快几倍:
阿里巴巴通义实验室发布的基于LLM的TTS.
于2025年12月中旬发布的第三代CosyVoice.
其0.5B模型在发布时达到开放权重模型的SOTA水准, 功能强大,
能够处理其他开放权重模型无法处理的中文edge cases.
0.5B和1.5B模型都有生成音频混入杂音的问题.
推理较慢.
开放权重TTS模型, 模型参数数量少, 但效果极佳.
Kokoro将字位(Grapheme)预处理成音位(Phoneme)后才输入, 这显著降低了模型所需的参数量.
具体到该模型, 它使用了作者专门为此开发的Misaki和历史悠久的eSpeak-NG作为G2P方案.
该方法的缺点是, 需要针对每一种语言选择G2P方案, 并且难以处理非语言内容(例如笑声).
此外, The Bitter Lesson指出,
在人工智能历史上, 基于人类经验的启发式方法最终都被堆砌算力的统计学方法击败.
如果硬件算力的发展速度很快, G2P方案很可能只是昙花一现.
没有训练/微调代码.
基于VITS.
训练需要的时间相对SoVITS较少, 据称3.0开始生成效果可与SoVITS v4媲美.
为避免法律问题, 原作者删除了原存储库: https://t.bilibili.com/771374228217790469
由svc-develop-team接力维护的存储库也在之后关闭了issues功能, 并且时不时会转入归档模式.
训练硬件要求和数据集要求都比diff-svc低得多.
  • 唯一能人工参与修改的是f0曲线.
  • 推理结果的音域有限.
  • 推理时要求人声素材为清唱, 完全无法正确处理带有和声的人声素材.
  • 模型训练结果可控性不强.
  • 训练集应该尽可能使用高音质材料.
  • 训练集的录音条件需要尽可能保持一致, 否则可能会导致无法正确收敛, 或是收敛结果不符预期.
  • 训练集的切片片段最好能控制在5s以下, 切片数量越多越好.
    如果是使用Audio Slicer来切片, 可以考虑以下切片参数:
    • Threshold (dB): -40
    • Minimal Length (ms): 500
    • Minimal Interval (ms): 500
    • Hop Size (ms): 10
    • Maximum Silence Length (ms): 1000
  • 训练集的音域决定了模型的音域.
为了扩大模型的音域, 可以将训练集标准化(normalize)到-1db.
此时模型能唱更高的音, 但声音会比标准化到0db的模型要模糊.
令人意外的是, 这通常会让歌声更甜美好听.
为了扩大模型的音域, 可尝试将训练集标准化(normalize)到0db(即最大).
此时模型能唱更高的音, 但也可能会导致生成结果带有更多齿音, 更多的训练步数有时能解决这一问题.
  • 将干声标准化(normalize)到与训练集 相同或更低 的db, 有时能缓解高音唱不上去的问题.
提供超过80万个3D模型, 以填补高质量3D模型数据集的空白.
2023年末发布的基于Zero123数据集的文本到3D模型, 自称为SOTA水平.
Stability AI与Tripo AI合作发布的高效率图片转3D开放权重模型.
可以将3D模型重新实现为1600个面的人工拓扑网格.
可将其视作一种基于AI的模型减面技术.
依赖于Flash Attention, 需要Linux和Ampere以上架构的GPU, 实际显存需要5G左右.
实测发现, 该项目对于模型的减免效果并不能达到其宣传时所说的"艺术家创建"的效果(明显的夸大宣传).
模型的拓扑虽然比Blender的塌陷方案稍好, 但仍然感受不到拓扑的逻辑性,
在这样的网格上创建贴图仍会产生很多问题, 远未达到可以投入生产的水准.
于2023年12月发布的单目深度估计模型, 它结合了diffusion模型中的知识.
在发布时为SOTA, 并且远远领先于同类模型.
在2024年之前最常被使用的深度估计模型.
于2024年1月下旬发布的深度估计模型.
效果强于MiDaS, 但逊于更早发布的Marigold.
注意, 多模态LLM也可用于许多图像相关的任务.
图像的编解码器, 生成的嵌入可视作图片的一种有损压缩表示.
VAE在图像类深度学习项目中非常常见.
由于Diffusion模型的流行, 经过良好预训练的VAE模型变得随处可见.
VAE的一种潜在应用是移除图片的隐形水印/隐水印/盲水印:
Invisible Image Watermarks Are Provably Removable Using Generative AI
其中对RivaGAN等高鲁棒水印方法的攻击需要建立在高斯模糊和噪声之上, 这导致图片质量显著下降.
SOTA像素图转换模型.
该项目的许可证完全抵制将其用于商业用途.
3px对于大多数像素化场景都够用, 并且效果不错.
直出的结果可能需要进行人工调色, 尤其是增加一些颜色的饱和度.
对食物的像素化效果非常好.
训练数据为非配对数据.
数据集中的multi-cell像素艺术完全来自于艺术团体eBoy.
multi-cell体现在数据集包含2~8放大倍数的像素图片, 每种倍数的图片1000张.
像素艺术数据集的来源单一, 似乎使得模型对调色盘具有非常强的倾向, 某些类型的输入会给出非常差的输出.
建立在Stable Diffusion上的图像指令编辑模型.
Hugging Face提供SDXL的训练脚本: https://huggingface.co/docs/diffusers/en/training/instructpix2pix
利用Diffusion模型内部知识的Pix2Pix和CycleGAN.
官方模型使用SD-Turbo(SD 2.1的Turbo版本).
这是一个热门领域, 可以在OpenModelDB找到很多模型.
一款基于节点的图像处理软件, 由OpenModelDB的创建者编写, 可以加载OpenModelDB上的模型用于图像处理.
有相当多的模型使用此架构.
可用于放大包括二次元图片在内的各种类型的图片, 不会进行降噪, 忠实保留画面细节.
强大的二次元图片放大模型, 该模型在放大时会自动降噪, 这导致一些有意义的细节被当作噪点移除.
似乎是最受欢迎的OCR库.
支持超过80种语言, 中文也支持得很好.
只可用于Python.
百度出品的OCR, 自称有SOTA级别的性能.
支持语言为中文, 英文, 数字.
其PP-OCRv4在处理英文时, 没有能力识别空格, 导致所有字母串在一起:
  • https://github.com/PaddlePaddle/PaddleOCR/issues/5448
    评论表明似乎可以通过设置参数来解决纯英文下的问题: https://github.com/PaddlePaddle/PaddleOCR/issues/5448#issuecomment-1921473280
  • https://github.com/PaddlePaddle/PaddleOCR/issues/11386
    使用PaddleOCR作为离线OCR方案的Dango-Translator也有同样的问题:
  • https://github.com/PantsuDango/Dango-Translator/issues/43
具有JavaScript推理框架和模型: @paddlejs-models/ocr, 然而使用者寥寥无几.
支持超过100种语言.
该OCR被认为过于低级, 需要用户对图像进行预处理: Improving the quality of the output.
具有WebAssembly移植, 具有一个非常多Github star的JavaScript包tesseract.js.
然而, 正如Tesseract OCR本身, 它需要用户首先对图像进行预处理, 否则识别结果会非常差:
Does not get text from image if image contains some background objects.
一个专为日本漫画执行高质量OCR的模型, 可以一次识别漫画中的整个对话气泡中的文本.
2026年2月初发布的仅0.9B的OCR模型, 声称具有SOTA性能.
至2025年, 主流模型都已使用能够理解自然语言的文本编码器, 因此此任务的模型与多模态LLM完全重叠.
无审查的, 性能与GPT4o接近的视觉语言模型(VLM).
主要用于生成自然语言的图片描述.
识别类任务的模型经常以一整套解决方案的形式出现.
该任务的实际SOTA为多模态LLM, 但LLM的推理速度实在太慢, 因此实时模型仍然有一席之地.
Google提供的边缘计算解决方案, 支持姿势识别和面部识别, CPU运行效率不错.
MediaPipe事实上是单目摄像头低成本动作捕捉的主要解决方案.
对于姿势识别, 需要人物的大部分肢体在画面内, 否则识别的质量很差.
用于图像检测/分割/人物姿势生成/分类等任务的模型系列.
该系列模型的特点是速度, 即使在CPU上也能很快返回结果, 主要被用于实时对象检测.
零样本对象检测模型系列, 为YOLO-World的后继者.
支持文本和视觉两种提示方式.
虽然YOLOE声称零样本对象检测的性能达到了SOTA, 但跟YOLO系列的其他模型一样在真实环境中表现糟糕.
如果一个零样本模型仍然需要经过微调才能工作良好, 那真的没什么必要用它.
2023年初发布的SOTA级零样本对象检测模型, 开放权重.
能够根据提示从图片中选取对象.
与YOLO等对象检测模型不同, 该模型并不主动识别图片中的对象, 而是需要用户输入一段描述作为prompt.
模型会在图片中找到prompt中相关文本所关联的对象.
运行速度较慢相对YOLO慢很多, 即使用A100也只能做到个位数的FPS.
直到2024年4月, 该项目仍未发布其python包, 只能通过克隆存储库的方式使用.
由于该项目的模型加载依赖于特定py文件, 以git存储库为源将其安装为模块的做法无法正常加载模型.
2024年1月发布的Grounding DINO的开放权重复制品, 提供了显著的性能提升, 在各项基准测试中都优于Grounding DINO.
直到2024年4月, 该项目提供的模块仍然无法直接下载该模型,
以至于需要克隆其存储库才能使用MM-Grounding-DINO.
另外值得一提的是, 该项目依赖的基础模块mmcv在跟进pytorch版本方面的速度十分低下,
直到2024年4月仍未支持在2024年1月末发布的2.2版本, 以至于需要降级或编译.
能够零样本生成物体轮廓的掩码, 是2023年4月发布时最先进的开放权重对象分割模型.
功能与Photoshop提供的对象选择工具类似.
该项目使用的COCO数据格式很难使用.
项目自带的"分割一切"功能没有价值, 因为分割结果往往不是用户想要的内容(例如人像),
而是想要内容的碎片(例如服装, 手臂, 头发).
此外, 自动分割的蒙版质量相比带提示的结果也更差.
即使带有提示, 生成蒙版边缘的锯齿也比较明显, 这也许可以通过羽化来补救.
经常与GroundingDINO等对象检测模型组合使用, 从图片中提取出对象.
Meta于2024年7月30日发布的第二代SAM.
支持从视频中分割和追踪多个对象.
Meta于2025年11月19日发布的第三代SAM.
支持从图片中生成3D网格和3D人体姿态, 效果显著优于同时期的其他模型.
由于支持以文字提示为输入, SAM 3实际上部分覆盖了Grounding DINO的功能.
2024年的SOTA, 2025年初发布了更多预训练模型.
经测试, 效果最好的模型为BiRefNet-HR系列.
可用于分类任务的模型通常在ImageNet这样的大型数据集上进行预训练以掌握基础知识,
用户需要通过微调来自行适配目标任务.
benchmark: https://paperswithcode.com/sota/image-classification-on-imagenet
基于Transformer的图像分类模型, 于2020年10月发布.
ViT发布后, 排行榜上排名前列的绝大部分模型都变成了Transformer的模型.
ViT需要更多的数据进行训练才能取得与CNN同等的性能, 需要的计算资源也显著更多.
ViT流行的原因:
  • 它基于最受瞩目的Transformer架构, 更容易与LLM协同.
  • 被证明具有可扩展性, 能够应付CNN无法处理的复杂场景.
  • 在性能和成本方面达到帕累托最优, 适合工业化.
  • Google和Meta团队在ViT上进行了大规模的训练, 证实了ViT的扩展性.
对ViT架构的改进, 以加快训练速度和减少数据集规模的要求, 远不如ViT流行.
通过引入类似CNN的归纳偏置, 能够在较低的数据量的情况下发挥出性能, 从而胜过ViT.
归纳偏置是一把双刃剑, 虽然收敛速度更快, 但模型也可能因此缺乏灵活性: 搜索空间受限, 容易陷入局部最优, 泛化能力降低.
第二代Swin Transformer.
对NSFW检测/分类来说, 测试集的高准确率很容易达成.
即使达到98%的准确率, 模型的表现也可能很糟糕, 发现这些模型的天然对抗样本非常容易.
自带ONNX.
下载量大, 准确率很低, 会把黑色图像当作nsfw.
基准测试分数高.
Web项目最容易获取的模型.
即使对于最大的模型InceptionV3, 准确率也相当一般, 未到能用的水平.
下载量大, 但比nsfwjs的准确率还低, 未到能用的水平.
泛化性强, 但误报率偏高, 会把黑色图像当作nsfw.
基于自回归的方法在质量和效率上都优于基于优化的方法.
基准测试: Text To Image Leaderboard
这一领域的数据集字幕质量普遍较差, 主流解决方案是通过多模态LLM合成字幕.
danbooru是大部分二次元模型的数据集, 也是导致很多模型的prompt标签化的主要原因.
作为一个众包数据集, 它的标签数量有限, 而且分布很不均匀, 作为数据集的质量实际上是比较差的.
Stable Diffusion的训练数据集, 数据来源是从HTML里提取的img标签中的url及其alt属性.
LAION-5B的数据集创建方式注定了它无法不能给出高质量的数据标注, 因为人类不太可能在alt属性里详细描述一张图片的内容.
LAION-5B的主要优势是其庞大的数据量, 通过它得到的令人惊叹的模型本身只是一个意外.
扩散模型本质上是对噪音的降噪, 降噪的最终结果是目标图片.
该模型的广泛使用使得2022年成为图像生成元年.
Stable Diffusion的GUI, 它的界面是节点编辑器, 类似于蓝图.
与stable-diffusion-webui相比, 该项目在内存利用率上比好得多, 性能也更快.
Krita的插件, 为Krita带来类似Photoshop的用户体验.
在底层使用ComfyUI.
社区驱动的人工智能企业Stablity AI旗下的模型, 于2022年8月首次发布.
由于开放权重和宽松的条款, Stable Diffusion成为了图片生成的流行选择.
Stable Diffusion的早期模型通常在LAION训练集上训练,
但由于LAION是一个字幕质量非常差的数据集, 导致这些模型遵从prompt的能力很差.
正式版模型于2023年7月26日发布.
分为基础和精炼两个模型, 完整的图片生成需要经历两个阶段, 但精炼阶段很快就被社区舍弃.
XL在默认情况下的出图品质相比SD 2.1提升明显, 支持更好的人体, 并且首次支持在图片中绘制文本.
该模型有2.3B个参数, 是0.9B参数的2.1的2.5倍.
跟更早的模型不同, SDXL同时使用了两个文本编码器.
CLIP被认为很难微调, LoRA训练普遍放弃了对文本编码器的微调.
参考: BlueFaux’s CLIP G vs Clip L Quick Dive
性能较弱, 主要理解标签.
参数比CLIP L多得多, 主要理解自然语言.
  • 数据集导致的能力限制, 例如无法单独设置一只眼睛的颜色.
  • 两阶段的设计导致基础模型的性能较差, 影响微调效率.
  • VAE进步有限.
Stability AI于2024年2月14日发布的非商用模型.
相比SDXL的主要改进是切换到Würstchen架构, 具有更好的人类对齐.
在新的架构下, 推理速度比SDXL快近一倍, 训练时间相比SD 2.1减少一个数量级.
其"Cascade"体现在其推理需要经历三个阶段, 每个阶段都是一个单独的模型.
模型的总体积比SDXL大得多, 但官方也发布了体积更小的Lite版本.
在使用bf16(NVIDIA 30系以上GPU支持)的前提下, 做到了模型比SDXL更小.
Stability AI于2024年2月末宣布的下一代开放权重模型.
使用DPO进行对齐.
提供800M到8B版本, 其中2B版本的显存需求与SDXL差不多.
其8B版本是SOTA级别, 需要24GB显存.
在SDXL文本编码器的基础上额外引入了T5 LLM, SD3共有三个文本编码器.
相比SDXL, VAE有了很大改进, 产生的压缩伪影要少得多.
2B.
由于人体受到极为严格的审查, 该模型在很多场景性能低下, 无法使用.
8B.
对SD 3 Medium的问题进行了相当有限的修复, 肢体生成效果极差.
在整体性能上被参数规模更大的Flux 1打败, 尤其是prompt遵从能力.
2B.
对SD 3 Medium的问题进行了相当有限的修复, 肢体生成效果极差.
比Large支持更高的分辨率, 最高支持到1440x1440.
微调数据集似乎与Large相当不同, 默认的生成结果在美学上比Large模型要好.
很可能会成为SDXL的继任者.
由Black Forest Labs推出的模型系列, 该组织为Stability AI前成员创立.
共有pro, dev, schnell三个版本, 后两者皆为pro的蒸馏模型.
缺乏论文或技术说明, 从推理代码可知模型的目标分辨率为1024x1024, 但以更大的分辨率为目标也能生成.
架构与SD3类似, 使用DiT, 但只有两个文本编码器.
dev和schnell两个型号开放权重, dev的生成结果可商用.
dev和schnell模型皆为12B参数, 体积极大, 对消费级硬件的要求高.
经过社区的量化最终可在更小VRAM的显卡上运行, 但速度仍然较慢.
微调的算力成本很高, 且微调后结果的prompt遵从能力普遍下降, 效果不好.
BFL发布的一系列与FLUX.1配合使用的官方模型.
其中值得注意的是用于填充图像的Fill模型(相当于inpaint)和用于重新创建图像的Redux模型(相当于unCLIP).
BFL发布的图片编辑模型.
对于未经过专门训练的图片编辑任务, 完全缺乏能力.
Less-to-More Generalization
BFL与Krea合作的模型, 在FLUX.1 dev的基础上从Krea 1蒸馏而来, 能够兼容部分FLUX.1 dev的LoRA.
生成结果远优于FLUX.1 dev.
作为蒸馏模型, 可能会重演FLUX.1 dev时社区难以对模型进行有效训练的情况.
使用Mistral-Small-3.2-24B-Instruct-2506作为文本编码器的第二代Flux模型.
dev版本的参数量为32B, 已经完全超出了2025年消费级GPU的VRAM容量.
BFL于2026年1月中旬发布的小型模型系列.
包含4B和9B两种尺寸, 分别使用Qwen 3 4B和Qwen 3 8B作为文本编码器.
每种尺寸都包含原始的50步Base模型和经过蒸馏的4步模型.
支持文生图, 图片编辑, 多图片参考.
9B模型在文生图的美学分数, 人体正确性, 文本渲染方面都不如参数更少的Z-Image-Turbo.
2026年6月发布的13B开放权重模型.
文本编码器为Qwen 3 VL 4B Instruct, VAE为Qwen Image VAE.
分为Raw和Turbo两个模型, 其中Raw为基础模型, Turbo为8步蒸馏模型.
模型在进行美学过滤的前提下, 保持住了多样性,
达到了开放权重文生图模型的SOTA水平, 仍然远逊于闭源模型.
阿里巴巴推出的同时具有文生图, 图片理解/编辑能力的20B参数模型, 建立在Qwen2.5-VL之上.
在图片理解/编辑方面非常强大, 甚至能够完成深度图估计, 对象检测/分割等高级任务.
具有中文和英文字符的生成能力, 但由于合成数据的拟真度差, 看起来很假.
衍生自Qwen-Image的图片编辑模型, 相当于Flux的Kontext.
2026年9月下旬发布的7B开放权重模型.
表面上看, 这是闭源的Qwen-Image-2.0模型的子版本迭代, 实际上却是一个完全不同的模型.
模型的数据集大量使用了从GPT Image合成的数据,
尤其其编辑功能的数据集恐怕是完全建立在GPT Image的合成数据之上.
这导致几乎每一张编辑结果都包含GPT Image独有的"尿液滤镜"和糟糕的纹理特征.
从这个角度来看, 该模型完全可视作是GPT Image的蒸馏模型.
该模型官方给出的Qwen-Image-Bench测试成绩完全没有可信度,
成功将Qwen Image团队本就不多的信用降低至与Sam Altman相同的级别.
实测结果表明, 除图片编辑能力外所有方面的性能都远低于同时期的开放权重模型,
甚至要差于一年前的开放权重模型, 以至于多给这个模型一秒钟的关注都是浪费时间.
阿里巴巴推出的文字到视频(T2V)和图片到视频(I2V)系列模型.
由于视频本质上是连续的图片序列, 因此其T2V模型也可以视作文生图模型.
对Wan 2.1进行了美学改进.
经过高度压缩的T2V和I2V模型, 可生成720P视频(实为1280x704和704x1280这一特殊尺寸).
使用专门的Wan 2.2 VAE, 体积比Wan 2.1 VAE大得多.
经测试, 和大部分VAE一样, 对像素艺术等图片不友好.
MoE模型, 可生成480P和720P视频.
需要使用两个模型进行两阶段采样.
沿用Wan 2.1的VAE.
阿里巴巴Tongyi-MAI于2025年11月推出的模型系列.
Z-Image-Base的蒸馏版.
基于Lumina-Image-2.0架构.
使用Qwen 3 4B作为文本编码器, FLUX.1 VAE的6B模型.
预训练数据为256x256分辨率.
特点:
  • 惊人的参数利用率, 输出结果超越了一部分参数量远多于此的模型.
  • 分辨率支持广泛, 同一概念在不同分辨率下的差异很小.
实测发现, 虽然模型在许多常见场景下表现良好,
但也会在组合一些不常见的概念时失败, 并且生成图像的多样性比较有限.
官方的HugginFace Space附带了prompt增强模板, 使用的LLM模型为qwen3-max-preview.
在不修改模型的情况下为其添加新的关键字.
由于没有修改原模型, 此技术生成的模型非常小, 通常不到1MB.
相比LoRA, Textual Inversion需要的训练时间很长, 效果被认为不如Dreambooth这样的微调.
Google研究团队发明的微调技术, 可以在使用少量样本的情况下微调出不错的结果.
通过修改交叉注意力层(crossattenion)来对模型的一部分进行微调.
由于训练成本较低, 迅速成为最主流的训练方案.
LoRA可以对微调目标的衍生模型生效, 但性能会受到影响.
角色一致性适配器.
功能相当于高级版的ControlNet reference和img2img.
可以在一定程度上替代人物LoRA, 但距离真正的角色一致性仍很遥远.
  • 模型限制输入图像必须是正方形.
  • 需要的计算资源较多, 性能明显比专门炼制的LoRA差, 充其量只能作为一种临时解决方案.
通过划定区域来防止prompt相互渗透/出血.
使用起来较为繁琐, 通常被用来在一副图像中容纳多名来自不同LoRA的角色.
由ControlNet作者创建的模型, 可以创建具有透明背景图像, 从而替代生成图像后再抠图的工作流.
  • 数据集泄露较严重, 会对生成图像的风格产生明显影响.
通过数据集对Diffusion模型执行微调, 使其能够利用参考图片来影响生成结果, 用途广泛.
训练成本很高, 随着模型的参数数量显著增加.
数据集质量对ControlNet的影响很大, 市面上的大部分SDXL ControlNet模型都性能不足.
一种模型合并技术.
受到mergekit的启发, 通过合并多个Stable Diffusion模型来创造MoE模型.
可以通过合并来显著提升模型的性能, 但没有得到足够的重视.
一款Flux LoRA合并工具.
该工具提供的自适应合并(Adaptive Merging)方法效果很好, 能够融合多个LoRA学到的知识.
自适应合并的核心是根据张量的Frobenius范数(矩阵版本的"L2范数/欧几里得范数")来决定合并时的权重:
https://github.com/Anashel-RPG/anashel-utils/blob/2cabe2da08444502fb931bc489986a5feda2e0ff/merge_lora.py#L96-L110
于2025年12月末发布的混元翻译模型系列.
于2025年12月末发布的混元文本到3D动作模型.
训练数据集多样性不足, 很容易OOD.