250617_Edit Flows: Flow Matching with Edit Operations

论文信息

  • 标题: Edit Flows: Flow Matching with Edit Operations

  • arXiv ID: 2506.09018

  • 作者: Authors:Marton Havasi, Brian Karrer, Itai Gat, Ricky T. Q. Chen

  • 发表日期: 2025-06-10T17:44:19+00:00

  • 论文链接: 2506.09018

  • 总结生成时间: 2025-06-17 19:26:49

一句话概要
作者提出了一种名为Edit Flows的非自回归生成模型，通过编辑操作（插入、删除、替换）在序列空间构建离散流，解决了传统非自回归模型在变长序列生成中的结构僵化问题。

主体
当前生成模型面临的核心矛盾在于：自回归模型虽能灵活生成变长序列，但效率低下；而非自回归模型虽提速显著，却因依赖固定token结构而难以适应真实序列的动态特性。这一矛盾在图像描述生成、文本和代码合成等任务中尤为突出，导致生成质量与效率难以兼得。

为解决这一难题，作者创新性地将编辑操作引入流匹配框架，提出Edit Flows模型。其核心思想是将序列生成过程建模为连续时间马尔可夫链，通过插入、删除和替换三种基本操作在序列空间中构建动态路径。这种方法突破了传统非自回归模型对位置绝对依赖的限制，转而捕捉序列元素间的相对关系。为实现高效训练，研究引入带有辅助变量的扩展状态空间，通过数学推导将复杂的序列空间概率计算转化为可处理的优化目标。

实验验证显示，Edit Flows在多个领域展现出显著优势。在图像描述生成任务中，其性能同时超越自回归模型和掩码模型；在文本与代码生成场景下，相较传统掩码构建方法取得显著提升。可视化分析表明，模型能自主决定编辑操作的时机与类型，例如在生成代码时会智能地插入关键符号或调整语句结构。这些成果证实了编辑操作对序列数据内在结构的适配性，为高效生成模型设计提供了新范式。

最后一句
该研究通过将离散编辑操作与连续概率流相结合，为构建兼具灵活性与效率的序列生成模型开辟了新路径，未来或可拓展至蛋白质设计等生物序列合成领域。