新闻快讯|艾斯德斯被❌到爽羞羞漫画_社会新闻

首页 >新闻 >社会新闻

OpenAI久违发了篇「正经」论文：线性结构实现高效张量盘算

2025-06-07 15:42:26

来源：

猫眼影戏

作者：

吉米·基梅尔秀

手机检察

　　猫眼影戏记者冯彦报道w3u7903ejky2ywls

机械之心报道

编辑：Panda

OpenAI 发论文的频率是越来越低了。

如果你看到了一份来自 OpenAI 的新 PDF 文件，那大都也是新模型的系统卡或相关增补文件或基准测试，很少有新的研究论文。

至于原因嘛，让该公司自家的 ChatGPT 来说吧：「截至目前，OpenAI 在 2025 年在 arXiv 上果真宣布的论文数量相对较少，可能反应了其对研究结果果真战略的谨慎态度，可能出于商业保密或宁静考虑。」

不过近日，OpenAI 也确实宣布了一份完全由自己人加入的、实打实的研究论文，其中提出了一种用于高效张量映射的统一代数框架Linear Layouts。这是一种使用二元线性代数而非比特体现（bit representation）的张量结构的通用代数形式，解决了 Triton 等深度学习编译器中恒久保存的难题。

论文题目：Linear Layouts: Robust Code Generation of Efficient Tensor Computation Using ?论文地点：https://arxiv.org/pdf/2505.23819.pdf

要理解这项研究的意义，首先需要先理解一下什么是张量结构（tensor layouts）

简单来说：张量结构 = 逻辑张量与硬件资源（例如内存、线程、向量单位）之间的映射关系。下图给出了两个结构示例。

关于现代深度学习事情负载而言，所需要的张量结构需要满足几个要求：

高效（为了性能）。灵活（以支持多种算子）�？勺楹希ㄎ吮浠缓陀呕�。

然而，目今的结构系统却难以充分满足这些需求，而是往往：

需要凭据实际需求设计，并且往往是硬编码的（需要手动编写规则）。不可扩展（每一对结构都需要二次组合）。容易蜕化，尤其是在像 Triton 这样的低层级的后端中 —— 截至目前，Triton 的 GitHub 库中提交的 12% 的 Bug 与结构有关。

另外，深度学习硬件（如 GPU）的日益庞大也导致张量结构日益庞大。

例如，为了实现高效的矩阵乘法，英伟达在 Ampere、Hopper 和 Blackwell 等差别代际的 GPU 上接纳了差别的使用 Tensor Core 的结构，并且每种结构在使用差别数据类型时都有差别的变体。AMD 和英特尔等其它 GPU 供应商在利用其类似 Tensor Core 的技术进行加速时，也使用了差别的结构。因此，硬件架构的快速生长和多样化的深度学习模型需要一种新的张量结构建模要领。

为此，需要解决一些技术难题：

在将张量映射到硬件资源方面，需要一种通用且可组合的体现要领。结构转换应该用统一的形式来表达，甚至需要包括诸如数据交换（data swizzling）等庞大变换。这种体现必须与初级硬件优化无缝集成，以确保高效的数据会见和盘算。

不过，在介绍 OpenAI 这篇论文的孝敬之前，我们需要先了解一些基础看法。

相关配景知识

GPU 架构

在设计上，现代 GPU 的目标是通过包括多层硬件资源的分层执行模型来充分利用并行性。

其要害执行单位包括协作线程阵列 (CTA)、Warp 和线程。每个 GPU 线程都可以会见私有寄存器 —— 这些寄存器提供最低延迟的存储空间，但容量有限。通例指令可以由各个线程独立执行。然而，某些特殊功效单位必须在更高的粒度级别上执行。

例如，英伟达的 mma（矩阵乘法累加）指令利用 Tensor Core 的方法是并行执行由各个 Warp 发出的多个乘加运算。而 wgmma（Warp 组矩阵乘法累加）等高级变体则是通过在多个 Warp 上同时执行矩阵乘法而对这些功效进行了扩展。AMD 也引入了类似的原语，例如 mfma（矩阵融合乘加）指令。

请注意，这些指令要求数据漫衍在线程和 Warp 之间，或者以特殊结构驻留在共享内存或特殊内存单位（例如 Blackwell 上的 Tensor Memory）中，才华爆发正确的结果。

然而，这些结构通常不会为加载 / 存储等其他操作带来最佳性能，并且并非总是可以使用特定指令将数据直接从全局内存复制到特殊内存单位。

因此，通常必须对数据进行重新排列，以便将用于内存会见的结构转换为盘算单位偏好的结构。

简而言之，要实现峰值性能，不但需要利用这些专用单位，还需要精心设计张量结构和转换。

Triton 语言和编译器

Triton 是一种类似于 Python 的用于特定领域的语言，其设计目标是提供用于编写高性能深度学习原语的灵活接口。Triton 的编译器后端使用了 MLIR，支持多条理笼统表达。

究其焦点，Triton 内核遵循单程序大都据 (SPMD) 模型，其中盘算被划分为多个笼统的 Triton 程序实例。这种设计允许开发者主要关注 CTA 级别的并行性即可。在 Triton 中，「张量」一词指的是从原始 PyTorch 张量中提取的块，它们用作 GPU 核的输入和输出。

在编译历程中，Triton 的 Python 代码首先被翻译成 Triton 方言 (tt)，然后进一步翻译成 TritonGPU 方言 (ttg)。在此历程中，每个张量都与特定的结构相关联，以充分利用现代 GPU 上可用的硬件功效单位。例如，当遇到 dot 类算子（例如 tt.dot 和 tt.dot_scaled）时，会接纳 mma 结构并使用 Tensor Core 和类似的单位。

古板结构

图 2 列出了 Triton 中所有可用的结构。

在最高层级，结构分为漫衍式（Distributed）结构和内存（（Memory）结构。前者是指张量元素漫衍在差别的执行单位中，此后者是指张量元素存储在特定的特殊内存中。

漫衍式结构又可进一步分为 Blocked、Sliced、MMA 和 MMA Input 结构等类型，而内存结构又可进一步分为 Unswizzled 和 Swizzled 结构。

Blocked 结构通常用于连续的内存会见。MMA 和 MMA 输入结构用于矩阵乘法运算（例如 tt.dot）的输出和输入。MMA 结构可以凭据其映射到的硬件指令进一步分类，例如英伟达 GPU 上的 mma 和 wgmma，或 AMD GPU 上的 mfma。Sliced 结构是从其父结构中提取一个维度，用作广播或某个归约运算的输出。

古板 Triton 结构系统要求每个结构界说自己的接口要领，例如每个线程的元素数量和连续元素的数量。别的，必须为每个结构显式实现对张量元素的索引以及结构之间的转换。这种要领导致结构结构和转换常泛起 bug。

Linear Layouts（线性结构）

下面将简单介绍线性结构的界说、一些基本的线性结构算子、创立种种 Triton 结构以作为线性结构实例，以及应用于 Triton 的通用结构引擎。

一个示例

在 GPU 编程中，大大都参数都是 2 的幂：一个 Warp 由 32 或 64 个线程组成，一个 Warp 组包括 4 个 Warp，矩阵乘法内联函数（例如 mma 和 wgmma）要求 Tile 尺寸为 16 × ，其中 ≥ 1。

别的，在 Triton 的编程模型中，张量的维度以及与每个张量相关的结构子部分（例如每个线程的寄存器和线程数量）都被限制为 2 的幂。在图 1 中，结构 A 有一个 16 × 16 的张量，其使用了多个 2 × 2 的寄存器、4 × 8 的线程和 2 × 1 的 Warp。

由于这些量都是 2 的幂，因此使用其坐标的比特体现，可以直观地可视化结构 A 中元素的漫衍（如图 1 所示）。所有线程的寄存器 0 (_0) 都位于坐标 (, )，其中和的最后几位（bit）均为 0。例如，线程 _1 的 _0 位于 (0, 2) = (000, 010)。作为比照，_1 元素的坐标中，的最后一位始终为 0，而的最后一位始终为 1。例如，_9 的 _1 位于 (2, 3) = (010, 011)。

别的，关于任何偶数线程 _，的最后一位与 _0 中的倒数第二位匹配，的倒数第二位与 _0 中的倒数第三位匹配。例如，_10 = _01010 的 _0 位于 (2, 4) = (010, 0100)。这种系统性对齐连续保存，标明二次幂结构足以清晰地决定了每个线程元素的漫衍。

综上所述，假设一个巨细为 8 的向量体现一个 Warp 中线程的一个元素，其中前 2 位体现寄存器 (Reg)，接下来的 5 位体现线程 (Thr)，最后一位则体现 Warp (Wrp)，则可以如此界说结构：

当需要从逻辑张量的坐标中恢复硬件索引时，需要使用求逆运算。

对线性结构的更详细完备性说明请会见原论文，其中涉及到说明分块结构、mma 和 wgmma 的输入和输出结构、线性结构的 slice、每个漫衍式结构、MMA swizzled 结构、内存结构都是线性结构。另外，OpenAI 也在 Triton 说明了如何实现结构转换以及形状操作。

不但如此，OpenAI 体现，线性结构为在语言前端和编译器后端开发算法提供了结构化的基础。他们也在论文中给出了一些要害示例，这里就不过多展开。接下来简单看看新提出的线性结构的实际体现。

评估

OpenAI 将优化版 Triton（集成了基于线性结构的优化，即 Triton-Linear）与未集成这些优化的基准 Triton 进行了比较。Triton 和 TritonLinear 之间的主要区别如下：

Triton 使用古板的数据结构，不支持任意漫衍式结构的实用程序或它们之间的转换，因此容易泛起 bug。Triton 未接纳论文中描述的优化代码生成。例如，结构转换始终通过共享内存进行，对高效硬件原语的使用有限。

加入评估的硬件平台见表 1。

为了比较 Triton 和 Triton-Linear 的性能，该团队构建了一些合成微基准来进行测试，这方面的结果请会见原论文检察。这里仅看看它们在实际基准测试中体现。

在三个差别的平台上，OpenAI 运行了 TritonBench 中的 18 个基准测试。图 7、图 8 和图 9 中展示了 Triton-Linear 在三个平台上的性能提升。

由于每个基准测试包括多个输入，总计 420 个案例，因此他们使用了误差线（error bars）来体现每个基准测试的最小和最大加速。

需要注意的是，由于硬件限制，并非所有基准测试都适用于每个平台。例如，某些基准测试需要仅在 GH200 上才有的大型共享内存，而一些核使用的张量描述符依赖于 TMA 引擎，而 RTX4090 和 MI250 上均不支持 TMA 引擎。

可以看到，在 GH200 上，他们实现了 0.92 倍到 1.57 倍不等的加速，所有基准测试的平均加速均凌驾 1.0 倍。加速最显著的基准测试是 int4_gemm、ops_gemm 和 streamk_gemm。

可以视察到，高效的硬件原语（例如 ldmatrix 和 stmatrix）在这些核中被广泛用于结构转换以及共享内存的加载和存储操作。值得注意的是，layer_norm 实现了从 0.99 倍到 1.57 倍的加速 —— 在差别形状之间体现出了显著差别。关于某些输入形状，Triton-Linear 能够检测「等效」结构之间的转换，从而将转换历程降低为 no-op（无操作）。这种优化在旧版结构系统中无法实现，因为它无法直接比较差别类型的结构（例如，Blocked 结构和 Sliced 结构）。

在 RTX4090 上，新要领实现了 1.00 倍到 1.51 倍的加速。由于 mma (RTX4090) 和 wgmma (GH200) 指令之间的差别，他们在 template_attention 上实现了更高的加速。在本例中，tt.dot 运算的左操作数在循环外部界说，会重复从同一地点加载数据，因此 ldmatrix 和通例共享内存指令均可实现高吞吐量。虽然右操作数在每次迭代中都会更新，但 wgmma 会直接在共享内存中会见它，只有在 RTX4090 上，经过优化后，它才会被降级到 ldmatrix 中。因此，在 GH200 上实现的加速相对较低。在 MI250 上，新要领实现了 0.98 倍到 1.18 倍的加速。

总体而言，由于缺乏 ldmatrix 等高效的硬件原语，Triton-Linear 在 AMD GPU 上实现的加速低于在英伟达 GPU 的。

关于 OpenAI Open 的这个研究，你有什么看法呢

??时事1：www成人🔞色情美女露

??06月07日,两岸经贸受台选举影响？国台办：继续促进经济交流合作,

,美女脱精光被刑具挠脚心。

??06月07日,美国波特兰一座教堂发生火灾致两人死亡,

　　第三，你需要在失败中不绝总结出新的适合自己的学习要领，并制定一套严谨但可操作的学习计划，这会让你的努力更富有实效。

,美女扒开腿❌裸体网站蓝莓,www.17c.com喷水少妇,绝母动漫第一季更新内容。

??时事2：国产农村妇女XXXⅩ性高湖

??06月07日,江苏无锡首条市域轨道交通线开通运营,

　　“啊……”被废的中年人像是做了一场恶梦，惊醒过来，大叫道：“族长，你要替我抨击�。　�

,速播成人网站黄黄美女裸色软件,初学生疯狂❌喷水自慰网站,欧美做受高潮9吃奶。

??06月07日,迟福林：中国的发展和改革对世界是重大利好,

　　这一日，不少人纷纷脱手，各地通道咚咚作响，但他们皆铩羽而归，全都失败了。

,美女免费视频,老婆～才一根手指就受不了了作文,小心🐤伸入女人的🍑视频。

??时事3：打屁股和鞭打网站

??06月07日,【这个城市有点潮】福建武夷山：从茗茶“大红袍”中探寻茶文化,

　　现在他九岁多，快十岁了，不必想也知道，注定如一轮璀璨神阳般，悬于古国上空，光线耀眼，万众瞩目。

,黄片一级aaa区午夜wv,911在线无码精品㊙️软件,亚洲A片人獸交XXOO。

??06月07日,广州今年夏季天数打破当地最长夏天纪录,

　　(一)高起点计划。计划是都会建设的纲要，乐成的计划可以节约大宗的资源，可以使都会获得连续生长的动力。为了搞好历史文化名城�；�，今年我们可能要纵�拆迁一些严重影响市容风貌的建筑。从历史文化名城�；さ慕嵌瓤�，必须这样做。我们计划拆的这些建筑物，120xx年以上的没有，50年以上的也没有，大大都是近30年来陆续不按计划建设的。我们的都会化生长最大的毛病就在于我们自己造就了一大批的垃圾建筑，这也是我们都会化建设不得不支付的价钱和学费。所以，我们推进新型城镇化，如果还不重视计划，还在计划上犯这样那样的过失，特别是在计划上继续犯推翻性和系统性的过失，那么我们的决策者就会成为历史的罪人。因此，都会建设必须高起点计划，必须包管较高条理。张掖的都会计划，要注重五个条理。第一个条理，是两个“1+5”的都会框架体系，也就是宜居宜游生态都会建设计划和市区主城区加5个功效区计划。这个计划现在已经概略形成，主要是完善执行的问题。第二个条理，是都会的总体计划，主要是指市区和五县县城。这项事情现在也概略完成了，所剩的任务未几，有一些计划随着形势的生长可能需要重新修编。第三个条理，片区的控规和建设性详规。这个计划是我们现在最薄弱的环节，也是差别最大的地方，更是将来形成都会风貌的最要害的环节。对这个计划，我们普遍重视不敷，执行不严格，水平和条理比较低，需要着力增强，今年内市区的片区控规和建设详规要基本完成，各县的详规和控规最晚也要于明年年底前完成，使都会建设有章可循。第四个条理，小城镇计划。我们的65个乡镇，一部分做了计划，一部分还没做，这也是我们下一步亟待增强的重点环节。第五个条理，乡村计划。我们这几年搞了大宗的“四化”新村，偏向是正确的，效果也是明显的，但问题也是突出的，因为许多村子没有做到计划先行，留下了许多遗憾。因此，我们要凭据各县区差别的功效定位和事情时序，加速总规修编，弥补详规和控规的缺失，扎实做好村镇两级计划。各县区在修编审定计划的时候，要积极与全国知名的甲级资质设计单位形成联盟，由他们来做看法性计划和总体建设，然后由我们的设计单位来做施工图纸设计。

,银狼和布洛妮娅是一个人吗,扒开老师❌狂揉❌桃花岛动漫,性一一交一一乳一一乱睡觉。

??时事4：上课突然硬了女同桌帮我自慰

??06月07日,“中国龙虾之都”江苏盱眙民俗巡游文化味浓,

　　远方，其他富家的强者也都倒吸了一口冷气，好强的大魔神，令人惊悚，一别十几年而归，再次撼动皇都。

?第二百七十章皇都对决,斗罗大陆❌18禁成人游戏,扶住周慧敏翘臀挺进去第几集,男同Gay做受Gay片。

??06月07日,暑运客流稳中有增 “流动的中国”彰显活力,

　　小不点立即寒毛倒竖，脊背生出一股凉气，那金色的光点可不是雨水，而是祭灵的金色鳞片，它竟于一瞬间脱下满身鳞甲，发出了这等恐怖的攻击。

,美女挤自己奶㊙️视频,老婆被快递员干了一下午,兔女郎爆乳❌永久不会删除链接。

【英雄从未远去，我们不曾忘记！王伟墓前有了歼-35A战斗机模型】

【青海乌兰成功养殖高原“草膘”小龙虾首批正式上市销售】

责编：詹文

审核：郑和

责编：崔日用

凯发天生赢家一触即发首页

OpenAI久违发了篇「正经」论文：线性结构实现高效张量盘算