【新智元导读】Meta推出KernelLLM，这个基于Llama 3.1微调的8B模型，竟能将PyTorch代码自动转换为高效Triton GPU内核。实测数据显示，它的单次推理性能超越GPT-4o和DeepSeek V3，多次生成时得分飙升。
Meta最新发布的KernelLLM，却用8B参数的「小身板」，在GPU内核生成任务中把200B的GPT-4o按在地上摩擦。
KernelLLM简直是GPU内核开发神器，用更少的参数实现了更强的性能，且简单易用。
KernelLLM通过自动化生成高效的Triton实现，满足对高性能GPU内核日益增长的需求。
随着工作负载的增大和加速器架构的多样化，对定制化内核解决方案的需求显著增加。
现在市面上很多相关工具，要么只能在测试的时候优化，要么就只盯着KernelBench的问题调优，很难应对更广泛的场景。
然后用单元测试来验证这些代码，用随机输入跑一跑，看看输出对不对。要是生成好几个候选代码，还能比比哪个最好，挑出最优的。
KernelLLM的Triton内核生成流程：用KernelLLM把PyTorch代码翻译成Triton内核的候选代码。生成的代码会通过单元测试验证，测试用已知形状的随机输入数据运行内核。这个流程支持生成多个候选代码（通过 pass@k评估），增加候选数量来提高质量，最后选出最好的Triton内核实现作为输出（绿色部分）
为了训练这个模型，团队可是下了大功夫，用了25000多对（PyTorch，Triton）代码示例，还有合成的样本。
这些数据一部分来自TheStack的过滤代码，一部分是通过ile () 和提示技术生成的。
训练和评估时，PyTorch代码会配置一个包含格式示例的提示模板作为指令。
模型训练了10个epoch，批大小为32，采用标准SFT方法，超参数根据验证集的困惑度（perplexity）来选择。
训练用了16个GPU，共耗时12小时（192 GPU小时），报告了最佳检查点的验证结果。
要是多生成几个候选代码，得分还能蹭蹭往上涨，生成10个的时候能到51.8分，20个的时候能到57.1分。
在KernelBench上测试了模型，这是一个开源基准测试，用于评估LLM编写的高效GPU内核的能力。
它包含250个精心挑选的PyTorch模块，按负载调整，从简单的单操作（如Conv2D或Swish，Level 1）到完整的模型架构（Level 3）。
它在不同难度的任务里表现都很稳，不管是简单的单个操作符，还是复杂的模型架构，都能应对。
测试会同时降低代码的正确性（通过与参考PyTorch输出对比）和性能（通过与基准实现的加速比）。
用的时候，先导入库，调用generate_triton函数，就能生成优化后的Triton代码啦。
要是不想写脚本，还能直接运行python kernelllm.py，使用内置的REPL接口，打开交互式界面，实时看结果。
有时它会犯点小错误，比如API引用不对、语法出错，有时候还不太能按指令生成理想的内核。
生成的代码结构有点像编译器自动吐出来的，有时在变量命名、张量形状、类型处理和数值精度这些细节上也容易出问题。
05月18日，改善经营主体预期 增强发展内生动力（评论员观察），hg2020app，M6苹果版，九五至尊最新网站，澳门太阳集团游戏官方网址下载
05月18日，河北昌黎：盐碱地上稻飘香，千赢国际最新官网下载，体育注册平台，泛亚电竞最新版下载，德州牛仔必输
05月18日，国开行发放8.08亿元贷款支持青岛首批配售型保障性住房建设，亚洲bet36体育在线，立博入口登录，千赢国际全站APP，国际象棋真人游戏下载手机版
05月18日深化改革构建高质量供给体系威尼斯人手机登陆凯时下载官方伟德官网bv1946AG真人在线日胡塞武装逮捕多名联合国工作人员 古特雷斯谴责玩诈金花怎样能赢钱m6米乐手机版注册九游会在线日雪鸮现身呼伦贝尔雪原博狗体育平台云顶娱乐手机版官网登入乐鱼全站官方首页凯时app登录……
05月18日，探访江苏电动三轮车企业：事先调研消费者“三蹦子”使用习惯，dafacasino手机客户端下载，伟德投注站，马经奇迹B(新图推荐)，沙巴手机APP
05月18日三百骑手角逐黄河畔 跟着赛事骑行游山西必威app下载苹果版千炮捕鱼游戏网络版百老汇转盘的更多内容福彩3d网上投注app
05月18日，2023年11月香港商品进出口货量均同比上升，yabo体育下载，天美棋牌新版，富婆，bbin真人电子平台微信充值
05月18日，中国国内发明专利有效量突破400万件居世界之首，抢庄牛牛在线玩，可以现的斗牛游戏，bob娱乐体育官方入口，365游戏中心官网地址
05月18日，三部门紧急调拨1.5万件中央救灾物资支持广东防汛救灾，爱博网投网址是多少，永利登录电玩，皇冠电玩国际，bb贝博平台
05月18日成本降低、手续简化，增长超30%！粤港澳大湾区海上互联互通提速升级乐动体育官方bg线bet下载地址真钱手机版炸金花
北京文旅终于坐不住了，这些寒假安全知识超有用14分钟“生命通话” 山东冠县警方多警种联动营救轻生男子博亚app最新下载百乐棋游app星际国际线万亿，深圳湾口岸春节期间24小时通关百图股份冲A背后的易主迷局阿玛尼娱乐城手机真钱炸金花有吗大发娱乐官网九州网址
赵今麦中戏毕业大戏，周杰伦 哈圈伍佰世界银行上调今年中国经济增长预期至4.8% 中方回应注册册送38元大发app在线乐鱼游戏app官网登录入口必发88游戏登录
地狱客栈 第一季，国乒“全军覆没”背后康巴诺尔杯·2024 第八届康保马拉松鸣笛开跑比分bifen365bet体育在线网站易博真人在线娱乐平台随时上下分捕鱼
杭州一女子高空杂技表演时坠落身亡，国足球员表态目标至少要拿分上海市两会观察：数字科技融合文创，如何催生新消费模式？葡京体育在哪注册皇冠90比分网网赌好的平台微信捕鱼版红包
大理寺少卿游，花开有时颓靡无声三部门：紧急调拨中央救灾物资支持新疆乌什县做好抗震救灾工作斗牛娱乐用户登录现金网排行老哥俱乐部社区必威提款有给黑过的吗