华为群英传之刘睿：AI助手要告别聊天框，从“被动响应”走向“主动服务”

本文作者：

导语：在商汤没做成的技术，登上了华为发布会。

在商汤没做成的技术，登上了华为发布会。

2022年6月，刘睿港中文博士毕业，赶上的却是一个“坏时候”。

深度学习的高光已持续近十年，新突破越来越难；疫情之下，经济低迷，同届不少同学选择延期，再守一年实验室。

刘睿没有等，他直接去了商汤。

两个月后，Stable Diffusion发布；又过了三个月，ChatGPT引爆全球。刘睿毕业时以为正在退潮的世界，忽然换了一片海——商汤赖以生存的生意，为手机厂商定制算法、出售授权，开始松动；原本需要一个团队单独研发的算法，正被一个个基础模型收编。

然后是2023年12月，汤晓鸥去世。

“定海神针”突然离开，公司内部人心惶惶。刘睿也第一次认真想：汤老师不在了，商汤怎么办，自己怎么办。

回头看，这个“坏时候”里埋着他此前人生的所有伏笔。2014年考入电子科技大学，他最初学光电子，很快觉得天地太窄；转入英才实验学院后，吴恩达的CS229让他迷上机器学习，李飞飞的CS231n把他领进深度学习和计算机视觉。2018年，他进入港中文MMLab，在王晓刚、李鸿升门下研究生成式模型——那正是几年后掀起巨浪的方向。从传统机器学习到深度学习，他几乎踩着AI最热闹的鼓点走完了求学路，却在毕业这年，听见鼓点停了。

2024年，刘睿加入华为。这一次，他想换一种做技术的方式：不再把算法卖给客户，而是直接把它交到用户手里。

此前在商汤未能立项的对话式修图，被他推上了2025年华为Mate 80的发布会；年底，小艺大模型应用实验室成立，刘睿出任首任主任，研究范围涵盖大语言模型、多模态智能、Agent与具身智能。做研究与做产品，在他手里第一次合流。

也正是在这个时候，2022年那个“坏时候”显出了另一副面孔：如果他像同学一样延期一年、守在实验室里等风停，等来的不会是避风港，只会是又一场追赶。所谓坏时机，不过是旧浪退去、新浪未至的间隙——有人站在岸边等，有人先下了水。

现在，刘睿关心的不再是追不追得上技术，而是另一个问题：模型能做的，和用户要的，之间还差什么。

以下是雷峰网 (公众号：雷峰网) 左林右狸频道与刘睿（华为小艺大型模型应用实验室创始主任）的对话，经编辑。

01 商汤往事，大模型颠覆算法生意

左林右狸频道：2018年，你在本科大四下学期去商汤科技研究院做实习生，是什么契机？

刘睿： 2017年7月，我参加香港中文大学MMLab的夏令营，认识了王晓刚、李鸿升、林达华几位老师。他们给我发了口头offer，我聊下来感觉也很好，决定明年去港中文MMLab读博。

王晓刚、李鸿升老师觉得，做研究应该解决更有价值的工业界问题，所以建议我去商汤科技研究院实习，提前接受一些产业界的锻炼。

左林右狸频道：当时面试你的人是闫俊杰。

刘睿： 俊杰这个人非常好，非常Nice，他是一个很有技术追求的人，也是我当时的mentor。

但第一次面试时我对他的印象其实是他很sharp，面试体验也很特别，不会像其他面试官一样安安静静听你完整讲完一个工作，而是从一个点开始连环追问你，一直挖到触及你的知识盲区，再让你继续介绍工作。而且他抓重点非常精准，非常高效。 十几分钟的连环问结束，他说欢迎来实习，就挂断了电话。

左林右狸频道：在商汤科技研究院实习那小半年的时间，你在做什么工作？

刘睿： 当时主要做人脸识别研究。俊杰虽然是我的Mentor，但他从2015年加入商汤，一路从实习生做到总监，工作已经非常忙了，所以我更多是独立开展研究，向组里一些资深的研究员学习。

这段实习有两个大收获，第一是接触到了大规模算力集群。当时商汤拥有非常丰富的GPU资源，我们可以一次性启动几百甚至上千张GPU训练人脸识别模型。我也是在那里学会了大规模GPU集群的使用。当时还处于深度学习时代，大家对算力重要性的认识没有今天这么深，但已经隐约感觉到，有算力的地方就有优势。

第二是建立了产业界的Sense。此前我做研究，更多关注偏理论的问题。但在商汤，我逐渐意识到，真正有影响力的研究，应该解决实际的工业难题。 这段经历也影响了我后来的研究选择，我一直希望自己做的技术能够解决真实的工业问题。

左林右狸频道：2022年6月，你从港中文MMLab博士毕业，去商汤工作了两年？

刘睿： 我读博期间，王晓刚老师的主要精力已经逐渐往商汤迁移，我也受到王老师的影响，跟他所在的商汤部门有一些合作和联系。王老师主要负责牵引工业问题，李鸿升老师指导我具体的学术研究。

毕业后，我算是顺理成章就加入了王老师负责的商汤MIG（Mobile Intelligence Group，移动智慧事业群）。当时MIG主要分终端和智驾两块，我在终端方向，主要为“华米OV”等手机厂商研发算法。同期合作比较多的是孙文秀和任思捷，俊杰当时已经离职创办MiniMax了。

左林右狸频道：那两年你在干嘛？

刘睿： 我们当时做的事情很简单，就是尝试跟高通、联发科这些端侧芯片公司，包括索尼这样的半导体公司合作。

因为华为、小米、OPPO、vivo这些手机终端厂商，都需要采购底层芯片。他们可能需要买高通、联发科的CPU、GPU芯片，以及索尼的图像传感器（作为手机相机模组里的核心组件）。

我们在整个终端领域，相当于直接从上游切进去，我们跟这些半导体公司合作，帮他们做一些预研。 比如他们有一些新型的、在研的、比较机密的芯片，会提前让我们拿到。我们就在这些芯片的基础上做算法研究，看怎样能够在端侧芯片上跑出效果好、性能也好的算法Demo。

当华为、小米、OPPO、vivo这些手机终端厂商采购芯片的时候，我们一方面可以帮助芯片厂商证明自己芯片的优越性，另一方面也能宣传我们自己的算法。 我们还可以把这些算法打包卖给手机厂商，基本上做的就是这样一个生意。

左林右狸频道：2022年底，Stable Diffusion和ChatGPT相继出现，商汤内部什么反应？

刘睿： 我们感受到的冲击非常明显。在商汤的时候，包括汤老师、王老师，包括我自己、闫俊杰，很早都意识到了传统深度学习的一些问题。前大模型时代，也就是Deep Learning时代，最大的问题就是不泛化。

但是大模型一出来，你发现它泛化了。所有NLP领域的Task，都可以被一个统一的模型解决掉，而且统一在Dialogue，也就是对话的框架里面， 这件事情就变得很Crazy了。

我们相信这是一个变革性的技术，一定会席卷全世界。所以我觉得，我们内部也得开始做这件事情。

左林右狸频道：2022年底，你在商汤内部做了两个重要的talk。

刘睿： 我跟业界同行线上线下交流比较多，包括在知乎、推特这些社交媒体上，也有很多技术讨论。 至少在我们这个领域内，大家很快就达成共识：GPT和Diffusion这些技术就是未来。

所以，那一年年底，我马上在MIG内部做了两个Talk。一个是介绍图像生成，也就是Diffusion Model；一周之后，我又做了另一个报告，讲大语言模型，也就是GPT路线。

我算是较早在MIG内部宣传、推广这些新技术的人，部门就让我去负责一些新兴项目，也就是生成式AI领域。 我开始从芯片预研独立研究员转型成Team Leader，带团队做前沿研究，包括探索最前沿的大模型、生成式AI相关算法和模型以及怎么样在端侧场景中落地。

左林右狸频道：到了2023年，你的工作有什么变化？

刘睿： 2023年一整年，我都在做前沿大模型和生成式AI相关的事情，也在极力推动这些技术到终端产业落地。 但我发现，以前深度学习时代卖算法SDK的商业模式，在大模型时代好像不管用了。

以前深度学习时代，你推广技术，让别人采购你的东西很容易。虽然是定制化，每次做一个项目都要专门投入研究员做算法调优，但是因为粥多僧少，这种商业模式还是成立的 。 对于华为、小米、OPPO、vivo这些公司来说，如果做一个特别垂直的领域，比如人脸识别、OCR文字识别，他们自己投入研发，成本也很重。与其自己做，不如外采，从商汤这样的算法供应商那里采购服务。

大模型时代，因为有泛化，只要模型的基础能力足够强，自然而然就可以Cover各种各样的垂直领域，不需要你帮它做垂域调优。

很多公司，他们想自己构建基础模型。或者说，就算他们没有这个自研能力，他们想要的也是怎样跟商汤研究院达成合作，让商汤给他们提供一个很好的基模，而不是跟MIG做生意。

左林右狸频道：但大模型时代，还可以卖API、卖Token。

刘睿： 当然，后来OpenAI、Anthropic走出来的商业模式，就是卖API、卖Token。不过，当时看的还不那么清楚，固有认知下，卖SDK的毛利肯定更高，因为SDK只需要把License授权出去，就可以挣钱，也没有什么成本。卖API和Token，需要自己建服务器、做算力、提供推理服务，还是有相当一部分成本的。

这也教会了我一个道理：一定要拥抱最前沿的技术，商业模式是随之而变的。

左林右狸频道：2024年，你为什么选择离开商汤？

刘睿： 最本质的原因就是刚刚讲的，我发现大模型时代，卖算法SDK的商业模式不管用了。

还有一件事算是导火索，2023年12月15日，汤老师意外离世。 在那之后，身边的氛围变得不是很好 ， 整个商汤的人心受到很大的冲击。汤老师对商汤来说，是一个“定海神针”一样的人物。当时氛围很差，好像整个商汤就没有这样一个主心骨为大家支撑了。

很多人都在质疑，商汤是不是不行了？商汤如果一直不能盈利，该怎么办？受这种氛围的影响，我也开始看一些外面的机会。

左林右狸频道：还有其他原因吗？

刘睿： 有。在商汤的时候，我有一个痛点，就是需要做定制化。

作为乙方给甲方提供服务，很多时候是被甲方牵着鼻子走的，这导致两个问题，一没有技术主张权，二没有技术延续性。

首先有很多我认为很有开创性、很正确的方向，甲方没有需求，商务接不到单子，研发就没法做。其次今天客户A说要做这个事儿，明天客户B说要做那个事儿，我人手有限，只能打一枪换一个地方，长此以往技术延续性会缺失，没法做出断代级技术。

所以我希望去一个相对更自主可控的地方，做甲方，比如“华米OV”就是我的目标之一。

02 下一代智能助手要能主动服务

左林右狸频道：2024年8月你从商汤出来后，为什么选择加入华为？

刘睿： 一方面，我希望从乙方转向甲方，真正面向C端用户，有自己的产品判断和技术主张，让研究方向能够长期延续。另一方面，华为终端的小艺业务当时恰好在香港布局，需要有技术判断力和团队管理经验的人，双方的愿景非常契合，也感谢小艺的领导有魄力，认可我这么个年轻人，愿意放权给我。

左林右狸频道：你前面提到在商汤时，有一些自己觉得很好的想法，但是作为乙方实现不了，具体指什么？可以举一个例子吗？

刘睿： 这个很有意思。当时我在商汤跟小米合作，收到过一个需求，他们想在手机图库里增加一些修图功能。我当时就觉得，为什么一定要在图库里面做。 因为大语言模型可以通过对话，把自然语言和聊天上下文统一在一个产品形态里。修图这件事情，是不是也可以通过对话的方式统一起来？

但当时华为、小米、OPPO、vivo这些产业方，都没有提出很明确的需求。这个想法很好，却没有机会开展，我的价值实现不了。后来到了华为之后，我迅速带人攻克这项技术，成功推上线，应该也是整个终端行业第一个落地的对话式修图技术，同期谷歌也推出了个类似的产品叫Nano Banana。

以前修一张图，需要在图上反复修改，使用比较复杂的图像处理工具，比如Photoshop。现在只需要通过自然语言对话，就可以完成。

左林右狸频道：加入华为之后，你是怎么一步步建立小艺大型模型应用实验室的？

刘睿： 我是2024年中加入华为的，最初挂在香港研究所的诺亚方舟实验室下面。当时小艺刚开始在香港布局，希望建立一支前沿研究团队，解决内地业务中一些技术难度高、研究周期比较长的问题。

我选择的第一个切入点，就是之前在商汤一直想做的对话式修图。2025年下半年，余总在Mate 80发布会上介绍了这项技术。这个成果让总部认可了我们的研究能力，也让业务未来的方向更加明确。

2025年年底小艺大模型应用实验室正式成立，我担任首任主任，研究方向也从图像生成逐渐扩展到多模态理解、agent，以及世界模型、具身智能等前沿探索。

左林右狸频道：今年上半年，实验室有哪些代表性的研究？

刘睿： 主要有两项，一项是4月份发布的Aura流式视频理解模型，支持实时视频交互、主动服务和一问多答，这个工作在5月份被由OpenAI前CTO Mira Murati创办的Thinking Machines Lab引用，评价为最接近他们思想的前沿工作。

另一项是6月份发布的Boogu，一个开源图像生成基础模型，希望用更低的成本实现更好的生成效果。

此外，还有Math Canvas、Omni-Interact，以及大模型推理和智能体工具调用方面的一些研究。

左林右狸频道：Aura要解决什么问题？相比过去的多模态模型，最大的不同是什么？

刘睿： 以前的多模态大模型，你发一张图、问一个问题，模型返回一个答案，属于一问一答的模式。

但Aura更多是一种伴随状态 。启动之后，它就像一个小助手，持续共享你看到的视频画面。你可以随时问它问题，它会根据之前看到的内容回答。比如你随手把包放在某张桌子上，后来走了一圈，忘记放在哪里。Aura可以帮你记住，提醒你“你把包放在了进门左手边第一张桌子上”。

它还可以持续观察环境，主动提醒。我们已经在终端场景落地了一个导盲功能，视障用户过马路时，可以让模型持续观察红绿灯，在绿灯亮起时提醒。

在做菜、家具组装等需要较长时间的场景里，Aura也可以持续观察用户操作，适时提供指导。比如做菜时，提醒你应该放什么佐料、加多少油和盐。

左林右狸频道：Aura是怎么同时处理视频、语音和文字，实现这种持续交互的？

刘睿： 底层还是以语言模型为基础，接入视觉和音频编码器，将视频、语音信息编码到隐空间，再跟语言模型的语义空间对齐。这样就可以利用语言模型原有的问答、推理和工具调用能力处理多模态信息。

另一个关键是流式建模，我们把连续的视频流切成一个个时间片段，每段大约300毫秒或者500毫秒。信息实时进入模型，模型持续推理，同时参考此前输入的内容。

这样一方面可以记住过去的视觉信息，另一方面可以根据用户意图，在未来的关键信号出现时及时作出反应。比如主动告诉你，“你看，今晚的晚霞非常好看。”

只有实现连续的视频理解，交互才可能像人与人交流一样自然。

左林右狸频道：如果想让助手持续地看、听、说，现在最大的瓶颈是什么？

刘睿： 我认为还是模型能力不够。

目前还没有哪个模型在沟通时能完全像一个活人，但GPT Live已经有一定的“活人感”。它跟你聊天时会笑、咳嗽、停顿，也会附和你。你想打断它，它也知道什么时候应该停下来。

GPT Live在纯语音交互方面已经做得很好，但缺少视觉。我们研究的Aura则强调视觉全双工（通信双方同时收发），模型可以根据实时画面调整自己的回复。

接下来，我们希望把语音和视觉结合起来，让模型真正能够边听、边说、边看。如果实现这样的能力，就会非常接近人与人之间的自然交互。

左林右狸频道：另一项工作Boogu，是一个低成本训练的图像生成基础模型，它有什么特别之处？

刘睿： Boogu是我们用非常低的成本训练出来的开源图像生成模型。当时开源的千问图像模型有200亿参数，FLUX.1有120亿参数，而我们的Boogu只有100亿参数，但生成效果很好。

按照我们的比较，训练成本只有业界的十分之一，甚至百分之一。我觉得有点像图像生成领域的DeepSeek时刻，至少我们当时认为它在开源模型中应该是第一。当然，跟OpenAI、谷歌的一些闭源模型相比，可能还是稍差一些。

左林右狸频道：参数更小、训练成本更低，具体是怎么做到的？

刘睿： 主要是数据和训练基础设施两个方面的优化。

现实中的数据分布是长尾的，常见物体在互联网数据中出现频率很高，不常见的东西则比较少。过去的主流做法，是尽可能把互联网上的图像数据全部收集起来，交给模型训练。但我们认为， 重要的不是让模型反复见到同一种东西，而是让它见到足够广泛、丰富的数据分布。

所以我们减少了高频数据，比如桌子、椅子，有些模型可能要学习几十万遍，但对我们来说，可能见过100多遍就差不多了。我们希望把更多训练资源用在覆盖不同种类的事物上。

另一方面，我们优化了训练基础设施，包括显卡之间的通信和并行计算，让训练和收敛速度更快。

左林右狸频道：Math Canvas又在解决什么问题？

刘睿： Math Canvas主要探索的是图像能不能为语言模型带来新的智能能力。

现在大语言模型随着规模不断扩大，能力越来越强，但过去大部分思维链都依赖文字。我们希望让模型在思考过程中，也能够生成和修改图像。比如解一道数学题，需要数形结合。如果只靠公式推导，可能需要很长的思维链，还容易出现计算错误。如果直接在图上画一条辅助线，问题可能就迎刃而解了。

所以我们希望把图像处理加入模型的思考过程，而不只是把图像作为输入或者最终输出。

后来GPT-6的一些功能也体现了类似思路，比如给模型一张“蒙娜丽莎的微笑”让它画出来，模型可以通过模型上下文协议（MCP）调用Photoshop，画出一张图，再观察当前结果和目标之间的差别，决定下一步怎么修改。这跟Math Canvas探索的思想比较接近。

左林右狸频道：你们还有一项工作叫Omni-Interact，它主要研究什么？

刘睿： Omni-Interact是一个流式全模态模型的评测基准。它延续了Aura的研究方向，我们发现要让智能助手产生真实感、活人感，光有视觉理解还不够，必须结合语音。

人与人交流时，不只有文字和声音，还有眼神交流、面部表情等。所以我们想回答一个问题：到底什么样的助手，才算自然、真正有活人感？

Omni-Interact就是希望建立一套评测标准，衡量模型能不能自然地看、听、说，以及进行实时互动。

左林右狸频道：前面这些研究主要涉及多模态。你们在大语言模型和智能体方面有哪些工作？

刘睿： 我们做过GHPO和COVE。

GHPO是早期的GRPO变体算法之一，GRPO是DeepSeek R1的核心后训练算法，通过强化学习去提升大语言模型的推理能力，我们发现GRPO这样的经典强化学习算法会有奖励稀疏问题，比如对一道题进行8次或者16次采样回复，答对了就奖励，答错了就惩罚，但如果题目超出模型能力，导致16次回复全错，那模型将得不到任何反馈，这一轮训练的算力就白白浪费掉了，通俗点说就是差生遇上奥赛题，靠自己刷题提升不了成绩。那我们的GHPO就通过动态地给模型一些提示，从而降低这些超纲题目的难度，这极大程度上提升了模型的后训练效率，也拿到了更好的数学推理结果。

COVE则是通过强化学习算法和一套配套的可验证环境去提升模型的工具调用能力，比如模型要执行一个帮你订机票的任务，模型成功调用了API，也拿到了机票信息，但模型是不是真的完成了这件事情，怎么去验证它，这还是有一定挑战的。所以我们构建了一套约束清晰的环境验证器，比如背后真的构建一套航班机票的数据库，当模型去订票之后，我得真的在这个数据库里看该次航班可订票数是不是真的减一了，确认减一，我才能说模型真的完成了这个任务，这条轨迹是正确的。

左林右狸频道：实验室也在探索世界模型和具身智能吗？

刘睿： 具身智能目前更多还是探索，还没有形成一条主线，因为业界其实也一直在变，从开始的VLA，到后面的world action model，最近发现GPT-6 Astra做操控其实效果也很好。

所以目前可能还是先建立评测基准，测试不同模型的物理控制能力，以及它们还有哪些不足。我们作为终端AI的前沿研究团队，需要持续探索这些技术，判断它们未来能否在终端场景中发挥价值。

03 基础模型重构助手价值

左林右狸频道：你们研究图像生成、视频生成、多模态理解，也研究智能体。这些不同的技术，最终要把小艺变成一个什么样的助手？

刘睿： 对小艺的定位，我认为可以类比为J.A.R.V.I.S. 加Samantha。

J.A.R.V.I.S. 是《钢铁侠》里的智能管家，能够帮你处理各种事情。Samantha是《Her》里的一个情感陪伴助手，很体贴、很懂你，知道你的追求、梦想和兴趣。

我们希望小艺既能干，又懂你；既有实用价值，也有情绪价值。

Aura，就是希望交互能够更实时、自然，越来越像一个人，更接近Samanthar的方向。图像视频生成和智能体则更接近J.A.R.V.I.S. ，帮用户完成具体任务。比如旅游回来，拍了很多照片和视频，照片可以通过对话修图，视频可以智能剪辑、加工，做成短视频或者Vlog。

左林右狸频道：助手能干活很好理解，但为什么一个终端智能助手，还需要提供情感陪伴？