发布时间:2024-03-28 来源:中国电子报
3月28日,记者从阿里云获悉,智能手机芯片厂商联发科(MediaTek)已成功在天玑9300等旗舰芯片上部署通义千问大模型,首次实现大模型在手机芯片端深度适配,大模型在手机芯片上的探索从验证走向商业化落地。据悉,相关成果将以SDK(软件开发工具包)的形式提供给手机厂商和开发者。此外,双方团队已完成通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。
在天玑9300设备上,可离线完成基于通义千问大模型的AI多轮会话
端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型更好地为用户提供个性化体验。然而,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。
阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,这标志着大模型在芯片上的探索从验证走向商业化落地。
此外,记者还了解到,阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划,整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台,以更好支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。