飞象网讯 (易欢)4月10日消息,以“共创云网智联新时代 释放数实融合新动能”为主题的“2024年云网智联大会”在今天举办。中国电信科技委主任韦乐平出席活动并发表了在人工智能时代大模型的发展与思考,他表示,大模型的价值在应用。
他指出,在最尖端领域,存在高技术、高投入、高能耗、高风险的弊端,仅ChatGPT等5-6个基础大模型能够长期存活。在次尖端领域,行业大模型层出不穷,成千上万,各领风骚。而泛在应用无穷无尽,是各类大模型真正体现价值和商业落地的地方。
与此同时,韦乐平强调,小模型的作用也不容忽视。究其原因,大模型训练所需要的技术、算力、语料以及成本很高,却通而不专,在面向具体运行环境的适应性和经济性方面,往往小模型更加实用、省钱、省力、省时间。
目前已经有多种小模型产品问世,技术角度看,有两大方向。一是知识蒸馏,主要对大模型进行裁剪、优化,使训练好的模型的体积和尺寸更小、成本更低、更适合具体部署环境的实际需求。二是微型机器学习(TinyML),旨在低于1mW功耗下(如纽扣电池)运行机器学习,解决成本和功率受限系统中完成机器学习任务,是物联网领域AI的主要方向之一。
推荐阅读: