7月4日-7月7日,2024寰宇东说念主工智能大会(WAIC)暨东说念主工智能大师管理高等别会议在上海举行，岩芯数智RockAI携Yan1.2多模态大模子亮相。
在大会现场，研发团队展示了一款部署了Yan1.2多模态大模子的智能机器东说念主小智，它大略基于Yan1.2的语音和视觉处理才智，及时识别环境、准确瓦解用户的蒙胧教导和意图，并据此扫尾其机械躯体高效完成各样复杂任务。值得一提的是，这次“小智”机器东说念主搭载的中枢硬件所以低算力著称的树莓派第五代芯片。在极低算力的开采上竣事了广宽的多模态才智。据悉，树莓派的算力唯有正常电脑的八分之一，可等闲期骗于物联网、工业自动化、智能家居等场景及开采，比喻门禁、机器东说念主等末端，同期，大部分情况莫得联网。而当今的Transformer大模子不经压缩和编订是很难部署到树莓派上的在向更多低算力端侧开采兼容的路上，RockAI一边通过自研底层架构减少算力花消，一边凭借算法翻新进一步降本增效，冲破大模子在端侧部署“有损压缩”的魔咒。在PC端和手机端，Yan1.2可运动地实验大限制数据集的当然话语处理任务和复杂策画，无需依赖云霄即可竣事快速反映，竣事每秒20+tokens的输出，其Agent联动才智可字据用户教导进行图文识别、主体创作等多项任务，为用户提供更优质的体验。而在树莓派这么的小型策画机上，Yan模子致使竣事了每秒6-7个tokens的反映速率。
公开云尔清楚，在本年1月，RockAI推出了国内首个非Attention机制的Yan架构，以线性策画取代Attention，大幅镌汰算力需求。其云霄大模子以百亿级参数失色千亿参数大模子性能后果的同期，Yan1.0版块在个东说念主电脑端的告捷启动，也阐明了Yan模子“原生无损”在主流消费级CPU等端侧开采上启动的实操性。历经半年的期间更新和迭代升级，Yan1.2更进一步，以6+ tokens/s的速率“原生无损”跑通树莓派，盛开了低算力开采端及离线多场景期骗的大门。以往关于大模子的开发主若是通过预磨练和后期的微调对皆，关于大模子在通用场景的使用来说绰绰过剩，但换一个莫得进程预磨练的职责场景，一切都要重新再来。据悉，在Yan架构假想之初，RockAI创举性地提议了相应的措置决策——“同步学习机制”，也等于让模子具备及时学习的才智，不错在推理的同期，及时有用且握续性地进行常识更新和学习，无需“返厂”进行再次更新或预磨练，从而使得大模子不错像东说念主类学习同样诞生我方特有的常识体系。正如RockAI CEO刘凡平所说：“咱们所构思的通用东说念主工智能,是在诸如智高手机、机器东说念主以过甚他万般化开采上展现出的不凡妥当力与高度个性化的交互才智。RockAI期待大略从新界说大模子的价值，让寰宇上每一台开采都领有我方的智能，让每个东说念主都能领有专属的个性化东说念主工智能做事。”举报/反馈","del":0,"gnid":"92eeec33c79d3118e","img_data":[{"flag":"2","img":[{"desc":"","height":"451","title":"","url":"http://p9.img.360kuai.com/t11508c75c8a47e4e1901f38e2e.jpg","width":"600"},{"desc":"","height":"451","title":"","url":"http://p9.img.360kuai.com/t11508c75c83ee5cf65172866fb.jpg","width":"600"}]}],"original":0,"pat":"art_src_6,fts0,sts0","powerby":"cache","pub_time":1720143240000,"pure":"","rawurl":"http://zm.news.so.com/11d28e54325634c3359794a9a6342d90","redirect":0,"rptid":"540f73dac94f0e1d","rss_ext":[],"s":"t","src":"中国网科技","tag":[{"clk":"ktechnology_1:机器东说念主","k":"机器东说念主","u":""},{"clk":"ktechnology_1:东说念主工智能","k":"东说念主工智能","u":""},{"clk":"ktechnology_1:小智","k":"小智","u":""}],"title":"岩芯数智RockAI冲破“有损压缩”魔咒 助低算力开采竣事广宽多模态才智","type":"zmt","wapurl":"http://zm.news.so.com/11d28e54325634c3359794a9a6342d90","ytag":"科技:东说念主工智能:AI期间","zmt":{"brand":{},"cert":"中国网科技官方账号","desc":"中国网科技频说念官方账号","fans_num":613,"id":"2695484595","is_brand":"0","name":"中国网科技","new_verify":"4","pic":"https://p3.img.360kuai.com/t01faba5edead4ac8c9.jpg","real":1,"textimg":"https://p9.img.360kuai.com/bl/0_3/t017c4d51e87f46986f.png","verify":"0"},"zmt_status":0}","errmsg":"","errno":0}
