基于多模态智慧感知决策的S230芯片

人工智能时代到来，各类智能设备轮番亮相。但多数智能设备独立运行，导致设备间信息割裂严重，单一传感器信息不足以有效处理多场景变化，于是，多模态融合感知的概念在近些年渐渐得到大家的关注。    

何为多模态融合感知？

先来一道测试题

提到多模态融合感知， 我们难免会觉得有些困惑   “模态”，可理解为“感官” 多模态即将多种感官融合   不够直观？   那今天我们就以一道竞猜题开场   请根据以下线索猜猜这是什么物品？  

线索1 红色的果肉、黑色的籽 深浅交错的绿色纹路、多为圆形或椭圆形  

线索2 甜的、脆脆的或者沙沙的、汁水很多  

线索3 买之前要拍一拍，判断它的质量如何  

线索4 有一种清清凉凉的味道     答案揭晓： 是西瓜   显然 不是排球足球 不是手榴弹 当然更不是球型坦克（bushi）   这个题目很简单，对吧？   但其实在这个看似简单且日常的判断过程中，我们无时无刻不在使用自己的“多模态融合感知”功能。   我们的线索1（视觉）、线索2（味觉）、线索3（触觉、听觉）、线索4（嗅觉）等多种感官信息被传回大脑，进行处理得出结论——单就个体而言，这样的信息处理过程我们每天要进行成千上万次。  

如果把我们自身比作一台精密的仪器，大脑就是芯片，它会对源源不断涌入的数据流进行高速处理。   S230就是这样一款专门应用于多模态智慧感知决策的芯片——智能设备的“大脑”

感知模态有几种？

从单一感知到万物互联

假如我们把“模态”理解为我们人类的各种感官，那么这些收集+处理感官信息流并为我们提供可靠的决策依据就是未来智能硬件必然具备的核心能力。   从目前市面来看，AI设备中感知模态主要有以下几种：   1.语音交互，包括语音指令控制、语义理解、多轮对话、NLP、语音精准识别等领域；  

2. 机器视觉，包括自然物体识别、人脸识别、肢体动作识别等；  

3. 传感器智能，包括AI对热量、红外捕捉信号、空间信号的阅读与理解。  

把这几种“感官信息”融合在一起，AIoT设备就可以在单纯的能听会说之外，同时还用摄像头观察、用传感器判断。   比较前沿的多模态感知还包括机器嗅觉，机器触觉和表情、情绪理解等内容，但目前实际多模态感知技术的落地还有很长的路要走，海量数据的高速传输与处理是核心的落地瓶颈，在边缘端实现的智能化感知是最核心的解决方案之一。                            

S230有何过人之处？

从单一感觉到万物互联

PIMCHIP-S230使用存内计算技术，为多模态融合感知决策芯片提供了强劲动能，这是多模智慧感知的坚实一步，它采用新型存内计算芯片架构，将不同传感器所带来的“线索”传给芯片进行综合解析并为我们做出关键决断提供准确的信息。       此外，S230以其极低的功耗、合理的算力、灵活方便的部署方式以及成熟完善的软件工具链，为不同的行业场景提供性价比最高的MCU+AI多模态融合感知解决方案，此款芯片产品将应用在可穿戴设备、智慧工业、智慧生活等多个领域，打造新型智能感知生态，为各产业智慧化赋能。      

编辑：黄飞