爱芯智眸AI-ISP架构打破传统ISP成像的‘天花板’

 

2023年7月19-21日，第五届世界半导体大会暨南京国际半导体博览会顺利举行。19日下午，“2023年长三角集成电路产业创新发展论坛”在大会同期平行举办，爱芯元智高级总监张兴出席论坛，并发表了《AI-ISP和端侧AI的发展》的主题演讲。

本届大会由江苏省工业和信息化厅、南京江北新区管理委员会联合主办，以“芯纽带，新未来”为主题，旨在向全球业界呈现一场集行业交流、渠道联动、资源聚合为一体的产业顶尖盛会。

 

在长三角集成电路产业创新发展论坛上，张兴就爱芯智眸AI-ISP的架构创新展开了介绍：“目前，爱芯智眸AI-ISP是通过AI赋能ISP Pipeline里最关键的四个模块——HDR、3DNR、RLTM和Demosaic，即通过AI训练的方式不断提升这四大模块的性能，打破传统ISP成像的‘天花板’。”

在实际应用中，爱芯智眸AI-ISP通过迭代软件模型即可提升性能，快速实现芯片产品画质的升级换代。这意味着，爱芯元智用一颗芯片就能实现对不同场景、不同市场的覆盖，这既能降低AI综合应用成本，也是对生产力的极大提升。

当前，爱芯元智不仅在继续优化和迭代HDR、3DNR、RLTM和Demosaic相关的AI算法，也在探索将传统ISP Pipeline上的其他模块进行提升以及AI化。此外，爱芯元智另一大核心自研技术：爱芯通元混合精度NPU，则在算力层面表现优异，进一步加快了AI开发的落地效率。

今年以来，大模型的火热带领AI发展步入新阶段，爱芯元智认为，基于图像处理的实时性、可靠性的高要求，以及隐私保护、安全的需求，未来AI将从云端逐渐落地到端侧边缘侧，这也将对端边算力提出更高要求。

爱芯元智第三代、第四代芯片所搭载的爱芯通元混合精度NPU都支持Transformer大模型。随着大模型的发展，爱芯元智也在积极探索通过大模型实现更好的AI-ISP效果，以技术创新解决低照和高动态的行业核心痛点，爱芯智眸AI-ISP打造的黑光全彩相机等新品类，也正在为人们解锁更多视界，未来或将引领一个全新成像时代的到来。
        责任编辑：彭菁