比特币钱包下载安装手机版|isp芯片

作者：比特币钱包下载安装手机版

2024-03-07 19:22:57

ISP芯片是什么类型的芯片？ - 知乎

ISP芯片是什么类型的芯片？ - 知乎首发于电子元器件IC芯片线上商城平台-亿配芯城切换模式写文章登录/注册ISP芯片是什么类型的芯片？电子元器件亿配芯城（深圳）电子科技有限公司总经理在我国“芯片之战”进入白热化阶段时，小米闷声放大招，在新品发布会上推出自研芯片——ISP芯片。在众人心潮“澎湃”的同时，ic电子交易网知道肯定有不少人发出疑问：ISP芯片是什么？01ISP芯片关于拍照，我们平常听的最多，是手机相机用了什么传感器（比如索尼IMX586），用了什么镜片（比如iPhone的蓝宝石玻璃）。但我们往往忽略了背后默默工作的这位功臣：ISP。 ISP，即“Image Signal Processor”（图像信号处理器）的缩写，是用来对前端图像传感器输出信号进行处理的单元。通俗来理解就是，ISP 所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平，让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。一个ISP其实是一个SoC核心，内部包含CPU、SUP IP、IF 等单元，可以运行各种算法程序，实时处理图像信号。ISP的控制结构由ISP逻辑和运行在上面的Firmware两个部分组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息进行重新计算，反馈控制Lens、Sensor和ISP逻辑，以达到自动调节图像质量的目的。（图源：CSDN《ISP图像信号处理算法概述》）根据专业人士的介绍，ISP的具体处理流程是这样：Lens 将光信号投射到sensor 的感光区域后，sensor经过光电转换，将Bayer 格式的原始图像送给ISP，ISP经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这一过程中，ISP通过运行在其上的Firmware固件对ISP逻辑，从而对Lens 和sensor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，Firmware的运转靠视频采集单元的中断驱动。PQ Tools工具通过网口或者串口完成对ISP 的在线图像质量调节。（图源：CSDN《ISP图像信号处理算法概述》）用我们拍照时常说到，就是图片的锐化、降噪、优化色彩等都是在ISP中处理完成的，而且ISP还肩负着实现相位、激光、反差等混合对焦运算以及提供对多摄像头支持等重任，是手机拍照中必不可少的关键一环。最终我们看到，ISP芯片就像一个光的美颜师一样，使得我们在按下快门的一刹那获得如此多的画质调节和改善，也能在拍摄前主动地选择各种拍摄场景模式，进行各种拍摄参数的微调，让每个人都能成为影像大师。02成为移动终端图像处理核心：ISP的产业跃迁 ISP的出现是和人类对拍摄图像的高质量要求密切相关的。 NASA对月球进行勘探时，发现模拟相机在月球上拍摄的照片十分微弱不清，无法反映真实情况。此后美国发展出的CCD图像传感器解决了这一问题，为了确保CCD拍摄的图像能够清晰和真实地显示，就需要对CCD采集的图像进行处理，这样ISP图像信号处理器得以诞生。随着数码相机和摄像机的广泛应用，ISP技术也得到了快速发展。在推进高清视频、图像产品的过程中，ISP技术的创新发挥了巨大作用，ISP也从高清摄像机的辅助技术逐步演变为关键核心技术。一些高清监控硬件厂商为进一步提升画质，开始将CCD传感器替换为CMOS图像传感器，这样就将ISP内置到CMOS中，在节约空间的同时也降低了功耗。因此，这一创新使得高清摄像机市场实现了从模拟到数字信号的升级。一般来说，不同的ISP匹配不同厂商的CMOS图像传感器，大部分内置ISP功能的视频芯片对CMOS芯片的支持都比较完善，可以直接对接各主要厂商的主要产品，使得摄像机体积更小、产品形态更多，不仅推动在高清摄像机上高清SoC芯片的研发，也让CMOS和ISP的组合在移动智能设备中广泛普及。现在，每一款配备摄像头的移动设备都搭载了ISP芯片。不过对于很多国内智能手机厂商而言，他们通常会宣传自己的产品采用了索尼的CMOS图像传感器，甚至给出这一感光元件的具体型号，还给出一个多镜头阵列的分解图。但是消费者在拿到手之后，用它拍摄出来的照片并不能如预期的那么好，其中一个很大的原因就是ISP，就在于这些厂商虽然拿到了高品质的光学和感光元件，但是ISP没有能够跟上。这也是为什么在现代芯片技术已经能够把ISP整合进手机处理器里，小米依然费尽心思额外做一枚。现在，主要的智能移动设备的芯片厂商、IP提供商以及智能手机制造商都在推出自己的ISP芯片，但是ISP仍然存在着较大的技术壁垒。首先，ISP中大量模块的算法是相互影响的，其众多算法需要诸多的调校工作在其中，这需要大量而长期的经验积累。其次，作为商用的ISP，需要众多的新功能模块，比如X-talk串扰，VSM等模块的加入，这也增加了ISP的技术壁垒。另外，ISP的技术需要长期积累，需求少、学习周期长，人才匮乏。因此ISP人才团队组建也是一个考验公司投入力度、技术积累的刚性条件。这让领先的ISP技术更容易被那些有先发优势、多年积累的芯片大厂和老牌制造商，比如苹果、高通、三星、联发科等大厂所掌握。但越来越多的手机芯片厂商开始自研ISP和算法，华为海思就是从麒麟950开始集成自研的950芯片，使得华为P9开始跻身主打摄影拍照手机的第一阵营。作为全球移动CPU芯片核心IP提供商的ARM也在2018年推出了首款ISP芯片，最初是面向汽车设备的移动影像处理，随后又推出了两款针对移动终端和物联网设备的ISP芯片全新ARM Mali-C52和Mali-C32。ARM的ISP在处理每一像素时会有超过25个步骤的处理，其中包括高动态范围(HDR)、降噪以及色彩管理的三个关键步骤对图像输出质量起到了决定性的影响。我们注意到，在对这些ISP产品的梳理中，图像信号处理和AI视觉处理正在协同发展，既要“可看”又要“看懂”的图像处理，成为未来视觉设备发展的关键。03新机遇：视觉处理器与ISP芯片的共生共成人工智能技术作为全新的技术变革要素进入到成像产业领域，使得图像的处理和计算迎来更多的挑战，现在除了ISP芯片之外，还需要加入具有AI能力的视觉处理器（VP）芯片。现在，ISP芯片处在低速稳定的增长阶段，而VP芯片则呈现爆发式增长。根据Yole的一份市场统计，VP芯片从2018年至2024年期间的复合年增长率（CAGR）高达18%，预计2024年将达到145亿美元规模。同时，ISP芯片保持低速稳定增长态势，2018年至2024年期间的复合年增长率仅为3%，预计2024年将达到42亿美元规模。现在，我们携带的移动智能设备和IoT设备中，对于图像的处理和计算，不仅仅要实现“查看”的功能，看要实现“分析”的功能，因此，图像硬件厂商越来越多的要在硬件系统中加入支持人工智能算法特别是深度学习的软件集成，从而让图像硬件系统超越“拍摄图像”的限制，能够实现“分析图像”的能力。对于我们消费者而言，最主要的感受就是智能手机的人脸识别以及现在一些手机摄像中具有的AI美颜以及拍照识物的功能。而在众多智能视觉领域，VP+ISP的融合已经掀起了一场全新的智能化变革，未来可以适用于安防监控、AIoT 及智能汽车等领域的视频、图像处理工作，满足不同场景的数据处理需求。因此，视觉处理器的爆发式发展，与ISP产业的发展是并行不悖的，因为想要实现智能视觉，就必须考虑选择适合的前端图像处理方案。如果前端图像处理的输出非常糟糕时，那视觉处理系统的结果也会非常糟糕。智能视觉系统必须要有可靠的输入才能产生可靠的结果，这正是无法离开一颗强大的ISP的根本原因。发布于 2021-04-27 13:39图像信号处理器ISP (Image Signal Processor)图像传感器SoC赞同 541 条评论分享喜欢收藏申请转载文章被以下专栏收录电子元器件IC芯片线上商城平台-亿配芯城关于集成电路IC半导体芯片设计的

分析丨图像信号处理ISP有哪些产品趋势？ - 知乎

分析丨图像信号处理ISP有哪些产品趋势？ - 知乎切换模式写文章登录/注册分析丨图像信号处理ISP有哪些产品趋势？芯查查电子信息产业数据引擎、电子人的数字化家园国内手机厂商在高端化进程中，自研芯片不是新鲜事，从小米澎湃C系列、vivo芯片V系列，到OPPO曾经发布的专用NPU芯片MariSilicon X，这些自研芯片均与图像信号处理（ISP）相关，涉及使用算法实现校正失真、消除噪声、调整亮度和对比度等图像视频增强功能。国内手机厂商自研芯片以影像芯片为切入点，源于ISP影像核心技术和系统定制能力相对容易掌握，有助于实现产品差异。然而，芯片的功能越来越密集，设计集成度提升，ISP作为功能模块被集成到SoC芯片中变得更加常见，也就出现了不同的ISP产品形态。ISP产品形态多样化传统ISP通常为独立芯片，代表厂商为富瀚微；CMOS图像传感器（CIS）通常集成ISP，比如思特威的产品主要是集成ISP的CIS，豪威科技（OmniVision）具有更丰富产品组合，布局“ISP芯片+集成ISP的CIS”；NXP、Nextchip在ISP方面的产品形态主要为“ISP芯片+集成ISP的自动驾驶SoC”；面向汽车市场，Mobileye、NVIDIA、黑芝麻智能等厂商也推出了集成ISP的自动驾驶芯片。独立ISP芯片性能强、成本高；集成式ISP成本低、面积小、处理能力不及独立芯片。总体来说，推动集成ISP的主要是CIS厂商；汽车主控SoC供应商也开始在其产品中集成ISP，可降低摄像头硬件成本和尺寸，解决高像素摄像头散热问题。图注：全球ISP相关厂商（来源：芯查查）图注：三种ISP方案人工智能与ISP融合ISP的技术进步之一是运用AI增强图像和视频质量，AI ISP芯片应运而生。AI提升消费电子中的ISP水平，常见的作用是在弱光条件下降低图像噪声、提高图像清晰度；识别图像中的各种场景或物体，实现相应的控制功能。在自动驾驶汽车领域，AI ISP处理实时图像，准确识别汽车周围环境，辅助驾驶决策。AI主要克服传统ISP在照明条件不佳、或者高速移动情况下的成像问题，增强汽车对潜在危险做出反应的能力，提高行车和道路安全。在安防领域，AI ISP更有效地处理闭路电视图像，帮助检测可疑活动、识别人脸或识别无人看管的物件，提供实时警报和增强整体安全措施。ISP汽车前装市场受益于自动驾驶和ADAS自动驾驶和ADAS兴起，实时图像处理至关重要，要求ISP近乎实时地执行对象跟踪、运动估计和深度感知等复杂任务。同时，车载摄像头数量不断增加，摄像头不仅被用于自动驾驶和ADAS，还被用于驾驶员监控系统和整体态势感知，因此需要能够同时处理多个视频流的复杂ISP。应用场景和设计要求的变化对ISP提出了更高的要求。图注：汽车使用摄像头数量在汽车前装市场上，ISP用于驾驶辅助系统和车载娱乐系统。在驾驶辅助系统中，ISP芯片实现高清晰度的摄像头图像处理，对自动紧急制动、盲点监测、车道保持辅助等至关重要。汽车厂商越来越多地在车载娱乐系统中使用高清晰度显示屏和多媒体功能，推动ISP的单车使用数量。在汽车后装市场上，ISP应用相对较少，因为目前消费者对于后装ISP需求相对较低，汽车后装市场规模较小。但是随着安全意识高涨，对驾驶辅助和安全监控功能需求增加，后装市场潜力也在逐渐释放。部分国内ISP厂商根据芯查查产业链地图显示，ISP主要品牌包括PIXELPLUS、富瀚微、德州仪器、ADI、意法半导体等，其中国内厂商富瀚微产品比较丰富，包含数款车规级产品。根据公开资料，下文介绍3家ISP国内厂商的产品，仅供参考。1、富瀚微富瀚微产品包括安防视频监控多媒体处理芯片、数字接口模块，包括ISP芯片、IPC SoC芯片、DVR SoC芯片和数字接口模块。富瀚微的ISP产品已演进到第7代，在图像增强、降噪、宽动态、色彩还原、低照度等方面产品表现较好。图注：富瀚微ISP部分产品（来源：芯查查）富瀚微2023下半年车规级ISP随着设计导入结束，预计会贡献营收。此外，富瀚微半年报显示，2023年上半年营业收入88,352.30万元，同比下降24.09%；实现归属于上市公司股东的净利润12,848.64万元，同比下降46.96%。其中，第二季度，公司实现营业收入46,783.07万元，环比一季度上升12.54%，实现归属于上市公司股东的净利润6,998.43万元，环比一季度上升19.63%；营收和利润均开始环比上升。报告期内，公司研发投入14,722.08万元，占营业收入比例16.66%。主要投向高性能人工智能边缘计算系列芯片项目、车用图像信号处理及传输链路芯片组、高性能视觉处理SoC项目、新一代系统平台项目、多标准视频编解码器项目的开发，以及新技术的预研、研发人力等。截至2023年6月30日，公司有研发人员407人，占公司员工总数的84%，硕士及以上学历201人，占研发人员比例49%，本科学历203人，占研发人员比例50%。2、芯原微电子芯原微电子（下文称芯原）是一家提供芯片定制服务和半导体IP授权服务的企业，推出一系列AI-ISP、AI-GPU。芯原AI-ISP利用人工智能技术解决了传统ISP面临的挑战，比如低光、降噪、去马赛克、HDR和快速准确的自动对焦。芯原的“FLEXA”技术将AI引擎与ISP IP相结合，实现增强功能的同时在ISP和AI引擎之间不引入额外帧缓冲延时和DDR带宽。芯原AI ISP技术可帮助客户在智能手机、安防摄像头、汽车等产品和应用领域实现低功耗AI降噪。图注：芯原正在研究的ISP相关项目（来源:芯原）在图像信号处理器技术上，芯原的关键技术包括ISP高动态范围处理、去镜头阴影、去坏点、时域和空域去噪声、彩色噪声抑制、动态范围压缩、去马赛克插值、伽马校正、对比度增强、边缘增强、色彩校正、图像缩放、自动曝光、自动白平衡、自动对焦、与传感器系统交互以及标定，调试软件工具开发。芯原图像信号处理器产品线包括ISP8000Pico、ISP8000Nano、ISP8000L、ISP8000、ISP8200L-FS、ISP8200-FS、DW100、DW200、DW200-FS等产品，可针对不同应用市场优化芯片面积和成本。在车规级产品方面，芯原2021年推出ISO26262 ASIL-B级别汽车功能安全标准认证的ISP8000L-FS版本；2022年6月再度获得IEC 61508:2011SIL 2级工业功能安全标准认证，以上证书均由功能安全咨询公司ResilTech颁发。此外，芯原研究并定义了新一代的ISP8200系列产品，单个ISP IP支持高达8颗摄像头和2.0GPixel/s的高吞吐率像素计算，基于ISO26262开发流程并设计实现车规安全机制，可以满足无人驾驶领域的应用需求，在市场上具备较强的竞争力。3、国科微国科微在ISP和视频编解码技术上形成深厚积累，其高清智能网络摄像机SoC芯片集成嵌入式中央处理器、图像信号处理模块、视音频编码模块、视频智能算法处理模块、安全加密模块、网络接口模块、存储模块等，核心技术是ISP及编码模块。国科微在ISP、编解码、NPU等核心技术持续投入，新一代普惠型智能视频编码芯片已完成样片验证以及客户侧导入，进入批量推广阶段；该芯片集成轻量级边缘算力加速引擎，将为市场提供更具性价比的智能解决方案。图注：国科微视频编解码芯片集成ISP技术（来源：国科微、国海证券）上半年，国科微视频解码系列芯片产品实现销售收入159,058.55万元，同比增长49.13%，占公司上半年营业收入的62.60%。视频解码系列芯片产品主要有GK62系列、GK63系列、GK65系列、GK67系列以及GK68系列等，分别对应高清机顶盒芯片、超高清4K机顶盒芯片、超高清8K机顶盒芯片、TV/商显芯片和AR/VR处理芯片，产品具有高集成度、低功耗等特性，支持TVOS、国密、AVS等多项国产技术标准。小结ISP运用领域很多，同样具有潜力的应用还包括：在虚拟现实（VR）和增强现实（AR）中，ISP用以生成逼真图形并增强用户体验；ISP在工业环境中检查产品，检测缺陷和分析生产过程，提高产品质量并降低制造成本；ISP使机器人能够感知周围环境并与之互动，推进机器人技术并增加其在各个行业的采用；ISP可以帮助提高无人机摄像头的图像质量和稳定性，ISP还可以实现目标跟踪、地形建模等高级功能，为无人机应用提供更多可能性。ISP国产化已经渗透许多细分领域，厂商关注产业链整合，与上游CIS、算法等相关厂商进行合作，实现从硬件到软件的全面掌握，将有助于提升产品竞争力和市场占有率。发布于 2023-09-07 15:36・IP 属地广东图像信号处理器ISP (Image Signal Processor)图像处理数字信号处理赞同 41 条评论分享喜欢收藏申请

5分钟理解相机ISP (图像信号处理) - 知乎

5分钟理解相机ISP (图像信号处理) - 知乎首发于人工智能商机切换模式写文章登录/注册5分钟理解相机ISP (图像信号处理)人工智能商机微信公众号：人工智能商机。搜索公众号：aibizopp原文：https://mp.weixin.qq.com/s/UanwwJAPuJGXZCiuZ-QoSQ引言凡是在图像领域工作的人，都会经常听到ISP (Image Signal Process, 图像信号处理)，知道ISP对图像质量非常重要。比如华为和小米竞争手机拍照和录像效果，主要的竞争领域就是ISP；做AI (Artificial Intelligence, 人工智能) 的人也知道，如果ISP不给力，后续的AI处理效果会受到影响。ISP在视觉处理过程中的位置（图中的成像引擎）以前，我们想了解一下ISP里面到底有什么，会拿到一个巨大图，伴随一个名词列表，搞不清重点。再请教几位做图像的教授，他会说，你说的都是工程问题，我现在在研究更深奥的课题，比如三维重建，语义分割，人体运动捕捉等算法。What？我就是为了这些AI算法，遇到了ISP的瓶颈。为什么相机的CMOS传感器(Sensor)输出的原始数据(raw data)不能做好一点，不要让ISP做这么复杂？现在的ISP通常做了哪些工作，每个工作的原因是什么？处理的原理是什么？哪些处理对于图像效果最明显？哪些处理比较成熟？接下来我们就来回答。Sensor输出的原始数据和人类预期的图像有巨大差异需要ISP模块的原因有2个方面，第一是镜头和Sensor的物理缺陷(不完美)，第二是拍摄的光线条件多样，镜头和Sensor需要根据环境做适应（就像人眼要通过瞳孔缩放，适应环境明暗一样）。由于这2个方面原因，如果没有ISP模块，现在无法让我们生成人类预期的图片质量。如下图，是几幅油画，这就是人类期望的调整ISP成像效果的方向。梦幻田园│法国画家Jean Marc Janiaczyk油画作品跨越阿尔卑斯山圣伯纳隘口的拿破仑│法国画家雅克-路易·大卫 (1801-1805年)抱陶女│画家谢楚余油画作品(1997年)再来一张Sensor输出的Raw Data的效果，可以看到效果很差（注意是正常室内光线下）：Sensor的问题以及ISP的处理原理镜头和Sensor的物理缺陷(不完美)导致以下问题，需要ISP模块去补偿。问题一：Sensor有漏电流。由于Sensor漏电流存在，刚把镜头放入一个全黑的环境，Sensor输出的原始数据不为0；而我们希望全黑时原始数据为0.处理模块名称：BLC(BlackLevel Correction)------黑电平校正处理原理：我们需要找到一个矫正值，所有像素值都减去这个值，就得到一个矫正成功的结果。一般情况下，sensor的传感器周边，还有一小部分区域是有感光器的，但是没有光透射进来。可以把这部分的传感器的信号作为矫正值，从可感光部分的信号中减去，就可获得校正后信号。处理流程：在运行时调整，不需要依赖人工矫正。处理效果：处理方案成熟。左边是未校验的，右边是矫正后的图像问题二：通过镜头到达Sensor中间的光多于到达Sensor的边缘的光，即光学系统中的渐晕。这是由于随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少。导致Senor捕获的图像中间亮度高，周围边缘亮度低。处理模块名称：LSC(Lens Shade Correction)------镜头阴影校正处理原理：首先检测出图像中间亮度比较均匀的部分，认为这部分不需要矫正，然后以此为中心，计算出周围区域需要补偿的因子（增益）。实际项目中，可以把镜头对准白色物体，检查图像四周是否有暗角。处理流程：在运行前依赖人工矫正。处理效果：处理方案成熟。下图左边图像是未做镜头阴影校正的，右边图像是做了镜头阴影校正的。问题三：Senor上有的像素点的输出有坏点。由于Sensor是物理器件，有坏点是难以避免的；而且使用时间长了坏点会越来越多。通过在全黑环境下观察输出的彩点和亮点，或在白色物体下观察输出的彩点和黑点，就可以看到无规律的散落在各处的坏点。处理模块名称：BPC(Bad Point Correction)------坏点校正也叫Defect Pixel Correction(DPC)处理原理：第一步：检测坏点。在RGB域上做5x5的评估，如果某个点和周围的点偏离度超过阈值的点为坏点。为了防止误判，还需要更复杂的逻辑，如连续评估N帧。第二步：纠正坏点。对找到的坏点做中值滤波，替换原来的值即可。处理流程：在运行时调整，不需要依赖人工矫正。处理效果：NA。问题四：Cmos的Sensor采用了Bayer色彩滤波阵列(Bayer Color Filter Array，CFA)。按道理sensor输出的是RGB的raw data，每个像素点都感知RGB 3个分量的数字这样最准确。但是这样需要3套感光板，而且RGB的3套数据还需要时间同步和对齐，这样成本高，难度大。所以，我们通常采用一个叫Bayer色彩滤波阵列(Bayer Color Filter Array，CFA)的滤光板，放在一个感光板上。如下图是一个8x8的分辨率的感光面板，图(a)中彩色部分是Bayer色彩滤波阵列，RGB三种颜色间隔排列。这样一次拍照就产生图(b)的RGB三幅图片，图片中彩色的是有感光数值的，白色空白是没有感光数值的点。我们需要通过Demosaic（颜色插值）的方法，把白色的像素点的值给补上。图(b)绿色的像素点数目是红色或蓝色的2倍，是因为人类对绿色更敏感。Bayer色彩滤波阵列的结构：(a)在Sensor表面的CFA; (b)颜色分量的光分离和导致的传感器的不同像素点注：Bayer色彩滤波阵列并不是唯一选择，它只是方案之一，由柯达公司科学家Bayer发明。华为P30pro夜间拍摄牛逼，用到了RYYB的滤镜阵列设计，RYYB就是将两个绿色像素（G）换成黄色像素（Y）替代, Y(红色和绿色组合)。处理模块名称：Demosaic------颜色插值处理原理：在补充图(b)中白色像素点的数值时，我们可以认为每个白色像素点的值，和他附近的同色点的值相近。所以，最简单的方法是内插法。处理流程：在运行时调整，不需要依赖人工矫正。处理效果：较成熟。下图左侧是Demosaic前的，右图是Demosaic后的。问题五：Senor获取的图像中有大量噪声。Senor的感光器件包含模拟部分，所以信号中的噪声很难避免，ADC器件本身也会引入噪声。另外，当光线较暗时，整个系统需要将信号放大，这样噪声也跟着放大。我们在看没有经过降噪处理的图片时，会感觉到图片上浮了一层彩色雪花点。处理模块名称：Bayer Denoise-----去除噪声处理原理：对图像进行降噪处理的传统方法有均值滤波、高斯滤波，本质是低通滤波器。普通的高斯滤波只考虑像素的空间距离关系，这样会导致滤波后图像变得模糊，为了避免图像变模糊，就需要保持图像的边缘，这时，就还要考虑相邻像素和本像素的相似程度，对于相似度高的像素给予更高的权重，我们称这种滤波为双边滤波。处理流程：部分参数可提前调校（tuning），如调整滤波强弱。处理效果：比较成熟。下面左边是滤波前的图像，右边是滤波后的图像。问题六：Senor获取的图像容易受到光源颜色的影响。人类的视觉系统有一定的颜色恒常性特点，不会受到光源颜色的影响。实际生活中，不论是晴天、阴天、室内白炽灯或日光灯下，人们所看到的白色物体总是是白色的，这就是视觉修正的结果。人脑对物体的颜色有一定先验知识，可识别物体并且更正这种色差。但是Sensor不具备这样的特点，比如一张白纸，在不同光线下，Sensor输出的是不同颜色，在低色温下偏黄，在高色温下偏蓝。如白炽灯照明下拍出的照片易偏黄；而在户外日光充足则拍摄出来景物也会偏蓝。我们就需要，让不同色温光线条件下白色物体，Sensor的输出都转换为更接近白色。处理模块名称：AWB（Automatic White Balance）------自动白平衡处理原理：比较常用的WEB算法有灰度世界、完美反射法等。灰度世界（Gray World）算法基于一个假设：平均来讲，世界是灰色的。所以，白平衡就是调整R/B增益，达到R、G、B 相等。白平衡有3个步骤：（1）检测色温，如果手工调节，就知道图像中什么位置是白色物体了，色温容易检测；如果是自动调节，就需要估计出（猜出）图像中的白色位置，这是最重要的一环；实际计算中为了实时操作，减少计算量，通常选取某个特定区域(如图像中央)像素进行计算。但若图像颜色较为单一或选定区域正好落入大的色块（红光下的白墙），以上算法求得的色温会非常不准确。为此，必须根据一定的约束条件，挑选出白色像素来计算色差。（2）计算增益，计算R和B要调整的增益；调整增益将Cb和Cr调整到0 (或接近0)的两个系数，即R=G=B。（2）色温矫正，根据增益调整整幅图片的色温。处理流程：自动校正。处理效果：现阶段大多数的数码相机、拍照手机的白平衡的功能都已相当准确。白平衡对色彩效果影响很大，一个好的算法能够使色彩效果更逼真，也可以利用白平衡达到艺术效果。问题七：Senor滤光板处各颜色块之间的颜色渗透带来的颜色误差。所以，Sensor图像传感器获取的图像，与人们期望的颜色有距离，必须矫正。AWB已经将白色校准了，CCM就是用来校准除白色以外其他颜色的准确度的，处理模块名称：CCM（Color Correction Matrix）------颜色校正处理原理：一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较，以此来计算得到一个校正矩阵，一般情况下，对颜色进行校正的过程，都会伴随有对颜色饱和度的调整。颜色的饱和度是指色彩的纯度，某色彩的纯度越高，则其表现的就越鲜明；纯度越低，表现的则比较黯淡。用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest（一款专业的图像分析软件，具有强大的图像分析和处理功能）分析来做分析参考处理流程：依赖手工校正。处理效果：大家可以看到，右侧的24色卡图片是经过颜色校正的，色彩艳丽了很多。问题八：人眼对暗部细节比Sensor敏感。人眼不同于摄像机，接收光子来感知光线。比如：在一间小黑屋中每增加一盏灯，摄像机都能线性增加亮度。但是人眼在黑暗时增加一盏灯时感受明显，往后随着灯的个数增长人眼并不会有明显感受。如果将实验做成图表，如下图所示，蓝色为人眼，紫色为摄像机。处理模块名称：RGB Gamma------Gamma校正处理原理：Gamma编码后的图像相比于线性编码的图像，明显有更多的暗部色阶。Gamma编码刚好满足了人眼对暗部细节敏感的特性。即人眼是按照gamma < 1的曲线对输入图像进行处理的（公式f(I)=I^gamma，I为原图像素值）。现在常用的伽马校正是利用查表法来实现的，即首先根据一个伽马值，将不同亮度范围的理想输出值在查找表中设定好，在处理图像的时候，只需要根据输入的亮度，既可以得到其理想的输出值。处理流程：可手工校正Gamma参数。处理效果：左图为原图，中图为gamma = 1/2.2在校正结果，右图为gamma = 2.2的校正结果。问题九：Senor的输出的Raw data是RGB，但是有的处理在YUV上更方便，且YUV存储和传输时更省带宽。在YUV 色彩空间上进行彩色噪声去除、边缘增强等更方便。处理模块名称：RGBToYUV------色彩空间转换处理原理：YUV 是一种基本色彩空间，人眼对亮度Y改变的敏感性远比对色彩变化大很多，因此，对于人眼而言，亮度分量Y 要比色度分量U、V 重要得多。所以，只有YUV444格式的YUV数据的比例是1:1:1，其他各种格式，如YUV422，YUV420等格式，UV的数据量都小于Y，达到节省存储空间和传输带宽的目的。YUV数据的概念就是这样简单。（在编程时查一下文档，再搞清楚内存排布即可）第二，RGB和YUV转换有固定的公式。另外，在YUV 家族中, YCbCr 是在计算机系统中应用最多的成员, 其应用领域很广泛，JPEG、MPEG均采用此格式。一般人们所讲的YUV大多是指YCbCr。YCbCr与RGB的相互转换：　　 Y=0.299R+0.587G+0.114B　　 Cb=0.564(B-Y)　　 Cr=0.713(R-Y)　 R=Y+1.402Cr　 G=Y-0.344Cb-0.714Cr 　 B=Y+1.772Cb处理流程：实时计算，不需要提前调校。处理效果：人眼看不出图像质量变化。问题十：Senor一定曝光量下较暗部分或较亮部分的细节显示不充分。自然界的中光强度很宽，而人眼对高亮，极暗环境的细节分辨能力相对较窄，而摄像头记录的范围更窄，真正的HDR技术就是记录视觉范围内高亮、极暗环境的中的细节分辨率。为保证人眼看到的世界和显示器或者摄像头采集的图像的亮度范围相差无几，甚至更好，需要通过tone mapping，将暗处和亮出细节再现。这是一种纯粹为了视觉感受而进行的处理，并非真正的HDR。也有人称为WDR（Wide Dynamic Range）。简而言之，宽动态技术可以使场景中特别亮的区域和特别暗的区域在最终成像中同时看清楚。处理模块名称：HDR（High-Dynamic Range）------高动态范围处理原理：主要是通过tone mapping的方法，将像素值在特别暗的区域拉高，在特别亮的区域拉低。Tone mapping有以下几种：1) global tone mapping (a) 单一tone mapping曲线。对整幅图低拉高，高拉低。（缺点，蒙上一层雾感觉，因为数值压缩后往中间靠拢，局部对比度下降） (b) 双边滤波tone mapping。在图像中局部边缘处不会进行tone mapping，以保持局部细节。2) local tone mapping (a) 虚拟曝光。通过多帧相加确定哪些区域是高亮区，哪些区域是低亮区。然后分区进行local tone mapping (b) local gamma。图片分成多块，对每块进行gamma矫正。主要根据每块的亮度直方图进行动态调整gamma曲线。处理流程：实时计算，且需要提前调校。处理效果：HDR或WDR仍然是手机相机重点竞争的领域，说明这个方向有长足进度，但仍然有提升空间，而且是难点。问题十一：YUV色彩空间需要进一步降噪和锐化。主要是对YUV降噪处理，同时为了消除降噪过程中对图像细节的损失，需要对图像进行锐化处理，还原图像的相关细节。因为在YUV色彩空间，这些处理更方便。处理模块名称：Color denoise / sharpness处理原理：为了抑制图像的彩色噪声，一般采用低通滤波器进行处理。例如使用M×N的高斯低通滤波器在色度通道上进行处理。在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出YUV（或者RGB）格式的数据，再通过I/O 接口传输到CPU 中处理处理流程：实时计算，且需要提前调校。处理效果：降噪的要求和效果总是不断提高的，而且降噪和锐化是互相矛盾的，所以会有各种不同算法。如下图所示，从左到右为sharpen , 从右到左为blur。问题十二：图像传感器和镜头需要ISP模块根据光强度自动调节曝光时间。不同场景下，光照的强度有着很大的差别。人眼有着自适应的能力因此可以很快的调整，使自己可以感应到合适的亮度。而图像传感器却不具有这种自适应能力，因此必须使用自动曝光功能来确保拍摄的照片获得准确的曝光从而具有合适的亮度。处理模块名称：AEC（Automatic Exposure Control）----自动曝光处理原理：自动曝光的实现一般包括三个步骤：1）光强测量。光强测量的过程是利用图像的曝光信息来获得当前光照信息的过程。可以统计图像的全部像素，也可以统计图像中间部分、也可以将图像分成不同部分且每部分赋予不同权重。2）场景分析。场景分析是指为了获得当前光照的特殊情况而进行的处理，比如有没有背光照射或者正面强光等场景下。对这些信息的分析，可以提升图像传感器的易用性，并且能大幅度提高图像的质量，这是自动曝光中最为关键的技术。目前常用的场景分析的技术主要有模糊逻辑和人工神经网络算法。这些算法比起固定分区测光算法具有更高的可靠性，主要是因为在模糊规则制定或者神经网络的训练过程中已经考虑了各种不同光照条件。3）曝光补偿。在完成了光强测量和场景分析之后，就要控制相应的参数使得曝光调节生效。主要是通过设定曝光时间和曝光增益来实现的。处理流程：实时计算，且需要提前调校。处理效果：自动曝光的要求总是不断提高的。问题十三：镜头需要调节焦距才能避免光学成像模糊。处理模块名称：AF (Auto Focus) ---- 自动对焦处理原理：AF算法的基本步骤是先判断图像的模糊程度，通过合适的模糊度评价函数求得采集的每一副图像的评价值, 然后通过搜索算法得到一系列评价值的峰值, 最后通过电机驱动将采集设备调节到峰值所在的位置, 得到最清晰的图像。对焦评价函数评价函数有很多种, 主要考虑的图像因素有图像频率(清晰的图像纹理多, 高频分布较多), 还有图像的灰度分量的分布(图像对应的灰度图的分量分布范围越大,说明图像的细节较多, 反应的图像的清晰程度)常用的搜索算法有爬山算法, 搜索窗口有黄金分割点对焦嵌套窗口等.处理流程：实时计算，且需要提前调校。处理效果：大家体验一下自己的手机摄像头的对焦体验，大部分时间是准的。总结，如何才能做一个能商用有竞争力的ISP通过上面的介绍，大家再看cmos传感器的ISP处理流程图，是不是就豁然开朗了？ISP的原理如此简单，那为什么成为图像处理芯片的最大竞争壁垒之一呢？第一，上面介绍的ISP的功能，原理虽然简单，但是里面有太多需要估计的策略，其实就是猜，要猜准确，有大量的经验，反复的调校工作在里面。第二，上面有些模块是相互影响的，这也增加了工作量。调试时，可能按下葫芦浮起瓢，大量时间消耗。比如，我们常说的3A算法（Auto Exposure、Auto Focus和Auto white balance）上文都介绍过，之所以叫3A，就是因为他们是相互作用相互成全的。第三，作为一个商用的ISP，还需要更多的功能模块。如下图中，还需要有X-talk（串扰），VSM（Video Stablization Measurement）视频稳定。下面的名词的概念上文中都提到了： DPCC（Defect Pixel Cluster Correction）坏点簇纠正 DPF（De-noising Pre-Filter）降噪预滤波蓝框框里是“去马赛克”单元，包含CAC（Cromatic Aberration Correction色彩失常校正）、降噪滤波器 CNR（Croma Noise Reduction）色度噪点降低 CSM（Color Space Matrix）最后，是人才问题。ISP是苦活累活，人才会被吸引到更加多金、就业面更广的AI上去；作为历史较悠久的ISP技术，员工要做好需花费大量时间和心思，而就业去向只有较大的几家芯片公司，这些公司可能已经不怎么招新人了。所以，一家公司要建立自己的ISP团队，考验的是公司的技术积累、公司对ISP的政策倾斜。（本文仅代表个人观点，与任何组织或单位无关）编辑于 2021-05-23 11:31图像信号处理器ISP (Image Signal Processor)人工智能图像处理赞同 24415 条评论分享喜欢收藏申请转载文章被以下专栏收录人工智能商机人工智能新闻，语音图像处理，AI芯片，商业

ISP(Image Signal Processor) 图像处理器的用途和工作原理？ - 知乎

ISP(Image Signal Processor) 图像处理器的用途和工作原理？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册汽车图像处理相机自动驾驶单目摄像头ISP(Image Signal Processor) 图像处理器的用途和工作原理？ISP(Image Signal Processor) 图像处理器的用途和工作原理关注者204被浏览117,442关注问题写回答邀请回答好问题 2添加评论分享10 个回答默认排序之昂菌关注在之前的文章中，介绍了ISP 的基本流程和RAW域中的处理方法。主要原因是写着写着发现一篇文章过长，影响大家阅读积极性，我就擅自主张继续拆分，大家见谅（其实是我没有一次性写完）今天延续之前的内容，讲解中间的部分 -- RGB域的处理。更多技术文章，全网首发公众号“极客之昂”锁定 -上午11点 - ，希望大家关注、转发、点赞！ISP的流程具体如图所示，我们继续围绕这个图把RGB域中每个部分的处理给大家讲解一下。通过Demosaic插值后，将sensor的原始RAW图插值为RGB图，再在RGB域中进行Gamma亮度的调整和CCM颜色校正，最后在CSC模块中将RGB转为YUV图，就此RGB域处理完毕，再接下到YUV域处理。YUV域的处理放到下一次更新中，敬请期待！在RGB域中主要做了三个部分，处理方法如下。Demosaic 去马赛克严格来说，demosaic处理模块不算是RGB域的，更应该属于RAW域的最后一个步骤。从sensor的构造原理可以知道，我们捕获景物的光信号，通过光电二极管可以获取到光亮的强度信息，图像是黑白的，无法获取色彩信息。色彩信息是通过CMOS上的R、G、B三色的滤光片，将图像数据分成RGB三种分量而形成的Bayer raw图。这个部分可以参考完美成像中最重要的环节 - ISP之RAW域处理中对Bayer格式的介绍。这样才能包含完整的图像信息，既有光强信息，也有色彩信息。但是，Bayer的数据是每个像素点只包含了一种色彩信息，呈现了一种“马赛克”的样子，我们需要将RGB数据结合在一个像素点中展现，消除马赛克的样子，也就是这个过程就是 - Demosaic。对于去马赛克的算法，当前主要有双线性插值算法和自适应插值算法。其核心就是在每个像素中根据周围的颜色信息插值，获取到每个像素的RGB三个分量。Gamma 曲线校正由于人眼在黑暗环境下对亮度感知更敏感，比如观察一团火焰在黑暗环境中和光亮环境中的差别不大，是一种非线性的关系。而sensor获取光信号后显示出来整个过程都是线性的，与人眼的效果不一致。这是什么意思呢？根据图中曲线，我们假设亮度最大的亮区是1。当在暗区值为0.2的位置，人眼感知亮度是0.5，而sensor感知仍然是0.2，这就是人眼对黑暗环境更敏感，对光亮感知的非线性。为了得到人眼类似的这种效果，因此引用Gamma曲线校正。Gamma校正就是对图像的灰度进行非线性处理，这个曲线类似于指数关系，最终处理后图像灰度是类似人眼的非线性效果，这个指数就是Gamma。一般Gamma校正的值为2.2，这个曲线更接近于人眼的效果。看上图，在没有Gamma校正的情况下，低灰度区域大范围都被一个值表示，造成信息缺失，高灰度区域却保留过多相似的值，没有合理分配数据空间。经过Gamma校正的后的信息，对于低灰度有了更合理的分配，更接近真实。从图上可以看出，Gamma值为1.8会增强暗色调，使图像更明亮；Gamma值为2.2更接近于人眼的效果；Gamma值为2.4图像的对比度更加明显。CCM(Color Correction Matrix) 颜色校正为何需要做颜色校正CCM，还是因为要还原图像最真实的样子。因为人眼对不同的色彩有不同的响应曲线，用CCM去还原图像色彩。CCM的原理就是利用一个3*3的校正矩阵对当前的R、G、B三个色彩进行校正，得到一个接近人眼真实的色彩。M是校正矩阵，一般利用标准色卡的对比实验来得到。CSC(Color Space Convert) 色彩空间转换这个部分就是将RGB图转为YUV图，以便在YUV域进行最后的处理。为何会有色彩空间的转换呢？我们图像的采集和处理在RGB空间就已经有很好的效果了，但是显示和信号的处理多数在YUV空间下进行。显示主要指的是电视，使用YUV格式可以兼容黑白电视和彩色电视，只有Y分量就是黑白图，Y分量和U、V分量都有就可以使用在彩色电视上。常见的色域标准有BT.601(SDTV，标清电视)，BT.709(HDTV，高清电视)，BT.2020(UHDTV，超高清电视)。之前文章中，转换公式 - 完美成像中最重要的环节 - ISP之RAW域处理中YUV域的介绍中：Y = 0.299 * R + 0.587 * G + 0.114 * B;

U = -0.169 * R - 0.331 * G + 0.5 * B;

V = 0.5 *R - 0.419 * G - 0.081 * B;这个是常见的BT.601色域CSC，在不同的色域空间下，转换矩阵是不一样的。通过以上的介绍，是否了解了ISP在RGB域下的处理流程，后续还需要在YUV域进行最后的处理。欲知后事如何，且听下回分解！相关回顾：更多技术文章，全网首发公众号“极客之昂”锁定 -上午11点 - ，希望大家关注、转发、点赞！编辑于 2024-02-22 22:32赞同 1196 条评论分享收藏喜欢收起嵌入式产品侠软件开发行业员工关注一、Image Signal Processor图像信号处理器（ISP）是进行数字图像处理的应用处理器，专门用于做从RAW图像到RGB/YUV图像的转换。本篇文章主要对ISP Pipeline做一个整体概述，让大家对整个流程有一个整体的概念。如下图所示，ISP处理分为Raw域处理、GRB域处理和YUV域处理，Raw域的处理包括坏点矫正、黑电平矫正、镜头阴影矫正、自动白平衡、去马赛克;RGB域处理包括Gamma曲线矫正、色彩矫正矩阵、色彩空间转换；YUV域处理包括亮度降噪、色彩降噪、边缘增强、色调饱和度控制、对比度亮度调节。二、ISP之Raw域处理RAW域(RAW Domain)，英文意思是原始的，也就是刚从sensor输出的图。 2.1 坏点矫正（Dead Pixel Correction）坏点一般是由于制造工艺的问题造成的，它是指某个像素点与周围像素有较大的差异。一般是在全黑的环境下出现白点或者高亮的环境下出现黑点。基于缺陷像素的状态，它们分为静态坏点（始终恒定）和动态坏点（受曝光或温度等条件的影响而变化）。坏点矫正分两步进行，第一步是坏点检测，第二步通过插值替换坏点。对于静态坏点，拍一张全黑图像和全白图像既可以确定坏点位置。对于动态坏点，通常通过与域邻域像素进行对比来定位。具体方法如下：计算中心像素和相邻 8 个像素之间的差异:diff(x) = abs(P_{ij} - P_{mn}) \\事先定义一个阈值来判断是否是坏点：P_{ij}=\begin{cases} dead，if(diff(x)>thres) where x is 0-8\\ \\not dead， others\end{cases} \\完成坏点检测后，即可执行校正。这里列出了两个插值方法。一个是均值滤波器，另一个是基于梯度的滤波器。对于均值滤波，相对简单：P_{ij}=\cfrac{1}{4}\sum P_{i+m,j+n} ，m=\{-2,2\},n=\{-2,2\} \\对于基于梯度的滤波器，首先计算相邻像素在不同方向上的梯度。从上图中，计算出四个方向的梯度:dv=|2P_0-P_2-P_7| \\dh=|2P_0-P_4-P_5| \\ddr=|2P_0-P_3-P_6| \\ddl=|2P_0-P_1-P_6| \\输出像素是所选方向上相邻像素的平均值:P_{ij}=\begin{cases} （P_{i,j-2}+P_{i,j+2}+1）/ 2，if（min(dv，dh，ddr，ddl)=dv\\ （P_{i-2,j}+P_{i+2,j}+1）/ 2， if（min(dv，dh，ddr，ddl)=dh\\ （P_{i-2,j-2}+P_{i+2,j+2}+1）/ 2，if（min(dv，dh，ddr，ddl)=ddr\\ （P_{i+2,j-2}+P_{i-2,j+2}+1）/ 2， others\end{cases}\\参考代码：#!/usr/bin/python

import numpy as np

class DPC:

'Dead Pixel Correction'

def __init__(self, img, thres, mode, clip):

self.img = img

self.thres = thres

self.mode = mode

self.clip = clip

def padding(self):

img_pad = np.pad(self.img, (2, 2), 'reflect')

return img_pad

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def execute(self):

"""

Pixel array in code is showed above:

p1 p2 p3

p4 p0 p5

p6 p7 p8

it makes sense for calculating follow-up gradients of pixel values (horizontal,vertical,left/right diagonal).

"""

img_pad = self.padding()

raw_h = self.img.shape[0]

raw_w = self.img.shape[1]

dpc_img = np.empty((raw_h, raw_w), np.uint16)

# change uint16 to int_, still exists overflow warning in the following abs calculation

for y in range(img_pad.shape[0] - 4):

for x in range(img_pad.shape[1] - 4):

p0 = img_pad[y + 2, x + 2].astype(int)

p1 = img_pad[y, x].astype(int)

p2 = img_pad[y, x + 2].astype(int)

p3 = img_pad[y, x + 4].astype(int)

p4 = img_pad[y + 2, x].astype(int)

p5 = img_pad[y + 2, x + 4].astype(int)

p6 = img_pad[y + 4, x].astype(int)

p7 = img_pad[y + 4, x + 2].astype(int)

p8 = img_pad[y + 4, x + 4].astype(int)

if (abs(p1 - p0) > self.thres) and (abs(p2 - p0) > self.thres) and (abs(p3 - p0) > self.thres) \

and (abs(p4 - p0) > self.thres) and (abs(p5 - p0) > self.thres) and (abs(p6 - p0) > self.thres) \

and (abs(p7 - p0) > self.thres) and (abs(p8 - p0) > self.thres):

if self.mode == 'mean':

p0 = (p2 + p4 + p5 + p7) / 4

elif self.mode == 'gradient':

dv = abs(2 * p0 - p2 - p7)

dh = abs(2 * p0 - p4 - p5)

ddl = abs(2 * p0 - p1 - p8)

ddr = abs(2 * p0 - p3 - p6)

if (min(dv, dh, ddl, ddr) == dv):

p0 = (p2 + p7 + 1) / 2

elif (min(dv, dh, ddl, ddr) == dh):

p0 = (p4 + p5 + 1) / 2

elif (min(dv, dh, ddl, ddr) == ddl):

p0 = (p1 + p8 + 1) / 2

else:

p0 = (p3 + p6 + 1) / 2

dpc_img[y, x] = p0.astype('uint16')

self.img = dpc_img

return self.clipping()

2.2 黑电平补偿（Black Level Compensation）黑电平本身的定义是黑色的最低值，也就是说sensor感光为零的时候输出的值就是黑电平。形成原因有以下两种：sensor将模拟信号转换到数字信号时，由于转换精度限制无法将电压值很小的一部分给区分开来，故需要加上一个值来保证图像暗部细节。电流噪声的干扰，只要sensor工作必然存在电流噪声干扰。这样即使全黑环境，sensor输出依然有信号强度，量化后必然不为零。补偿方法就是在现有基础上减去一个值，这个值可以使用像素区前几行不感光的区域平均值作为校正值进行补偿。常用的补偿公式如下：R_1=R+R\_offset \\Gr_1=Gr_1+Gr\_offset+\alpha R \\Gb_1=Gb_1+Gb_1\_offset+\beta B \\B_1=B_1+B_1\_offset \\参考代码：#!/usr/bin/python

import numpy as np

class BLC:

'Black Level Compensation'

def __init__(self, img, parameter, bayer_pattern, clip):

self.img = img

self.parameter = parameter

self.bayer_pattern = bayer_pattern

self.clip = clip

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def execute(self):

bl_r = self.parameter[0]

bl_gr = self.parameter[1]

bl_gb = self.parameter[2]

bl_b = self.parameter[3]

alpha = self.parameter[4]

beta = self.parameter[5]

raw_h = self.img.shape[0]

raw_w = self.img.shape[1]

blc_img = np.empty((raw_h,raw_w), np.int16)

if self.bayer_pattern == 'rggb':

r = self.img[::2, ::2] + bl_r

b = self.img[1::2, 1::2] + bl_b

gr = self.img[::2, 1::2] + bl_gr + alpha * r / 256

gb = self.img[1::2, ::2] + bl_gb + beta * b / 256

blc_img[::2, ::2] = r

blc_img[::2, 1::2] = gr

blc_img[1::2, ::2] = gb

blc_img[1::2, 1::2] = b

elif self.bayer_pattern == 'bggr':

b = self.img[::2, ::2] + bl_b

r = self.img[1::2, 1::2] + bl_r

gb = self.img[::2, 1::2] + bl_gb + beta * b / 256

gr = self.img[1::2, ::2] + bl_gr + alpha * r / 256

blc_img[::2, ::2] = b

blc_img[::2, 1::2] = gb

blc_img[1::2, ::2] = gr

blc_img[1::2, 1::2] = r

elif self.bayer_pattern == 'gbrg':

b = self.img[::2, 1::2] + bl_b

r = self.img[1::2, ::2] + bl_r

gb = self.img[::2, ::2] + bl_gb + beta * b / 256

gr = self.img[1::2, 1::2] + bl_gr + alpha * r / 256

blc_img[::2, ::2] = gb

blc_img[::2, 1::2] = b

blc_img[1::2, ::2] = r

blc_img[1::2, 1::2] = gr

elif self.bayer_pattern == 'grbg':

r = self.img[::2, 1::2] + bl_r

b = self.img[1::2, ::2] + bl_b

gr = self.img[::2, ::2] + bl_gr + alpha * r / 256

gb = self.img[1::2, 1::2] + bl_gb + beta * b / 256

blc_img[::2, ::2] = gr

blc_img[::2, 1::2] = r

blc_img[1::2, ::2] = b

blc_img[1::2, 1::2] = gb

self.img = blc_img

return self.clipping()

2.3 镜头阴影矫正（Lens Shading Correction）在透镜的边缘，光线与透镜的光轴有很大的角度。光的强度随着光轴距离的增加而降低。同时，不同颜色的折射率也不同。因此，镜头阴影会导致两种阴影，即亮度阴影和颜色阴影。亮度阴影导致图像强度不均匀。与图像中心相比，图像的角落较暗。色彩阴影会导致图像的颜色失真。这通常反映了图像中心和角落的颜色不一致。镜头阴影校正的本质是能量有衰减，反过来为了矫正就用该点的像素值乘以一个gain值，让其恢复到衰减前的状态，所以矫正的本质就是找到这个gain值。常用的方法存储增益法、多项式拟合法。2.4 自动白平衡（Auto White Blance Gain Control）引入这个模块是由于人眼具有色彩恒常性，就是说人眼感知物体的颜色不会因为色温产生变化。但是sensor并没有人眼这么强大，sensor在不同色温下白色会呈现出不同的颜色，例如晴朗的天空(高色温)下会偏蓝，烛光(低色温)下会偏红。为了模拟人眼的成像效果，保证任何色温场景下都是白色，引入了AWB这个模块。当前AWB主要使用的方法是灰度世界法，完美反射法。灰度世界法：在任何一个图像中，只要色彩足够变化，它的RGB三个分量的值会趋于相等，也就是灰色。因此，它会根据每个颜色通道的平均值来得到一个增益值，对每个像素都使用这个增益值进行校正。完美反射法：利用图片中最亮的点，也就是RGB值最大的点，计算得到增益值，再对每个像素都使用这个增益值进行校正。参考代码：#!/usr/bin/python

import numpy as np

class WBGC:

'Auto White Balance Gain Control'

def __init__(self, img, parameter, bayer_pattern, clip):

self.img = img

self.parameter = parameter

self.bayer_pattern = bayer_pattern

self.clip = clip

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def execute(self):

r_gain = self.parameter[0]

gr_gain = self.parameter[1]

gb_gain = self.parameter[2]

b_gain = self.parameter[3]

raw_h = self.img.shape[0]

raw_w = self.img.shape[1]

awb_img = np.empty((raw_h, raw_w), np.int16)

if self.bayer_pattern == 'rggb':

r = self.img[::2, ::2] * r_gain

b = self.img[1::2, 1::2] * b_gain

gr = self.img[::2, 1::2] * gr_gain

gb = self.img[1::2, ::2] * gb_gain

awb_img[::2, ::2] = r

awb_img[::2, 1::2] = gr

awb_img[1::2, ::2] = gb

awb_img[1::2, 1::2] = b

elif self.bayer_pattern == 'bggr':

b = self.img[::2, ::2] * b_gain

r = self.img[1::2, 1::2] * r_gain

gb = self.img[::2, 1::2] * gb_gain

gr = self.img[1::2, ::2] * gr_gain

awb_img[::2, ::2] = b

awb_img[::2, 1::2] = gb

awb_img[1::2, ::2] = gr

awb_img[1::2, 1::2] = r

elif self.bayer_pattern == 'gbrg':

b = self.img[::2, 1::2] * b_gain

r = self.img[1::2, ::2] * r_gain

gb = self.img[::2, ::2] * gb_gain

gr = self.img[1::2, 1::2] * gr_gain

awb_img[::2, ::2] = gb

awb_img[::2, 1::2] = b

awb_img[1::2, ::2] = r

awb_img[1::2, 1::2] = gr

elif self.bayer_pattern == 'grbg':

r = self.img[::2, 1::2] * r_gain

b = self.img[1::2, ::2] * b_gain

gr = self.img[::2, ::2] * gr_gain

gb = self.img[1::2, 1::2] * gb_gain

awb_img[::2, ::2] = gr

awb_img[::2, 1::2] = r

awb_img[1::2, ::2] = b

awb_img[1::2, 1::2] = gb

self.img = awb_img

return self.clipping()

2.5 去马赛克彩色图像在每个像素位置至少需要三个颜色样本。计算机图像通常使用红色、绿色和蓝色。一台相机需要三个独立的传感器才能完全测量图像。使用多个传感器来检测可见光谱的不同部分需要对进入相机的光线进行分离，以便将场景成像到每个传感器上。然后需要精确配准以对齐三个图像。这些额外的要求给系统增加了一大笔费用。因此，许多相机使用带有彩色滤光片阵列的单个传感器阵列。彩色滤光片阵列只允许光谱的一部分传递到传感器，因此每个像素只测量一种颜色。这意味着相机必须估计每个像素上缺少的两个颜色值。此过程称为去马赛克。最常见的阵列是拜耳滤色片阵列。拜耳阵列测量梅花网格上的绿色图像和矩形网格上的红色和蓝色图像。绿色图像是以更高的采样率测量的，因为人类视觉系统的峰值灵敏度位于中波长，对应于光谱的绿色部分。对于去马赛克的算法，当前主要有双线性插值算法和自适应插值算法。其核心就是在每个像素中根据周围的颜色信息插值，获取到每个像素的RGB三个分量。详细信息如下：#!/usr/bin/python

import numpy as np

class CFA:

'Color Filter Array Interpolation'

def __init__(self, img, mode, bayer_pattern, clip):

self.img = img

self.mode = mode

self.bayer_pattern = bayer_pattern

self.clip = clip

def padding(self):

img_pad = np.pad(self.img, ((2, 2), (2, 2)), 'reflect')

return img_pad

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def malvar(self, is_color, center, y, x, img):

if is_color == 'r':

r = center

g = 4 * img[y,x] - img[y-2,x] - img[y,x-2] - img[y+2,x] - img[y,x+2] \

+ 2 * (img[y+1,x] + img[y,x+1] + img[y-1,x] + img[y,x-1])

b = 6 * img[y,x] - 3 * (img[y-2,x] + img[y,x-2] + img[y+2,x] + img[y,x+2]) / 2 \

+ 2 * (img[y-1,x-1] + img[y-1,x+1] + img[y+1,x-1] + img[y+1,x+1])

g = g / 8

b = b / 8

elif is_color == 'gr':

r = 5 * img[y,x] - img[y,x-2] - img[y-1,x-1] - img[y+1,x-1] - img[y-1,x+1] - img[y+1,x+1] - img[y,x+2] \

+ (img[y-2,x] + img[y+2,x]) / 2 + 4 * (img[y,x-1] + img[y,x+1])

g = center

b = 5 * img[y,x] - img[y-2,x] - img[y-1,x-1] - img[y-1,x+1] - img[y+2,x] - img[y+1,x-1] - img[y+1,x+1] \

+ (img[y,x-2] + img[y,x+2]) / 2 + 4 * (img[y-1,x] + img[y+1,x])

r = r / 8

b = b / 8

elif is_color == 'gb':

r = 5 * img[y,x] - img[y-2,x] - img[y-1,x-1] - img[y-1,x+1] - img[y+2,x] - img[y+1,x-1] - img[y+1,x+1] \

+ (img[y,x-2] + img[y,x+2]) / 2 + 4 * (img[y-1,x] + img[y+1,x])

g = center

b = 5 * img[y,x] - img[y,x-2] - img[y-1,x-1] - img[y+1,x-1] - img[y-1,x+1] - img[y+1,x+1] - img[y,x+2] \

+ (img[y-2,x] + img[y+2,x]) / 2 + 4 * (img[y,x-1] + img[y,x+1])

r = r / 8

b = b / 8

elif is_color == 'b':

r = 6 * img[y,x] - 3 * (img[y-2,x] + img[y,x-2] + img[y+2,x] + img[y,x+2]) / 2 \

+ 2 * (img[y-1,x-1] + img[y-1,x+1] + img[y+1,x-1] + img[y+1,x+1])

g = 4 * img[y,x] - img[y-2,x] - img[y,x-2] - img[y+2,x] - img[y,x+2] \

+ 2 * (img[y+1,x] + img[y,x+1] + img[y-1,x] + img[y,x-1])

b = center

r = r / 8

g = g / 8

return [r, g, b]

def execute(self):

img_pad = self.padding()

img_pad = img_pad.astype(np.int32)

raw_h = self.img.shape[0]

raw_w = self.img.shape[1]

cfa_img = np.empty((raw_h, raw_w, 3), np.int16)

for y in range(0, img_pad.shape[0]-4-1, 2):

for x in range(0, img_pad.shape[1]-4-1, 2):

if self.bayer_pattern == 'rggb':

r = img_pad[y+2,x+2]

gr = img_pad[y+2,x+3]

gb = img_pad[y+3,x+2]

b = img_pad[y+3,x+3]

if self.mode == 'malvar':

cfa_img[y,x,:] = self.malvar('r', r, y+2,x+2, img_pad)

cfa_img[y,x+1,:] = self.malvar('gr', gr, y+2,x+3, img_pad)

cfa_img[y+1,x,:] = self.malvar('gb', gb, y+3,x+2, img_pad)

cfa_img[y+1,x+1,:] = self.malvar('b', b, y+3,x+3, img_pad)

elif self.bayer_pattern == 'bggr':

b = img_pad[y+2,x+2]

gb = img_pad[y+2,x+3]

gr = img_pad[y+3,x+2]

r = img_pad[y+3,x+3]

if self.mode == 'malvar':

cfa_img[y,x,:] = self.malvar('b', b, y+2,x+2, img_pad)

cfa_img[y,x+1,:] = self.malvar('gb', gb, y+2,x+3, img_pad)

cfa_img[y+1,x,:] = self.malvar('gr', gr, y+3,x+2, img_pad)

cfa_img[y+1,x+1,:] = self.malvar('r', r, y+3,x+3, img_pad)

elif self.bayer_pattern == 'gbrg':

gb = img_pad[y+2,x+2]

b = img_pad[y+2,x+3]

r = img_pad[y+3,x+2]

gr = img_pad[y+3,x+3]

if self.mode == 'malvar':

cfa_img[y,x,:] = self.malvar('gb', gb, y+2,x+2, img_pad)

cfa_img[y,x+1,:] = self.malvar('b', b, y+2,x+3, img_pad)

cfa_img[y+1,x,:] = self.malvar('r', r, y+3,x+2, img_pad)

cfa_img[y+1,x+1,:] = self.malvar('gr', gr, y+3,x+3, img_pad)

elif self.bayer_pattern == 'grbg':

gr = img_pad[y+2,x+2]

r = img_pad[y+2,x+3]

b = img_pad[y+3,x+2]

gb = img_pad[y+3,x+3]

if self.mode == 'malvar':

cfa_img[y,x,:] = self.malvar('gr', gr, y+2,x+2, img_pad)

cfa_img[y,x+1,:] = self.malvar('r', r, y+2,x+3, img_pad)

cfa_img[y+1,x,:] = self.malvar('b', b, y+3,x+2, img_pad)

cfa_img[y+1,x+1,:] = self.malvar('gb', gb, y+3,x+3, img_pad)

self.img = cfa_img

return self.clipping()

三、ISP之RGB域处理Demosaic插值后，RAW图就转换为了RGB图，在RGB域中进行Gamma矫正和CCM颜色校正，最后在CSC模块中将RGB转为YUV图。3.1 Gamma矫正（Gamma Correction）人眼在黑暗环境下对亮度感知更敏感而sensor获取光信号后显示出来整个过程都是线性的，与人眼的效果不一致。Gamma校正就是对图像的灰度进行非线性处理，这个曲线类似于指数关系，最终处理后图像灰度是类似人眼的非线性效果，这个指数就是Gamma。3.2 色彩矫正矩阵（Color Correction Matrix）有许多变化导致成像系统中难以准确再现颜色。包括：光学元件（透镜、滤光片）的光谱特性光源变化，如日光、荧光灯或钨丝灯传感器滤色片的特性色彩校正矩阵用于校正源成像系统与目标显示器或接收器系统之间的差异。对于ISP系统来说，传感器的色彩空间不同于显示设备或我们人眼的色彩空间。\begin{bmatrix}R\\G\\B \end{bmatrix}=\begin{bmatrix}RR RG RB\\GR GG GB\\BR BG BB \end{bmatrix} * \begin{bmatrix}R\\G\\B \end{bmatrix}+\begin{bmatrix}Roffset\\Goffset\\Boffset \end{bmatrix} \\#!/usr/bin/python

import numpy as np

class CCM:

'Color Correction Matrix'

def __init__(self, img, ccm):

self.img = img

self.ccm = ccm

def execute(self):

img_h = self.img.shape[0]

img_w = self.img.shape[1]

img_c = self.img.shape[2]

ccm_img = np.empty((img_h, img_w, img_c), np.uint32)

for y in range(img_h):

for x in range(img_w):

mulval = self.ccm[:,0:3] * self.img[y,x,:]

ccm_img[y,x,0] = np.sum(mulval[0]) + self.ccm[0,3]

ccm_img[y,x,1] = np.sum(mulval[1]) + self.ccm[1,3]

ccm_img[y,x,2] = np.sum(mulval[2]) + self.ccm[2,3]

ccm_img[y,x,:] = ccm_img[y,x,:] / 1024

self.img = ccm_img.astype(np.uint8)

return self.img

3.3 色彩空间转换(Color Space Convert)这个部分就是将RGB图转为YUV图，以便在YUV域进行最后的处理。为何会有色彩空间的转换呢？我们图像的采集和处理在RGB空间就已经有很好的效果了，但是显示和信号的处理多数在YUV空间下进行。显示主要指的是电视，使用YUV格式可以兼容黑白电视和彩色电视，只有Y分量就是黑白图，Y分量和U、V分量都有就可以使用在彩色电视上。#!/usr/bin/python

import numpy as np

from scipy.ndimage import correlate

class CSC:

'Color Space Conversion'

def __init__(self, img, csc):

self.img = img

self.csc = csc

def execute(self):

img_h = self.img.shape[0]

img_w = self.img.shape[1]

img_c = self.img.shape[2]

csc_img = np.empty((img_h, img_w, img_c), np.uint32)

csc_img[:, :, 0] = self.img[:, :, 0] * self.csc[0, 0] + self.img[:, :, 1] * self.csc[0, 1] + self.img[:, :, 2] * self.csc[0, 2] + self.csc[0, 3]

csc_img[:, :, 1] = self.img[:, :, 0] * self.csc[1, 0] + self.img[:, :, 1] * self.csc[1, 1] + self.img[:, :, 2] * self.csc[1, 2] + self.csc[1, 3]

csc_img[:, :, 2] = self.img[:, :, 0] * self.csc[2, 0] + self.img[:, :, 1] * self.csc[2, 1] + self.img[:, :, 2] * self.csc[2, 2] + self.csc[2, 3]

csc_img = csc_img / 1024

self.img = csc_img.astype(np.uint8)

return self.img

四、ISP之YUV域处理经过CSC色彩空间转换后将RGB格式转为YUV格式，在YUV域中再进行降噪、锐化，增强等一些算法。在这个部分，每个厂家就各显神通，处理方法、处理模块、处理流程也不尽相同，我们就挑选一些常见的YUV域处理模块给大家介绍。4.1 降噪经过之前的处理，产生了很多噪声，需要在YUV域做降噪处理。在YUV域中分别对亮度（Luma）和彩度（Chroma）进行降噪，因为转换到YUV域中，Y分量就是亮度，Y域下出现的Luma Noise，UV分量表示的色彩，UV域下就是Chroma Noise。讨论亮度噪点时，指的是灰度图像，不考虑色彩因素。照射到物体的表面越亮，光信号越强，信噪比越高，噪点越少。讨论彩度噪点时，彩噪（Chroma Noise）是YUV域中UV分量的噪声，特指像素之间的色彩波动，Chroma部分的噪声。当环境亮度不足的时候，U、V分量的绝对值很小，UV分量的噪声就非常明显，在图像上就是彩色的噪斑，对画质的破坏力要比亮度噪点Luma Noise更明显。对于噪声的处理，通常在空域(Spatial Domain) 、频域(Frequency Domain) 上进行，或者根据图像的相似特性，在一个滤波窗口进行计算。4.2 边缘增强（Edge Enhance）由于之前的域中会多次进行降噪处理，而降噪不可避免的会将图像中一些细节也捎带着消除了，导致图像模糊。为了将图像细节还原，减少图像损失，需要对其进行增强，但是不能再次引入噪声，就出现了Edge Enhance 边缘增强这类处理模块。边缘增强和我们日常说的锐化sharp是比较相似的。但是二者也有区别：锐化针对图像所有内容增加锐利度，边缘增强只是针对边缘，避免噪声也会锐化放大。图像的边缘往往会出现灰度值不连续的现象，因此边缘像素中包含更丰富的图像信息。对于边缘识别现在有很多成熟的算法，例如，Sobel算子、Canny边缘检测等。由此可以看出边缘增强只能在YUV域进行，因为只对Y分量进行处理。整个Edge Enhance边缘增强流程是：先获取图像边缘，对图像平坦部分不做增强，在边缘部分做滤波和增强处理。#!/usr/bin/python

import numpy as np

class EE:

'Edge Enhancement'

def __init__(self, img, edge_filter, gain, thres, emclip):

self.img = img

self.edge_filter = edge_filter

self.gain = gain

self.thres = thres

self.emclip = emclip

def padding(self):

img_pad = np.pad(self.img, ((1, 1), (2, 2)), 'reflect')

return img_pad

def clipping(self):

np.clip(self.img, 0, 255, out=self.img)

return self.img

def emlut(self, val, thres, gain, clip):

lut = 0

if val < -thres[1]:

lut = gain[1] * val

elif val < -thres[0] and val > -thres[1]:

lut = 0

elif val < thres[0] and val > -thres[1]:

lut = gain[0] * val

elif val > thres[0] and val < thres[1]:

lut = 0

elif val > thres[1]:

lut = gain[1] * val

# np.clip(lut, clip[0], clip[1], out=lut)

lut = max(clip[0], min(lut / 256, clip[1]))

return lut

def execute(self):

img_pad = self.padding()

img_h = self.img.shape[0]

img_w = self.img.shape[1]

ee_img = np.empty((img_h, img_w), np.int16)

em_img = np.empty((img_h, img_w), np.int16)

for y in range(img_pad.shape[0] - 2):

for x in range(img_pad.shape[1] - 4):

em_img[y,x] = np.sum(np.multiply(img_pad[y:y+3, x:x+5], self.edge_filter[:, :])) / 8

ee_img[y,x] = img_pad[y+1,x+2] + self.emlut(em_img[y,x], self.thres, self.gain, self.emclip)

self.img = ee_img

return self.clipping(), em_img

4.3 色调饱和度控制(Hue & Saturation)饱和度Saturation就是说色彩的鲜艳程度。色调（Hue）在ISP中的含义是色彩转换的功能，当颜色转动120°，就是原本的红色变成绿色，绿色变为蓝色，蓝色变为红色，可以用到特效上，以及一些特殊的效果。#!/usr/bin/python

import numpy as np

class HSC:

'Hue Saturation Control'

def __init__(self, img, hue, saturation, clip):

self.img = img

self.hue = hue

self.saturation = saturation

self.clip = clip

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def lut(self):

ind = np.array([i for i in range(360)])

sin = np.sin(ind * np.pi / 180) * 256

cos = np.cos(ind * np.pi / 180) * 256

lut_sin = dict(zip(ind, [round(sin[i]) for i in ind]))

lut_cos = dict(zip(ind, [round(cos[i]) for i in ind]))

return lut_sin, lut_cos

def execute(self):

lut_sin, lut_cos = self.lut()

img_h = self.img.shape[0]

img_w = self.img.shape[1]

img_c = self.img.shape[2]

hsc_img = np.empty((img_h, img_w, img_c), np.int16)

hsc_img[:,:,0] = (self.img[:,:,0] - 128) * lut_cos[self.hue] + (self.img[:,:,1] - 128) * lut_sin[self.hue] + 128

hsc_img[:,:,1] = (self.img[:,:,1] - 128) * lut_cos[self.hue] - (self.img[:,:,0] - 128) * lut_sin[self.hue] + 128

hsc_img[:,:,0] = self.saturation * (self.img[:,:,0] - 128) / 256 + 128

hsc_img[:,:,1] = self.saturation * (self.img[:,:,1] - 128) / 256 + 128

self.img = hsc_img

return self.clipping()

4.4 对比度亮度调节(Contrast & Brightnes)亮度调节（Brightness）是一般摄像头都会有的功能，顾名思义，就是控制亮度来改变图片效果。在YUV域中，Y分量就表示亮度。如果直接调节Y分量，就会让图片发白或者发黑，这不是我们理想的亮度控制。通常的做法是将Y、U、V三个分量同时进行亮度调节，这样既保证了亮度，也会保证图像的鲜艳度。对比度调节（Contrast）也叫做对比度增强Contrast Enhancement，就是增强图片的对比度。目前对比度增强主要的算法是直方图均衡化（Histogram），根据原始图像的亮度数据进行重新分布，使图片的亮度分布更加均匀#!/usr/bin/python

import numpy as np

class BCC:

'Brightness Contrast Control'

def __init__(self, img, brightness, contrast, clip):

self.img = img

self.brightness = brightness

self.contrast = contrast

self.clip = clip

def clipping(self):

np.clip(self.img, 0, self.clip, out=self.img)

return self.img

def execute(self):

img_h = self.img.shape[0]

img_w = self.img.shape[1]

bcc_img = np.empty((img_h, img_w), np.int16)

bcc_img = self.img + self.brightness

bcc_img = bcc_img + (self.img - 127) * self.contrast

self.img = bcc_img

return self.clipping()

参考： https://zhuanlan.zhihu.com/p/389334269 https://github.com/cruxopen/openISP发布于 2023-12-13 21:32赞同 81添加评论分享收藏喜欢

越影-新一代智能图像处理引擎 | 海思

场景应用

智慧家庭

媒体&娱乐

家庭服务

智慧城市

城市管理

城市效率

智慧出行

智能驾驶

智能座舱

车联网

海思说

点击解密海思黑科技 >

PLC光伏

全屋智能

NB-IoT

AI ISP

AVS3

HDR Vivid

HPLC

产品

智能终端

智慧视觉

联接

智慧媒体

MCU

模拟

处理器

麒麟

昇腾（HUAWEI Ascend)

鲲鹏

巴龙

凌霄

开发者

芯平台

智慧联接平台

感知计算平台

芯课堂

赋能培训

资料下载

芯活动

嵌入式大赛

ICT大赛

获取支持

购买渠道

渠道信息

技术支持

获取支持

联系海思

联系我们

关于我们

公司简介

招贤纳士

新闻与活动

新闻

活动

搜索

无搜索结果

热门内容

智慧家庭

智慧城市

智慧出行

快速链接

购买渠道

联系我们

海思越影-新一代ISP图像获取处理技术 | 海思

超越影像，智引未来

新一代智能图像处理引擎，全场景更智能更清晰

全面了解越影 >

趋势及痛点

海思越影

超感光降噪

多光谱融合

超级宽动态

超级稳像

多维度感知

特别推荐

视觉感知是信息获取的核心入口，ISP是关键

视觉感知是数字时代信息获取的入口，ISP(Image Signal

Processor)作为视觉感知的核心技术，是智能终端从“看见世界”、“看清世界”到“看懂世界”的关键。ISP将光学透镜接收的光信息处理成图像信息，并通过一系列数字图像处理算法对图像噪声、亮度、色度等进行优化，让智能终端拥有看见世界的“智慧之眼”。

*视频为ISP算法示意效果，非算法全集

视觉感知环境复杂多变

ISP成像质量面临挑战

视觉感知场景多样化、光线变幻复杂，如隧道或地库入口、恶劣天气、井下采矿等，且大量价值影像信息均在低照、弱光、逆光、背光、雨雪雾和大风等环境下完成采集，影像质量受低照光线及恶劣环境影响极大。

视觉感知要突破时间和外部环境天气的限制，提供7*24小时全天候、全场景超高清影像。

传统ISP已近极限

AI ISP突破瓶颈

面对越来越高的场景复杂度和图像质量要求，传统ISP图像处理技术已近瓶颈。随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。此时，画质技术与AI技术的深度融合至关重要。利用AI算力深度学习海量场景和数据，智能调优复杂参数，输出算法模型辅助图像处理，使图像质量突破传统ISP极限。

越影! 海思新一代AI ISP技术

超感光降噪

信噪比提升4倍

多光谱融合

专用硬件加速 0.01Lux低照全彩

超级稳像

6轴数字防抖

超级宽动态

动态范围提升12dB

多维度感知

色彩热感 3D 雷达…

超感光降噪

信噪比提升4倍

基于海思多年对低照场景的技术积累，神经网络深度学习噪声和信号的分布特性，训练出一套智能降噪的算法模型，让越影AI ISP能智能区分图像中的信号和噪声，实现低照度场景下的AI降噪。

多光谱融合

硬件加速低照全彩

海思越影多光谱融合技术，通过红外补光，在ISP将可见光、850nm、940nm等常见光谱融合，即使是暗光、弱光甚至黑暗的环境，也能在不增加光污染的同时，使图像效果达到暗光全彩，悉数展现每一缕微光的力量。夜晚的城市景象、路灯下的车水马龙、夕阳西下的暮色，在海思芯片加持的摄像机下帧帧清晰分明，细节纹理饱满丰富，真彩如实。

超级宽动态

动态范围提升12dB

海思越影超级宽动态技术，能够基于价值目标进行场景识别自适应多重曝光，对不同曝光时间的长帧、中帧、短帧的图像数据，通过智能算法进行融合，融合后数据位宽20bit，动态范围相较一代提升12dB，使图像获得暗、亮区域的完美整合，亮处不过曝、暗部细节不丢失。

逆光场景所见清晰，暗光场景色彩饱满，让视觉感知从此无惧逆光。同时基于场景识别的智能曝光技术，在光线急速变换场景，对目标区域进行精准超速识别，避免价值目标关键信息损失。

超级稳像

6轴数字防抖

在高空抛物、交通违章等场景中，高频小幅震动会导致目标物模糊，影响目标识别效率，

为城市安全带来隐患。在移动式场景中，低频大幅的抖动，严重影响观看的视觉感受。超级稳像技术，基于IMU

6轴传感信息智能分析运动姿态，通过精准补偿修正动态视频，有效减少由于外部环境晃动或抖动对视频成像造成的影响，大幅提升各种振动环境下的视频稳定性。

多维度感知

跨界融合激发新潜能

视觉是感知信息的主要输入源，但生产生活对信息的需求是多维度的。海思越影支持RGB与红外热成像融合、可见光与结构光融合等多维感知能力，为红外测温相机、人脸支付、扫地机器人、雷达视频一体机等产品提供系统化解决方案，可广泛应用于安全防护、金融支付、无人机、工业视觉、交通等多种业务场景。多维度感知为各细分市场提供跨领域的解决方案，激发新智能终端品类的同时也激活了智能终端新的潜能及价值。

特别推荐

视觉与AI深度融合，开启智慧视觉新未来

海思新一代AI ISP图像处理技术，全天候清晰成像，赋能平安城市、交通管理等行业蓬勃发展。

全天候智慧视觉，守护城市安全

智慧视觉能力为搭建更完备的城市安全保护系统和提供了基础保障，也为城市构筑高效运行的交通体系提供了核心力量。

“芯”加持，提升交通效率

海思车路协同智慧交通解决方案，提升城市交通系统的整体运行效率，发挥最大城市交通效能。

视觉与AI深度融合，开启智慧视觉新未来

海思新一代AI ISP图像处理技术，全天候清晰成像，赋能平安城市、交通管理等行业蓬勃发展。

全天候智慧视觉，守护城市安全

智慧视觉能力为搭建更完备的城市安全保护系统和提供了基础保障，也为城市构筑高效运行的交通体系提供了核心力量。

“芯”加持，提升交通效率

海思车路协同智慧交通解决方案，提升城市交通系统的整体运行效率，发挥最大城市交通效能。

获取支持与服务

点击按钮进行购买咨询，或查询渠道信息

联系我们 >

海思官网

/海思说

/越影-海思新一代AI ISP技术

关于海思

公司简介

安全公告

关注我们

联系我们

上海

上海市青浦区虹桥港路2号101室

+86 755 28780808

support@hisilicon.com

深圳

深圳市龙岗区坂田华为基地

+86 755 28780808

support@hisilicon.com

海思技术

PLC

全屋智能

NB-IoT

AI ISP

AVS3

HDR Vivid

开发者

芯课堂

芯平台

芯活动

新闻资讯

新闻与活动

校园行

如何购买

获取渠道信息

获取支持

简体中文

English

法律声明

隐私保护

图像信号处理器ISP (Image Signal Processor) - 知乎

图像信号处理器ISP (Image Signal Processor) - 知乎首页知乎知学堂发现等你来答切换模式登录/注册图像信号处理器ISP (Image Signal Processor)ISP (Image Signal Processor)，图像信号处理器，运用在相机或者具备拍摄功能设备上的一种芯片。查看全部内容关注话题管理分享简介讨论精华视频等待回答level set （水平集）算法是什么？杨树下的狐狸一年前看到师兄弄 level set，当时没有看懂。前几天，在看一本书时，偶然又看到这个，就打算来仔细了解一下了。所以，下面的这些点子新鲜出炉的，没有太多的实战经验，若有错误，应该也是很正常的，请见谅。这篇答案，最大的启发来自youtube的这两个视频： https://www.youtube.com/watch?v=B9soiDHr9bo https://www.youtube.com/watch?v=1ZJ88JyLPZI -------------------------------------------------------------- 1. 我第一次看到 level-set 的时…阅读全文赞同 79843 条评论分享收藏喜欢FPGA图像处理的前景如何？becomequantumFPGA工程师本人有过多年用FPGA做图像处理的经验，在此也谈一下自己的看法。用FPGA做图像处理最关键的一点优势就是： FPGA能进行实时流水线运算，能达到最高的实时性。因此在一些对实时性要求非常高的应用领域，做图像处理基本就只能用FPGA。例如在一些分选设备中图像处理基本上用的都是FPGA，因为在其中相机从看到物料图像到给出执行指令之间的延时大概只有几毫秒，这就要求图像处理必须很快且延时固定，只有FPGA进行的实时流水线运算才能…阅读全文赞同 74271 条评论分享收藏喜欢Understanding ISP Pipeline刘斯宁Camera技术专家什么是ISP主流的CMOS和CCD sensor几乎都是输出Bayer mosaic格式的RAW数据，这种数据格式是无法直接观看的，必须转换成常见的RGB或YUV格式才能被主流的图像处理软件支持。对于camera产品而言，一般还需要将RGB或YUV图像进一步转换成JPEG格式以方便进行存储。上述图像处理过程统称图像信号处理（Image Signal Processing，ISP），广义的ISP包含了JPEG和H.264/265图像压缩处理，而狭义的ISP仅包括从RAW格式变换到RGB或YUV的处理过程…阅读全文赞同 67382 条评论分享收藏基于曲率的图像处理AI鸡蛋没有论文的科研狗首先，这篇文章基于早前写的英文短文《 Curvature Based Image Processing 》，但是也包含了一些最新的想法。谨以此文与图像处理同行共勉。正式学术论文：曲率滤波期刊论文链接。（曲率滤波算法比传统的几何流算法快1000到10000倍）代码：曲率滤波代码（所有实验均可重复）给定一个图像 [公式] ，我们可以把它当作一个三维曲面 [公式] 。这样，我们就可以利用经典的微分几何工具来处理该三维曲面。假设我们处理后…阅读全文赞同 65561 条评论分享收藏ASIC Design and C Model刘斯宁Camera技术专家1 什么是ASIC ASIC的全称是Application Specific Integrated Circuit，指的是面向某个特定用途的半导体芯片，比如华为海思设计的麒麟970就是一款专门面向高端手机应用的ASIC芯片，而Hi3559A 则是一款面向安防监控应用的ASIC芯片，它的全称是Hi3559A HD Camera SoC，其中SoC是System-on-Chip的缩写，中文是片上系统，指的是在一颗ASIC芯片上集成了CPU、GPU、ISP、CODEC、DSP、NNIE等多种核心IP（Intellectual Property），构成一…阅读全文赞同 44026 条评论分享收藏[转]-- ISP（图像信号处理）算法概述、工作原理、架构、处理流程AomanHao图像处理很有意思目录ISP的主要内部构成：ISP内部包含 CPU、SUB IP（各种功能模块的通称）、IF 等设备ISP的控制结构：1、ISP逻辑 2、运行在其上的firmware ISP上的Firmware包含三部分：AP对ISP的操控方式：外置：I2C/SPI。内置：MEM MAP、MEM SHARE ISP架构方案：内置、外置 ISP 处理流程：Bayer、黑电平补偿（black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值（demosaic）…阅读全文赞同 31113 条评论分享收藏CMOS Image Sensor原理简述Quan Chen悉尼大学信息技术硕士简介 CMOS称为互补式金属氧化物半导体（Complementary Metal-Oxide-Semiconductor，缩写作 CMOS），是一种集成电路的设计工艺，可以在硅质晶圆模板上制出NMOS（n-type MOSFET）和PMOS（p-type MOSFET）的基本元件，由于NMOS与PMOS在物理特性上为互补性，因此被称为CMOS（Complementary 的来历）。此一般的工艺上，可用来制作电脑电器的静态随机存取内存、微控制器、微处理器与其他数字逻辑电路系统、以及除此之外比较特别的技术…阅读全文赞同 29819 条评论分享收藏键盘摄影（七）——深入理解图像信号处理器 ISPYvon Shong早稻田大学情报学修士写在前面，本文为笔者参考了很多篇博客，传感器手册，芯片手册，汇总了 ISP 可能涉及到的步骤流程，整理所得万字长文，并针对 ISP 芯片流程图总结画出了题图的 ISP流程图，如有错误轻喷。主要包含：内部结构/控制方式 / ISP 架构方案 / ISP工作流程 / 图像接入ISP的方式 / 黑电平校正 / 镜头阴影校正 / 坏点校正 / 绿平衡 / 降噪 / 颜色插值 / 色温 / 自动白平衡 / 颜色校正 / 伽马校正 / 颜色空间变换 / 宽动态范围 / 锐化 / …阅读全文赞同 26925 条评论分享收藏相机图像信号处理流程（ISP）VegDog一只菜狗子本文主要为阅读ICCV 2023 一篇Tutorial的笔记（Part 2）：原文连接：ICCV 2023 Tutorial: Understanding the In-Camera Rendering Pipeline and the role of AI/Deep Learning (yorku.ca) 只是图像信号处理流程的一个总体的介绍，以便更好理解一张照片究竟是如何诞生的，实际的技术要复杂很多。 [图片] 1 传感器捕获光信号现在的相机多使用CMOS作为传感器，不同的相机有不同的画幅，如常见的APS-C画幅、全画幅等。总的来说画幅越大，…阅读全文赞同 2634 条评论分享收藏ISP从算法到硬件设计——从CCM到sensor结构烓围玮未学习也是一种生活方式ISP从算法到硬件设计——从CCM到sensor结构------------------------------------------ 版权声明：本文作者：烓围玮未。主要从事ISP/MIPI/SOC/车规芯片设计首发于知乎专栏：芯片设计进阶之路同步微信公众号：芯片设计进阶之路(x_chip) 转发无需授权，请保留这段声明。------------------------------------------ ISP一个重要的功能就是控制sensor，修复摄像头的一些缺陷，比如暗电流，镜头畸形等等。那么了解一些摄像头模…阅读全文赞同 25416 条评论分享收藏5分钟理解相机ISP (图像信号处理)人工智能商机微信公众号：人工智能商机。搜索公众号：aibizopp原文： https://mp.weixin.qq.com/s/UanwwJAPuJGXZCiuZ-QoSQ 引言凡是在图像领域工作的人，都会经常听到ISP (Image Signal Process, 图像信号处理)，知道ISP对图像质量非常重要。比如华为和小米竞争手机拍照和录像效果，主要的竞争领域就是ISP；做AI (Artificial Intelligence, 人工智能) 的人也知道，如果ISP不给力，后续的AI处理效果会受到影响。 [图片] 以前，我们想了解一下ISP里面到底有什么，会拿到一个巨大图，伴随一个名词列表，搞不清重点。 [图片] 再请教几位做图…阅读全文赞同 24415 条评论分享收藏如何深入研究ISP算法？张涛推荐算法我最近调研计算机领域在ISP算法的领域的研究，正好看到这个问题，就上来强答一下。回答还是偏向于给文章和链接，外加上自己的一些理解。如果有错误的地方，欢迎读者批评斧正。一．ISP 框架如 @林名所说，"isp是一大类算法的集合“。下图1是ISP标准的流程，当然对于各大设备厂商来说并没有固定的标准。 [图片] 二．ISP 流程这部分主要总结一下流程图中比较重要的几个部分，然后贴一些文献资料。 a) 成像原理人眼可感知RGB三原色，于是…阅读全文赞同 23114 条评论分享收藏喜欢Understanding Auto Exposure Control刘斯宁Camera技术专家3A定义3A 是Camera ISP 控制算法的一个重要组成部分，通常分为自动曝光(AE)、自动聚焦(AF)、自动白平衡(AWB)三个组件。 [图片] 本问主要讨论AE，关于AF的内容可参考相关主题文章 [文章: Understanding Auto Focus] 关于AWB的内容可参考相关主题文章 [文章: Understanding White Balance Control] 自动曝光（Auto Exposure）自动曝光算法可以理解为一个伺服系统，它不断监控ISP生成的每一帧图像的曝光状态，如果发现采集到的状态与理想目…阅读全文赞同 22641 条评论分享收藏Understanding ISP Pipeline - Tone Mapping刘斯宁Camera技术专家色调映射影像系统的一个核心功能是图像显示，好的显示效果能够真实地再现原始场景，给人的知觉效果就像直接观察原始场景一样。色调映射是影像再现系统的一个重要组成部分，它将原始场景的光照映射成显示设备的发光强度。一个好的影像再现系统需要考虑到人类视觉系统（Human Vision System, HVS）是如何处理光线的。场景辐射的光线被人类视网膜上的杆细胞和锥细胞捕捉产生电信号，并传递到视觉神经通道（visual pathway）中做进…阅读全文赞同 20723 条评论分享收藏如何看待特斯拉Tesla放弃传统ISP、用Sensor Raw数据做自动驾驶的思路？Naiyan Wang机器学习等 3 个话题下的优秀答主来简答一下这个问题，简而言之，从我的角度来说我的答案是算法上可行，工程上不太可行。算法可行这个应该不难理解，其实我们早在大概18 19年的时候就实验过类似的思路了，直接使用bayer pattern作为输入，少了很多为了人眼而hand-crafted的流程，也减少了很多因此而产生的不稳定性。举例两个比较直接的：由于光源突变导致的白平衡突变。夜间低信噪比的时候，为了迎合人眼去做不必要的denoise。但是，这个做法为工程同学带来了…阅读全文赞同 19068 条评论分享收藏喜欢Understanding ISP Pipeline - Noise Reduction刘斯宁Camera技术专家背景下图是使用单反相机在ISO6400条件下拍摄24MP分辨率图片的预览效果。 [图片] 看起来似乎还不错，但是如果将图像放大到100%显示，则真实效果是这样的， [图片] 原生画面上实际充满了各种颜色杂乱的斑点和斑块，几何线条也不太清晰。这些破坏图像质量的东西就是噪声。噪声（Noise）噪声是图像中不请自来的信号。当相机拍摄一个亮度十分均匀的区域时，相机输出的结果会不可避免地叠加一部分噪声。 [图片] 相机的输出信号=真实信号+噪声信号。由于真实…阅读全文赞同 18518 条评论分享收藏图像传感器基础知识-噪声Sensor nosieQuan Chen悉尼大学信息技术硕士1. 引子我们经常会听到“噪点”这个名字，用来形容拍出来的相片放大后看有突兀的聚集点，成像质量很差。本文将会由总到细，以固定模式噪声（fixed-pattern noise，FPN）和暂态噪音（temporal noise，TN）为切入点来介绍Sensor nose的类别和产生原因。内容较多，可以当做字典搜索查看。2. 图像传感器中的噪声 - Noise in Image Sensors下图1总结了噪声成分。Sensor中的噪声可以视为会影响信号采集和图像质量的信号波动。噪声与 …阅读全文赞同 19214 条评论分享收藏Understanding Light and Color刘斯宁Camera技术专家光的本质人们很早就发现，白光或太阳光经三棱镜折射会分离出光谱色光，形成由红、橙、黄、绿、蓝、靛、紫等七个颜色组成的光带，这光带称为光谱。其中红光波长最长，紫光波长最短，其它各色光的波长则依次介于其间。如下图所示。 [图片] 从白光分解出来的色光，如果再次通过三棱镜则不会继续分解出其它色光。这种不能再分解的色光叫做单色光。单色光的颜色取决于光的频率f，或者波长λ，两者是等价的，可以根据光速公式c=λf 相互换算。…阅读全文赞同 1846 条评论分享收藏Understanding Image Quality Tuning刘斯宁Camera技术专家图像质量 (Image Quality, IQ)据估计，在互联网上每天大约会产生18亿张图像，人们通过拍照将自己生命中的重要时刻定格下来，上传到互联网上与亲朋分享。生命总会凋零，但这些数字化的信息则会在网络空间上获得某种形式的永生。智能手机的发明使拍照变得如此简单自然，拍照和朋友圈已经变成很多人生活方式的一部分，但是很少有人会去思考快门按下的瞬间，我们手中的相机都做了哪些神奇的工作，让我们能够随时随地获得爱不释手的…阅读全文赞同 17410 条评论分享收藏FPGA图像处理的前景如何？匿名用户谢邀！FPGA的图像处理是我现在正在从事的，非常乐意分享一下看法。写一次可能不能完全写清楚，以后会逐渐补充。过去的FPGA在图像处理上做的很少。在图像采集卡、接收卡、相机中，FPGA主要任务是做图像的转发（在各种视频接口、存储器、总线之间转来转去）。在转发的中途，可以进行一些简单的处理，比如插值、翻转、gamma变换、滤波、拼接等。做这些技术的基础要求是对各种接口、总线、外设的熟悉。技术难点在于利用有限的资源…阅读全文赞同 17231 条评论分享收藏喜欢浏览量841 万讨论量3696 帮助中心知乎隐私保护指引申请开通机构号联系我们举报中心涉未成年举报网络谣言举报涉企虚假举报更多关于知乎下载知乎知乎招聘知乎指南知乎协议更多京 ICP 证 110745 号 · 京 ICP 备 13052560 号 - 1 · 京公网安备 11010802020088 号 · 京网文[2022]2674-081 号 · 药品医疗器械网络信息服务备案（京）网药械信息备字（2022）第00334号 · 广播电视节目制作经营许可证:（京）字第06591号 · 服务热线：400-919-0001 · Investor Relations · © 2024 知乎北京智者天下科技有限公司版权所有 · 违法和不良信息举报：010-82716601 · 举报邮箱：jubao@zhihu.

海思越影：新一代AI ISP技术，树立画质新标杆

场景应用

智慧家庭

媒体&娱乐

家庭服务

智慧城市

城市管理

城市效率

智慧出行

智能驾驶

智能座舱

车联网

海思说

点击解密海思黑科技 >

PLC光伏

全屋智能

NB-IoT

AI ISP

AVS3

HDR Vivid

HPLC

产品

智能终端

智慧视觉

联接

智慧媒体

MCU

模拟

处理器

麒麟

昇腾（HUAWEI Ascend)

鲲鹏

巴龙

凌霄

开发者

芯平台

智慧联接平台

感知计算平台

芯课堂

赋能培训

资料下载

芯活动

嵌入式大赛

ICT大赛

获取支持

购买渠道

渠道信息

技术支持

获取支持

联系海思

联系我们

关于我们

公司简介

招贤纳士

新闻与活动

新闻

活动

搜索

无搜索结果

热门内容

智慧家庭

智慧城市

智慧出行

快速链接

购买渠道

联系我们

bg line

海思越影：新一代AI ISP技术，树立画质新标杆

2021年12月28日

vivo 自研 V1 ISP 芯片全解读：超 300 人 24 个月研发，效率指数级提升 - IT之家

首页

IT圈

辣品

设置

日夜间

随系统

浅色

深色

主题色黑色

投稿

RSS订阅

收藏IT之家

软媒应用

App客户端

云日历

软媒魔方

业界

手机

电脑

测评

视频

苹果

iPhone

鸿蒙

软件

智车

数码

学院

游戏

直播

微软

Win10

Win11

专题

搜索

首页 > 安卓之家>安卓手机

vivo 自研 V1 ISP 芯片全解读：超 300 人 24 个月研发，效率指数级提升

智东西

2021/9/6 19:56:36

责编：信鸽

评论：

9 月 6 日消息，vivo 今天在一场影像技术分享会上正式介绍了自家的自研 ISP 芯片 V1，并分享了 vivo 与蔡司联手在手机光学镜头、拍照算法技术方面的新突破。vivo 影像产品经理王兆丰说，夜景、变焦、运动防抖、视频等特性是 vivo 影像系统发力的重点方向。在手机拍照领域，“如今算法更重要还是硬件更重要？”是 vivo 此次抛出的核心问题。在发布会结尾，vivo 也预热称，9 月 9 日他们的 vivo X70 系列旗舰手机将会发布，除了这次展示的新技术，vivo 还会带来更多拍照技术方面的“惊喜”。一、“等效 32MB 缓存”干翻台式 CPU，将算法写到芯片里vivo 影像算法总监杜元甲说，消费者现在不光需要手机在常规场景下拍出好照片，也希望在一些高挑战性场景中拍出好照片，比如暗光、运动场景。这些需求都对手机处理图像信息的能力提出了更高的要求。如今拍摄一段 30 帧视频，每帧图像允许处理器进行运算的时间仅有 33 毫秒。除此之外，功耗也成了一大挑战：既要提升处理能力，又不能过多增加功耗。为了解决这个问题，vivo 的思路是定制化芯片 + 自研算法结合。其实此前 vivo 在引入定制芯片方面已经积累了一定经验：在 vivo X1、Xplay 中，vivo 就将定制 Hi-Fi 芯片放入手机，提升手机音频体验。到 2017 年，vivo 将定制的 DSP 图像芯片放入到 X9 Plus 中，提升手机影像 HDR 表现。此次，vivo 组建了超过 300 人的研发团队，经过 24 个月研发，最终推出了 V1 ISP 芯片。杜元甲说，在这枚芯片的研发中，vivo 也与手机 SoC 厂商进行了深度合作，但他并未透露具体厂商名称。2019 年，vivo 曾与三星联合研发了 Exynos 980 5G SoC，据称今年 vivo 也将在 X70 系列旗舰中使用三星 Exynos 1080 SoC，可见 vivo 和三星一直以来都保持着良好的合作关系。因此我们推测此次 vivo ISP 芯片的合作厂商，大概率是三星。V1 是 vivo 自研的第一颗影像芯片，可以搭配不同的主芯片和屏幕，可以扩充 ISP 算力、释放主芯片 ISP 负载。这枚 V1 芯片在特定图像处理任务时，在性能、延迟、功耗等方面具有优势，杜元甲说，相比 CPU、DSP 等芯片，V1 处理特定任务的效率有“指数级提升”，也可以完成数据的并行处理。vivo 优化了数据在芯片内部的储存架构和高速读写电路，实现了等效 32MB 的“片上高速缓存”，读写速度可以达到 35.84Gbps，而目前主流旗舰级台式机 CPU 的高速缓存也仅有 16MB 左右。那么 V1 这样的优化有怎样的效果呢，在夜景拍摄中，去噪、插帧等这类对算力需求较大的算法都可以应用进来。在 V1 辅助下，主芯片可以实现 1080P 60 帧的夜景视频降噪、插帧。在 V1 的加持下，主芯片可以在低光录像时，以低功耗运行 4K 30FPS 的 MEMC 去噪和插帧，这辅助并强化了主芯片在夜景下的影像效果，配合主芯片 ISP 原有的降噪功能，实现二次提亮二次降噪。值得一提的是，vivo 通过将软件算法转移至 V1 的专用硬件电路中，让复杂的计算成像功能在默认拍照和录像预览下即可开启。在高速处理同等计算成像算法时，相比软件实现的方式，V1 的专用算法硬件电路功耗降低了 50%。这也就是 vivo 所说的“硬件级算法”。二、蔡司镜片加持，良品率不到 60% 也要死磕vivo 光学器件总监朱盼盼说，去年 vivo 与蔡司达成了合作，从镜片、镜头到滤光片，vivo 都联合蔡司进行了创新。他提到，眩光、鬼影、边缘画质差等问题仍然是如今手机拍照的普遍痛点，而这些问题的解决都需要光学器件性能的提升。vivo 通过使用高规格玻璃镜片补足了传统塑胶镜片的缺点，朱盼盼特别提到了“阿贝数”这一性能指标，vivo 的玻璃镜片阿贝数达到了 Vd 81.6，相比上代设计视场色差降低约 70%。得益于新型玻璃镜片的使用，镜片中心的透光率达到了 95%，相比传统镜片提升了 2%。当然，使用玻璃镜片面临许多挑战，比如工艺复杂、良率低，据称这次 vivo 的玻璃镜片工艺步骤有 11 道，每 100 片中才能挑选出 60 片良品。同时，vivo 通过 AOA 工艺，实现了镜片的动态调整。为了解决眩光、鬼影等问题，vivo 采用了 SWC 镀膜技术，将镜片表面反射率降低至 0.1%，而此前这一数值为 0.8%，降低了 90%。其核心是在镜片表面上做出“纳米级纹路”。另外，vivo 通过 ALD 镀膜工艺，让镜片上形成 0.4nm 均匀分布的光学膜层，从而使反射率均匀值到达 0.25% 左右。朱盼盼特别提到，这些工艺已到达成熟量产阶段。为了解决“花瓣鬼影”问题，vivo 通过色素旋涂技术，更好地实现了蔡司 T * 镀膜，可以提升红光的吸收率，从而改善眩光和鬼影问题。去年 vivo 和蔡司成立了联合影像实验室，朱盼盼说，蔡司的团队给了他们非常大的帮助。三、联手蔡司定义新色彩标准，深度神经网络赋能拍照算法王兆丰继续介绍了 vivo 在拍照软件算法层面的突破，vivo 通过三年 10 款机型的打磨，形成了自己一套成像色彩风格。不过专业的创作者，更偏向于还原人眼看到的真实色彩，为此，vivo 与蔡司联手打造了“蔡司自然色彩”色彩标准。vivo 在 P3 色域基础上，选择了 140 色卡指定色彩标准，与蔡司共同制定色彩标准，为了适应更加精细的色彩标准，vivo 在粗调试中增加了色彩映射矩阵算法，将调试参数增加到 384 个。通过这些调试，vivo 将照片色相准确度提升了约 15.5%。另外 vivo 选择“复刻”蔡司 Biotar 镜头提升人像拍摄的效果，但是复刻需要解决不少难题，比如 Z 方向景深的模拟、XY 方向像场的变化、还原镜头光斑。在这其中，vivo 通过深度卷积网络，学习了 28W 张人像分割照片、10W 张手势分割图片；另外 vivo 建立了虚化模型，实现 3D-POP 虚化效果。在还原镜头光斑形状方面，vivo 通过散焦滤波核生成技术，对不同镜头的光斑进行更真实的模拟。除了这些算法之外，vivo 在人像拍摄、延时摄影、10bit Log 视频拍摄、超级夜景等方面也进行了优化。vivoRAWHDR3.0 算法，提升了夜景拍摄样张的色彩表现，通过 SuperRAW 功能，实现了 14bit 色深，最大支持 10 帧合成。结语：手机拍照领域，硬件软件结合加深在自研 ISP 芯片 V1、定制光学镜片、提升镜片加工工艺的同时，vivo 也在算法上继续打磨，联合蔡司进行调教。可以看到，算法的实现需要出色硬件的辅助，随着如今图像数据量增加，图像画质要求提升，算法对于硬件性能要求也“水涨船高”，自研 ISP 芯片无疑成为了厂商们的一个新的突破口。小米、vivo 纷纷推出自研 ISP 芯片，OPPO 的自研 ISP 芯片也正在路上，如今在手机拍照领域，硬件 + 软件“两条腿走路”已经成为了大趋势。我们也期待厂商们未来能在芯片层创新上带来更多突破。广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

投诉水文

我要纠错

下载IT之家APP，签到赚金币兑豪礼

相关文章关键词：芯片，vivo，ISP每月都有芯片项目诞生，苹果、谷歌、特斯拉等科技巨头纷纷布局宝马 CEO 预计全球芯片短缺还将持续 6~12 个月为吸引三星电子建 170 亿美元芯片厂，美得州泰勒市拟大规模减免财产税汽车芯片巨头瑞萨 CEO：疫情反复将成常态，半导体行业要稳定生产微如尘埃，针头注射：“世界上最小的单芯片系统”是如何炼成的消息称 vivo 首款自研影像芯片 V1 将于明日提前公布

软媒旗下网站：

IT之家

辣品 - 超值导购，优惠券

最会买 - 返利返现优惠券

iPhone之家

Win7之家

Win10之家

Win11之家

软媒旗下软件：

魔方

云日历

酷点桌面

Win7优化大师

Win10优化大师

软媒手机APP应用

关于IT之家

|联系我们

|加入软媒

|WAP版

|网站地图

|Archiver

IT之家，软媒旗下科技门户网站 - 爱科技，爱这里。

Hi3516DV500芯片 | 海思官网

场景应用

智慧家庭

媒体&娱乐

家庭服务

智慧城市

城市管理

城市效率

智慧出行

智能驾驶

智能座舱

车联网

海思说

点击解密海思黑科技 >

PLC光伏

全屋智能

NB-IoT

AI ISP

AVS3

HDR Vivid

HPLC

产品

智能终端

智慧视觉

联接

智慧媒体

MCU

模拟

处理器

麒麟

昇腾（HUAWEI Ascend)

鲲鹏

巴龙

凌霄

开发者

芯平台

智慧联接平台

感知计算平台

芯课堂

赋能培训

资料下载

芯活动

嵌入式大赛

ICT大赛

获取支持

购买渠道

渠道信息

技术支持

获取支持

联系海思

联系我们

关于我们

公司简介

招贤纳士

新闻与活动

新闻

活动

搜索

无搜索结果

热门内容

智慧家庭

智慧城市

智慧出行

快速链接

购买渠道

联系我们

Hi3516DV500

4M30/5M30 AI 摄像机芯片

Hi3516DV500是一颗面向视觉行业推出的高清智能SoC。该芯片最高支持2路sensor输入，支持最高5M@30fps的ISP图像处理能力，支持 2F WDR、多级降噪、六轴防抖、多光谱融合等多种传统图像增强和处理算法，支持通过AI算法对输入图像进行实时降噪等处理，为用户提供了卓越的图像处理能力。支持热红外、主/被动双目视觉3D、ToF sensor的接入和处理。 Hi3516DV500内置双核A55，提供高效、丰富和灵活的CPU资源，以满足客户计算和控制需求。 Hi3516DV500集成了高效的神经网络推理引擎，最高2TOPS NN算力，支持业界主流的神经网络框架。 Hi3516DV500提供稳定、易用的SDK软件开发包，支撑客户产品快速量产。

高性能5M30处理能力

• 支持5M@30fps的H.265/H.264编码/解码

• 支持 2 路 2M@30fps 的黑白与彩色融合

丰富的视觉AI计算能力

• 智能加速 2TOPS INT8 NN加速引擎

AI ISP卓越的全天候图像效果

• 超感光降噪，6dB信噪比提升

• 超级宽动态，基于场景感知的极限收光；快速准确跟踪复杂光线下的成像效果

关键特性

处理器内核

• 双核 ARM Cortex A55@850MHz • 32KB I-Cache，32KB D-Cache，256KB L3 cache• 支持 NEON 加速，集成 FPU 处理单元• 支持 TrustZone

系统级加速模块

• 集成硬化的标准 CRC32/CRC16/CRC8 多项式运算单元• 集成硬化的高速直接数据搬移模块(DMA)

智能视频分析

• 神经网络支持完整的API和工具链，易于客户开发• 升级 IVE 算子，支持特征点检测、周界、光流及多种计算机形态学算子• 升级 DPU 算法实现双目深度图加速单元，最大分辨率 2048x2048，最大视差 224，处理性能 720p@30fps

视频编解码

• 支持 H.264 BP/MP/HP Level 5.1• 支持 H.265 Main Profile Level 5.1• H.264/H.265 编解码最大分辨率为 6144x6144• 支持 I/P 帧• H.264/H.265 多码流编解码典型性能如下： −2592x1944@30fps(编码)+1920x1080@30fps(编码)+720x480@30fps(编码) −3072x1728@30fps(编码)+1920x1080@30fps(编码)+720x480@15fps(编码) −3200x1800@20fps(编码)+1920x1080@30fps(编码)+720x480@30fps(编码) −2592x1944@30fps(编码)+720x480@30fps(编码)+1920x1080@30fps(解码) −2592x1944@30fps(解码)• 支持 8 个区域的编码前 OSD 叠加• 支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式• 输出码率最大值 80Mbps• 支持 8 个感兴趣区域（ROI）编码• 支持视频前端叠加 mosaic 编码• 支持数字水印• 支持 PVC 感知编码降低码流• 支持 JPEG Baseline 编解码• JPEG 编解码最大分辨率 16384x16384• JPEG 最大性能 −编码：2592x1944@60fps(YUV420) −解码：2592x1944@30fps(YUV420)

ISP

• 支持多路 sensor 同时处理• 支持 3A（AE/AWB/AF）功能，3A 参数用户可调节• 支持去固定模式噪声（FPN）• 支持坏点校正和镜头阴影校正• 支持两帧 WDR 及 Advanced Local Tone Mapping，支持强光抑制和背光补偿• 支持多级 3D 去噪• 支持图像边缘增强• 支持去雾• 支持动态对比度增强• 支持 3D-LUT 色彩调节• 支持新一代镜头畸变校正• 支持鱼眼等任意形状几何矫正• 支持 6-DoF 数字防抖• 支持陀螺仪防抖和 Rolling-Shutter 校正• 支持图像 Mirror、Flip、90 度/270 度旋转• 支持使用神经网络对图像进行实时 DRC、BNR、3DNR 或 DM 处理• 支持黑白与彩色两路图像双光融合• 提供 PC 端 ISP 调节工具

视频与图形处理

• 支持图形和图像 1/15.5～16x 缩放功能• 支持水平方向全景拼接输入 2 路 1920x1080@30fps，最大输出3840x1080@30fps 或 1920x2160@30fps• 支持视频层、图形层叠加• 支持色彩空间转换

视频输入接口

• 支持 4-Lane image sensor 串行输入，支持MIPI/LVDS/Sub-LVDS/HiSPi 多种接口• 支持 4-Lane 或 2x2-Lane 等多种组合，最高支持 2 路 sensor 输入• 支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入，时钟频率最高 148.5MHz• 支持 BT.601、BT.656、BT.1120 视频输入接口• 支持通过 MIPI 虚拟通道输入 1~4 路 YUV• 支持主流 CMOS 电平热成像传感器接入• 支持结构光图像模组• 支持 cw ToF 图像传感器

视频输出接口

• 支持一路 BT.1120 或 BT.656 接口输出，其中BT.1120 最高性能 1920x1080@60fps• 支持 6/8bit 串行或 16/18/24bit RGB 并行输出，最高频率 74.25MHz• 支持 4-Lane Mipi DSI/CSI 接口输出，最高1.8Gbps/lane，性能 1920x1080@60fps• 支持 Gamma 校正和水平方向 sharpen

音频接口与处理

• 内置 Audio codec，支持 16bit 双路差分语音输入和双路单端语音输出• 支持 1 路 I2S 接口，兼容多声道时分复用传输模式（TDM）• 支持 8 路数字 MIC 阵列输入• 支持多协议语音编解码• 支持音频 3A（AEC/ANR/ALC）处理

安全隔离与引擎

• 支持安全启动• 支持基于 TrustZone 的 REE/TEE 硬件隔离方案• 支持神经网络模型与数据保护• 硬件实现 AES128/256 对称加密算法• 硬件实现 RSA3072/4096 签名校验算法• 硬件实现 ECC256/384/512 椭圆曲线算法• 硬件实现 SHA256/384/512、HMAC_SHA256/384/512 算法• 硬件实现 SM2/3/4 国密算法• 硬件实现真随机数发生器• 提供 28Kbit OTP 存储空间供客户使用

网络接口

• 1 个千兆以太网接口 −支持RGMII、RMII两种接口模式 −支持TSO、UFO、COE等加速单元

外围接口

• 2 个 SDIO3.0 接口 −SDIO0支持SDXC卡，最大容量2TB −SDIO1支持对接wifi模组• 1 个 USB3.0 接口 −USB Host/Device可切换• 支持上电复位（POR）和外部输入复位• 集成独立供电 RTC• 集成精简上下电控制逻辑，实现芯片待机唤醒• 集成 4 通道 LSADC• 集成 RGB 小屏专用三线控制接口• 多个 UART、I 2C、SPI、PWM、GPIO 接口

外部存储器接口

• DDR4/LPDDR4/LPDDR4x 接口 −支持2x16bit DDR4 −支持1x32bit LPDDR4/LPDDR4x −DDR4最高速率2400Mbps −LPDDR4/LPDDR4x最高速率 2400Mbps −最大容量4GB• SPI Nor/SPI Nand Flash 接口 −支持1、2、4线模式 −SPI Nor Flash支持3Byte、4Byte 地址模式• eMMC5.1 接口，最大容量 2TB• 可选择从 eMMC、SPI Nor/SPI Nand Flash 启动

SDK

• 支持 Linux5.10 SDK 包

芯片物理规格

• 功耗 −2W典型功耗(编码5M30 + 2Tops)• 工作电压 −内核电压为0.9V −IO电压为1.8/3.3V −DDR4/LPDDR4/LPDDR4x接口电压分别为1.2/1.1/0.6V• 封装形式 −RoHS，FCCSP 15mmx15mm封装 −管脚间距：0.65mm

感兴趣的产品

Hi3559AV100

8K30旗舰影视级摄像机芯片，支持4路8M拼接，支持HDR 10bit高动态技术，4TOPS AI算力

Hi3403V100

面向专业影像4K60摄像芯片，影视级色彩还原，AI ISP卓越影像，PDAF快速对焦，10TOPS算力

Hi3519AV200

面向专业影像4K60摄像芯片，影视级色彩还原，AI ISP卓越影像，PDAF快速对焦，2.5TOPS算力

Hi3519DV500

面向消费类的4K30专业摄像芯片，支持AI ISP逆光成像，专业色彩还原，2.5TOPS AI算力

获取技术支持

联系

海思官网

/智慧视觉芯片及部件

/专业影像芯片

/Hi3516DV500

关于海思

公司简介

安全公告

关注我们

联系我们

上海

上海市青浦区虹桥港路2号101室

+86 755 28780808

support@hisilicon.com

深圳

深圳市龙岗区坂田华为基地

+86 755 28780808

support@hisilicon.com

海思技术

PLC

全屋智能

NB-IoT

AI ISP

AVS3

HDR Vivid

开发者

芯课堂

芯平台

芯活动

新闻资讯

新闻与活动

校园行

如何购买

获取渠道信息

获取支持

简体中文

English

法律声明

隐私保护

Follow

比特币钱包下载安装手机版|isp芯片

比特币钱包下载安装手机版|isp芯片

ISP芯片是什么类型的芯片？ - 知乎

分析 丨图像信号处理ISP有哪些产品趋势？ - 知乎

5分钟理解相机ISP (图像信号处理) - 知乎

ISP(Image Signal Processor) 图像处理器的用途和工作原理？ - 知乎

越影-新一代智能图像处理引擎 | 海思

图像信号处理器ISP (Image Signal Processor) - 知乎

海思越影：新一代AI ISP技术，树立画质新标杆

vivo 自研 V1 ISP 芯片全解读：超 300 人 24 个月研发，效率指数级提升 - IT之家

Hi3516DV500芯片 | 海思官网

最近的新闻

您可能喜欢的文章

bitpie比特派app官网下载|icod

imtoken官网|iuo

比特派怎么更换手机号

比特派安卓版钱包怎么用

比特派登录不上怎么办

比特派检测到异常怎么回事

比特派不让验证怎么办呢

分析丨图像信号处理ISP有哪些产品趋势？ - 知乎