产品展示

事件相机的工作原理和应用场景

2024-03-19 产品展示

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  昨日一款三星Galaxy Note 4的高清壁纸图片遭到曝光,随后国外网站Android Authority便曝光了一张搭配这款壁纸的Note 4真机渲染图。从图片上看来,Note 4的机身设计与发布不久的Galaxy Alpha十分相似。 三星Galaxy Note 4渲染图 这款渲染图中,机身的主界面显示时间为9月3日,正是三星举办德国柏林发布会的时间。Note 4的机身也采用了金属边框设计,整体看来与此前曝光的真机谍照很相似。 疑似三星Note 4真机谍照 目前尚不能确定这张渲染图的真假,不过通过这张渲染图我们也可以大概猜想Note 4的真实样子。

  8月24日,特斯拉通过官方社交平台正式公开宣布将于北美时间9月30日在加州帕罗奥图举行“AI DAY”人工智能大会。 据悉,特斯拉将在本届“AI DAY”上首度展示人形机器人“擎天柱”。 (图片来源于:特斯拉官方微博) 相比起业界流行的四足机器人,人形机器人的发展道路要崎岖得多,从硬件到软件,开发商们几乎四处碰壁。尽管特斯拉的人形机器人“擎天柱”在曝光时间上要早得多,但还是被小米的Cyber One抢先一步。目前来说,Cyber One在完成度上算得上是比较高的,支持21个自由度、识别人物身份、情绪以及85种环境音,从一个“仿生人”的角度来看,已经满足的人们的基础幻想,但就现状而言,还达不到商用的标准。不仅是商务用途有些迷

  今日,国外爆料者 chunvn8888 曝光了 POCO X3 Pro 的完整外观、参数信息,据了解,该信息来自一个越南在线零售商。 外观方面,POCO X3 Pro 拥有黑、金、蓝三种配色,前面板为 2.5D 玻璃,后盖为 3D 玻璃,厚度为 9.4mm,重量为 215g。 POCO X3 Pro 将搭载高通还未发布的骁龙 860 处理器,以及 6GB/128GB 与 8GB/256GB 存储配置,最高 1TB microSD 卡扩展。 屏幕方面,POCO X3 Pro 将配备 6.67 英寸 Full HD+ IPS 屏幕,支持 120Hz 刷新率和 240Hz 触控采样率,最高 450 尼特亮度。

  三星 Galaxy Note III 首批原型机图片在网络上曝光,让我们得以一窥新一代 Note 的真面目。从图片上看,Galaxy Note III 拥有一块大面积屏幕,边角圆润,屏幕下方有一颗扁长实体 Home 键,外加两枚电容按键。根据传闻,三 星 Galaxy Note III 拥有一块 5.99 英寸 AMOLED 屏幕,全 HD 分辨率,441ppi 像素密度, 和 Galaxy S4 一样。 别的方面还有 1300 万像素主摄像头,搭载三星自家 Exynos 八核处理器,拥有新一代 S Pen 触控笔,运行最新的安卓操作系统。 之前有一张号称为 Galaxy Note III 拍摄的照片在网

  向来神秘的全球电信巨人华为技术的母公司家底曝光。日前,中国证监会预披露了江苏润和软件股份有限公司创业板招股书申报稿。据了解,由于一年前突击入股江苏润和软件,华为技术的母公司华为投资的财务情况也首次披露,2010年实现净利润247.18亿元。 一年投资回报率达197% 据了解,润和软件位于江苏南京,主业为国内外客户提供专业领域的软件外包服务,拟发行1919万股,发行后总股本7674万股,拟于深交所创业板上市。2011年1月,润和软件增资,华为投资以1881万元认购285万股,合6.6元/股,对于入股原因,润和软件称,华为技术与公司在业务上有诸多合作,由于看好润和软件未来发展,因此,由华为技术控制股权的人华为投资进行增资

  都知道最近iPhone X将要推出全新的红色配色,但是也仅仅是知道这则消息而已。今天早一点的时候,产业链给出的消息称,苹果正在生产新的iPhone X配色,而它并不是之前传闻腮红金,而是国人更爱的中国红配色。 网传iPhone X新配色渲染图 网传iPhone X新配色渲染图 今天,著名的设计师Martin Hajek为我们奉上了iPhone X的新配色渲染图,但从照片显示,这个造型和配色还是蛮经典的,红色背壳还有正面的黑色背板要比之前的iPhone 7还要漂亮不少。 iPhone X新配色渲染图 当前的iPhone X配色仅有深空灰还有白色两款,相比之下其他手机生产厂商的手机可以说是“五颜六色”了,这么看来iPhone X的

  最近iPhone新手机的消息慢慢的变多,昨天晚些时候集中出现了两个给力的消息,第一就是产品的外观首次在网络上曝光,此前只有一些消息和传闻,即便有设计图或者所谓的草图曝光,不靠谱的成分也居多。下面就随嵌入式小编共同来了解一下相关联的内容吧。 iphone 8传闻再起!这次是真机谍照曝光 业内人士@摩卡RQ曝光了真机谍照,不过他表示这是首次线正面照,宣称全网第一张剪影定妆照。但很显然也仅仅是模型样式并非真正完全版的iPhone 8手机。 从外观看,这款产品具备极高的屏幕占比,将会取消Home按键设计,采用了与屏幕整合在一起的方式,应该也支持指纹识别功能,毫无疑问这次的产品应该比三星S8更有魅力而且也更加激进,目

  12月20日消息,光了MIUI 13的字体设计。 据爆料,MIUI 13的字体“Mi Sans”和以往字体相比,前者加入了更多椭圆形元素以及更柔和的线条,这让字体看起来更舒适。 左为MIUI 12字体,右为MIUI 13字体“Mi Sans” 根据之前曝光的消息,MIUI 13会在本月底正式对外发布,时间可能是12月28日。它有两个版本,一版是基于Android 11开发,一版是基于Android 12开发。 其中基于Android 12开发的MIUI 13会适配到小米MIX 4、小米11 Ultra、小米11、Redmi K40 Pro等今年发布的高端旗舰上,这些机型会首批尝鲜MI

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  【60块开发板!30份好礼!】STM32直播:多款新品发布、成功案例分享、解决方案解读

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!第三期考题上线,跟帖赢好礼~

  有奖征文:邀一线汽车VCU/MCU开发工程师,分享开发经验、难题、成长之路等

  RISC-V 无剑联盟成立,阿里达摩院玄铁 RISC-V 处理器出货超 40 亿颗

  3 月 14 日消息,在今日举行的 2024 玄铁 RISC-V 生态大会上,RISC-V 无剑联盟宣布成立。RISC-V 无剑联盟首批联盟伙伴包括:Arter ...

  Arteris 扩展 Ncore 缓存一致性互连 IP 以加速尖端电子设计

  亮点:高效:专为最大限度地提高工程设计效率和加快产品上市时间而设计,用于连接基于 Arm 和 RISC-V 设计的半导体 IP 模块和子系统 ...

  嘉楠基于RISC-V的端侧AIoT SoC采用了芯原的ISP IP和GPU IP

  将芯原像素处理IP组合集成到高精度、低延迟的K230芯片中2024年3月14日,中国上海——芯原股份 今日宣布嘉楠科技全球首款支持RISC-V Vecto ...

  近日,龙芯中科在投资者互动平台回应用户提问时表示,龙芯第二代GPU核LG200将在2K3000中应用,2K3000计划在今年上半年交付流片。LG200支持 ...

  调用 GRAPH FB下图显示了GRAPH FB 的调用:① 顺控器和各个参数的状态信息以及各个步和转换条件的状态信息都存储在“GRAPH_Sequence_D ...

  S7-1500/ET 200MP的系统电源与负载电源模块有什么不同呢?

  嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科