1 版本历史1.1 UVC uvc_versionUVC 1.0: Sep-4-2003UVC 1.1: Jun-1-2005UVC 1.5: August-9-2012, H.264 video codec. Linux 4.5 introduces UVC 1.5, but does not support H264.1.2 V4L版本历史Video4Linux取名的灵感来自1992 Video for WindowsV4W但两者在技术上并没有任何关系。Linux 2.5.462002年11月发布natively支持V4L2Linux 2.6.262008年发布natively支持UVCGSPCA使用的是V4L规范2 UVC数据包格式2.1 UVC帧格式Figure 2-1 UVC Video Data Header FormatFigure 2-2 UVC帧格式每16KB的一次Bulk burst中包含一个12字节的Video Header并且每一次的Bulk burst对应一个URB。2.2 主流UVC摄像头支持的格式V4L2_PIX_FMT_MJPGV4L2_PIX_FMT_YUYVV4L2_PIX_FMT_H264V4L2_PIX_FMT_JPEGUSB摄像头的成像效果一般不稳定对着日光灯拍照会有flicker现象。原因是日光灯照射时光照比较充足只需要很短的时间譬如1/120秒或者1/100秒sensor像素就可以获得足够的电流然后sensor中的ADC就启动转换。2.3 Linux数据包解码1ISO一个URB对应一帧等于number_of_packets * BPIwBytesPerInterval其中BPI packet的大小 x burst的个数。只有高速和全速端点支持同步传输高速同步端点的最大包长度为1024400h全速同步端点的最大包长度为10233FFh。2Bulk一个URB对应dwMaxPayloadTransferSizedwMaxPayloadTransferSize packet的大小 x burst的个数。3解码函数分别如下所示。drivers/media/usb/uvc/uvc_video.cuvc_video_decode_start()uvc_video_decode_data()uvc_video_decode_end()2.4 UVC H264 - 180P or 360PUVC头只有两个有效位置标记帧起始FID和帧结束EOF主机能得到的位置信息只有只是新一帧的开始FID翻转和帧到此结束EOF 1。也就是说同一帧内所有USB包的FID是同样的值要么是1要么是0同一帧内除了最后一个USB包的EOF是1其它USB包的EOF都是0。检测到EOF为1时表示一个NALU或者分段结束忽略头部4字节0x00000001然后检查这一帧是不是SPS帧如果是就解析出width和height。3 Still Image CaptureFigure 3-1 Still Image Capture其中Method 1和Method 3属于ZSL。方法一是从preview中截图。方法三是专用的端点类似于手机ISP专用的snapshot AXI port拍照。方法二是preview和拍照二选一属于传统模式拍照时停止预览拍完时恢复预览。4 协议bInterfaceClass/bInterfaceSubClass/bInterfaceProtocol0x0E/0x01/0x00和0x0E/0x02/0x005 libuvclibuvc based on libusbhttps://github.com/libuvc/libuvchttps://ken.tossell.net/libuvc/6 主控芯片6.1 EZ-USB CX314-lane CSI-2接口2芯片内部没有ISP和JPEG编码器所以只支持V4L2_PIX_FMT_YUYV可以在CIS和CX3之间外挂ISP解决Camera的效果处理问题3使用ThreadX6.2 SanJet DVR7 Tools7.1 UVC播放器AMCap: ActiveMovie CaptureVLC: [Tools][Preferences][All][Input / Codecs][Demuxers][H264]gstreamer7.2 Wireshark分析RTP中的H264码流1用Wireshark打开.pcap文件2右键点击H264的UDP包选择“Decode as…”选择 RTP点击OK之后UDP就解析成RTP包了3查看RTP包的payload type通常H264 SDP文件中指定了类型是964WireShark工具栏中选择Edit – preferences – protocols – H264把“H264 dynamic payload types”设成96点击OK。以后payload就可以自动解析了8 URLshttps://github.com/joeshang/joycar/blob/master/module/v4l2_camera/decoder_mjpeg.cLinux UVC driver and toolshttp://www.ideasonboard.org/uvc/9 AbbreviationsADASAdvanced Driver Assistance System先进驾驶辅助系统Bosch提供整个方案模块AFEUSB PHY Analog Front-endARCArgonant RISC CoreAT91SAM9260SAM means Smart ARM-based MicrocontrollerATMEL SAMBAATMEL Smart ARM-based Microcontroller Boot AssistantBYODbring-your-own-deviceCarPlay和Android Auto就属于BYODC2BADI Car Camera BusDMSDriver Monitoring System疲劳驾驶监控使用GHS INTEGRITY RTOS系统通过车载以太网通信PHY工作在Master模式连接时会主动和Slave PHY进行链路训练法国Valeo提供方案DWC2Design Ware Controller 2Apple的嵌入式设备包括iPad和iPhone都是使用的DWC2EVSExterior View SystemAndroid车载系统Camera架构HAL层不同于手机Camera架构FourCCFour-Character CodesGSPCAGeneric Software Package for Camera Adapters开始是为了支持Sunplus凌阳单片机camera模组spca50xSunPlus CAmera后来基于这个驱动进行扩展变成了通用的驱动gspca所以缩写里面仍然包含了spca关键字已经不再维护现在使用uvc。HSSQUSB PHY High-speed SquelchISP1161Philips Integrated host Solution Pairs 1161“Firms introduce USB host controllers”https://www.eetimes.com/document.asp?doc_id1290054LeicaLeitz CameraSL811HSCypress/ScanLogic 811 Host/Slave性能上与ISP1161Integrated host Solution Pairs 1161相当SPSSequence Parameter Set序列参数集suspendMUTMI suspend MacrocellTDITransDimension Inc.该公司首先发明了将TT集成到EHCI RootHub中的方法这样对于嵌入式系统来说就省去了OHCI/UHCI的硬件同时降低了成本作为对该公司的纪念Linux内核定义了宏ehci_is_TDI(ehci)产品UHC124表示USB Host Controller收购了ARC USB技术现已被chipidea收购chipidea又被mips收购TTTransaction Translator事务转换器将USB2.0的包转换成USB1.1的包