第四章图片感知元素理论 第四章图片感知元素理论Image Perception Element Model作者东塬一老翁技术支持WSaiOS多模态智能技术研发工作室资料来源wsaios.cn4.1 图片在 WSaiOS 感知体系中的定义图片是人类视觉系统获取外部环境信息的重要方式。人通过一张图片可以感知物体颜色形状空间位置环境结构对象关系。但是图片本身只是视觉数据。它并不是认知对象。WSaiOS 将图片定义为图片是一种静态视觉信息载体通过视觉感知处理后可以转换为具有对象、属性、状态和关系描述能力的图片感知元素集合。转换过程图片数据 Image Data↓图片解析 Image Processing↓图片感知元素 Image Perception Elements↓认知元素 Cognitive Elements↓理解 Understanding4.2 图片作为静态认知输入Image as Static Cognitive Input图片最大的特点静态结构表达它描述某一个时间点上的空间状态。例如一张工厂图片原始输入Image1920×1080 Pixels经过视觉解析得到设备人员生产线区域进一步形成Factory Scene Element因此图片主要提供空间信息包括对象存在对象位置对象形态对象关系。图片不直接表达连续变化。变化需要视频元素。4.3 图片感知元素组成Structure of Image Perception ElementWSaiOS 将图片转换为元素对象。基本结构Image Element{IDTypeObjectAttributeStatePositionRelationConfidenceFunction}4.3.1 ID元素标识用于唯一识别图片中的元素。例如person_001machine_001table_001作用保证元素可追踪。4.3.2 Type元素类型表示元素属于什么类别。例如PersonVehicleDeviceAnimalBuildingEnvironment类型决定后续认知方式。例如Person关注身份行为状态。Machine关注工作状态故障状态。4.3.3 Object对象对象是图片元素核心。表示图片中的实体。例如图片办公室对象PersonDeskComputerChairWSaiOS 认为视觉系统不是处理像素。而是发现对象。4.3.4 Attribute属性属性描述对象特征。例如人物HeightClothingColorShape汽车BrandColorModel设备SizeStructureMaterial属性模型Object↓Attribute Set数学表示A(e){a1,a2,a3,…,an}A(e)\{a_1,a_2,a_3,…,a_n\}A(e){a1​,a2​,a3​,…,an​}其中A(e)表示元素属性集合。4.3.5 State状态状态描述对象当前情况。例如设备NormalRunningStoppedBroken人员StandingSittingWalking状态不是固定属性。而是动态变化。4.3.6 Position空间位置图片天然包含空间信息。位置模型Position{XYWidthHeightDepth}例如{x:100,y:200,width:80,height:180}表示对象在图片中的位置。4.3.7 Relation对象关系人理解图片不是只看单个对象。而是理解关系。例如图片PersonComputerDesk关系Person↓Using↓ComputerComputer↓Located_On↓Desk关系模型R(e1,e2)R(e_1,e_2)R(e1​,e2​)表示元素之间关系。4.4 图片对象分解模型Image Object Decomposition Model复杂图片由多个视觉元素组成。例如一张办公室图片整体Office Image分解Office Scene├ Person├ Desk├ Computer├ Chair└ Lighting对象分解过程Image↓Region Analysis↓Object Detection↓Object Elements4.5 图片属性提取模型Image Attribute Extraction Model对象确定以后需要提取属性。过程Object↓Feature Extraction↓Attribute Generation例如检测汽车得到Object:CarAttribute:ColorBlackShapeSedanStateStopped形成汽车图片感知元素。4.6 图片空间关系模型Spatial Relation Model空间关系是视觉认知的重要组成。人看到办公室。不是10个物体。而是一个空间场景。空间关系包括1. 位置关系例如PersonLeft_ofComputer2. 距离关系例如PersonNearDesk3. 包含关系例如ComputerInsideOffice4. 拓扑关系例如RoomConnected_WithHallway空间关系模型Element A↓Relation↓Element B4.7 图片场景生成模型Image Scene Generation Model单个元素不能表达完整环境。需要组织。例如元素PersonComputerDesk组织Person Using ComputerComputer On Desk生成Office Working Scene过程Image Elements↓Element Organization↓Relation Construction↓Scene Element4.8 图片场景理解模型Image Scene Understanding场景理解是从对象到意义的过程。例如图片看到PersonLaptopDesk简单识别有人有电脑有桌子场景理解这是办公环境人员正在工作WSaiOS场景理解不是依靠概率标签。而是元素关系规则。模型SceneElementRelationRuleScene Element Relation RuleSceneElementRelationRule4.9 图片元素生成系统模型WSaiOS 视觉生成系统不仅可以理解图片。也可以根据元素生成图片场景。核心思想图片由元素组合产生。例如创建办公室图片元素PersonDeskComputerChair赋值Person:PositionADesk:PositionBComputer:On Desk组合生成Office Image Scene模型Element Library↓Element Parameters↓Scene Composition↓Image Generation4.10 图片元素对象化模型参考面向对象思想图片元素不是图片碎片。而是对象。例如class ImageElement{public $type;public $attribute;public $position;public $state;public function compose(){}}工程表达{type:Tree,attribute:{color:green,height:2m},position:{x:100,y:300}}这种结构可以支持图片理解图片生成场景编辑场景模拟。4.11 本章总结图片感知元素模型建立图片 → 元素 → 场景 → 理解体系。核心观点图片是静态视觉输入图片由多个视觉元素组成元素具有属性、状态、位置、关系对象关系形成场景场景组织形成理解元素参数化可以支持图片生成。最终模型Image Data↓Image Element↓Object Element↓Attribute↓Spatial Relation↓Scene Element↓Cognitive Element下一章第五章视频感知元素Video Perception Element Model重点视频作为动态认知输入视频元素组成时间连续行为元素事件元素状态变化视频场景理解。