该框架主要包括四个层次，第一层关注整体感官信息，着重描述图像中整体的基础特征。例如，图像的纹理、色彩、形状、空间分布；第二层从整体转移至局部，开始关注图像中的实体与场景。实体的判断主要包括人物、动物、物体等。场景的信息抽取是交代图像整体的语义背景，同时提供依赖情境，是增加图像纵向关联不可缺少的基础数据。

第三层聚焦于实体的关系和属性上，主要是识别其与其他实体之间的交互位置关系。交互位置是立足于实体相对位置的描述，判断实体关系及实体交互位置关系是图像语义关联中的重要组成部分。实体的属性是描述实体包含的具体参数，例如种类、大小、颜色等信息，识别在该情境下各个实体的内涵。最后建立在属性与交互位置关系之上的行为交互语义。充分挖掘实体之间的横向关联和纵向关联；第四层是一种整体语义的回归，是判断完所有局部和聚焦信息后的语义概括，是全部对象行为的语义整合(图2)。

人类视觉系统对复杂的场景结构具有较强的感知能力，例如场景中的物体类别、物体的空间位置、物体间的组合关系等。如何将上述具有明显结构的语义信息融入到深度模型的设计中，是视觉研究领域广泛关注的问题。神经网络的出现，使端到端的图像处理成为可能，而卷积神经网络(CNN)便是深度学习与图像处理技术相结合所产生的经典模型。本文采取的具体方法是文献 [ 8 ] 所提出的融合结构化语义的深度表达模型，即CNN-RNN的混合神经网络图像语义表达。该模型把一系列带有结构的语法知识融入到深度表达学习中，借助递归神经网络的特性对图像中的物体、物体间的关系等进行结构化的组合与表达。最终模型实现图像的深度层次化语义解析。

图2. 图像语义层次框架

该网络包含了2个相互连接的神经网络结构，底层是深度卷积神经网络(CNN) [ 9 ] ，上层是递归神经网络(RNN)。在CNN-RNN混合模型中、CNN模型和RNN模型将协同工作。其中，CNN模型能够生成具有判别能力的图像特征表达，被广泛地应用于图像分类与物体识别任务中，因此将其用作物体类别的表达学习；RNN模型则被一系列工作 [ 10 ] 证明能够对图像或者自然语言中的结构化组合关系进行预测，其原因在于该类网络能够同时对语义和结构化表达进行递归地学习，故而利用RNN模型把CNN模型产生的特征表达作为输入，用于进一步生成场景的结构化配置。该算法经实验验证，对图像实体语义抽取的准确度较高，具体算法实现过程如图3所示，由于该算法不是本文关注主要问题，不在文中详细阐述。

在CNN-RNN混合模型中，RNN模型将利用CNN模型所输出的每个语义类别的特征表达来生成图像的解析树，从而对图像进行内容上的分层表达，同时预测语义实体之间的交互关系。这里的RNN模型包含5个子网络，分别是中间转换网络、节点合并网络、语义解释网络、关系分类网络和合并分数网络。

在关系和属性抽取时，第一种方法是基于词法模式的原理根据语句构成成分之间的语义关系来预测语句整体的意义。比如通过对文本句法的分析，对于一个以动词为核心的短句，可以抽取出实体之间的潜在关系；另外一种是共现分析方法，这是一种定量与定性相结合的分析方法，其具体步骤为，先将待处理文本转化为数字形式表达的信息，然后使用不同的数学方法对文本进行定量计算和分析，最后结合定性分析的结果对文本中的分类关系进行综合分析；最后，还有基于开放链接数据和基于在线百科的方法，该方法通过百科类等网站规则的知识分类体系，定义或者学习知识分类的规则和特征，从而对隐藏的分类关系和属性进行准确地抽取。

为了剔除冗余信息，首先需要进行实体对齐与消歧。实体对齐是知识图谱构建过程中的重要步骤之一，通过实体对齐，将同一个知识图谱内部的实体进行精简，从而实现知识图谱之间的链接与合并，由此构建一个规模更大，服务范围更广泛的知识图谱系统。实体对齐是对于物理世界中的同一个对象，要识别出它在不同语言，不同地域，不同数据源下不同的表示形式，之后用一个全局唯一的编号来标识。实体对齐算法的主要过程是根据具体的知识图谱的特点和处理方法，利用不同的实体识别方法，例如传统概率模型的方法、以及机器学习的方法，来完成实体对齐的任务 [ 11 ] 。

图3. 基于CNN-RNN模型的图像结构化语义实现流程

实体消歧是专门用于解决同名实体产生歧义问题的技术。通过实体消歧，就可以根据当前的语境，准确建立实体链接。同义关系是指在概念层面上相同或相似的实体。同义关系抽取的目标是寻找那些字面不同但是指代同一概念、实体或属性的术语。传统的基于模板的同义关系抽取方法灵活性不够，模板的覆盖率不高，导致该方法的正确率和召回率都比较低。孙霞等人 [ 12 ] 提出了一种自动抽取同义关系的机器学习算法。该方法具有领域自适应性，可以将训练好的分类器应用到不同的领域文本中，与基于模板的方法相比较，抽取结果的精度有了普遍提高。随着统计语言模型和深度算法的逐渐成熟，对于寻找自然语言中的同义关系的任务通常可以取得较满意的正确率。

在图像语义领域中，本体在某种意义上就是知识模型。图像语义的本体构建就是在领域专家的帮助下，建立基于领域概念知识的领域本体，收集信息源中的图像，并参照已建立的领域本体，把收集来的图像按规定的格式存储在元数据库(关系数据库、知识库等)中。图像本体是对图像的一种描述模式，任何一幅图像都是图像本体的一个实例，并可以用本体语言形式化地表示。

对于图像领域本体的构建，本文采用形式概念分析和Word2vec神经网络工具，结合结构化和非结构化资源，利用结构化资源概念层次明确、非结构化资源语义丰富以及容易获取的特点，有效降低领域图像本体构建的复杂度，节省时间人力成本，能提高图像领域本体的构建效率，挖掘出隐含的概念以及概念间关系，丰富图像领域本体的语义信息，能较好地反映图像领域的知识结构 [ 13 ] 。

图像中语义的演化与上文提出的基于表示过程的层次描述框架是密不可分的(见图2)。基于表示过程的层次框架本身是面向于用户解读过程，是一个语义抽象层次不断上升的过程。在该过程中，由于被添加新的解读信息，下层的语义将演化成更具意义的新内容。其次，语义的演化需要各种视觉信息，视觉信息在理解加工后才会具有更符合人类认知的概念和语义表达。

知识推理包含对实体属性的推理和对实体关系的推理。实体属性的推理主要是对会发生变化的实体属性值进行实时发现、推理、更新或者为实体创建新的属性；实体之间关系的推理是对实体之间潜在的关系进行推断和扩充。知识的推理方法可以分为基于逻辑的推理和基于图的推理。基于逻辑的推理主要包括一阶谓词逻辑、描述逻辑以及基于规则的推理，推理规则包含针对实体属性的规则和针对实体关系的规则；基于图的推理方法主要有基于神经网络模型或路径规划算法。

基于语义的检索对于克服图像信息中的语义鸿沟具有重要的作用，基于知识图谱生成的图像语义框架可以更好的服务于语义检索领域，这是由于与传统的基于关键字匹配的搜索引擎工作原理不同的是，知识图谱利用概念、实体的匹配度返回给用户与搜索相关的更全面的知识体系。

语义检索是基于之前的语义组织体系，实现知识关联和概念语义检索的智能化检索方式。知识图谱中的语义检索包含两类核心任务：一是利用相关性在知识库中找到相应的实体；二是在此基础上根据实体的类别、关系及相关性等信息找到关联的实体 [ 14 ] 。通过对知识库进行深层次的知识挖掘与提炼后，检索系统为用户反馈出具有重要性排序的准确且完整的知识，并推荐用户感兴趣的相关知识。

语义关联分析的基本任务是根据主题、形式、自然属性、社会属性等，链接具有相似语义信息的图像等视觉媒体。在各种跨媒体关联类型中最关键的是关联数据模型。传统的数据模型着重解决的是数据个体的存储组织与管理问题，而关联数据模型不仅要能够存储组织和管理非结构化媒体数据， 还要能够存储组织和管理媒体数据之间的逻辑关联，能够存储组织和管理每个媒体数据的多维属性以及每个关联的多维属性，能够反映跨媒体数据及其关联的时空属性、语义涵义、权重、概率等特性。知识图谱为基础构建数据模型，能够更好地实现传统数据模型所不能支持的多种智能分析，时空关联分析、逻辑关联分析、语义相似性搜索、数据世系管理与分析、数据溯源与核查等，提升多媒体信息之间关联分析能力。

知识图谱可视化将知识库中的信息转化为更方便用户理解的方式进行呈现，用户可以一目了然地了解到他需要的知识；同时提供了更加丰富的文本信息，增加了更多的用户交互元素，提升用户体验，引导用户在短时间内获取到更多的知识。美国德雷克塞尔大学研发出的可视化软件Citespace为知识图谱研究提供了极大的便利，Citespace是基于JAVA开发的可视化软件，可以免费下载，使用起来也很便利。Citespace软件有强大的词汇分析能力，可用于做知识图谱的可视化分析，推荐选用Citespace5.1.R6 版本。