通过数字技术赋能，文化与科技的融合，使得三星堆主题博物馆的数字化发展越来越宽阔；在数字技术的助力下，传承和弘扬三星堆文化的活动项目取得了丰硕的成果。中央广播电视总台推出首个大型沉浸式数字交互空间“三星堆奇幻之旅”如 图1 所示、三星堆博物馆新馆使用裸眼3D和3D打印技术对文物进行科技赋能、上海静安馆打造了全球首个大型三星堆沉浸式光影艺术展如 图2 所示。这一系列博物馆数字化建设以现代科技为媒介让观众跨时空体验到3000多年前古蜀王国的自然风貌、祭祀仪式以及鸡犬相闻的生活场景，近距离感受“沉睡数千年、一醒惊天下”的古蜀魅力，感悟多元一体、开放包容的中华文明，诠释了现代视角下的三星堆宇宙。

近年来三星堆主题博物馆在使用数字化技术时更加倾向于求新和求异的风格取向，因而在一定程度上对数字技术所营造出的“沉浸感”与“交互式体验”产生误解，认为沉浸式展览就是简单地把声、光、电等技术运用于博物馆展览 [2] 。对三星堆本身的文化挖掘不够深入、文化的要素提炼不够精，导致观众在体验完之后依旧会对这一系列藏品感到神秘和陌生。观众的参观过程仍如浮光掠影，难以感受到馆藏文物所表现出的浓厚而神秘的宗教色彩、注重人物的艺术造型和多神崇拜的宗教信仰。如 图3 所示。

对于博物馆而言，重在传达“物”这个概念。现在的三星堆主题博物馆过度依赖互联网技术而忽略了对于博物馆最重要的文物自身所蕴含信息的呈现，如果缺少了三星堆文物的实物为依托，即使引用再多数字化、智慧化的技术，都难以实现观众同文物之间的跨时空对话所带来的现场感和沉浸感。同时，虽然三星堆博物馆有意识地将展览的类型进行分类，但不同展馆和文物之间缺乏明显的内在联系，未能形成一个有条理的导览机制，整个体验过程较为碎片化和零散化。观众如果不按照博物馆既定的方案进行参观，就难以有逻辑、有规律的了解到整个博物馆的展品信息。

另外一个问题还体现在三星堆博物馆没有抓住障碍人群的痛点，难以给视、听、触等障碍人群提供个性化体验服务。如果观众体验不充分，其反馈不及时，对二次自主传播的参与性较弱，完整的传播链条就不会形成 [3] 。

MR，全称为Mixed Reality，由“智能硬件之父”多伦多大学教授史蒂夫·曼恩提出的“介导现实(Mediated Reality)”演变而成 [4] 。MR技术是把实体和数字化信息结合起来的产物。混合现实是人类、电脑和环境之间的交互发展的产物，依托计算机视觉、图形处理、显示技术和输入法等技术的发展，打破了现实世界与想象世界的界限，能够实现在相同的场景下真实物体和虚拟物体的交互和共存。混合现实技术(MR)是虚拟现实技术(VR)与增强现实技术(AR)的进一步发展，同时还拥有虚拟现实以及增强现实的技术优势。作为AR与VR的相对结合体，混合现实的实现空间由VR的虚拟现实和AR的真实与裸眼部分融合转为MR数字现实。是将现实世界与虚拟世界合并产生的新的可视环境，在形成视觉设备中的可观的环境里，物理与数字对象并存，用户可以与之进行实时操作互动。传统的博物馆以实体展示为主，目前随着数字科技和数字化产品展示技术的不断发展，以动态实时互动展示的混合现实展示技术也逐渐被应用到博物馆的展品展示上，这项技术也将为数字化展品展示提供了更大的发展空间，让受众在视觉、听觉上有着更加新颖更加有趣的体验，同时在时间和空间上具有传统博物馆展示所不具备的传播优势。

MR技术使计算机生成的图像与真实世界的某一点进行锚定，实现更加紧密的虚实融合，而不是简单的现实场景上添加虚拟物体 [5] 。MR混合现实技术的工作原理是将虚拟的数字内容与现实世界相融合，从而创造出一种更加真实的数字与现实的混合体验。为了实现这个目标，MR混合现实技术的使用需要用到头戴式的显示器、触觉手套、智能手机等硬件设备作为载体。MR技术的主要目的是仿真和建模，具备以下的基本特征。

MR技术能够实现用户与虚拟内容的实时交互，交互对象为数字化和物理化的全对象，这种强交互性即为该技术的首要特征，例如观众可以通过语音对话、手势触摸、眼动交互等方式与虚拟内容进行零距离互动，从而提高整个展示的趣味性与参与感。文物展示方式依托MR技术能够实现线上与线下用户的分流，用户可以通过互联网参与远程参观，进行线上的交互体验，用户在线上体验完之后可以在线筛选感兴趣的展览内容，决定是否近距离观赏文物真容，体验线下更加丰富真实的MR交互方式。相比传统的展示设计，混合现实技术能够解决时间和空间的限制，用户能够自由的选择线下或者线上的方式进行知识的获取，提高展示的效率。

在实现空间上，MR技术具有数字现实的高真实感的比较优势。有赖于数字模拟技术从仿真到逼真的层次升级与突破，MR技术在现实环境所设置的数字信息和内容更贴切人类所见，可以做到虚拟内容与真实场景完全高质量的融合，为人类打造混沌世界。使得用户可以在现实环境中观察到虚拟内容，甚至与虚拟内容对话、触摸，从而增强展示效果和用户参与感。

MR技术的受众人群已不再局限于年轻群体，各个年龄段群体对于新兴技术的追求已经成为当下社会发展的趋势，将信息技术与文化遗产、博物馆的展示传播相结合，以相对低廉的成本获得更多广泛的关注，提高大众对此的积极性，将新兴的技术与传统的展示相结合，为传统展示注入新的活力。在MR技术的带动下，博物馆的展示方式及信息呈现形式将走向多样化，混合现实技术可以采用多种展示方式，例如头戴式的显示器、智能眼镜等，让用户在不同场景使用；传统的博物馆信息呈现形式以文物实物加文字介绍的方式为主，相较于这种方式，基于MR技术的文物展示设计，将会运用到多种模态融合交互的手段，有针对性的传递信息，让观众与文物实现面对面沟通，有效的打破文物与群众的信息壁垒，让观众获得更加全面和丰富的体验。

数字化藏品互动是指利用数字化技术手段对藏品进行展示的过程，相对于传统展示手段，其主要以多样化的展示形式和增强受众体验为目的的展示方式 [6] 。5G时代下，针对博物馆的藏品互动设计越来越考虑到观众的信息获取和交互需求，智慧博物馆开始提供个性化的数字服务，目的是强化观众的沉浸式观展体验。

近年来随着混合现实技术的发展，博物馆也逐渐将混合现实技术引入到博物馆的应用中，用来提升用户的参观体验 [7] 。利用MR技术，借助3D扫描，VR全景等互动方式，营造立体直观的展陈效果，还原历史事件、历史人物，通过沉浸式的观展体验，让人们更深入的了解到每件展品文物的历史背景。由三星堆博物馆和连偶科技联合出品的，全球首部文博领域MR导览电影《古蜀幻地第一章——青铜神树》依托独特的混合现实技术，将三星堆虚拟影像融入现实展馆空间，让游客驻足展品前，身临其境感受三千年年古蜀文明。南京中国科举博物馆的MR博物馆智能讲解服务，该服务提出了“以文化赋能科技，以科技颠覆体验”的博物馆运营新思路。以MR眼镜为硬件载体通过MR混合现实技术，将博物馆展陈文物背后的文化内涵故事及历史场景，以全息多媒体影像的形式“虚实结合”地展现给观众。游客只要佩戴上MR智能讲解设备，就可以在虚拟讲解员“小状元”的带领下，进行一次穿越古今的科举文化之旅。传统的博物馆藏品展览主要形式为文物的陈列和文字介绍，而当MR技术与博物馆藏品互动结合后，可以使得博物馆在展示上突破当下所处的时间与空间的限制，让文物的展示具有生动性、互动性，带给用户更加丰富的参观体验，同时也可以扩大历史文化的传播范围。如 图4 所示：

MR博物馆智慧化建设的首要策略是通过混合现实技术实现虚拟与现实的融合，来提升游客体验和服务效率。利用多感官融合的方式，使机器能够更全面地获取和理解信息。以下是打造具有高度亲和力的MR智慧博物馆向导的三个特点：

第一，利用混合现实技术，实现多模态的人机交互。观众来到博物馆后智慧向导对其进行智慧引导工作，介绍整体观博流程和创新体验内容，帮助他们更快的获得整个智慧博物馆场馆的资讯、布局、特色体验项目和服务。智慧向导以线上手机App及MR眼镜为载体服务于用户，支持触控、文字、语音、视觉等多种模态相结合的能力。在触控和文字模态方面，用户通过触屏阅读的方式了解三星堆博物馆的藏品陈列、展览活动、咨询公告，同时也可以通过手机在线进行AR互动导览以及AR实景导航。通过文本与智慧向导对话，或在搜索栏进行搜索，从而获得所需要的服务和信息。在视觉和语音模态方面，智慧向导以三星堆虚拟IP的形象出现，同佩戴MR眼镜的用户进行对话交流，用户可以提前通过手机设置快捷指令，随时呼出智慧向导进行提问。

第二，线下辅助观众体验全新的MR藏品互动模式。整个体验过程为观众提供“有温度”的陪伴式服务。协助观众使用智慧博物馆配套设备同藏品进行互动，通过沉浸式近距离的互动交流引领观众自主探索神秘的三星堆文化。观众在体验过程中遇到任何问题，都可以通过语音进行实时提问，智慧向导接收到问题后会提供精准的解答。

第三，协助博物馆工作人员处理各项事务。线上帮助人工客服解答在线用户提出的问题，收集反馈意见，更快速更高效的响应用户的个性化服务需求。线下与工作人员协同服务，减轻他们的工作量。帮助工作人员对博物馆大数据进行分析，准确给出可视化的热门目的地导航排行、使用人数来源、活跃POI信息等。

这场特殊的“超时空对话”基于可穿戴式交互和新一代人机对话技术进行。MR眼镜以及触觉手套作为一种新型的智能穿戴设备，其最大的特点就是能够实现虚拟现实和增强现实的交互式体验。在智能穿戴设备的帮助下，用户可以通过眼镜看到虚拟的世界，并通过手套与虚拟的物体进行互动。互动过程中，引入新一代人机对话技术。人机对话技术是近年来人工智能技术的热点之一，其可以让机器理解人类语言并和人自由对话 [8] 。传统的人机对话模式存在交互性弱和对话体验差等问题，而新一代的人机对话采用结构化的半自动构建技术，在对话模型层面融入知识的预训练对话 [9] 。从而可以更低成本、更高效的增强人机对话能力，极大地降低系统的延迟。通过两种技术相融合的交互方式，不仅可以让用户更好地了解虚拟世界，还可以让用户感受到虚拟现实的真实感。

在三星堆博物馆智慧向导的引导下，体验者佩戴好馆内配套的专属智能设备即MR眼镜与触觉手套，与选定的三星堆文物开展一系列互动。MR眼镜引入激光雷达技术，体验者在使用眼镜看向指定文物后，眼镜根据算法快速匹配到具体文物，进入到藏品互动模式。同时，眼镜两侧区域配备扬声器用于提供听觉反馈，能够实时反馈一些带有指向性的声音，例如手和青铜器的摩擦声，强化用户体验感。触觉手套内置线性马达技术及多个触觉反馈点，完全覆盖手掌和指尖，根据体验者和文物互动的不同方式和区域给出有差异化的触感反馈。通过一问一答、触摸、手势交互等方式来帮助体验者与文物互动，帮助他们更好的了解选定文物的外观特征、出处、故事、文化与艺术价值。商青铜神树、商青铜立人像、神树纹玉琮、金面具等经典文物，不久前还是沉睡在博物馆中半隐半现的“重器”，如今却可以通过科技的方式，为其注入“灵魂”，供观众近距离互动。繁丽的纹饰、超越想象的造型、奇妙的组合、思想的碰撞，让观众直面三星堆充满想象力和创造力的非凡杰作，了解三星堆高超的青铜器铸造技术，感受中华文化的魅力。由于MR藏品互动拥有极大的开放性和自由性，每一位观众都能收获独属于自己的观展体验。新的交互方式在突出文物视觉冲击力的同时，也力求讲述文物背后的故事。

藏品是博物馆的核心，观众进入博物馆无论是出于观光或学习还是其他目的，皆是因藏品和展览而去的 [10] 。藏品互动则是通过科技手段将观众同藏品紧密联系到一起，丰富观众获取藏品信息的途径。常见的藏品互动方式以线上的数字博物馆为主，运用裸眼3D交互技术，在网络上建立便携式的数字博物馆和数字藏品以突破地域和时间的限制，让观众能够随时随地在线浏览，点击感兴趣的可视化文物进行互动，互动方式主要通过文字和语音进行。线下的藏品互动多以接触式交互方式为核心进行，利用触控、手势或手机扫描二维码的方式帮助观众进行自然交互。以上两种线上线下藏品互动的交互形式固定了信息内容传播的方式，观众只能依靠博物馆设定的自然交互流程进行体验，获取固定的藏品信息；同时，由于观众都是来自不同的地域，年龄、性别、教育层次、个人需求也不尽相同，因此固定式的触控获取藏品信息的交互方式无法做到因人而异。

博物馆藏品互动体验不应单纯以技术革新为主导，而应将技术和观众的需求与体验进行有效的结合。利用多模态人机交互理念及MR技术来优化藏品互动体验，形成“从客观到主观”“从外在到内化”的观展模式，让观众能够更好地与博物馆藏品产生交互链接与情感共鸣。观众作为主体通过身体和大脑调动多个感官、通过多种媒体协同参与信息交互 [11] 。三星堆智慧化博物馆藏品互动设计基于多模态理论，将语言、图像、声音、动作等多模态信息整合成最为有效的意义表达。其交互技术主要包括视觉模态交互、听觉模态交互、触觉模态交互、体感交互、MR交互，形成以“眼动、手势、语音”结合的MR增强现实技术的多模态交互范式。

1) 视觉模态交互设计。视觉模态上的交互又可理解为眼动跟踪、眼动测量，指的是通过监测眼动的变化，就可以推断出大脑中正在发生的事情。当观众佩戴好MR眼镜利用激光雷达技术匹配到三星堆文物后，眼部开始有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征进行AI算法，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。例如，观众此时正在同商青铜立人像藏品进行互动，当双眼注视到人像的服饰时，计算机根据其注视的位置以及时间进行数据捕捉，自动提取出关于该文物服饰方面的关键信息并以第一人称视角与观众对话“我作为同时期体量最大的青铜人物雕像，头戴高冠，身穿窄袖与半臂式共三层衣，衣上纹饰繁复精丽，以龙纹为主，辅配鸟纹、虫纹和目纹等，身佩方格纹带饰……”同时，针对交互界面布局的设计基于用户认知和行为逻辑为基础，对信息的重要性进行区域划分。互动文物所处的区域为水平视野正负30度的舒适区域，将重要性不同的信息置于不同的区域及深度关系中有利于观众快速上手藏品互动模式，获取文物信息。界面色彩设计鉴于真实环境对信息呈现的影响，适当提高颜色饱和度有助于区分虚拟信息与真实环境，使信息易于辨认 [12] 。

2) 听觉模态交互设计。藏品互动的关键要素之一即为观众与藏品之间的沟通，沟通的方式离不开语音交互技术。语音交互可以说是可穿戴设备时代人机交互之间最直接，也是当前应用最广泛的交互技术之一，需满足准确性、自然性及反馈同步的需求。MR眼镜两侧均配置定向音频扬声器，实时进行体验过程中的听觉反馈。通过运用AI智能语音技术，语音与智能终端和云端后台实现了完美融合，使人类能够以数字化方式与计算机程序进行交流。这项技术将语音数据与智能系统紧密结合，极大地提升了人与机器之间的互动体验。虚拟文物通过语音识别、语音合成、语音分析，结合语料库和知识库的资源，同观众进行实时深度沟通。信息反馈过程中保持听觉、视觉和触觉信息的同步性，有助于提升信息反馈度。当观众处理听觉信息时，系统提供实时可感知的视觉或触觉反馈，引导用户下一步操作。针对视觉障碍、触觉障碍等特殊人群，AI大数据快速识别后，在语音交互方面会加强语音输出功能，强化骨传导技术，将声音信号通过振动颅骨从而间接刺激观众的听觉神经。

3) 触觉模态交互设计。触觉是人与外部世界交流的重要感官媒介，用户的触觉体验对于人机交互系统中“自然性”的营造和增强有着不可替代的作用 [13] 。触觉拥有其他感官所不具备的特点，其独特性在于同时强调输入和输出并存的即时感效果。智慧博物馆提供的触觉反馈手套是一种通过模拟触觉体验，使用户能够在虚拟环境中更加身临其境地感受与互动的设备。通常与计算机或其他设备连接，以便捕捉用户手部的运动和姿势，并通过特定的机制向手部施加不同的压力、振动或其他触觉刺激，利用传感技术、力反馈机制、数据传输与处理、软件和算法共同打造真实的触觉体验。其中，力反馈机制是触感反馈手套中的关键部分，它负责在虚拟现实或增强现实环境中模拟物体的触感，使用户能够感受到不同的力、压力和振动，并在人机界面感觉到博物馆展品表面纹理，看到藏品整体，了解藏品质量、温度等。

具体的交互方式包括以下几个方面的内容，首先是整个藏品互动环节的模式选择，观众进行的每一步选择都会生成触觉压力和振动反馈，从而提高操作的效率，给予他们舒适的触觉反馈；其次手套会提供多种触摸反馈信息，即观众与博物馆陈列展览藏品“接触”所获得的触摸感、振动感、压制感、刺痛感等。作为作用于观众皮肤表面的力，触摸反馈侧重于观众微观感觉，如对博物馆陈列展览藏品表面质地、粗糙程度、形状、纹理的感觉等 [14] 。最后，博物馆通过3D打印技术复原文物保护修复过程，使修复动态化。观众通过体感游戏、触觉交互反馈，沉浸式参观和参与文物保护修复过程，实现“我在三星堆修文物”的创新体验。

当谈及“触觉交互”，也就是在强调“体验设计”，触觉与体验密不可分。视障人群在进行藏品互动的触觉感知时是从局部到整体的认知过程。在互动设计上，采用主动探索结合触摸引导的模式来强化他们的体验，通过连续跟随刺激的触觉振动反馈并借助语音辅助，实现触听觉同步理解文物的良好体验。针对听障人群，仅仅使用视觉通道来接受藏品信息会给视觉造成较大的认知负担，而触觉通道则具备客观表现听觉信息、沉浸感强、听障人群感知敏锐度高等特点。将触觉和动觉引入听障人群的藏品互动体验中，突破因听觉受损所造成的感知壁垒。

4) 体感交互。体感交互技术是指利用计算机图形学等技术识别人的肢体语言，并转化为计算机可理解的操作命令来操作设备。三星堆博物馆藏品互动的体感交互以手势交互为主，通过MR眼镜内的光学传感器来捕捉人体影像信息，随着观众身体或者手势的摆动变化，面前文物的纹样、形态随之产生多样的变化，生动地展示不同器物的独特韵律。在古蜀先民眼中，神兽是非常重要的祭祀角色，体现了三星堆文化中“万物有灵”的思想。青铜树上的太阳神鸟，凸目尖耳的青铜大面具、金杖上的鱼鸟图案，这些神兽形象展现出了古蜀先民们丰富奇特的想象力和创造力以及对于自然图腾的崇拜。通过体感交互，将三星堆“神兽文化”具象化，观众在对话不同的三星堆藏品时，对应藏品能够模拟出对应神兽的声音，神兽的形象伴随着嘶鸣以及震动感应，瞬间带领观众进入到神秘莫测的古蜀乐园，感受千年文明的震撼。

5) MR交互。MR技术是一种新的数字化信息技术，能将虚拟世界中的信息融入到真实世界。运用MR技术的主要目标是通过研发能够和人类的感觉过程相统一的信息技术，以此干预人类的认知过程，从而引起神经细胞的相互触碰，使参与者产生真实的感觉 [15] 。智慧博物馆使用MR技术来实现藏品互动，构建起虚拟世界、真实世界以及应用之间桥梁。有效增强看展观众的交互感受与体验感，能够让他们在虚拟三星堆世界了解到更多的三星堆文化。MR交互在三星堆博物馆的应用中具有多感知性与沉浸式的应用特点。“多感知性”强调MR技术所营造的虚拟场景能够激发出体验者多模态感官，使得所营造的虚拟场景与现实场景具有高度的重合性，在该技术的加持下，可以让体验者在虚拟场景中与三星堆文物对话、触摸，体会到千年前三星堆文物独特的文化底蕴和艺术韵味，进一步强化观众对于三星堆的感知度，为宣传三星堆古文化带来了很大的便利。“沉浸式”体验注重让用户感受到身临其境的效果，通过计算机生成的三维图像，将用户置于一个无缝连接的环境中，使其感受到仿佛身处真实世界中。优质的虚拟环境常常会使用户难以区分真假 [16] 。从而充分调动用户的多感官与文物交互，为每一位体验过藏品互动的观众打造不同的情感体验模式，带来差异化的观展感受。虚拟藏品互动的观展体验将改变以往博物馆观展中的单一鉴赏模式，建立多向性互动的欣赏模式。