增强现实学习系统开发之研究

markq

近年来，随着科技的进步，越来越多增强现实(Augmented Reality)的应用问世于日常生活中。虽然，增强现实的技术早在十几年前就有学者研究，不外乎是把应用焦点放在导览、建筑、工业发展与游戏等等。本研究希望设计一增强现实游戏架构，应用于既有的教学内容上。透过增强现实技术的特性，让学习者能够更融入学习内容中，并藉由实际测试来了解增强现实应用于教育上会遇到的限制与困难。
    1. 引言(INTRODUCTION)
    随着数字科技的进步，教育内容不再局限于书本上；开始有计算机辅助教学设备的利用，学习教材就已逐渐掺入多媒体元素。在教学的过程中，学习单元甚至具有主题性，加深了学习者对教材的印象并提升了学习兴趣。有些老师在教材内加入游戏，希望学习者能将花在游戏上的热诚与精力转移到学习内容上。游戏学习的过程，能够让学习者产生自发性学习的动机，主动积极且愉快得参与学习；因此在教学游戏的设计上，学生与情境教材媒体的互动是非常重要的。多媒体教材提供的影音效果对学习的效果有很大的帮助，相较之下传统的纸本教材就显得枯燥无味。
    游戏是儿童成长时重要的休闲活动之一，儿童在游戏的过程中，会对新事物产生好奇心，能够培养独自解决问题的能力。对儿童而言，游戏就犹如他们的世界观，儿童的认知、行为、互动与情绪，几乎都是在游戏中得到。游戏学习主要的目的在加强学习动机，让学习者主动参与游戏，并与其它学习者互动，分享学习历程与经验。
    近年来虚拟实境技术的应用，学习者可以在虚拟的环境下互动学习，还可以和他人讨论与合作进行学习活动。但由于虚拟实境需要昂贵的硬设备，限制了广泛应用的可能性。所以增强现实（Augmented reality）的技术，将虚拟的信息结合于现实环境下，将大幅度的提升虚拟实境不容易普及的问题。学习者可以在现实环境下体验多媒体教学，设备低廉且容易取得。重点是，增强现实可以提供学习者人性化的操作，自然且直接的互动方式来进行学习，并且让学习者产生一种身历其境的感觉。
    2. 相关工作（RELATED WORK）
    本研究利用增强现实的技术，以国小自然科学学习为目标，建置行动式游戏学习系统。本章先探讨建构主义的定义与论点，接着说明游戏学习与行动学习的理论与应用。最后再介绍增强现实的概念，以及增强现实应用于教育上的国内外相关研究。
    2.1 建构（Constructivism）
    建构主义是一种教学与学习的理念，探讨如何有效的获得知识以及了解知识最根本的意义。建构主义主张知识是学习者经由个人或合作的经验建构而来，也就是说，学习者不是单纯的被动接受知识，而是主动的建构知识。因此，建构主义提倡以学习者为中心，负责传授知识的教学者成为学习过程中的辅助角色，以协助学习者能更有效的获得知识。Von Glasersfeld[1]认为建构主义并不是一味的建构事物，而是在提倡建构知识有着无限的可能性，强调学习者本身才是求知的重点。
    Gergen[2]对建构主义有不同的主张，他并不否定个人经验的重要性，但是他认为合作与互助才是学习的关键。知识的建构是由人文社会互动为模式，因为学习者的知识并非天生就有，所以知识是学习者在互动中发展出来的。结合上述学者论点，建构主义主张学习者积极求知与强调互动的重要性，学习者由外在环境所吸收的知识，透过社会互动与自我的省思，建构出个人的知识。
    知识建构的过程是在特定的情境下，个人藉由与环境互动的经验去繁衍出个人化的知识。建构主义强调的是互动的重要性，以学习者自身的经验为基础，透过互动来建构知识。在学习的互动中，虽然会有过于主观的论点出现，却也是经由与不同的人分享与讨论的过程而产生的知识。所以在学习的过程中，能力较强的学习者可以辅助能力较差的人，使他们获得较好的学习效果。
    在这种的合作学习过程中，每个学习成员都要能感受到自己的重要性，认定彼此是不可缺得而且息息相关。学习的成果有赖于所有成员的努力，不但有助于学习者的成就与人际关系，提升了团体的向心力，也突显出合作学习的优点。从以上各论点可了解，在合作学习的过程中，学习者不会因为聪明与否而造成学习成效的差异。反而可让不同能力的学习者彼此互相指导并分享经验，获得同步成长的意义。所以合作学习可以改善学习者间学习成效的落差，也有加强学习者沟通与互助的技巧。
    2.2 游戏与学习
    游戏的目的虽然千变万化，但本质上能够让使用者投入情感在游戏中。吴幸玲[2]认为，当一个活动只要有包含游戏特色，如感官上的刺激、自由度、令人回味的过程、迫不及待的结果等等，就可以被称作是游戏。
    动机是学习的原动力，往往有好的学习动机就可以提升学习效果，反之就会有反效果。挑战性、好奇心、控制权、奇幻性等等，都是加强内在动机的元素。透过与其它玩家的互动，产生合作或竞争的刺激感，容易使学习者愿意花更多的时间与精力在学习上。适度的加深难度与复杂度，更可以提升学习者解决问题的能力与信心[3]。
    Mitchell 与Savill-Smith[4]提出电子游戏可以帮助学习者提升学习兴趣与自信。互动性的游戏还可以增进人际关系，游戏学习包含的内在动机可以达到的学习效果如下：
    1.主动学习：
    利用游戏有挑战性的目标与主题性，让学习者主动去操作游戏，培养主动学习并探讨内容的态度。
    2.提高学习兴趣：
    利用游戏的趣味性，将枯燥无味的教材设计成游戏，让教材变得生动有趣，让学习者产生兴趣。
    3.个人化的学习教材：
    根据学习者能力与环境的不同，去设计游戏学习内容，让学习者能够依照个人兴趣与能力来学习。
    4.减轻学习压力：
    让学习者可以在轻松的环境下学习，不会有现实世界中测验不及格或不可反悔的压力。
    5.提升创意与思考：
    游戏利用视觉效果、内容探索和游戏的创意来增加学习兴趣，帮助学习者培养独立思考的能力。
    Cassell 与Ananny[5]设计了一个虚拟计算机人物与玩具城堡构成的互动虚拟系统（图 1）。屏幕画面里的虚拟人物拥有与现实玩具城堡一样的虚拟城堡，虚拟人物会一边说故事，一边指示游戏者如何进行游戏。该系统让游戏者与虚拟人物互动，更让他们能身历其境的去体验故事内容。




图1. 互动虚拟系统




Peta 与Helen[6]设计了一套给儿童的游戏教材叫”Electronic Blocks”（ Figure 2），这是一套电子积木玩具，儿童根据线索将适合的积木装在一起，不同功能积木有不同的组合。这个游戏藉由设计、探索与建构等过程，提升儿童的学习技巧。








图 2. 电子模板(Electronic Blocks)





综合上述文献得知，游戏式的学习与学习效果是息息相关的。将学习者对游戏所产生兴趣，在不自觉的情况下将这份热诚转换为学习目标，并且减少学习压力，让学习的过程更有趣，以达到提升学习成效的目的。
    2.3 增强现实
    要了解增强现实的定义，就要先说明混合实境（Mixed reality）的定义。Milgram 和Kishino[7]提到一真实与虚拟环境的连续范围，由左至右为真实环境（ Real Environment ） 至虚拟环境（ VirtualEnvironment），混和实境则是混合真实与虚拟的环境。连续范围中最左边到最右边分别被称为增强现实和扩增虚拟（Augmented Virtuality）。增强现实定位于混合实境范围中间偏左，顾名思义主要是以真实环境为主、虚拟对象为辅，也就是将虚拟的对象依附在现实环境中。反之，扩增虚拟则是将现实的对象依附在虚拟环境里（图 3）。






图 3.现实与虚实的连续 (Reality-Virtuality Continuum)


增强现实较常见的表现方式，是实时将虚拟的对象显示在相机/摄影机的屏幕上。展示的方式可以分「光学式头盔」（Optical see-through head mounteddisplay ） 、影像式头盔（ Video see-through headmounted display）以及计算机屏幕展示（Monitor Baseddisplay）。视觉上看起来就像是虚拟对象真实存在于现实环境，将虚拟依附在现实环境上就是增强现实最大的特色。计算机会辨别「标记」（Marker）的位置将事先准备好的虚拟3D 模型显示出来，随着使用者观看角度的改变，3D 虚拟对象也会呈现出不同的角度。而操作者可以挪动标记来改变屏幕里虚拟对象的位置，达到人机交互式的效果。（图 4）Azuma[8]定义增强现实的特性：
    1.相同性：在同一接口上同时结合真实与虚拟对象。






图 4. 增强现实概念图（本研究整理）
    Henrysson, Billinghurst, & Ollila[9]等学者在手机上设计了一套增强现实交互式网球游戏（ 图5）。在游戏桌上放置标记，用手机内建的相机读取标记后，屏幕实时显示虚拟的网球场和网球。两个玩家面对面用手机去追虚拟的网球，适时的按下「回击」的按键将网球回击，目标在将网球来回打的次数能越多越好。
    此系统采用三种实验方式来进行测试。
    1.手机屏幕上可以看得到对手的情况下进行游戏。
    2.手机屏幕上看不到对手，只看到虚拟的游戏画面。
    3.在游戏桌中间用黑布挡住玩家彼此，完全看不到对手的情况下进行游戏。
    实验结果玩家认为手机屏幕上看得到对手的情况下比较容易上手，未来计划也加入震动力回馈、音效与计算分数，让游戏更加写实来增加游戏性质。
    2.实时性：实时于真实环境下显示虚拟对象。
    3.空间性：虚拟的对象迭合在真实的环境空间，能够与使用者互动。






图 5. 增强现实交互式网球游戏
    “The eye of judgment”，是一款使用增强现实技术所作的桌上型卡片游戏（图 6）。利用摄影机判断卡片上的标记样式与位置，并在屏幕上显示虚拟的对象，如怪兽、魔法特效等等。游戏的操作也全部都使用卡片，例如翻转、重迭还有行动卡、取消卡等等。玩起来的感觉就像是实际在玩桌上型游戏一样，但是不同的地方是将游戏内容中虚拟的对象呈现在现实生活中，增加了感官上的刺激。游戏的过程的声光效果，大大提升了它的游戏性，算是一款很成功的游戏[10]。






图 6. “The eye of judgment”游戏情境
    Mulloni, Wagner, & Schmalstieg[11]研发了一套具有行动性的游戏（图 7），游戏中虚拟的地图对应现实环境的房间，在房间的各角落贴上标记代表地图上牛群的位置。玩家们用行动装置去读取标记，来搜集该地点的牛群，或是抢夺在对手领地内之牛群，取得较多牛群的即是赢家。玩家们必须在房间里跑来跑去，与队友战略的讨论来完成游戏目标，游戏的过程中不单纯只是与队友的互动，随时还会有敌队挑衅、示威的举动出现，在互动性与行动性方面达到了很好了效果。






图 7. 画面
    由这些例子可以看出，游戏的人机接口一直在进步，且朝向更直觉化、更符合人类日常生活的型态。
    尤其是“The eye of judgment”，使用增强现实技术所做的人机接口，弥补了纸牌游戏声光效果的贫乏。在实体纸牌游戏上加上虚拟的特效，来增进游戏对玩家的吸引力。这游戏不但保留了纸牌游戏在玩法上的特性，也增加了虚拟的游戏特效，成功的创造出颠覆传统的数位多媒体游戏。
    苏俊钦[12]为儿童设计了一套增强现实中文注音符号学习教材（图 8），系统依照每个注音符号的发音，建构相对应的虚拟动物图像，以动画告知儿童去拿取正确的标记。简单的系统操作与虚拟图像的辅助，可以有效增强儿童的兴趣，并提升学习集中力，加深儿童对中文注音的印象。




图 8. 系统
    Kondo[13]提出”Augmented Textbook”的应用，从书本中观看虚拟的图像，可以弥补纯文字的单调与版面配置的限制。他也将增强现实应用在博物馆的导览系统中，在导览过程中3D 对象会显现在行动装置上，配合语音的介绍，可以加深游客的印象，比起单纯的走马看花还要来的充实。（图 9）





图 9. 增强教材(Augmented Textbook)
    Liu, Cheok, Mei-Ling, & Theng[14]设计了九大行星增强现实的教学实验系统与花园学习系统。九大行星教学实验系统主要提供9 张标记卡片，分别代表不同的行星。在学习过程中，系统会提供题目，学习者将代表答案的标记卡片移动到系统指定的位置来作答。花园学习系统同样也是靠移动标记来种植物，比方说长得像铲子的标记用来挖土，太阳符号的标记代表阳光等等，学习的过程中还可以观看植物的各种特征。比起枯燥的教科书与只有文字选项的仿真试题，增强现实拥有3D 虚拟对象的优势，而且操作简单，不仅可以减少教科书的使用量，也提高了学习者的集中力与学习成效。（图 10）






图 10. 系统
    Dünser 和Hornecker[15]设计了以增强现实为基础的游戏”Big Feet and Little Feet”（ 图 11）。这个游戏以童话故事为背景，经由操作可移动式的记号进行游戏。游戏的主角为两只小鸡，系统设计两个玩家同时进行互助式的解谜。游戏内容分为多个章节，每个章节都有着不同的任务。两个玩家移动着各自代表小鸡的标记一起合作解谜，比如说跳过篱笆、躲避狐狸、让小鸡们安全到家等等。实验分为一个玩家独力完成游戏或两个玩家互相帮助解谜，最后在旁观察游戏过程时学生的举动，分析其差异性与对学习与互动的成效。玩家在游戏结束后多数对过程意犹未尽，并期待有更多故事可以选择阅读，证实增强现实能提高学习者的集中力并培养独立思考的能力。






图 11. 大脚和小脚（Big Feet and Little Feet）
    增强现实的技术能让使用者更人性化的操作游戏系统，靠着自然拿取标记的动作，使直觉化的互动学习内容更加简单明了。增强现实也塑造了适合交互式学习的环境，让学习者可以彼此实时与教材内容互动，而且不再只限制在单一计算机屏幕或书本页面，提供无限可能性的学习环境。
    增强现实系统能够有效的提升学习者的兴趣，增加自发性的学习效能。有效的提供互动的学习平台，不再只是让学习者一个人揣摩游戏系统，而是在互助与切磋的环境下一起成长，完全符合社会建构式主义的理想概念，一开始就带给学习者足够的新鲜感，并在游戏中增加学习的自信心，也足以增加游戏的互动性质，加以提升学习效果。综合以上相关研究与应用得知增强现实应用在教育上的好处如下：
    1.学习的新鲜感：新的教学技术，多样化的内容呈现 在学生面前，给予学习者许多乐趣，刺激学习热诚。
    2.互动性：在课堂上学生直接的互动，增加学生们的参与程度与学习自信心。
    3.增加空间概念：看得见的画面，更能将抽象化的东西以图形表示，3D的对象也能提升学生对空间的理解能力。
    3. 实现方法(METHODOLOGY)
    本论文尝试利用增强现实技术应用于教育方面，以小学自然科学「天文」单元为主题，设计一套增强现实学习系统。希望经过多次的实验与测试之后，可以了解学习者对游戏内容的看法与态度，并分析增强现实技术的特性与应用于教育上的效果。
    3.1 增强现实游戏规划与接口设计
    本研究在经由参考多篇文献后得知，互助、竞争与在游戏中学习可以增加学习者的学习兴趣。增强现实技术的应用能够将虚拟对象融合真实环境，让学习者更能沉浸于游戏中，而且硬设备简单容易取得，不会增加经济上的负担。加上增强现实有着实时、简单且人性化的操作特性，能够提升游戏的流畅度。
    结合以上多种优点，本研究设计一套交互式多媒体学习平台，主题设定为小学自然科学中太阳、月亮与地球的相互关系。内容小则从三个星球的信息介绍，到三个星球位置关系改变造成了春、夏、秋、冬四季的大规模画面展示等等，透过系统指示一步一步达到游戏目标。系统设计过程中，为考虑增强现实技术独特的操作方式，且结合多媒体技术呈现，学习平台设计分为两个部分：
    1.接口操作：学习者透过系统指示，移动指定标记完成游戏内容。游戏接口设计左半边为教材选单，右半边分为上下两个影像区块，上面为多媒体展示窗口，下面为增强现实操作窗口。增强现实窗口观看到的是虚拟对象结合真实环境，而多媒体展示窗口是系统给予学习者指示与展现教材内容用。
    2.互动设计：人机接口的互动除了展现增强现实虚拟与现实结合的特色外，随着多媒体展示窗口给予游戏操作指示后，在增强现实操作窗口下移动标记的动作，会相对实时看到对应的多媒体呈现于多媒体展示窗口。






图 12. 接口设计概念图
    游戏设计内容以四季的变化为例，题目设定为「请问地球分别在太阳的何处会产生四季？」系统会指示请先把代表太阳的标记放置于增强现实操作画面中间位置，再请把地球标记先后放置于春、夏、秋、冬四个对应位置完成作答。相对多媒体展示窗口会有对应的简介、提示与动画指导。
    3.2 增强现实游戏研究架构
    首先研读并搜集国内外文献资料，归纳出增强现实的特性，设计适合学习者互动合作的游戏内容。教材内容以小学自然科学「天文」单元为主，替小学生量身制订的游戏内容，希望能够让学习者产生兴趣，培养学习者们解决问题的能力，在游戏中间接达到学习的目的。然后建置增强现实学习系统，以网页多媒体互动平台为架构，配有网络摄影机以读取标记，并与后端服务器传送与接收学习内容信息。系统建置完成后，挑选国小高年级学生为测试对象。主要目的在测试系统的稳定度及学生对系统得适应程度，游戏结束之后询问学生的意见，并透过问卷的方式了解学生对两种不同的系统有甚么样的感想，斟酌修改系统问题与内容。最后进入实验阶段进行教学成效的测试，在游戏的过程中参与并在旁观察学生的反应，并在结束之后给予问卷调查。在教学进行中，系统在数据库记录学习内容，以便分析学生学习成效的差异。实验完成后，开始分析搜集到的资料与问卷，了解增强现实对教学成效之影响，学习者与教学者的意见与态度，并对学习方式与课程设计进行评估。
    4. 结论与未来工作(CONCLUSION&FUTURE WORK)
    本研究系统还在建置阶段，除了研究如何使用增强现实结合多媒体素材之外，连接数据库的问题也逐渐在克服中。当然，设计游戏也是最重要的一环，如何对应学习者当下所学的教材，设计操作接口既简单人性化，可以减少学习时间，又能够提升娱乐性质，有效的引起学习者兴趣，产生学习者主动求知的欲望。
    随着数字科技与多媒体整合技术的进步，将增强现实能让虚拟对象融入现实生活的特性应用在教育上，结合游戏学习的概念，是否能带来更大的成效是值得让人期待的。本研究未来希望能完成系统实作，经过多次的实验修正教学内容，最后评估增强现实结合游戏应用于教育上的成效。
    参考文献(REFERENCES)
    [1] Ernst von Glasersfeld, An Exposition of Constructivism: Why Some Like It Radical, Journal for Research in Mathematics Education. Monograph, vol. 4, 1990, 19-210.
    [2] F.J. Hibberd, Gergen's Social Constructionism, Logical Positivism and the Continuity of Error: Part 1: Conventionalism, Theory psychology, vol. 11, 2001, 297-321.
    [3] 吴幸铃，儿童游戏与发展，台北市：扬智文化，2003。
    [4] R. Sandford & Ben Williamson (NESTA Futurelab).Games and learning. Bristol, 2005.
    [5] A. Mitchell, & Savill-Smith, The use of computer and video games for learning: A review of the literature, from http://www.learningtechnologies.ac.uk/ask/users/resources.asp?detail=All&ID=3879, 2004.
    [6] J. Cassell, & M. Ananny, Shared Reality: Physical Collaboration with a Virtual Peer, CHI2000, 2000, 259-260
    [7] P. Wyeth & H.C. Purchase, “Tangible programming elements for young children,” Minneapolis, Minnesota, USA: ACM, 2002, 774-775.
    [8] P. Milgram & F. Kishino, A Taxonomy of Mixed Reality Visual Displays, IEICE Transactions on Information Systems, vol. E77-D, 1994.
    [9] R. Azuma, A survey of augmented reality, 1995.
    [10] A. Henrysson, M. Billinghurst, & M. Ollila, Face to Face Collaborative AR on Mobile Phones, IEEE Computer Society, 2005, 80-89.
    [11]Sony, The eye of judgment, from http://www.us.playstation.com/EyeofJudgment/, 2009
    [12] A. Mulloni, D. Wagner, & D. Schmalstieg, “Mobility and social interaction as core gameplay elements in multi-player augmented reality, Athens, Greece: ACM, 2008, 472-478.
    [13] 苏俊钦，增强现实应用于中文注音符号学习之研究，台南国立成功大学工业设计研究所硕士论文，2004。
    [14] T. Kondo, Augmented Learning Environment using Mixed Reality Technology, World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, vol. 2006, 83.
    [15] W. Liu, A.D. Cheok, C.L. Mei-Ling, & Y. Theng, Mixed reality classroom: learning from entertainment, Perth, Australia: ACM, 2007, 65-72.
    [16] A. Dünser & E. Hornecker, An Observational Study of Children Interacting with an Augmented Story Book, Technologies for E-Learning and Digital Entertainment, 2007, 305-315.

robert

好