1. 引言
“教育人工智能”(artificial intelligence in education，简称AIED)，也称作“教育中的人工智能”或“人工智能的教育应用”，是应用在教育领域具备管理、教学和评价等功能的人工智能产品[1]。随着人工智能技术的快速发展和普及，其在教育领域的应用逐渐成为一个备受关注的话题。但是人工智能作为一种新兴技术在教育领域应用过程中不可避免引发了一系列伦理和安全挑战。2021年，我国召开了国际人工智能与教育会议，学者们认为人工智能本质上是一种提高人类能力的工具，但当前需要思考如何“恰当”地将其引入教育环境[2]。习近平总书记在2022国际人工智能与教育会议上也指出，要加强人工智能在教育领域的深度应用，但同时也必须重视人工智能发展的潜在风险研判和防范，进行人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系和伦理道德。教育甚至被人工智能伦理学家指定为一个“高风险领域”，迫切需要持续审查和协调回应，以确保教育人工智能真正造福学生、教师和社会[3]。可见推动技术朝着符合道德规范的善性方向发展，构建适应人类主体性的人工智能伦理规范已成为未来人工智能发展的重要议题。
2. 人工智能赋能教育领域的应用场景
2.1. 个性化学习
传统的教学方式通常是基于一种集体化的模式，教师在课堂上向学生传授相同的知识内容，而学生则被期望以相似的方式理解和吸收这些知识。然而，人工智能的出现使得教学方式发生了根本性的改变，引入了个性化学习的概念，从而更好地满足了学生个性化的学习需求[4]。人工智能技术能够通过个性化学习来适应不同学生的学习风格、节奏和能力水平。通过收集和分析学生的
学习数据，为每个学生量身定制学习路径和教学内容，以确保他们能够以最有效的方式学习。例如，一些智能教育平台可以根据学生的学习历史和反馈，自动调整教学内容的难度和速度，使其更符合学生的学习需求和能力水平[5]。这种个性化学习的模式能够提高学生的学习效率和成绩，并增强他们对学习的兴趣和自信心。
2.2. 自适应评估
人工智能的优势在于全链条深度感知，可以追踪学习过程，形成学生画像，进行智能教学评估，定制个人方案，实现因材施教[6]。智能辅助教学系统可以利用先进的自然语言处理和机器学习技术，对学生的学习情况进行实时监测和分析，根据学生的学习行为、答题情况、知识掌握程度等，动态地调整教学和评估内容，最后，对学生的学习策略、学习行为、学习过程、学习成果等进行实时监测与综合分析，逐步替代并超越教师对学习者的主观观察和“分数至上”的评估，实现学业评价由阶段性静态评价向过程性动态评价的转变。
2.3. 智能辅导
人工智能为教师提供了更多的工具和资源，帮助他们更好地理解和满足学生的学习需求，提高了教学效果和学生学习成果，节省了教师时间和精力。首先，人工智能为教师提供个性化的教学支持，教师可以利用智能教育系统的分析报告和推荐内容，为每个学生量身定制学习计划，自动生成教学内容，包括课程材料、教学视频、练习题目等，帮助他们更有效地学习和成长。此外，人工智能为教师提供了各种智能化的教学辅助工具，如虚拟教师助手、自适应学习平台等，这些工具可以帮助教师管理课堂，提高教学效率和学习成果。人工智能还可以为教师提供个性化的反馈和评估工具，帮助他们更好地评价学生的学习表现并提供建设性的反馈。教师可以利用智能评估系统自动生成评估报告和反馈意见。美国宾夕法尼亚州立大学使用Course Insights智能软件帮助教师监控并分析在线课程学习者的学习活动和参与模式。澳大利亚迪肯大学名为Genie的智能助教，可以定位学生的位置、监测学生的活动，根据图书馆访问频次与餐厅滞留时长，进行学习策略建议。
3. 人工智能应用在教育领域中的伦理困境
3.1. 数据采集对学生的隐私侵犯
人工智能在教育中的隐私和数据安全问题是当前人们关注的焦点之一。随着人工智能技术的广泛应用，教育机构和个人的教育数据变得更加易于获取和分析，从而引发了一系列隐私和数据安全方面的担忧[7]。人工智能在教育中的应用通常需要收集和分析大量的学生数据，这些教育数据的收集和使用可能涉及个人隐私信息，包括学生的姓名、年龄、学习进度、兴趣爱好等。这些敏感信息如果未经适当保护，可能会被滥用或泄露，导致个人隐私权受到侵犯。此外，面部识别技术收集每个学生特有的生物特征数据，可能损害学生身份的安全性，并破坏网络匿名的有效性[8]。教育人工智能平台在搜集师生教学活动信息的同时，还会记录师生的互联网浏览痕迹，尤其是那些免费的教育人工智能平台，通常更关注个人的敏感信息，窥探学生的隐私，甚至将信息非法转让出售[9]。
3.2. 数据采集算法的偏见和歧视
人工智能系统可能受到数据采集的偏见和歧视性影响，这是由于算法在训练过程中所使用的数据集可能反映了现实世界的偏见和不平等[10]。这些数据偏见会被算法学习和传递，从而影响到算法的决策和预测结果。凯特·克劳福德指出，性别歧视、种族主义和其他形式的歧视不自觉地被构建在智能系统的机器学习算法中，而这决定了我们将如何被分类和定位[11]。首先，数据偏见可能源自数据采集过程中的人为偏差。例如，在教育领域，如果数据收集中包含的样本不够全面或代表性不足，就可能无法准确地反映出不同群体的特征和需求，从而导致算法在对这些群体进行分析和推断时出现偏见。其次，数据偏见也可能由于现实世界中存在的社会偏见和不平等所导致。例如，在招生录取决策中，如果历史上存在性别、种族或经济背景方面的歧视，那么基于这些数据训练出的算法可能会继承这些偏见，导致类似的不公平现象再次发生。由美国教育考试服务中(Educational Testing Service)开发的作文自动评分系统E-rater被用于GRE、托福等考试，但E-rater的分数偏向特定种族群体，非裔美国人的平均分比普通美国人要低，在语法、语言风格方面的得分差异更为明显[12]。此外，数据偏见还可能由于算法本身的设计和优化过程中存在的偏差所引起。例如，在选择特征或调整算法参数时，如果设计者未能考虑到所有可能的因素或倾向于某些特定的标准，就可能导致算法在决策过程中出现偏见。因此，必须采取措施来识别和纠正算法中的偏见，并确保其公平性和公正性。
3.3. 技术滥用引发的心理健康威胁
工智能在教育中的应用可能对学生的社会和心理健康产生影响。尽管人工智能技术为学习提供了新的途径和工具，但其过度依赖可能导致学生失去对学习的自主性和创造性。当学生过分依赖智能化的教学系统和学习应用时，他们可能逐渐失去了独立思考和解决问题的能力，长期处于被动接受和依赖的状态，这可能影响到他们未来的职业发展和生活适应能力。此外，人工智能教育产品和服务的设计也可能对学生的情绪和情感产生负面影响。例如，一些过于竞争激烈或者注重结果而非过程的教育系统可能导致学生产生过度的压力和焦虑。在这样的环境中，学生可能会感到自己不够优秀或者无法满足期望，从而产生自卑、挫败感等负面情绪，甚至出现抑郁等心理健康问题。另外，人工智能算法可能会基于个人数据和行为模式进行个性化的教育推送，然而这种个性化可能会在一定程度上削弱学生的独立性和自主选择能力，导致学生在信息过载的情况下产生迷失感或者决策困难。
3.4. 人工智能的应用对教师角色和职责的危机冲突
教育的自动化和智能化也可能导致一些教育任务被替代或者自动化执行，从而使得传统的教育工作岗位面临减少或者消失的风险[13]。福瑞(Carl Benedikt Frey)和奥斯博恩(Michael A. Osborne)通过对美国702类职业被人工智能取代的概率进行研究发现：“47%的职业可能受到人工智能的巨大冲击，其中被替代的职业通常是对技能和教育水平要求较低者，特别是对于一些依赖传统教学方式生存的教育从业者，可能会面临转岗或者再培训的挑战。”[14]。一些基础性的教学任务，如阅卷、课程设计、学生管理等，可能会被人工智能系统取代，从而减少了教师的工作量和需求。这种情况下，教育工作者可能面临着失业或者就业机会减少的压力。新型生成式人工智能技术则能够实现教育问题识别，对教育问题进行定量刻画，最终转化为可计算和可运行的数据和算法。以智能导师系统模拟教师和学生之间一对一的智能化教学为例，该系统以领域模型、导师模型和学习者模型模拟教师、学生与学习内容三要素，领域模型包含学习领域的基本概念、规则和问题解决策略，导师模型决定适合学习者的学习活动和教学策略，学习者模型动态描述学生在学习过程中的认知风格、能力水平和情感状态[15]。随着智能化教学系统和学习应用的广泛应用，教育工作者将需要具备更多的技术能力和数据分析能力，以更好地与这些智能化工具进行合作与协同。
4. 伦理困境规避路径
通过对人工智能在教育应用中可能会出现的伦理困境分析，从技术、政策和教育等多个方面提出解决措施，为监管部门、教育者、学生和相关从业者提供明确的行为准则和规范，确保人工智能在教育中的应用能够平衡发展、公平公正、安全可靠。本文提出的人工智能教育应用伦理困境规避路径见图1。
Figure 1.Paths to avoid ethical challenges in AI educational applications
图1.人工智能教育应用伦理挑战规避路径
4.1. 制定严格的隐私政策和数据安全措施保证学生权益
教育机构和技术提供商在面对人工智能技术在教育中的应用时，必须制定严格的隐私政策和数据安全措施，以确保学生个人数据的合法收集、使用和存储。首先，教育机构和技术提供商应该建立健全的隐私政策，明确规定了学生个人数据的收集目的、使用范围、存储期限等重要信息，并明确告知学生及其监护人相关权利和保护措施。这样可以帮助学生和其监护人更好地了解和掌握自己的数据权益，保护个人隐私。其次，教育机构和技术提供商应当采取有效的技术手段和安全措施来保护学生个人数据的安全。这包括对敏感信息进行加密处理，确保数据在传输和存储过程中不被窃取或篡改。同时，应当建立完善的安全管理制度和技术防护体系，及时发现和应对数据安全事件，保障学生个人数据的安全性和完整性。此外，教育机构和技术提供商还应当限制数据访问权限，严格控制数据的使用范围和访问权限。只有经过授权的教育工作者和相关人员才能够访问和使用学生个人数据，确保数据不被滥用或泄露。教育机构和技术提供商应该共同努力，建立健全的隐私政策和数据安全措施，保护学生个人数据的安全和隐私。只有这样，才能够有效应对人工智能技术在教育中可能带来的隐私和数据安全问题，确保教育信息化的可持续发展和学生个人数据的合法合理使用。
4.2. 采用透明和公平的算法避免偏见与歧视
在开发和使用人工智能系统时，需要采用透明和公平的算法，以避免可能存在的偏见和歧视性影响。这一要求涵盖了对算法的审查、测试和纠正措施，旨在确保其公正性和公平性。首先，对算法的审查是至关重要的。开发人工智能系统的研究人员和工程师应该对算法进行全面的审查，评估其设计和实施是否合乎道德和法律要求。这包括对算法中可能存在的偏见和歧视性因素进行识别和评估，确保其不会对结果产生不公平的影响。其次，对算法的测试也是必不可少的。在开发阶段，应该进行严格的测试和验证，以检查算法在不同数据集和场景下的表现，特别是在涉及敏感信息和个人隐私的情况下。通过测试，可以发现和纠正算法中可能存在的偏见和歧视，从而提高其公平性和准确性。最后，及时纠正任何可能的偏见和歧视也是至关重要的。一旦发现算法存在偏见或歧视性影响，开发团队应立即采取措施进行修正和调整，以确保算法的公平性和公正性。这可能包括重新训练算法，调整参数或者修改算法设计，以消除偏见和歧视的影响。
4.3. 加大数据保护和安全知识宣传力度提高信息保护能力
教育机构和技术提供商应加强学生、教师和家长等相关人员的数据保护和安全意识教育，提高他们对隐私和数据安全的重视程度，并加强对安全措施的遵守和执行。首先，教育机构和技术提供商应该开展针对不同受众群体的数据保护和安全意识教育活动。针对学生，可以通过课堂教育、信息宣传和互动活动等方式，向他们传达数据保护的重要性和安全意识，教导他们如何妥善保护个人隐私和数据安全。对于教师和家长，可以组织专题讲座、研讨会和培训课程，帮助他们了解数据保护法律法规和最佳实践，提高他们对数据安全的认识和重视程度。其次，教育机构和技术提供商应该加强对安全措施的遵守和执行。他们应该建立健全的数据保护管理制度和安全管理体系，明确规定了数据收集、使用和存储的规范和流程，以及相关人员的责任和义务。同时，应该加强对安全措施的监督和检查，及时发现和纠正安全隐患，确保数据安全和隐私保护工作得到有效执行。最后，教育机构和技术提供商还应该积极倡导数据保护和安全文化，营造良好的数据保护氛围。通过制定数据保护政策和宣传活动，强调数据保护是每个人的责任，鼓励学生、教师和家长共同参与数据保护工作，共同维护数据安全和隐私权利。
4.4. 推动人机合作与人文关怀确保学生身心健康发展
人工智能教育需要推动人机合作的理念，强调技术与人文关怀的结合。教育者和技术开发者应共同努力，确保人工智能系统的设计和应用能够兼顾学生的心理健康和社会发展，促进全面的人才培养。这样才能实现教育的全面发展目标，为学生的未来奠定坚实基础。教育者和技术开发者应共同探索人工智能技术如何与人类教学相结合，发挥智能系统的优势，同时保留和加强人类教师的独特作用。通过人机合作，可以提高教学效率、个性化学习体验，并为学生提供更全面的学习支持。其次，人工智能教育应注重人文关怀，将技术的发展与学生的心理健康和社会发展相结合。教育者和技术开发者应考虑到学生的情感需求和社会交往能力，在设计和应用人工智能系统时注重培养学生的情感智能和社会情商。通过智能系统的设计，可以引导学生培养自信心、合作精神和自我管理能力，为其未来的综合发展奠定良好的基础。最后，教育者和技术开发者应共同努力，确保人工智能系统的设计和应用能够兼顾学生的心理健康和社会发展，促进全面的人才培养。他们可以加强合作，共同研究和开发符合教育需求的智能化教学系统和学习应用，为学生提供个性化、全面化的学习支持，助力其成长和发展。
4.5. 强化伦理审查和监管机制切实发挥政府功能
只有通过严格的监管和规范，才能确保人工智能在教育中的应用能够为学生带来真正的益处，同时最大限度地保护学生的权益和利益。目前有多个国家与教科文组织合作，以《人工智能伦理问题建议书》为基础，制定国家层面的人工智能制衡措施[16]。首先，政府和监管机构应制定相关的法律法规，明确规定人工智能在教育中的应用范围、使用条件和限制，以及相应的伦理标准和要求。这些法律法规可以涵盖数据隐私保护、算法公正性、歧视防范等方面，为人工智能技术的开发和使用设立明确的法律框架和规范。其次，政府和监管机构应加强对人工智能在教育中的应用进行伦理审查和监管。他们可以建立专门的审查机构或者委员会，负责对人工智能教育产品和服务进行审查和评估，确保其符合伦理和道德要求，不会对学生造成不良影响。同时，还应该加强对人工智能技术开发者和使用者的监管和管理。可以建立人工智能技术的注册和备案制度，要求相关企业和机构对其使用的人工智能技术进行申报和备案，同时对其进行定期的监督和检查，确保其合法合规地开发和使用人工智能技术。最后，政府和监管机构还可以加强对人工智能技术的研究和发展的支持和引导，鼓励开发和应用符合伦理和社会价值的人工智能技术，促进人工智能在教育中的良性发展，为学生提供更好的教育服务和支持。
5. 总结
叶洲[17]提出人工智能与教育相互融合是必然趋势，本文探讨了人工智能在教育领域中的应用，从教育模式到教学资源为教育带来了巨大的变革和机遇，人工智能技术正在改变着教育的方方面面。然而，科技是把双刃剑，这些技术的广泛应用也带来了数据泄露、算法偏见和歧视等一系列伦理和安全挑战。解决人工智能在教育中的伦理和安全挑战需要多方共同努力，包括技术、政策、教育和监管等方面的手段。只有通过综合的措施和全面的考量，才能确保人工智能在教育中的应用能够取得积极效果，并最大程度地减少其潜在的负面影响。
NOTES
*通讯作者。