note/work/AI/电教馆试运行报告.md
2025-11-19 10:16:05 +08:00

141 lines
9.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

### **“教育E卡通管理平台人工智能+教育场景”试点服务试运行报告**
**日期:** 2025年8月29日
**报告单位:** 苏州市民卡有限公司
#### **第一部分:引言**
**1.1 项目背景与目标**
为响应国家人工智能发展战略推动AI技术与教育教学的深度融合本项目旨在引入国内先进的人工智能大模型能力通过建设“2025年度教育E卡通管理平台人工智能+教育场景试点服务”打造一系列创新AI应用场景。
项目总体目标在于:**提升教育管理效率**、**优化教学分析**、**增强家校互动**,为苏州市教育信息化发展探索新路径、积累新经验。
**1.2 试运行目的**
本次试运行的核心目的在于,在真实的应用环境下,全面、系统地验证试点服务的各项能力,具体包括:
* **功能完整性:** 检验所有应用场景的核心功能是否已按招标文件要求开发完成。
* **性能达标性:** 严格测试各项服务的关键性能指标,确保其达到或超过项目关于人工智能试点的要求。
* **系统稳定性:** 考察基础平台在高并发、长周期运行下的稳定性和可靠性。
* **用户体验:** 收集初步用户反馈,为后续优化和正式上线提供依据。
**1.3 试运行范围**
* **服务模块一:新生照片智能审核服务**
* **应用场景:** 教育E卡通平台新生照片上传后的自动化合规性审核。
* **试点用户:** 苏州市电化教育馆负责照片审核的相关老师。
* **覆盖范围:** 面向全市所有新生教育E卡通照片审核模块已接入AI照片审核服务接口。
* **服务模块二学情分析、家校沟通及其他AI创新服务**
* **试点单位:** 苏州市第三中学。
* **试点范围:** 指定试点班级自2025年9月1日起开始试用。
* **基础平台部署**
* **部署位置:** 苏州市电化教育馆机房。
* **部署模式:** 采用混合模式核心照片审核服务在本地两台临时AI服务器上进行私有化部署部分应用通过API接口安全接入DeepSeek等公有云大模型服务。
#### **第二部分:试运行总体情况**
**2.1 试运行环境**
* **硬件环境:**
* **AI推理服务器** 2台每台配置8张 NVIDIA RTX 4090 GPU构成GPU资源池使用vLLM框架进行模型推理部署。
* **管理监控服务器:** 2台用于部署自研管理平台。
* **软件环境:**
* **操作系统:** Linux。
* **部署方式:** Docker 容器化部署。
* **核心自研平台:** AI-Master 智能体开发与管理平台、easyvllm、gpustack、fastgpt提供算力资源管理、API统一管理、用户密钥管理等LLMops全套能力。
* **中间件:** Redis、Minio、PostgreSQL含PGVector插件等。
* **网络环境:**
* 服务部署于苏州市电化教育馆内部网络通过Nginx反向代理实现与外部资源的隔离和安全交互。
**2.2 测试方法**
本次试运行测试内容招标功能要求,采用**功能测试、性能压力测试**和**用户验收测试**相结合的方式进行。
#### **第三部分:核心应用场景测试结果与分析**
**3.1 新生照片智能审核服务**
* **功能实现情况:** 已成功实现对学生上传的“教育E卡通”新生照片进行自动化合规性检测与审核。
* **关键性能指标测试结果:**
* **综合准确率:**
* **测试方法:** 为全面评估模型的综合判断能力,我们构建了一个包含**400张**历史照片的混合测试集,其中**合格照片与不合格照片各200张**,以模拟真实审核场景。
* **测试结果明细:**
* 在200张**不合格**照片中,系统成功识别出全部**200张**。
* 在200张**合格**照片中,系统正确判断为合格的为**194张**有6张被误判为不合格。
* **综合计算:**
* 总正确判断数 = 200 (正确检出的不合格照片) + 194 (正确识别的合格照片) = **394张**
* 总测试样本数 = **400张**
* **综合准确率 = 394 / 400 = 98.5%**
* **结论该项综合准确率达到98.5%超过了招标文件要求的“合规性判断准确率不低于98%”的性能指标,表现优异。**
* **性能压力测试:** 在单线程连续请求500张照片的场景下平均每张照片的处理耗时为**2.2秒**单台服务器GPU峰值使用率为**76%**。
* **结论:处理效率高,系统资源利用充分,满足高并发审核需求。**
* **安全要求:** 已确认本服务严格遵循“纯多模-态大模型实现”的技术路径,并采用私有化部署,确保了学生照片数据的隐私安全。
**3.2 学情智能分析服务**
* **功能实现情况:**
* 已成功实现**语音转文字**功能,支持用户通过语音进行自然语言查询。
* 已实现多维度数据分析,包括单场考试的**年级对比、班级分析、小题分析、学生个人分析**,并能以各类图表(柱状图、折线图、雷达图等)进行可视化展示。
* 已成功上线**AI智能问数**功能,支持教师通过自然语言对话,深度钻取和分析学情数据。
**3.3 家校智能沟通助理服务**
* **功能实现情况:**
* 已成功实现**语音转文字**和**文字转语音TTS**功能,支持双向语音交互。
* 已实现面向家长的多项信息查询服务,包括:学生**实时成绩、成绩趋势分析、单场考试表现、知识点掌握情况(小题分析)**等。
* 已成功对接学校其他数据源,可查询**学生健康体检信息、课程表**等。
**3.4 其他AI创新应用服务**
* **AI辅助课表管理** 已实现招标文件要求的全部核心功能:
* a. 支持导入教师任课信息、课程设置、场地限制等基础数据。
* b. 能够自动检测并高亮提示课表中的**时间、教师、教室**三类冲突。
* c. 能够根据预设规则(如主科不连堂、体育课不安排在下午第一节等)对排课结果进行合规性检查。
* **AI智能信息收集** 已实现招标文件要求的全部核心功能:
* a. 支持管理员通过自然语言对话方式,快速创建信息收集表单(如活动报名、午餐预定)。
* b. 系统自动生成在线表单链接,方便分享。
* c. 用户提交数据后,系统自动将非结构化数据汇总为结构化的在线表格。
#### **第四部分:基础设施评估**
**4.1 基础设施技术支持能力**
试运行期间,部署在电教馆的本地基础平台运行稳定。通过自研的**AI-Master平台**,成功实现了对模型全生命周期、推理服务、算力资源调度、系统监控与报警的统一高效管理。特别是平台内建的**智能体开发及相关框架**,为上层应用的快速迭代和开发提供了有力支撑。
**4.2 项目实施保障**
项目团队在试运行期间,提供了及时的技术支持和响应。针对测试过程中发现的问题,能够快速定位并予以解决。已面向试点用户提供了初步的操作培训和使用手册,获得了用户的积极评价。
#### **第五部分:试用用户初步反馈**
* **苏州市电化教育馆:**
* [建议此处插入电教馆老师对照片审核模块的正面评价操作界面简洁直观AI审核大大减轻了人工审核的压力效率提升显著等。]
* **苏州市第三中学:**
* [(建议此处插入)师生及家长对学情、家校沟通服务的正面评价,如:学情分析报告非常直观,帮助老师快速定位教学重点;家长能通过手机随时了解孩子学习情况,沟通更便捷等。]
#### **第六部分:结论与建议**
**6.1 总体结论**
本次试点服务试运行成果显著。系统主体功能已按照招标文件要求完成开发并成功部署,核心应用场景已在试点单位落地应用,基础平台运行稳定可靠。**关键性能指标(包括照片审核综合准确率、各类服务响应时间与并发能力)均达到或超过了试用要求。**
**6.2 存在问题**
* 在本次试运行的核心功能与性能测试中,**未发现**与招标文件要求存在偏差的重大问题。
**6.3 后续建议**
1. **持续监控优化:** 在系统试运行期间,建议项目团队持续监控模型性能,收集更多真实场景数据,为未来可能的算法微调和模型迭代做好准备。
2. **深化用户反馈收集:** 持续收集试点用户的详细反馈,尤其是在易用性和业务流程契合度方面,为下一阶段的系统优化和功能迭代做准备。
**报告单位:** 苏州市民卡有限公司
(盖章)
**负责人签字:**
**日期:** \_\_\_\_\_ 年 \_\_\_\_\_ 月 \_\_\_\_\_ 日
---
**甲方:** 苏州市电化教育馆
(盖章)
**日期:** \_\_\_\_\_ 年 \_\_\_\_\_ 月 \_\_\_\_\_ 日