数据采集组件

思考到将来信息化的发展及推算机科学技术的发展

，大数据管控平台能够支持无线数据、有线数据的向后适配性全量、增量采集。目前可能支持设备数据采集、业务系统数据采集、互联网数据采集等。

高校中网络设备每时每刻都在产生着大量非结构化或半结构化数据

，如上网日志、身份认证日志、无线AP的日志和URL日志等,数据采集组件能够对以上数据进行设备数据采集

，同时也涵盖无线AP对终端地位探测数据采集。

● 业务数据采集

学堂的一卡通系统、学工系统、门禁系统、教务系统、科研系统和图书馆系统等业务数据分散地存储在各个厂商系统的数据库中。使用数据采集组件

，能够对接险些所有主流的关系型数据库

，如MySQL、MS SQL Server、Oracle、IBM DB2等。

● 互联网数据采集

互联网中存在的大量非结构化数据

，本规划当选取散布式的网络爬虫规划

，能够急剧实时地从互联网爬取URL分类、APP分类等信息

，通过爬虫将所需信息如URL分类、APP分类获取下来作为类库集。

大数据基础平台

针对高校信息化的急剧发展

，随之产生的各类数据暴涨

，如无线数据、上网数据、部门业务数据等

，要求大数据解决规划必须提供可矫捷扩大的存储能力

，并为之配套高机能的分析能力。

选取散布式存储架构

，集群化部署方式

，可能滑润升级

，通过增长节点数量实现机能提升

，实现结构化数据和非结构化数据差距化处置

，整体实现统一的运维治理入口。平台选取B/S架构

，支持主流Linux系统上运行；支持R、Python、Scala、Java等主流编程说话；支持Mysql、SqlServer、Oracle、NoSql、MogonDB、Redis、Hbase等数据库。支持节点在线扩大

，不中断当前系统的运行

，提升机能线性。

提供MapReduce、Spark、Storm等多种推算框架

，离线推算、内存推算和流式推算并存

，满足高吞吐、大数据量和低时延实时处置等多方面的数据推算要求。提供机械进建算法库

，蕴含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机械进建算法。通过大数据平台的深度挖掘和关联分析

，为全校师生员工及各部门、各学院提供数据服务以及综合数据分析服务。支持R 说话进行数据分析,支持传统SQL 、Hive 、Spark 进行数据分析。

平台提供WEB图形化界面实现集群的治理和监控

，集群节点的运行状态都能在界面上显示

，可能监控节点CPU利用率均值及峰值、内存容量及其利用率、物理机磁盘使用情况等；提供集群治理界面：可能支持新增集群

，集群启动、终场等操作；集群配置、扩大主机、集群查抄。

通过集群HA切换、数据冗余备份、利用及采集组件互备支持不变性。集群主节点肆意一台宕机

，集群切换后均不影响数据的存储及分析工作的运行（通过CM是否正常接见和工作是否正常运行验收）；集群存储推算节点肆意一台宕机

，均不影响数据的存储及分析工作的提走运行。以保障整个规划的不变。

节造表部用户或者第三方服务对集群的接见过程中的身份甄别

，以执行大数据平台安全架构的基；用户在接见启用了安全认证的集群时

，能通过服务所必要的安全认证方式接见

，保险平台的安全性。

大数据平台集群支持通过网络平面隔离的方式保障网络安全

，严格节造试用端口。

大数据平台使用多种伎俩保障数据在传输过程中的安全性

，蕴含选取安全接口设计及高安全的数据传输和谈

，保障在通过接口接见、处置、传输数据时的安全性

，预防数据被犯法接见、窃听或旁路嗅探等。

无线大数据分析利用

● 校园人身安全分析利用

学生综合行为数据分析服务是利用大数据分析

，对学生各类行为进行关联分析和深度挖掘

，从而实现对学生行为的分析判断、综合展示以及预警提醒等方面的服务。

首先

，对学生行为有关的全数主题数据进行采集和整顿；其次

，与学生工作部门共同划定学生异常行为特点属性；而后

，利用大数据平台上的分析工具和伎俩

，对所罕见据进行关联分析

，从海量数据中判读异常行为并将其抓取出来

，展示给有关使用者

，必要时还进行自动提醒；最后

，还可深度分解和规划预警模型及机造

，并不休迭代和美满

，使之越发合理和实用。

采集学生在校行为的全数有关数据

，蕴含业务系统数据（学工、人事、教务、一卡通、图书治理系统、图书馆门禁、公寓门禁等所有学生有关的业务系统）、无线网上网日志数据、URL日志数据等

，挖掘行为异常学生并实时告警

，使学堂及使仄握学活泼态

，为学生精准化治理与服务提供有效工具支持。至少蕴含但不限于如下行为的分析、预警及展示。

（1）RG-iData-失联分析预警

为校治理层提供整个学堂、各学院、年级的学生疑似失联、确认失联情况

，并展示疑似失联和确认失联学生最后在校内出现的地位；同时提供疑似失联学生具体信息及其伴侣圈信息供掌管人确认查对职能；为学堂提供学生治理智能化工具

，提升治理效能。

（2）RG-iData-高校轨迹跟踪

基于高校建设的Wi-Fi网络

，感知移动终端的轨迹情况

，结合学堂的校务信息

，可能提供对学生手机号

，MAC

，学号进行轨迹跟踪及查问

，凭据终端真实移动轨；嬖斐鲋斩嗽谛Ｇ诟鞲龉怪之间的真实轨迹

，支持异常人员的轨迹追踪

，同时支持汗青六个月内肆意一天的轨迹查问跟踪

，并可能自动找出失联人员提供失联前的轨迹情况。

（3）RG-iData-高校迁徙蹊径

支持对学堂的学生终端地位定位

，能够凭据手机号

，MAC,姓名

，学号查问最新出现地位；可能对整个学堂的学生群体迁徙变动情况进行出现

，并支持对分歧窗院人群的迁徙蹊径跟踪。

（4）RG-iData-高校区域散布观察

能够查看整个学堂的学生热力散布情况

，并支持动态观察

，支持六个月内热力散布情况回放；可能洞察整个学堂的接入终端数量、公共资源均匀使用率分析

，监控校园区域的密集情况及对应的院系、年级、班级散布情况

，通过数据接口提供实时数据提供第三方落地域域预警。

● 校园安全事务监控

通过大数据平台的分析和挖掘

，将综合数据以全景式的方式展示出来

，给学堂各职能部门或有关辅导使用

，为有关决策提供数据支持。以学堂现罕见据为基础

，利用大数据从分歧场景、分歧维度进行校园安全数据综合统计分析、关联分析及深度挖掘。

（1）RG-iData-陌生访客鉴别监控

实现整个学堂的访客和异常访客情况及对应的趋向分析

，分类整个校园的较常出现

，频仍出现的访客和异常驻留访客情况；反馈校园的异常访客比；同时获取各区域正常访客和异常驻留访客情况；辅助支持校园安全治理决策

，更好的为学堂安全提供服务。

● 校园无线上网行为分析

通过对上网行为数据分析学生上网习惯、上网偏好、上网时长、关注内容等

，提炼异常上网行为进行分类整顿分析,如Wi-Fi使用分析、上网沉迷分析、上网过度分析、网贷分析、犯法接见信息分析等。

（1）RG-iData-Wi-Fi使用分析

出现整个校园Wi-Fi的师生使用人数及趋向；展示师生使用Wi-Fi接见的内容

，对应的人数及占比情况；同时地图方式出现各个区域的Wi-Fi服务人数、服务人次、使用率、覆盖率和使用占比等信息。

（2）RG-iData-上网沉迷分析

提供整个学堂处于上网沉迷状态人员概况及对应的趋向分析

，同时提供学院沉迷情况、各年级沉迷情况以及上网沉迷内容对应学生人数

，辅助学堂更好的规范学堂学生上网行为。

（3）RG-iData-网络借贷分析

支持整个校园的关注学生、涉及学生的人数分析及对应的趋向；支持学院的学生借贷情况及各个年级的学生借贷关注及涉及情况分析；反馈各类借贷产品在学堂师生的覆盖情况

，从学堂、学院、年级角度反映总体情况给治理层判断决策

，实时染指

，从源头上做节造。

●讲授治理辅助

（1）RG-iData-讲授考勤辅助

基于学堂建设的Wi-Fi网络

，感知学堂学生终端实时辰布

，可能凭据学堂校务数据的课程铺排信息

，自动统计整个学堂到课率情况及趋向

，同时支持统计各个学院、班级及课程的课程学生到课率情况；能够分析查看学院到课排行情况

，各年级的到课排行情况及优良top10课程情况；支持讲授治理调整铺排数据支持。