数据分析分析技术范例6篇

数据分析分析技术

数据分析分析技术范文1

[关键词]大数据;互联网+;农业;智能灌溉

引言

随着科技的日益进步,计算机的相关技术被引用到各个领域。智能灌溉系统是融合传感器技术、自动控制技术、计算机技术、无线通信技术与移动终端控制等多种高新技术,自动采集光照、温度、土壤水分、空气湿度等信息,通过无线通信技术传输给信息管理系统,自动控制喷水灌溉、通风除湿等设备,从而调节环境参数。智能灌溉系统应用大数据策略,在云服务平台进行数据分析处理,以关联图表显示历史记录,为农业专家提供决策支持,同时获取国家气象局天气预报信息,根据天气状况和作物需要智能调节喷水灌溉策略,调整用水量,实施精准灌溉,提高水资源利用率。智能灌溉系统支持多种应用场景如智能花园、温室大棚、高尔夫球场等,提供Web版、桌面版、移动终端3种管理系统供用户使用,使其随时随地操作管理。智能灌溉系统采用WiFi技术实现远程无线通信,采用Zigbee技术构建底层无线传感网,节能低耗,能够根据应用场景规模灵活增加无线节点模块,不会因为监测点过多而使布线复杂,降低系统维护运营成本。

1职能灌溉系统总体结构

系统总体结构如图1所示。系统实验室模型及部分实物操作界面如图2所示。

2智能灌溉系统功能模块简介

本系统根据物联网三层体系结构设计,功能模块划分及其主要设计内容如下表1所示。

3智能灌溉系统简易操作说明

下面主要说明桌面版管理系统、Web版管理系统、移动终端版管理系统的操作使用方法。3.1桌面版管理系统桌面版管理系统主要功能模块有:操作控制模块、数据与命令查看模块。其中,操作控制模块的功能如下:这部分提供了实时场景的选择,区域实时数据的显示,区域手动操作和自动控制的设置。可以通过输入服务器地址,进行场景的选择,然后对该场景下的区域进行手动控制,实时控制底层终端控制设备,也可以开启自动控制,输入要自动控制的参数范围,系统会根据输入的控制参数,进行自动控制。3.2Web版管理系统3.2.1登录界面系统的开始页面,界面简洁友好。只有获取权限才能进入控制系统。3.2.2首页这部分主要是显示项目的一些图片,页面下方是项目的介绍。3.2.3监控中心这是本程序的核心部分,在这个页面中,能够通过仪器表查看到当前的数据,并提供了天气预报,能够根据需要设置自动控制的外界条件,或是进行人工的操作处理。上述界面中,上面部分是最近一次采集到的数据,以仪器表的形式生动地展示出来,左下角是自动控制时的温湿度,光照强度的控制范围,在这里输入要控制的范围后,系统会根据用户输入的范围自动调控。右下角是系统的自动控制区域,在这里用户可以进行手动控制。3.2.4数据分析查看将历史记录以关联图表的形式展示出来,一目了然,为农业专家进行数据分析提供决策支持,最终确定适于作物生长的控制策略。3.2.5操作记录将用户的操作即自动操作记录下来,便于查看。3.2.6退出程序退出后,系统的工作模式不变,保持原状。点击退出后,登录状态被重置,并跳转到登录页面。3.3移动终端管理软件3.3.1登录部分这个是手机端的登录界面,简洁明了,选择联网模式,输入账号密码以及当前的服务器地址即可登录,可以选择保存密码,方便下次登录。3.3.2数据查看中心选择当前环境模式和区域,即可查看当前的实时数据。3.3.3控制中心选择当前的场景模式和区域,就可以对该区域进行控制,可以根据需要输入环境参数,设置自动控制的范围,也可直接进行手动控制。

4结语

数据分析分析技术范文2

关键词 数据挖掘 基因序列 生物信息学 遗传疾病 患病家族连锁分析

在生物信息学的成果的理论基础之上,通过统计的方法查找未知的生物化学功能的疾病基因的位置。这个方法预先通过患病家族连锁分析,再推断包含这些基因的染色体区域片段,然后检查该区域来寻找基因[1]。

数据挖掘在DNA数据分析的发展状况

现今所采用的是分子生物学与微电子技术相结合的核酸分析检测技术[2]。DNA芯片技术的基本原理是将cDNA或寡核昔酸探针以105~106位点/cm2>/sup>的密度结合在固相支持物(即芯片)上,每个位点上的cDNA或寡核昔酸探针的顺序是已知的,将该探针与荧光标记的待测样品DNA,RNA或cDNA在芯片上进行杂交,然后用激光共聚焦显微镜对芯片进行扫描,并配合计算机系统对杂交信号做出比较和检测,从而迅速得出所需的信息。

基因数据挖掘常用的方法:①核酸与蛋白质比较的预测分析:蛋白质序列之间或核酸序列之间的两两比对,通过比较两个序列之间的相似区域和保守性位点,寻找二者可能的分子进化关系。进一步的比对是将多个蛋白质或核酸同时进行比较,寻找这些有进化关系的序列之间共同的保守区域、位点和profile,从而探索导致它们产生共同功能的序列模式。此外,还可以把蛋白质序列与核酸序列相比来探索核酸序列可能的表达框架;把蛋白质序列与具有三维结构信息的蛋白质相比,从而获得蛋白质折叠类型的信息。②针对核酸序列的预测方法:针对核酸序列的预测就是在核酸序列中寻找基因,找出基因的位置和功能位点的位置,以及标记已知的序列模式等过程。在此过程中,确认一段DNA序列是一个基因需要有多个证据的支持。一般而言,在重复片段频繁出现的区域里,基因编码区和调控区不太可能出现;如果某段DN段的假想产物与某个已知的蛋白质或其他基因的产物具有较高序列相似性的话,那么这个DN段就非常可能属于外显子片段;在一段DNA序列上出现统计上的规律性,即所谓的“密码子偏好性”,也是说明这段DNA是蛋白质编码区的有力证据;其他的证据包括与“模板”序列的模式相匹配、简单序列模式如TATA Box等相匹配等。

案例分析

疾病是由于基因的片段内的某个位置存在或发生改变而引起的,也就是发生突变。能否找出其中不同的地方,进而对其不同之处加以改变,使之成为正常基因?这都需要数据挖掘技术的支持。对基因的数据挖掘,就是对这些突变位置的寻找,并且找出该位置与所有者身患的疾病之间的关系。

方法的选择:笔者在设计中选用单纯的DNA序列进行比较,基因在计算机的表示和存储时,可以使用一条很长的字符串来表示基因的某一条序列,使用文件的形式进行对基因工作者的提取成果创建一级数据库,使用文件修整的方法进行数据的清洗,以满足数据在二级数据库中的一致性。同时在文件比较过程中,生成某两个数据文件的差异状况,保存在二级数据库库中,进一步的操作是对差异的位置的某个类型所占的比例。最后通过事先的对患者患病信息的统计得到的某种疾病在群中所占的比例,与其相比较,如果这两个比例相等,则可以认为这个位置的某个类型引起疾病的发生。从医学院得到一些基因片段文件信息和患者(所有者)患病情况。

系统的实现:基因片段在计算机中以文件形式存储,用文件名标识其所有者(源体)。片段起始地址和长度信息和所有患者患病情况保存在本机数据库中。在程序测试过程中,将片段复制成40份,对其中部分文件的序列进行稍作修改,对所有患者的患病状况进行稍作修改,以创造测试环境。显示在与基因数据挖掘软件同在一根目录下的序列文件的集合。

其中一个文件所存储的基因信息,见图1。

启动统计程序界面,单击清空数据库中的临时用表数据,将数据库中有可能的杂音信息去掉。并对其中的所有文件进行统计前片段剪切,使所有片段的起始地址和长度都相同,避免发生序列移位。

没有进行片段剪切之前,浏览文件所存的片段信息,片段剪切完成之后,设置进行比较操作的甲、乙组的文件添加,因为本次测试只检验片段中的一块区域(文件中片段的所有信息),所以在起始序号那里添加为0,终止序号那里添加为175。这样则可以保证统计文件的所有信息都被统计。

单击结果显示按钮,可以见到程序以表格和条形图标方式。可以看到1、3、5、12、14、16、18、13、31、34、87、94、139、166位置的条形段较高。说明在这些接受统计的片段中,在上面提到的位置处存在的差异较大,与某遗传疾病的关联的可能性就越大。

如果用户想要在初步统计结果的基础上,按照数据库中所有者的疾病状况进行详细统计的话,单击菜单栏的详细统计按钮,选择按疾病详细统计,则将弹出窗口。

选择弱视,输入,则在文本框中显示与其关联的位置为1、3、5、12、14、16、18、13、31、34、87、94、139、166。

由此,用户可以根据本系统所给出的预测对弱视遗传疾病与序列中的特定位置,选择适当算法进行进一步的计算及检验,证明预测结果是否符合关联理论。数据挖掘方法体系中的智能聚类的相关技术则可较好的解决类别数判定、结果验证等问题。

结 论

对于生物信息或基因的数据挖掘和通常的数据挖掘相比,无论在数据的复杂程度、数据量还有分析和建立模型的算法而言,都要复杂得多。从分析算法上讲,需要一些新的和好的算法;但技术和软件还远没有达到成熟的地步,因此需要不断探索及研究。

参考文献

1 黄诒森.生物化学[M].北京:人民卫生出版社,2002:29-37.

数据分析分析技术范文3

关键词 商业银行 海量数据 数据分析技术 实践应用

当前计算机技术已经渗透到生产生活中的方方面面,并且随着计算机技术的发展和成熟,出现了越来越多的新型计算机技术,推动社会进入了大数据时代。大数据时代的到来,对商业银行来说是把双刃剑,在带来发展机遇的同时,使得商业银行面临着更大的挑战。多种网络平台的出现,极大地丰富了商业银行的在线支付方式,催生了虚拟交易体系,在这个过程中所产生的金融数据量是非常庞大的。为了更好地迎接发展机遇和挑战,就需要充分发挥数据分析技术优势,快速、准确完整海量金融数据的分析。

一、大数据环境下商业银行所面临的发展压力

(一)金融数据量持续增多

在信息网络时代背景下,人们的消费观念已经由现实消费逐渐转向网络消费。网络用户的增多,使得电子数据呈现出爆炸式增长趋势。在这种发展背景下,商业银行所需要存储、分析的金融数据也在持续增多,如何保证数据信息的完整性,从海量数据中筛选出有价值的信息,为客户提供高水平、高质量的服务,是当前商业银行发展过程中必须考虑并解决的问题,对提高自身竞争力具有重要作用。

(二)银行服务价值的转变

商业银行传统服务方式以柜面服务为主,常见的业务类型包括存取款业务、贷款业务等,在办理业务时客户一般都是直接到银行柜台。但是,在计算机迅速发展的背景下,柜台服务模式已经无法满足客户的实际业务需求,越来越多的人开始选择网络交易。为了满足用户的实际需求,商业银行就需要转变服务价值,在原有服务模式的基础上,构建虚拟服务体系,为用户提供多元化服务方式,适应当前金融行业的发展形势。[1]

(三)金融数据的安全保障

金融数据都是真实可用的,涉及客户的个人隐私,具有较高的私密性,但是因为金融数据的应用价值较高,很容易成为黑客窃取的对象,金融数据面临着较大的安全威胁。在大数据背景下,商业银行在对海量数据进行分析、处理时变得更加困难,再加上网络环境复杂程度的增加,金融数据更容易受到恶意攻击。为了避免客户信息泄露,商业银行就需要做好金融数据的安全保障工作,确保客户数据的安全性。

二、数据分析技术在商业银行海量金融数据处理中的应用优势

电商、银行以及物流是互联网时代的重要组成部分,这三大类企业在网络交易过程中分别扮演着不同角色,在应用数据分析技术时都有着自身优势,在商业银行海量金融数据处理中的具体应用优势,主要体现在信息、人才、资金、制度等几个方面。

(一)信息与人才优势

商业银行在经营过程中,所产生的金融数据都是非常重要的,所以商业银行的信息化建设尤为重要。各大商业银行相继建立了数据中心和备份中心,以此来实现数据的存储与分析,保证数据的完整性、准确性及安全性。再加上广泛的信息获取渠道,商业银行所形成的数据库结构是较为庞大和完善的。同时,我国的大型商业银行都设有自己的科研中心,以便不断对数据信息系统进行优化和改进,充分发挥出金融数据价值,提高其利用效率。在这个过程中会涉及软件开发、数据仓储等具体实践项目,这就培养了大批专业技术人才,为促进商业银行的发展提供了人才保障,同时也为数据分析技术的良好应用创造了有利条件。

(二)资金与制度优势

从近几年我国商业银行的发展情况来看,商业银行的获利空间是比较可观的,经济收益有明显提高趋势,这就为数据分析技术的充分应用提供了资金保障。商业银行可以借助盈利资金,加大信息化建设投资力度,建立先进的数据操作系统、存储系统、计算系统等数据化系统,以便更好地将数据分析技术应用于海量金融数据的分析中。同时,集团化经营已经成为我国商业银行的主要经营模式,经营管理理念是比较先进、成熟的,能够实现跨地区经营,构建覆盖面积较广的经营网络,数据共享比较方便,在应用数据分析技术的时候更加容易,可以有效提高海量金融数据的分析、处理效率。[2]

三、商业银行海量数据分析中数据分析技术的实践应用

(一)构建客户信息数据系统

在应用数据分析技术的时候,商业银行首先要构建客户信息数据系统,对客户进行全面了解。传统的商业银行客户信息系统主要是以记录客户的各项基本信息以及交易信息为主,包括客户姓名、性别、身份证号、资产配置等,很难对客户进行科学分类,在对客户特征和需求进行分析时容易出现扭曲,影响服务质量。为了避免这种现象,就需要应用数据分析平台,构建全景动态客户视图,根据客户的实际情况及时进行数据更新,对客户进行更加准确的定位,满足客户的实际需求,提高银行服务质量和服务水平。

(二)提供针对性的服务模式

传统的商业银行产品和服务,主要根据商业银行系统内部的数据进行处理或者根据客户基本的需求而制定,无法为用户提供针对。通过应用数据分析技术,能够获取客户的反馈信息,及时了解客户实际需求,进行深入分析,对银行产品和服务进行合理设置,并且不需要精确地把控个体作出选择的初衷,只需要汇总最终的行为结果。借助大数据平台的数据分析技术,通过客户行为数据与商业银行系统内数据信息的契合,可以制定出更加符合客户需求的产品和服务,为客户提供针对性的服务。[3]

(三)实时营销和个性化推荐

商业银行传统服务模式以柜台服务为主,受时间和空间的限制,业务办理效率较低,很难进行更好的个性化推荐。通过应用数据分析技术,能够对不同类型的客户信息进行分析,对数据进行深层次挖掘,为用户提供网络服务模式,既丰富了银行服务模式,提高了业务办理效率,又打破了时间和空间的限制,保证了营销的精准性和时效性,能够进行实时营销,同时还对用户进行精准定位,根据客户的喜好进行产品或服务的个性化推荐,实现针对性营销推广。

(四)优化商业银行运营模式

商业银行应用数据分析技术,能够及时了解市场动态以及营销反馈情况,根据不同营销渠道的推广效果,对营销渠道进行整合和优化,以便更好地完成金融数据的采集、整理及存储。同时,还能对ATM设备的投放效益进行分析,根据ATM设备的日常使用情况,对设备的放置方案以及存放额度进行调整,提高银行管理水平、加强资产控制力度。并且,还能及时了解银行的产品及服务反馈消息,以此作为依据对自身业务进行优化。

四、结语

面对越来越复杂的网络环境,以及日益增多的信息数据,运用数据分析技术对海量金融数据进行分析,已经成为商业银行的必然发展趋势,商业银行只有转变传统经营管理模式,加大信息化建设力度,科学运用数据分析技术,才能实现对数据有价值信息的深层挖掘,提高业务水平和服务质量,为实现银行的良好发展提供有力保障。

(作者单位为宁波银行北京分行金融市场部)

[作者简介:王曦苑(1991―),女,内蒙古赤峰人,硕士,国际会计与金融专业,研究方向:资本结构与公司绩效的关系分析。]

参考文献

数据分析分析技术范文4

[关键词]学习分析;学习行为;数据挖掘;教学决策;数据支持

[中图分类号]G434 [文献标识码]A [文章编号]1672―0008(2012)01一0018一08

一、前言

改进学习实践、增强学习效果是学习者和教育机构的共同愿望,也是教育信息化所进行的学习技术系统设计希望实现的目标。随着教育信息化的发展,一方面,各种学习技术系统中(包括学习管理系统、课程管理系统)已经获取并储存了大量的学习者学习行为数据,而且这些学习行为的数据还在迅速增加。甚至超出了学生和教育机构对信息的理解和利用能力。另一方面,教育机构在提倡利用各种教育技术手段支持学习的同时,也面临着回答效益问题的挑战。换言之,教育信息化的巨大投入,是否能够有效地提高学习的效果以及如何提高了学习的效果。于是,如何分析、有效利用并挖掘和学习相关的数据来促进学生学习:教师如何高效地跟踪学生的学习进程;如何使学生在学习管理系统(LMS)中的学习活动与学习成效建立关联;怎样使LMS的分析能用于识别和促进有效教学实践;哪种类型的学习分析数据最有价值、由谁来使用?诸如此类问题,引起了研究者的持续关注,

2011年2月底,首届学习分析技术与知识国际会议在加拿大的阿尔伯达省班芙市举行。主题为学习分析技术在技术、社会和教学等维度的整合。第二届学习分析和知识国际会议将于2012年4月底在加拿大温哥华举行,会议将探索学习分析技术、知识建模和表征、知识工作和分析等领域的现状及发展策略。另外,美国新媒体联盟(The New MediaConsortium.NMC)与美国高校教育信息化协会主动学习组织(The EDUCAUSE kaming Initiative)合作的“新媒体联盟地平线项目(The New Media Consortium’s Horizon Projeet)”的2010年度和2011年度报告中,预测基于数据的学习分析技术将在未来的四到五年内成为主流,并对学习分析技术在教学、学习、研究和知识生成等方面所具有的作用进行了分析,勾勒了其广泛的应用前景。

在笔者参与的“下一代互联网教育创新支持系统”项目中,初步尝试采用学习分析技术对教师学习者的学习进行监测与评价,以便实现基于数据的教育决策,为教师学习者终身发展提供优质服务。基于此。本文将对学习分析技术加以解读,分析其由来和发展,展望其在教育和学习中可能的应用以及可能存在的挑战。

二、学习分析技术的“前世今生”

教育工作者利用数据考核、分析和评估教学和学习已有悠久历史,随着参与网络学习的人数和支持网络学习活动的工具种类的剧增,有关学习行为数据的数量不断增多并具多样性。这些数据需要通过分析,方可帮助评估学习并更有效地支持学习。学习分析技术的核心概念已经在计算机支持的管理(CMI)、计算机人机交互和网络科学等领域存在了几十年。从其发展的时间维度来看,学习分析技术可以看做是CMI和DDDM的继承和发展,

(一)CMI

CMI是最早与学习分析技术紧密相关的教育数据应用系统,于20世纪60年代末应用于教育领域。CMI是用来为个别化教学程序提供支持的管理信息系统,其最显著的功能在于为个别化教学过程中所需要的决策提供支持,以确定学习者需求并为之提供最适合的学习材料。在Brudner(1968)的报告中,认为CMI系统中所存储的数据共计六类,分别是:(1)学生的学术记录、考试成绩集的个性记录;(2)学生的学习目标及学习程序;(3)教学目录及学习指南;(4)测试答案文档及测试文档;(5)学生每日的活动记录:(6)有关的预测及分析数据。应用CMI可以辅助课堂教学分析和信息处理,如,CMI能帮助教师自动适时获取课堂信息并及时处理和分析信息,以帮助教师随时调整教学计划和教学方法,矫正学生学习偏差,以便更好地进行下一轮教学。

(二)DDDM

DDDM是利用计算机的数据运算能力来挖掘和分析数据并为决策提供支持。基于数据的决策的功能主要有数据的获取、数据的处理以及数据的分析。根据Wayman(2005)的观点,目前,在学校领域,提供数据的信息系统大致有三类:一是学生信息系统,记录与提供日常出勤,日程等信息;二是学习评估系统,提供经常性的学习评估与分析:三是数据仓库系统,为访问各种类型的历史数据提供接。数据挖掘和数据分析工具作为决策的思想引擎,能够导出数据之间的关系,超越数据本身的信息,让数据为不同的决策者(如学生、教师、教育管理者,教育行政管理者等)的决策提供支持。所以,基于计算机的数据挖掘,既可以为国家教育方针或教育政策等宏观层面的教育决策提供数据支持,也可以为学生、教师的学与教等微观层面的决策提供有效的数据支持。

(三)LA(Leaming Analvtics)

1.学习分析技术的定义

在首届学习分析和知识国际学术会议期间,参会者一致认为:学习分析技术是“测量、收集、分析和报告有关学生及其学习环境的数据,用以理解和优化学习及其产生的环境的技术”。EDUCAUSE研究机构对学习分析技术的界定是:学习分析技术就是利用数据和模型,预测学习者在学习中的进步和表现,预测未来表现和发现潜在问题。

可见,学习分析技术是围绕与学习者学习信息相关的数据,运用不同的分析方法和数据模型来解释这些数据,根据解释的结果来探究学习者的学习过程与情境,发现学习规律:或者根据数据阐释学习者的学习表现,为其提供相应反馈从而促进更加有效学习的技术。通过构建分析模型、显示和解释数据以协助教师和教育管理者更好地工作,学习分析技术使教师和学校根据每一个学生的需求和能力为其提供适当学习机会这一教学愿景带来了实现的可能性。

2.学习分析技术的要素

学习分析的要素包括以下五部分:(1)数据收集:这需要使用程序、脚本和其他方法来进行,数据来源于单一或者多个学习技术系统,经过收集可以产生非常大的数据量,这些数据被处理成结构化(如服务器日志)或非结构化(如讨论

论坛帖子)的形式。(2)分析:非结构型数据在分析之前通常被设定为某种格式,经过定量和定性相结合的分析,数据会以可视化、表格、图表和其他类型的形式呈现在分析报告中。(3)学生学习:这是学习分析与其他类型分析的本质区别,学习分析试图告诉我们关于学习的以下事实:学习者正在做什么,他们的时间主要花在什么地方,学生正在访问什么内容?(4)听众:学习分析返回的信息可用于告知学生、告知教师、告知管理者,一般情况下通过这三个方面的报告可产生适当的于预。(5)干预:学习分析能在个体、课程、教学和管理层面实施合适的干预。通过学习分析可以观察学生在一门课的特定阶段和特定活动中的行为,为进行学习路径的个性化定制提供了可能,

3.学习分析的过程

Siemens结合自己的实践,将学习分析的过程总结。

从这个过程可以看出,学习分析技术的数据来源有两类:一类是学生数据(1earllel off-put data),即学生在学习过程中由移动终端、社会性软件和学习管理系统所记录的数据;另一类是智能化数据(intelligent data),即可以通过语义分析以及连接技术来处理的源自课程、学期考试和其他来源的数据,这类数据与学习者的学习过程间接相关。这两部分数据被收集起来并等待进行某种分析。在以某种形式对学习者数据、档案信息和课外数据进行分析的基础上,就能够更有针对性地施加某种学习干预。

另一个角度,学习分析可看作是基于数据的分析持续改进学习的过程,期间包含了数据的选择、获取、综合与报告、预测、使用、完善和分享等活动。

4.学习分析技术的特征

从上可知,学习分析技术是利用数据挖掘工具,测量、收集和分析学生在正式和非正式学习过程中的有用信息和数据,对这些信息和数据作深度分析、统计和运算。并以可视化方式解读数据结果,具有以下特征:

(1)复合化的数据采集。学习分析技术所采用的数据大部分来自LMS(学习管理系统)、CMS(课程管理系统:如网络课程、学习论坛等)和学生档案系统等数据库;来自于学生在传统环境下学习时留下的学习资料、作业、作品;也来自于学生个人的非正式的知识管理系统(如个人主页、博客、微博等)。比如,仅就LMS系统而言,已经积累了大量的关于学生学习行为的信息(学生网络学习行为、同伴互动、与教学人员交互以及访问教学信息系统的有效数据)。不同来源的海量数据为提供自动化的学习支持和针对性的学习服务提供了可能性,同时其最大的挑战是如何将不同来源的多样性数据加以整合,并将这些多来源的数据导入到同一个分析框架中(常需要采用第三方分析软件)进行分析和运算,从而提供有关于学生学习情况的可视化分析结果。

(2)多重角度的分析技术。学习网络的动态变化、学习者关系的变化以及学习内容的复杂多变。使得网络学习的研究过程变得非常复杂。所以,要进行有效的分析,必须使用多重研究方法、技术与工具。学习分析技术则为实现这一有效分析提供了技术支持。延续了CMI与DDDM的基于数据的决策思路,学习分析技术将数据分析结果聚焦于学习过程,并试图为优化学习提供针对。从多重角度,学习分析技术不仅关注数据挖掘、数据聚合、数据分析等技术在教育领域中的应用,也注重结合定量研究与定性研究方法,透过教育数据对教育过程进行合理的解释。并为学习提供支持。

(3)可视化的分析结果。学习分析技术的服务对象主要是学生或教师,所用工具和技术必须降低技术门槛。分析结果必须是可视化或者直观化的数据,以便不具备统计和分析知识的学生和教师能通过直观的分析结果对自身的学习或教学情况作出判断。可视化的方式可以使师生很容易地解读学习的参与程度或者预测学习者的努力程度。如,SNA(So.cial network analysis)可以分析学生个人、学习小组、教师和计算机之间的信息交互关系,以提供对数据的直观解读。

(4)微观化的服务层次。如果说DDDM相对来说涉及较为宏观的教育决策从而更多地直接服务于教育决策者,那么学习分析则主要面向微观层面的教师和学生,通过对学习过程、学习行为、学习网络的跟踪和分析,为教师的教学干预提供依据,为学习者的适应性学习提供建议。

(5)多元化的理论基础。学习分析技术的理论基础包括分析理论和实践知识两部分:第一是协同过滤算法、贝叶斯网络、关联规则挖掘、聚类、基于知识的建议和协同过滤算法等理论的有效分析方法和技术。第二是与学习理论、良好的教学实践、知识共同体的构建、学生的学习动机、毅力和动机等知识积累的相关领域旧。

三、发展中的学习分析技术

学习分析技术是一个运用复杂的分析工具促进学习的新兴教育技术应用,在延续CMI与DDDM发展轨迹的基础上,学习分析技术关注对在线教育数据的深层次挖掘和理解。从这一角度来看,学习分析技术与商业智能化、网络分析、学术分析、教育数据挖掘等领域的研究密切相关。随着数据挖掘技术以及网络学习系统的不断发展,学习分析技术也正以自己独特的方式不断扩展着自身的发展轨迹、关键技术以及应用领域。

(一)学习分析技术的发展轨迹

从纵向发展角度来看,学习分析技术是CMI与DDDM发展的产物,而从横向发展角度来看,学习分析技术又是网络分析技术(web analytics)与学术分析技术(academic analvtics)综合应用的结果。从商业应用领域发展起来的网络分析技术向教育领域的扩展催生了学术分析技术的诞生,而学术分析技术在教育应用中的深度发展产生了学习分析技术,

网络分析最早出现在商务智能系统fbusiness intelli―gence)中,是数据技术在企业中的典型应用,即运用多种服务功能收集网络用户的行为数据并进行分析,为企业的决策提供依据。网络分析技术中所处理的用户行为数据来源于网络服务登录文件、浏览服务器的历史数据,网站流量数据以及网站之间的关联交互数据等。除了生成简单的报告之外,网络分析还可以配合基本的数据挖掘技术和网络应用挖掘技术来描述用户的行为细节”。这些数据分析的结果,一方面可以探究网站的运行效能、访客的行为与网站访问模式等:另一方面可用来改善网站的使用效果。例如,网站设计者可以从内容的角度改善访客的访问体验,或者从设计与实施的度提高访客回访概率。

与网络分析技术用于商业领域不同的是,学术分析技术关注的是教育领域中的学习者行为。2004年在高等教育中出现的“智能导师系统”和“人工智能系统”掀起了“教育数据挖掘”研究的热潮,也促使学术分析技术这一关注学习者行为的分析技术的诞生。更进一步的应用产生了学习分析技术,最早由Retalis及同事在基于网络的学习管理系统中予以采用,也进一步开启了利用网络分析技术对学习者行为加以分析的研究。记录在网络学习系统中的学习者行为数据,经过聚集、分类、可视化以及关联分析等操作,生成实时的

数据报告,或者利用从行为数据中反映出的常模来生成预测模型。

(二)学习分析技术中的关键技术

除了网络分析以及学术分析中共有的数据分析技术外,发展中的学习分析技术正在吸纳其他关键技术,实现对学习过程的研究。目前,发展比较成熟的可用于学习分析的关键技术主要包括网络分析法、话语分析法和内容分析法。

1.网络分析法

运用社会网络分析法,不仅可以用来探究网络学习过程中的联系(des)、关系、角色以及网络形成的过程与特点,还可以了解人们如何在网络学习中建立并维持关系从而为自己的学习提供支持。当以学习者个体为研究对象时,运用社会网络分析法,可以判断哪些学习者个体从哪些同伴那里得到了启示,学习者个体在哪里产生了认知上的困难,哪些情境因素影响了学习者个体的学习过程等。当以整个网络为研究对象,社会网络分析法主要关注的是网络学习中信息的分布以及学习的进展情况。有诸多工具可用来对网络学习过程进行社会网络分析。例如,Mzinga工具可用来确定学习者在网络学习中的参与程度;GeDhi可用来对数据进行交互式可视化处理,SNAPP(Soeial Networks Adapting Pedago cal Prae―flee)可用来对网络讨论进行图表形式的分析与呈现。

2.话语分析法(discourse analysis)

话语分析法是对学习过程中的交流过程进行分析的方法,其中,分析的对象包括面对面的对话内容、网络课程与会议中产生的文本内容、网上进行的异步交流内容等。运用话语分析技术,可以了解网上学习交流中的话语的文本性含义(textuaI $COtlrse),能够用来探究知识建构的过程,使研究者对学习发生的过程有更加清晰的认识。

目前,有诸多工具可用来进行话语分析。例如,the tal Researeh Tools Wiki可对话语和文本进行分析:WordleandTag Crowd可对文本分析内容进行可视化;NVivo可对文本内容进行定性研究;WMatrix则可对文本内容进行定量研究;Cohereis可用来对网上交流的内容进行结构化;OpenMentor工具可用来对学习反馈信息的质量进行了分析、可视化和比较。

3.内容分析法

运用内容分析法,不仅可以对学习者的学习过程数据进行定量分析,寻求学习者的行为模式;还可对其进行定性分析,运用已有的积累经验来预测当前的学习者行为,为学习者提供个性化的学习资源服务。随着技术与相关工具的发展,内容分析法不仅关注文本内容,也开始对多媒体内容予以分析,很多网站提供基于图片的搜索功能就是一个多媒体分析的例子。Litlle,Ferguson和Rtiger运用Visual Similarity工具,通过对内容的分析实现教育资源的多元搜索问题,例如,能够查找图片出处、寻找视觉特征上的关键词、提供理解概念的新方法以及从给定的图片或者电影片段中找到其他与之相关的文章、演讲以及电影片段等等。Clow和Makfiyannis运用iSpot工具,对学习者学习过程中运用的文本和多媒体信息进行标注,并对标注了的数据进行分析,从而了解学习者之间的交互是如何发生的,还可以获知支持学习的资源的分布情况。Jovanovic及其同事运用内容分析方法对学习活动、学习对象、学习结果以及学习者本身之间的相互作用进行探究,建立了学习制品的语义网络,并运用特定的算法对语义网络之间的关系进行了分析,以获知网络教学课程内容的质量。

学习是学生与学习内容、学习环境、学习伙伴和教师之间的复杂交互过程。要对这一过程进行探究,必须要选好切入点以及适当的研究方法、工具和技术。另外,为了能使研究结果具有说服力,还应该运用不同的研究方法,从不同的角度研究学习过程。随着分析技术、工具以及研究方法的发展,学习分析技术将会在学习过程研究领域展现出极大的发展前景。

四、学习分析技术的应用趋向及应用展望

(一)应用趋向

当前,学习技术系统中已经收集和存储了大量以学习者行为为主的数据,通过数据统计分析、数据可视化,可提供学习者的学习报告,揭示某种行为模式、趋势或可能的意外情况。学习分析技术不仅可以从学习者行为角度了解学习过程的发生机制,还可以用来优化教学,以基于学习行为数据的分析为学习者推荐学习轨迹。开展适应性学习、自我导向学习。另外,学习分析技术可用来评估课程、程序和机构,以改善现有的学校考核方式,提供更为深入的教学分析,以便教师在数据分析基础上为学生提供更有针对性的教学干预。

目前,学习分析技术已在教学和学习领域中进行着应用探索,其应用主要体现在以下几个方面:

1.教师角度:优化教学

利用学习分析技术及其相关分析工具,教师可获得有关学生的学习绩效、学习过程以及学习环境的信息,这些信息可以为教师从教学改进角度提供依据。从学习技术系统中,教师可以获得的学习者行为数据,包括登录系统的时间、访问的网页、在课程学习所花的时间,完成课程任务的情况,在课程网站中交互的痕迹等。通过这些数据的分析,教师能对学生的学习需求、学习风格、学习进展获得判断,从而制定能够满足学生学习需求的教学方案。

例如,香港中文大学医学院课程管理系统中的实习日志管理模块就记录了学生在医院的实习过程、见习日志。通过这些记录,课程管理系统可以清晰显示学生实习项目的完成情况,并以此提醒学生后续实习项目的时间和实习地点。最重要的是,通过分析系统中记录的数据,实习指导老师可以更好地制定下一步的实习计划和安排。另外,美国教育发展中心(Education Development Center)和学生与技术中心(Centerfor Children and Technol)也对如何利用数据帮助美国纽约市公立学校的教师进行教学决策开展了研究实践。他们与某一公司合作,对学生在数学学习过程中的数据进行了记录与分析,最后生成了可供教师分析的书面报告和网络报告。书面报告为教师提供了基于标准的全班学生学习情况的报告,能为教师根据学生的需求分组、关注学生个体的特点提供依据。网络报告为学校不同层次的用户提供不同层次的信息和重点。例如,教师通过关注不同技能水平的学生来确定适当的教学需要:根据数据结果确定教学日程、每周安排以及个别化学习计划:通过学生的数据分析结果与家长就学生学习问题进行交流等。另外,使用生成的报告,教师能考量自己的教学实践,通过审视自己的教学提升自身的专业实践能力。参与该研究的几位老师反应,分析“成长报告”和确定他所教班级的强项和弱项,使得他们对自己的教学实践进行了反思。而且,77%的接受调查的教师表示他们利用成长报告了解了自己的教学效果。

2.学生角度:自我评估、诊断与导向

(1)作为学生自我评估工具。通过学习分析技术得到的报告,更可用于学生的自我评价,帮助学生了解自己的优势

和不足,认识自我、发展自我、规划自我。将可视化的学习绩效结果反馈给学生,有望使学生成为利用数据发展自我的主动学习者。

例如,美国马里兰大学(UMBC)在Blaekboard课程管理系统中利用学习分析创建了一个名为“检查我的活动”(CMA)的学生反馈工具,帮助学生评估自己的学习过程。这一工具可以分析从Blackboard课程管理系统中获取原始数据,并为学生和教师提供不同的数据分析报告。从分析报告中。学生可以了解自己在系统中学习的所有课程的情况,包括访问的次数,在每一门课程中学习活动的平均水平,以及在班级横向比较中的学习程度,如作业中的得分情况,参与学习活动的频率等。如果学生对某门课程的参与程度不高,系统会将其在此课程中的成绩以红色标注,提醒该学生应该采取行动,并提示任何人都愿意在本学期或者整个大学期间为其提供帮助,直至其成功。此工具成功地提高了学生的学习效果:在老师自愿使用CMA的131门课程中,有39%的原来的D或F的学生成绩已经上升到C级以上。“不能确认运用Blackboard就能造就好的学生,但CMA是为学生量身定做的另一个自己使用并自己制定适合行动的评价工具。”

(2)作为学生学习需求的分析工具。基于数据的决策应用在诊断(学生学习的)差距、缩小差距等方面起到了关键作用。因此,学习分析这一能从系统的角度以及课堂角度获得学生绩效数据并加以分析的技术,可以用来诊断学生的学习需求。

例如,美国几乎所有州都在公立学校建立了高技术支持的学生数据系统,用来收集和分析以千兆计的学生数据。美国加州大学评估、标准和学生测试研究中心开发了一款基于网络的决策支持工具――QSP(the Ouality School Portfolio),目的是辅助学校或地区通过分析学习者行为满足学习者个性化学习需求。利用OSP可以为每个学生建立一个单独的纵向成长记录,创建个性化的学生进步报告,显示学生在班级内的表现情况及所取得的进步,从而可以分析了解每一个学习者的学习需求并进而为其提供学习支持。

另外,美国在线学习平台Knewton可以通过分析学习者在数学学习方面的需求,为一万多名大学新生提供适应性的在线数学课程。Knewton所采用的学习分析技术中最大的优势是强大的自适应学习算法,这套算法不仅能用来判断用户的实际水平,为用户提供与其水平适应的课程指导。Knewton的做法是通过不断的提问和测试,判断学习者的真实水平,再为其提供与之水平相适合的课程辅导。从亚利桑那州立大学的反馈来看,Knewton确实起到了良好的作用,不少学生都在原定计划前完成了学习任务。

(3)作为学生自我导向学习的引导工具。学习分析技术为学生打开了一个与学习内容、同伴和教师交互的窗口,提供了促进自我导向的学习的机会。自我监控对学习者的自我导向学习是很重要的,通过学习分析技术,学生可以分析自己的学习过程数据,通过可视化结果回顾学习的时间、时长和内容,并通过与同伴的比较了解自己的进度。

例如,比利时鲁汶大学计算机科学系Govaes等人在ROLE(一个欧盟项目)的研究过程中。开发了一款内嵌在网页中的应用程序,能用来实时记录学生在《计算机科学》课程中的学习参与活动情况。所记录的数据还能够进行可视化分析,以折线图、平行坐标、柱状图等方式来显示学生的学习情况。最后,这一学习分析工具能从个人或小组的层面提供学习反馈以及预测课程中的后续活动,为学生自主学习提供了方便。

另一个例子来自英属哥伦比亚大学。研究者运用学习分析技术在学习管理系统中为学习者的自我导向学习提供了支持。这一研究中所收集的学生行为数据主要包括内容传递、参与和讨论以及本学期课程资料的使用频率和次数。数据分析阶段。研究者列出检测到的学生行为数据,与教师给出的课程成绩数据整合,并对整合数据进行量化分析,帮助学生了解自己的学习情况。另外,在课程结束时,研究者利用SNAPP对学习论坛中提取的数据进行对话分析。最后生成可视化的学习网状图,显示学习者在课程中学习行为的相对位置M。这一分析结果帮助学习者清晰了解自己的学习投入情况和学习进展,为学习者的自我导向学习提供了支持,

(4)作为学生危机预警工具。目前,越来越多的学术机构频繁使用分析去评价和支持学生的学术表现,特别是对那些处在危机之中的学生来说,如果外界不给以提示或者预警,他们自己很难清楚地认识到自己的学习状态。Rosemary认为,对处在危险状态的学生确认时间越早,他们在学习成绩方面取得的进步就越大:而且Long和Siemens也建议教师可以使用学习分析得来的数据及早干预高危学生并为其提供更好的帮助。美国普渡大学(Purdue University)就利用Blackboard和Signals系统,成功地对学生学习跟踪,对存在潜在危险的学生发出警告并实施干预。

3.教育研究者:个性化学习设计以及效益

(1)作为研究学生个性化学习的工具。利用学习分析技术对与学习者学习过程相关的数据进行深入分析与阐释,能够发现每个学习者学习数据背后的学习偏好和学习模式。Retalis及其同事认为,如果了解了学习者的学习模式以及学习路径的相关规律,教学工作者就可以根据学习者的个性化表现,了解学习者的学习掌握程度,为学生提供适当的学习资源,另外还可以知晓学习中的交互发生过程。因此,Retalis和他的同事将其设计的CoSyLMSAnalytics分析工具嵌入到Moodle中,用来获取学习者进入学习模式(1earners’accesspatterns)的相关信息,然后通过分析技术获取这些数据中所蕴含的学习路径信息。

在分析数据时,他们首先了解学习者登录系统的一般情况,例如统计出学习者访问系统次数、学习活动的平均时间间隔等应用数据。之后,运用两步聚类算法(Two Step Clus―tering Algorithm),把学习者在完成学习活动时的不同表现进行活动分类。在此基础上,探究每一群体的学习者共同的学习行为,从而总结出不同学习者进入学习的模式flearners’access patterns)。最后,他们对获取的数据进行了更加深入的路径分析,即通过设置复杂的问题,从学习者的学习路径中探索具有相关性的学习规律。他们的研究结果显示,利用CosvLMSAnaIvtics分析工具所进行的学习分析,不仅可以分析学习者个体并为其提供帮助,还可以了解群体学习特征及交互规律。为差异化的学习资源设计与服务提供了依据。

(2)作为研究网络学习过程和效用的工具。学习分析技术为回答技术应用于教育的成效问题提供了可能性。长期以来,我们一直无法判断过去50年来投入到学习中的技术是否实现了其支持学习的许诺,而学习分析技术则能够通过分析教育数据来判断技术应用于教育的真实效用。

(二)应用展望

在NMC的地平线报告中,“学习分析技术”被预测为是一种将在未来的4-5年被广泛应用的技术,这在很大程度上与学习技术系统在教育领域普及趋势相关。与世界上其他地区一样,在线学习技术正逐渐走进我们的高等教育领域:数字化的学习技术系统在基础教育领域中的广泛应用也正呈飞速发展态势(如电子书包)。对这些系统中学习行为数据的挖掘与分析,有望用来评估、改进教育系统,以及评估与改进学习行为。

从评估与改进教育系统的角度,学习分析技术延续了DDDM的支持教育决策的理念与方法,通过学习行为数据的挖掘与分析,识别学习需求、分析学习模式、预测学习结果,并通过以下应用为教育决策提供依据:提高行政决策和组织的资源分配:识别高危学生并提供学习干预帮助学生获得成功:通过透明的数据和分析,创建共享成功与挑战的校园文化:创新和变革大学系统、学术模型和教学方式:通过提供最新信息和允许快速回应挑战来增加组织的工作效率和效能。

从评估与改进学习行为的角度,学习分析技术延续并综合了网络行为分析技术与数据挖掘技术的理念与方法。将学习技术系统及学习者所参与的其他在线系统中的行为数据汇总到学习者“电子学档”,对这些行为数据加以挖掘与分析,有望为学习者的个性化学习需求提供更切实的服务。随着个人学习终端(如电子书包)的普及以及学习技术系统的广泛应用,这一应用的趋势更为显著。

五、存在的问题与挑战

当前,学习技术研究领域对学习分析技术寄予了厚望,研究者期望从学习者行为数据对学习发生过程及其发生情境进行深入探究,并对技术在教育领域中的真正作用做出评估。但同时我们需要注意到,学习分析技术目前还存在着缺陷,也面临着诸多挑战,包括隐私问题、准确性、信息共享和数据管理等方面。

(一)隐私问题

学习分析技术所存在的伦理问题是显而易见的,有可能带来复杂的隐私问题,并可能被解释为窃听。因悄然审查学习者的学习行为,学习分析技术有可能构成对个人隐私的侵犯。用摄像机等工具监视和收集学生学习的过程和活动,不仅会对学生的隐私有所影响,而且会让原本处于自然学习状态中的学生感觉到不自然和扰,他们会时刻考虑:“我被监视了吗,我的行为信息被系统收集了吗”等问题。为此,需要找到隐私和学习分析技术之间的平衡点,合理整合学习分析过程中的教学和伦理问题,

(二)准确性问题

学习分析技术是用基于计算机或网络的工具获取和分析数据,利用机器来分析学生的学习行为。众所周知。学习的过程是复杂多变的,而且学习是内部心理和内隐思维过程,并不都能够全部通过外显行为表现出来。学习分析技术所能够获取的是那些学生的外显行为数据,由于内隐数据的缺位,行为数据也许不能反映学生学习的全貌。如果只分析行为数据。我们就有重返行为主义学习理论的危险。我们需要尽可能全面地收集数据以及尽可能广泛地解释数据的意义,同时需要认识到,对于学习分析技术得来的数据的解释方式不同也会影响到学习分析结果的准确性:我们需要从完全依靠软件的自动分析方式、人工干预方式以及两者结合的方式中选择适宜的数据解释方式。即便如此,也不能保证是否掌握了足够的学生学习的信息和选择了适宜的学生个体作为样本,利用这些数据对学生的学习所做出的预测不可能是十全十美的,所预测的结果也有可能存在一定的误差,毕竟模型只预测结果,而不能指出直接的原因和效果。

(三)兼容性问题

虽然学习分析技术具有诸多优势,但是其并非提升学生学习效果的灵丹妙药,并不能完全适宜于所有情境的学习和教学。目前,学习分析技术主要借助网络来获取数据、分析数据,进行学习分析所用的工具也几乎都是基于在线课程的。不同学习分析工具或者数据采集工具得来的数据的格式或形态能否相互兼容,也是技术层面需考虑的问题。此外,学习者的在线活动常常会游离于网络课程,在诸多社会网络系统中也留下他们的学习足迹:另外大量的学习也发生在传统的课堂上。如果要将网络课程之外的学习者行为数据纳入到分析框架之中,涉及复杂的分析算法和分析权重问题:而如果要将学习者的课堂行为纳入进去,问题也变得更为复杂,比如,需要通过特定技术读取学生面部表情、肢体语言和语调声调。这些数据能够增加学习行为数据的丰富性,但对数据获取和兼容计算带来的挑战是巨大的。

(四)责任分担问题

如前文所述,诸多学习分析技术的应用实例都能预测学生成功,或者对处于危机状态的学生提出提醒和警告。客观地说,利用网络分析、内容分析和话语分析的技术和工具预测学生成功与失败的可能性相对容易,但是分析结果的处理或问责则是关键。对学习施加干预的责任是教师、学生、教学机构独立承担还是共同分担:其各自以怎样的方式承担责任:何时以适当的方式施加教学干预引导自我反思和改善学习:教学机构根据学习分析的结果如何按学生所需分配学习资源等,都是需要解决的棘手问题。

(五)数据版权问题

随着学习分析技术的发展和在学习和教育领域的逐渐应用,会创建一个个记录学生学习成功、失败行为的案例和档案数据。从某种意义上来说,这些数据汇集起来,无论对于教师还是学校来说具有极大的利用价值。这些数据的版权属于学生个人、学校还是数据挖掘和分析公司,这些数据如何共享和继续使用,都是不得不考虑的问题。

总之,学习分析技术有积极的应用价值和巨大的发展潜力,但同时,学习分析技术还处在应用的初期也面临着诸多的挑战。客观地说,学习分析技术要得到普遍的应用,实现其在学习评估与学习改进方面的潜能,还有漫长的实践探索之路。

[参考文献]

[1][5]Siemens,G1st Intemationa:tConference on Learning Analyticsand Knowledge 2011[EB/OL].[2010―07―22].https://tekri.athabas.cau.ea/analytics/about.

数据分析分析技术范文5

一、公司财务分析应用数据挖掘技术的意义

(一)降低财务分析成本,扩大财务分析范围。数据挖掘技术能及时处理大量数据,对同样数据进行多次访问时,不必做重复操作,不同决策者作相似访问时,也不必进行重复操作,能对事件做出快速响应,相比传统手工财务分析,可以大大降低财务分析成本。同时,数据挖掘技术满足使用者需要实现多部门信息的综合分析,扩大财务分析的范围。在网路经济时代,基于数据挖掘的财务分析能更多地披露如下信息?押公司分部和分支机构的信息;创新金融工具的信息;资产负债表以外筹资和投资协议信息;核心与非核心信息;一些特定资产和负债计量的不确定性信息;特点显著的信息等。

(二)深化财务分析的层次,挖掘潜在有价值的财务信息。数据挖掘技术,可以利用分类、关联性、序列分析、群集分析、机器自我学习及其他统计方法,对公司的会计凭证、账簿、报表中大量的财务会计数据和其他各种性质的资料进行深层次分析和研究,揭示其本来的特征和内在的联系,使它们转化为公司财务管理、经营管理和各种决策中所需要的更直接、更有用的信息。其次,数据挖掘技术在用户不能提出精确的要求时,可为用户发现可能感兴趣的内容,且随着最新数据的加入不断修正变化,同时能够支持决策者对某一主题的相关数据进行多角度的比较、分析,为其挖掘出潜在有价值的财务信息。

(三)提高财务信息的可靠性,提供科学的财务决策依据。数据挖掘技术是用数据来产生模型,再用数据去检验模型,模型的构造是从特殊到一般的归纳过程,这就摆脱了前提假设的束缚和主观因素的干扰,其结果更加真实、客观。对于质量上存在缺陷的数据,传统的技术分析方法往往一筹莫展,而数据挖掘技术由于包含数据的预处理过程,能够将有缺陷的数据补全、消声、清洗和归约,从而提高数据的可靠性。数据挖掘技术能将数据从执行系统中筛选出来,减少冗余,完成一系列的转换、结构改变以及聚集处理,从庞大的信息流中分辨、析取、整理、挖掘出对财务决策有用的信息,减少信息噪音的影响,以客观的统计分析方法快速而准确地找出公司经营的信息,为公司财务决策提供科学的依据。

(四)提升财务分析质量,提高公司的竞争力。首先,数据挖掘能够利用现有的数据来获取新的有用信息,支持查询、存储的优化,使信息的析取具有较强的自我学习功能。其次,通过数据挖掘技术能够有效地整合客户的基本信息,找出各类客户的消费特征,对客户进行细分,预测客户需求,对客户的持久性、稳定性以及客户流失的可能性进行分析和判断。并挖掘出影响客户满意度的重要因素,据此改进公司的服务水平,保留和发展客户,扩大市场份额,提高公司的社会效益和经济效益。最后,利用数据挖掘技术的关联分析能帮助公司判断竞争对手是谁,识别竞争对手的价值链及其价值活动,分析竞争对手的优势和劣势。同时,利用数据挖掘技术进行公司财务危机预警,能迅速捕捉到公司发生危机的一切可能事件和先兆,进而采取有效的规避措施,在危机发生之前对其进行控制,使公司能够适应迅速变化的市场环境,保持长久的竞争优势。

二、基于数据挖掘的公司财务分析对策探讨

为促进数据挖掘技术在财务分析中的成功应用,需在以下方面进行完善:

(一)树立基于数据挖掘的公司财务分析新观念。从某种意义上说,公司文化是决定数据挖掘在财务分析中应用成败的关键,应该在公司中树立起实时控制、信息至上的基于数据挖掘的公司财务分析的新观念。鼓励跨部门的信息共享和沟通合作,形成收集数据、分析数据和利用数据的信息观,加强知识管理,提高公司的数据应用能力。积极引导公司的全体员工在管理思想上的转变,提高数据挖掘应用能力。

(二)建立健全基于数据挖掘的公司财务分析法规。利用数据挖掘实现财务分析,需要公司在业务流程和管理制度上进行变革,以适应管理方式的转变。因此,应尽快建立健全基于数据挖掘的公司财务分析法规,制定有关公司财务分析准则制度,规范公司财务分析行为。借鉴国外有关研究成果和实践经验,制定符合我国国情的知识经济时代下的有关基于数据挖掘的公司财务分析法规、准则,为数据挖掘在财务分析中的应用提供一个良好的社会环境。

(三)提升财务分析人员素质。要适应未来发展的需要,国家必须注重基于数据挖掘的公司财务分析人员的培养和开发。第一,狠抓高等教育和职业技术教育,加快调整现行的财务教育课程体系,重组财务人员知识结构,更新教育手段和方法。第二,对现有财务分析人员进行后续教育,完善知识结构,学习新的管理、会计、统计知识和相关财务法律法规。

(四)正确运用数据挖掘技术方法。利用数据挖掘技术进行财务分析的基本过程如下:

1、确定财务分析对象。清晰地定义出财务分析对象,认清数据挖掘的目的是数据挖掘的重要一步。

2、数据准备。包括:(1)数据的选择。从财务分析对象有关的数据信息中选择出适用于数据挖掘的数据。(2)数据的预处理。研究数据的质量,并确定将要进行的挖掘操作的类型。(3)数据的转换。将数据转换成一个分析模型。

3、数据挖掘。对所得到的经过转换的数据进行挖掘。除了完善选择合适的挖掘算法外,其余一切工作都能自动地完成。

4、结果分析。解释并评估挖掘结果,其使用的分析方法一般应视数据挖掘操作而定,通常会用到可视化技术。

5、知识的同化。将分析所得到的知识集成到需进行财务分析的业务信息系统的组织结构中去,进而最终完成财务分析工作。

(五)优化基于数据挖掘的公司财务分析基础环境

数据分析分析技术范文6

关键词:电子商务;数据挖掘;应用

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)14-0251-02

1 概述

电子商务是指企业或个人以网络为载体,应用电子手段,利用现代信息技术进行商务数据交换和开展商务业务的活动。随着互联网的迅速发展,电子商务比传统商务具有更明显的优势,由于电子商务具有方便、灵活、快捷的特点,使它已逐渐成为人们生活中不可缺少的活动。目前电子商务平台网站多,行业竞争强,为了获得更多的客户资源,电子商务网站必须加强客户关系管理、改善经营理念、提升售后服务。数据挖掘是从数据集中识别出隐含的、潜在有用的、有效的,新颖的、能够被理解的信息和知识的过程。由数据集合做出归纳推理,从中挖掘并进行商业预判,能够帮助电子商务企业决策层依据预判,对市场策略调整,将企业风险降低,从而做出正确的决策,企业利润将最大化。随着电子商务的应用日益广泛,电子商务活动中会产生大量有用的数据,如何能够数据挖掘出数据的参考价值?研究客户的兴趣和爱好,对客户分门别类,将客户心仪的商品分别推荐给相关客户。因此,如何在电子商务平台上进行数据挖掘成为研究的热点问题。

2 数据挖掘技术概述

数据挖掘(Data Mining),也称数据库中的知识发现(Knowledge Discovery in Database,KDD)。数据挖掘一般是指从海量数据中应用算法查找出隐藏的、未知的信息的过程。数据挖掘是一个在大数据资源中利用分析工具发现模型与数据之间关系的一个过程,数据挖掘对决策者寻找数据间潜在的某种关联,发现隐藏的因素起着关键作用。这些模式是有潜在价值的、并能够被理解的。数据挖掘将人工智能、机器学习、数据库、统计、可视化、信息检索、并行计算等多个领域的理论与技术融合在一起的一门多学科交叉学问,这些学科也对数据挖掘提供了很大的技术支撑。

3 Web 数据挖掘特点

Web 数据挖掘就是数据挖掘在Web中的应用。Web数据挖掘的目的是从万维网的网页的内容、超链接的结构及使用日志记录中找到有价值的数据或信息。依据挖掘过程中使用的数据类别,Web数据挖掘任务可分为:Web内容挖掘、Web结构挖掘、Web使用记录挖掘。

1)Web内容挖掘指从网页中提取文字、图片或其他组成网页内容的信息,挖掘对象通常包含文本、图形、音视频、多媒体以及其他各种类型数据。

2)Web结构挖掘是对Web页面之间的结构进行挖掘,挖掘描述内容是如何组织的,从Web的超链接结构中寻找Web结构和页面结构中的有价值模式。例如从这些链接中,我们可以找出哪些是重要的网页,依据网页的主题,进行自动的聚类和分类,为了不同的目的从网页中根据模式获取有用的信息,从而提高检索的质量及效率。

3)Web使用记录挖掘是根据对服务器上用户访问时的访问记录进行挖掘的方法。Web使用挖掘将日志数据映射为关系表并采用相应的数据挖掘技术来访问日志数据,对用户点击事件的搜集和分析发现用户导航行为。它用来提取关于客户如何浏览和使用访问网页的链接信息。如访问了哪些页面?在每个页面中所停留的时间?下一步点击了什么?在什么样的路线下退出浏览的?这些都是Web使用记录挖掘所关心要解决的问题。

4电子商务中Web挖掘中技术的应用分析

1)电子商务中序列模式分析的应用

序列模式数据挖掘就是要挖掘基于时间或其他序列的模式。如在一套按时间顺序排列的会话或事务中一个项目有存在跟在另一个项目后面。通过这个方法,WEB销售商可以预测未来的访问模式,以帮助针对特定用户组进行广告排放设置。发现序列模式容易使客户的行为被电子商务的组织者预测,当用户浏览站点时,尽可能地迎合每个用户的浏览习惯并根据用户感兴趣的内容不断调整网页,尽可能地使每个用户满意。使用序列模式分析挖掘日志,可以发现客户的访问序列模式。在万维网使用记录挖掘应用中,序列模式挖掘可以用于捕捉用户路径之中常用的导航路径。当用户访问电子商务网站时,网站管理员能够搜索出这个访问者的对该网站的访问序列模式,将访问者感兴趣但尚未浏览的页面推荐给他。序列模式分析还能分析出商品购买的前后顺序,从而向客户提出推荐。例如在搜索引擎是发出查询请求、浏览网页信息等,会弹出与这些信息相关的广告。例如购买了打印机的用户,一般不久就会购买如打印纸、硒鼓等打印耗材。优秀的推荐系统将为客户建立一个专属商店, 由每个客户的特征来调整网站的内容。也能由挖掘出的一些序列模式分析网站及产品促销的效果。

2)电子商务中关联规则的应用

关联规则是揭示数据之间隐含的相互关系,关联分析的任务是发现事物间的关联规则或相关程序。关联规则挖掘的目标是在数据项目中找出每一个数据信息的内在关系。关联规则挖掘就是要搜索出用户在服务器上访问的内容、页面、文件之间的联系,从而改进电子商务网站设计。可以更好在组织站点,减少用户过滤网站信息的负担,哪些商品顾客会可能在一次购物时同时购买?关联规则技术能够通过购物篮中的不同商品之间的联系,分析顾客的购物习惯。例如购买牛奶的顾客90%会同时还购买面包,这就是一条关联规则,如果商店或电子商务网站将这两种商品放在一起销售,将会提高它们的销量。关联规则挖掘目标是利用工具分析出顾客购买商品间的联系,也即典型购物篮数据分析应用。关联规则是发现同类事件中不同项目的相关性,例如手机加充电宝,鼠标加鼠标垫等购买习惯就属于关联分析。关联规则挖掘技术可以用相应算法找出关联规则,例如在上述例子中,商家可以依据商品间的关联改进商品的摆放,如果顾客购买了手机则将充电宝放入推荐的商品中,如果一些商品被同时购买的概率较大,说明这些商品存在关联性,商家可以将这些有关联的商品链接放在一起推荐给客户,有利于商品的销售,商家也根据关联有效搭配进货,提升商品管理水平。如买了灯具的顾客,多半还会购买开关插座,因此,一般会将灯具与开关插座等物品放在一个区域供顾客选购。依据分析找出顾客所需要的商品的关联规则,由挖掘分析结果向顾客推荐所需商品,也即向顾客提出可能会感兴趣的商品推荐,将会大大提高商品的销售量。

3)电子商务中路径分析技术的应用

路径分析技术通过对Web服务器的日志文件中客户访问站点的访问次数的分析,用来发现Web站点中最经常访问的路径来调整站点结构,从而帮助使用用户以最快的速度找到其所需要的产品或是信息。例如在用户访问某网站时,如果有很多用户不感兴趣的页面存在,就会影响用户的网页浏览速度,从而降低用户的浏览兴趣,同时也会使整个站点的维护成本提高。而利用路径分析技术能够全面地掌握网站各个页面之间的关联以及超链接之间的联系,通过分析得出访问频率最高的页面,从而改进网站结构及页面的设计。

4)电子商务中分类分析的应用

分类技术在根据各种预定义规则进行用户建模的Web分析应用中扮演着很重要的角色。例如,给出一组用户事务,可以计算每个用户在某个期间内购买记录总和。基于这些数据,可以建立一个分类模型,将用户分成有购买倾向和没有购买倾向两类,考虑的特征如用户统计属性以及他们的导航活动。分类技术既可以用于预测哪些购买客户对于哪类促销手段感兴趣,也可以预测和划分顾客类别。在电子商务中通过分类分析,可以得知各类客户的兴趣爱好和商品购买意向,因而发现一些潜在的购买客户,从而为每一类客户提供个性化的网络服务及开展针对性的商务活动。通过分类定位模型辅助决策人员定位他们的最佳客户和潜在客户,提高客户满意度及忠诚度,最大化客户收益率,以降低成本,增加收入。

5)电子商务中聚类分析的应用

聚类技术可以将具有相同特征的数据项聚成一类。聚类分析是对数据库中相关数据进行对比并找出各数据之间的关系,将不同性质特征的数据进行分类。聚类分析的目标是在相似的基础上收集数据来分类。根据具有相同或相似的顾客购买行为和顾客特征,利用聚类分析技术将市场有效地细分,细分后应可每类市场都制定有针对性的市场营销策略。聚类分别有页面聚类和用户聚类两种。用户聚类是为了建立拥有相同浏览模式的用户分组,可以在电子中商务中进行市场划分或给具有相似兴趣的用户提供个性化的Web内容,更多在用户分组上基于用户统计属性(如年龄、性别、收入等)的分析可以发现有价值的商业智能。在电子商务中将市场进行细化的区分就是运用聚类分析技术。聚类分析可根据顾客的购买行为来划分不同顾客特征的不同顾客群,通过聚类具有类似浏览行为的客户,让市场人员对顾客进行类别细分,能够给顾客提供更人性化的贴心服务。比如通过聚类技术分析,发现一些顾客喜欢访问有关汽车配件网页内容,就可以动态改变站点内容,让网络自动地给这些顾客聚类发送有关汽车配件的新产品信息或邮件。

分类和聚类往往是相互作用的。在电子商务中通过聚类行为或习性相似的顾客,给顾客提供更满意的服务。技术人员在分析中先用聚类分析将要分析的数据进行聚类细分,然后用分类分析对数据集合进行分类标记,再将该标记重新进行分类,一直如此循环两种分析方法得到相对满意的结果。

5 结语

随着互联网的飞速发展,大数据分析应用越来越广。商业贸易中电子商务所占比例越来越大,使用 web 挖掘技术对商业海量数据进行挖掘处理,分析客户购买喜好、跟踪市场变化,调整销售策略,对决策者做出有效决策及提高企业的市场竞争力有重要意义。

参考文献:

[1] 庞英智.Web 数据挖掘技术在电子商务中的应用[J].情报科学,2011,29(2):235-240.

[2] 马宗亚, 张会彦 .Web 数据挖掘技术在电子商务中的应用研究 [J].现代经济信息,2014(6):23-24.

[3] 徐剑彬. Web 数据挖掘技术在电子商务中的应用[J]. 时代金融,2013(4):234-235.208