本文目录
大数据分析(Big Data Analysis)是当前信息技术的一个重要应用领域,对我们的工作和生活产生着巨大的影响。
相对于传统的数据概念,“大数据”的定义为四个“V”:数量大(volume)、多样化(variety)、变化快(velocity)和有价值(value)。具体,请参阅我之前的文章《三分钟读懂大数据》。本文着重介绍对于大数据的分析方法。
大数据分析的流程一般为:
数据采集→数据传输→数据预处理→数据统计与建模→数据分析/挖掘→数据可视化/反馈。
下面依次加以说明:
数据采集:
数据采集的功能包括:
通过物联网设备采集数据。(参见《三分钟读懂物联网》)
通过在应用程序中插入特定代码(“埋点”)来采集数据。
将采集的数据传输到指定的服务器。
不论是采集数据,还是传输数据,都要求最大限度地保证数据的准确性、完整性和及时性,这就要求数据采集能处理很多细节方面的问题,比如用户标识、网络策略、缓存策略、同步策略、安全保障等。
数据预处理:
主要包括数据清理和数据整理。
1. 数据清理
数据清理是指发现并处理数据中存在的质量问题,如缺失、异常等。例如,某用户在填写调查问卷时,没有填写“年龄”一栏的信息,那么对于该用户填写的这条数据来说,年龄就是缺失值;异常是指虽然有值但值明显偏离了正常取值范围,如针对18~30岁成年人的调查问卷中,某用户填写调查问卷时将年龄误填为2。
必须处理好包含缺失值或异常值的数据,否则会严重影响数据分析结果的可靠性。
2. 数据整理
数据整理是指将数据整理为数据建模所需要的形式。例如,在建立房屋价格预测模型时,通常需要将对房价预测无用的数据项(如房屋的ID编号)去除,将用于预测目标值的特征(如房龄、朝向等)和目标变量(房屋价格)分开。
数据统计与建模:
数据统计是指对数据计算均值、方差等统计值,通过统计分析掌握数据特性,完成对已知数据的解释。建模则是根据已有数据建立模型以对未来数据进行预测、分类,解决实际应用问题。
数据分析/挖掘:
数据挖掘是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。
数据可视化/反馈:
数据可视化是指将数据
收集大数据的方法有多种,包括传统的调查问卷、实验、观察、访谈等方法,以及现代的网络爬虫、社交媒体数据采集、传感器、物联网等技术。
其中,网络爬虫是一种常见的数据收集方式,可以从互联网上抓取大量的数据,从而实现数据的快速获取和分析。
另外,物联网技术可以实现对各种设备和物体的数据采集,并将其汇总成大数据进行分析和应用。总之,选择合适的数据收集方法,可以更好地应用大数据技术实现精准决策和智能应用。