【云端大数据实战】大数据误区、大数据处理步骤分析,云端大数


1.背景

            首先感谢这次博客的主办方CSDN以及在初赛为我投票的网友们,你们的支持是Garvin前进的动力。本文思路的依据来源于本次天猫大数据竞赛长达三个月的参赛体验。博主作为一个在校的学生,可能如果不是这次比赛,很难能够拥有一套完整的云环境来对TB级的数据进行分析和实践。下面是博主的一点心得,在此抛砖引玉,希望能给大家在云端大数据处理方面带来一点启示。


2.对于大数据和云的一些误区

 

  (1)误区一:云的计算能力是无穷的,不用考虑效率?

             我们都知道,云计算的本质就是分布式计算,将现有的工作量,分割开来让n个不同的服务器协同完成。说白了云计算的计算能力虽然比我们的pc有优越许多,但是它是有计算成本的。当我们处理TB级数据的时候,我们还是尽量要考虑一下效率,否则会陷入漫长的等待。ps:博主参加比赛的时候,因为一开始没有使用抽样算法,将整个训练集拿去训练,占用了大量的资源,常常一等就是24小时。

 

   (2)误区二:数据量越大,预测效果越好?

     

       大数据计算,顾名思义。就是需要一个很大的数据量,通过一些算法,找到它们和目标序列的特定规则和联系。这就容易造成一个误区,是不是数据量越大,结果准确。其实对于推荐系统来讲,当我们使用随机森林或是gbrt这些算法的时候,数据集在几百万的时候往往能得到比数据集在几千万的时候更好的计算效果。因为对于一个算法来讲,如果数据集过大,容易造成过拟合。

       所以在面对一个真正的大数据集的时候,不要盲目的拿来全部训练,做好抽样和正负样本的比例调整,可能会得到更好的效果。 

  

  (3)误区三: 算法的参数是一成不变的?       

               在对大数据进行处理的时候,我们往往使用一些已经比较成熟的算法。例如常用的分类算法有svm(支持向量机)、rf(随机森林)、lr(逻辑回归)等等。在使用这些算法的时候往往要面对一个比较头疼的问题就是调参。是否能调到一个理想的参数,对于最后的计算结果有着至关重要的作用。      对于参数,我觉得没有最好的参数,只有最合适的参数。不要迷信论文或是网上的一些评论,如果你的训练集是独一无二的,就要静下心来,认真调试最适合自己的参数。影响一个算法的参数的因素很多,包括样本数量或是正负样本比例等。        (4)误区四:特征越多越好么?            特征重在质量而不是数量,好的特征对于结果的影响可能会比普通特征大100倍,所以千万不要随便的组合数据集的一些字段。有的时候一些不好的特征,会对结果产生消极的影响。区分特征对与结果的影响的方法有很多,下面给一个信息熵的方法:
def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1      #the last column is used for the labels
    baseEntropy = calcShannonEnt(dataSet)
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):        #iterate over all the features
        featList = [example[i] for example in dataSet]#create a list of all the examples of this feature
       
        uniqueVals = set(featList)       #get a set of unique values
        
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)     
        infoGain = baseEntropy - newEntropy     #calculate the info gain; ie reduction in entropy
        
        if (infoGain > bestInfoGain):       #compare this to the best gain so far
            bestInfoGain = infoGain         #if better than current best, set to best
            bestFeature = i
    return bestFeature                      #returns an integer

3.大数据云处理步骤

     (1)首先要了解集成环境                     既然是大数据处理,那么一定是要有一个云环境作为依托。我觉得首先要了解自己的集成环境的基本使用方法,像是spark、hadoop或是odps,他们都有自己的特点。比如博主使用的odps,对于数据库的处理可以用命令行执行sql语句,也可以用MapReduce的方法将写好的jar文件放到云端处理。      (2)数据集去噪            对于一个比较大的数据集,肯定是存在一些噪声部分影响我们的计算操作。将这部分噪音去掉可以保证计算结果的准确性。去噪的方法有很多,这里举出一个常用的方法,就是将数值在   [均值-  3倍方差,均值 + 3倍方差] 以外的数据滤掉。下面是我写的一个实现以上去噪方法的代码,执行DenoisMat函数可以实现此功能。
from __future__ import division
def GetAverage(mat):
    
    n=len(mat)
    m= width(mat) 
    num = [0]*m
    for j in range(0,m): 
           for i in mat:
              num[j]=num[j]+i[j]           
           num[j]=num[j]/n   
    return num

def width(lst):
    i=0
    for j in lst[0]:
       i=i+1
    return i

def GetVar(average,mat):    
    ListMat=[]
    for i in mat:    
        ListMat.append(list(map(lambda x: x[0]-x[1], zip(average, i))))
   
    n=len(ListMat)
    m= width(ListMat) 
    num = [0]*m
    for j in range(0,m): 
        for i in ListMat:
                  num[j]=num[j]+(i[j]*i[j])       
        num[j]=num[j]/n   
    return num 

def DenoisMat(mat):
    average=GetAverage(mat)
    variance=GetVar(average,mat)
    section=list(map(lambda x: x[0]+x[1], zip(average, variance)))    
    
    n=len(mat)
    m= width(mat) 
    num = [0]*m
    denoisMat=[]    
    for i in mat:
        for j in range(0,m):
               if i[j]>section[j]:
                     i[j]=section[j]
        denoisMat.append(i)  
    return denoisMat  

   (3)训练集采样                  上文中已经提到了,正确的采样可以提高计算的准确性。常用的采样的方法有随机采样、系统采样、分层采样。
随机采样:根据样本的编号random出来需要的样本数量。系统采样:即先将总体的观察单位按某一顺序号分成n个部分,再从第一部分随机抽取第k号观察单位,依次用相等间距,从每一部分各抽取一个观察 单位组成样本。分层采样:先按对观察指标影响较大的某种特征,将总体分为若干个类别,再从每一层内随机抽取一定数量的观察单位,合起来组成样本。有按比例 分配和最优分配两种方案。
        效果的比较是,分层采样>系统采样>随机采样。以下代码实现了系统采样和随机采样,分层采样可以根据自己的数据集结合聚类算法来实现。如果是监督学习的话,记得调整正副样本的比例哦。
'''
Sampling archive

@author: Garvin Li
'''
import random

def RandomSampling(dataMat,number):
    try:
         slice = random.sample(dataMat, number)    
         return slice
    except:
         print 'sample larger than population'

def SystematicSampling(dataMat,number):    
    
       length=len(dataMat)
       k=length/number
       sample=[]     
       i=0
       if k>0 :       
         while len(sample)!=number:
            sample.append(dataMat[0+i*k])
            i+=1            
         return sample
       else :
         return RandomSampling(dataMat,number)   


  (4)选择算法训练样本           上面已经提到了很多的算法。针对不同的数据集,应该选用不同的算法。举个例子,这次比赛在线下赛的时候,因为数据集比较小,我们使用的逻辑回归算法就取得了不错的成绩。但是到了线上比赛,随着数据量增加到TB级别,发现逻辑回归已经不给力了。使用GBRT可以取得更理想的效果,具体用法可以参考阿里大数据比赛sesson2_RF&GBRT.一些常用的算法也可以clone我的github代码库(不断更新中),本文最下方给出地址。
图  3-1 My git-repo
   (5)模型融合          模型融合的概念也是这次参加比赛第一次听说的。其实原理很简单,每种算法因为自身的收敛方式不同、对特征的调配方式不同,在结果上是有比较大的差异的。如果将不同的模型计算结果加权求和的话,可以充分体现每个算法的长处,对于结果的提升是有比较大帮助的。

4.总结

             我始终坚信大数据和云计算可以改变我们的生活方式甚至我们的意识形态。在进行大数据处理的过程中,看着自己的成绩一点一滴的提升,内心会有极大的满足感。希望有相同志趣的朋友可以留言讨论,大家一起学习进步,谢谢大家。我的Github页:点击打开链接本文参加了csdn博客大赛,请为我投票!


本文参考了:《机器学习与算法》和 csdn 

u010691898的专栏




/********************************

* 本文来自博客  “李博Garvin“

* 转载请标明出处:http://blog.csdn.net/buptgshengod

******************************************/





云计算实战:怎管理云端敏感数据(2011答案

如今云计算非常火,但在你把关键的业务系统外包到云端之前,不妨先审视安全方面的一些问题。 最关键的业务应用程序处理许多公司的人力资源、财务、信用卡及其他敏感数据。如果任何这些信息受到危及,就有可能缠身官司,贵公司的品牌形象就会受损。这个恶梦可能会导致客户避免购买贵公司的产品或服务。那么,云计算如何能够切实有效地保护敏感数据呢? 要把你的应用程序积极有效地推向云端,就要解决好以下三个方面: - 建立第二层防火墙保护机制(深度防御); - 分析应用程序的说明文档,查明防火墙规则方面的新变化;以及 - 收集系统和应用程序的元数据,以便实现平滑迁移。 不妨先从深度防御开始说起。 首先,应当把敏感数据放在主企业防火墙后面的第二层防火墙段。这第二层防火墙和相应网络把敏感的应用程序及其数据保护起来,以免万一面向互联网的防火墙被突破后,很容易被人访问。比如说,不妨看一下杂货店。至少部署四个防火墙段/网段是明智之举:一个段用于保护人力资源数据,一个段用于保护财务数据,一个段用于保护信用卡PCI(支付卡行业)数据,还有一个段保护其他段共享的服务。含有共享服务的段可能含有常用的支持服务,比如网络和系统管理、加密和公钥基础设施(PKI)功能、访问控制服务以及安全事件管理功能。 保护企业避免内部窃取数据的另一层架构机制就是建立隧道访问协议(Tunneling Access Protocol)。隧道访问协议是一种访问控制功能,迫使所有管理员在针对段内系统执行管理任务之前,把相关信息记入日志。因此,所有管理员访问都被跟踪,从而防止内部窃取信息。 需要解决的第二个方面是,需要进行分析,确保应用程序成功迁移到云端的第二层防火墙后面。我建议先从了解应用程序的设计文档入手。设计文档让你全面了解哪些业务需要应用平台、使用什么中间件、使用什么数据库以及使用什么协议。它还常常含有逻辑架构。 关注与应用程序交互的所有系统显得很重要。你的安全团队会收集有关该应用程序的各种信息:什么数据是敏感数据、哪些工具如何用来加密数据;如果这是面向互联网的应用程序,还有渗透测试结果。我还建议制作一份协议图,表明所有服务器及其IP地址、所用的协议以及所用的协议(TCP或UDP)端口。这份网络视图具体表明了哪些服务器需要彼此通话,为此它们将使用哪些协议(端口)。未必要列入交换机、路由器及网络基础架构的其他组件,因为协议/端口就在它们上面运行。如果协议图全面详细,创建防火墙规则应该是很简单的一个步骤。防火墙规则由源和目的地IP地址、所用协议以及在这些协议上运行的端口组成。 最后,我建议全面收集系统和应用程序的元数据。想成功移植应用程序,就需要做好这项工作。另外,如果你遇到了灾难、业务中断或想从云端撤下应用程序,就需要这些数据。每个防火墙段/网段都有相应的系统信息。所有应用程序共用相同的系统数据,比如相同的防火墙、路由器、交换机、加密算法(如果用于某个段中的所有应用程序)和存储子系统。系统元数据包括厂商、型号、软件版本及其他系统级配置数据。应用程序数据很相似,但它面对的是负载均衡器、加密方法、中间件、数据库、服务器硬件和操作系统,以及在这些系统上运行的服务、协议和端口。应用程序元数据包括厂商、型号、软件版本及其他应用程序配置数据。 下一个争论的焦点是这些元数据应该存放在哪里。我建议把这些信息采用层次结构存放在轻型目录访问协议(LDAP)存储库中。我会在该目录中建立两个层:一个层名为段系统(Segment System),针对上述例子四个段中的每个段;后一个层名为应用程序(Application......余下全文>>
 

新手 想用Android App连接云端的MySQL下载与上传数据 哪个可以告诉我步骤以及用什软件完成

一般MySQL都不由APP进行直接的远程连接,而是交由后台服务器进行封装处理的。
举个例子。APP访问--》后台PHP服务器--》PHP访问本地MySQL数据库--》PHP返回查询给APP
所以,一般的APP分为两部分,APP前端开发,PHP后台开发
 

相关内容