- 相关推荐
数据分析常用方法
数据分析常用方法 篇1
一、数据分析很普及
以往的数据分析在今天的各类型企业中，数据分析非常的普及，并且得到认可，数据分析的核心任务往往是支撑运营和营销，将企业内部的数据，客户的数据进行分析和总结，形成以往工作情况的量化表现，以及客户的行为趋势或特征等。
如果从更宏观的角度来认识数据要达到的目标就是希望通过数据来发现潜在的规律，进而帮助预测未来，这一点同数据挖掘的目标一致。今天我们还是在反复提到数据挖掘这个概念，我们就需要来看看数据分析都有哪些是没有做到的内容。
1) 数据分散
多数数据分析岗位在公司中的岗位设置是隶属在单一业务部门中作为一个支撑岗，只有少数的公司是将数据分析作为一个独立的部门。其差异性在于，前者的数据分析所能分析的内容仅限于自身部门所输出的指标，比如投诉部门只看投诉处理过程中的数据，销售部门只看销售过程中的数据，一旦涉及到需要将各类指标汇总分析的情况，这种组织架构就会带来极大的负面影响，由于不同部门具备自己部门指标导出的权限，且与其他部门的配合并不影响绩效任务，所以这种跨部门采集数据的过程往往效率奇低。而数据分析最关键的就在于汇集更多的数据和更多的维度来发现规律，所以以往的数据分析多是做最基础的对比分析以及帕累托分析，少有使用算法来对数据进行挖掘的动作，因为越少的指标以及越少的维度将会使得算法发挥的效果越差。
2) 指标维度少
在以往的企业中，数字化管理更多的体现在日常运维工作中，对于客户端的数据采集虽然从很早以前就已经开展，CRM系统的诞生已经有很久的时间了，但是一直以来客户端的数据维度却十分缺失，其原因在于上述这些途径所获得的数据多为客户与企业产生交互之后到交互结束之间的数据，但是这段时间只是这个客户日常生活中很少的一部分内容，客户在微博，微信上的行为特点，关注的领域或是品牌，自身的性格特点等，可以说一个客户真正的特点、习惯，仅通过与企业的交互是无从知晓的，因此难以挖掘出有效的结论。
3) 少使用算法
在上述制约条件下，可想而知数据分析人员对于算法的使用必然是较少的，因为数据分析依赖于大量的指标、维度以及数据量，没有这三个条件是难以发挥算法的价值的，而在排除掉算法后，数据分析人员更多的只能是针对有限的数据做最为简单的分析方法，得出浅显易懂的分析结论，为企业带来的价值则可以想象。
4) 数据分析系统较弱
目前的数据分析多采用excel，部分数据分析人员能够使用到R或SPSS等软件，但当数据量达到TB或PB单位级别时，这些软件在运算时将会消耗大量时间，同时原始的数据库系统在导出数据时所花费的时间也是相当长的，因此对大数据量的分析工作，常规的系统支撑难以到达要求。（目前市面上较好的有纽带线CRM系统的数据分析工具）
二、技术革命与数据挖掘
得益于互联网对于人们生活的影响逐渐增大，我们发现数据正在疯狂的增长。今天一个人一天的时间中有将近一半是在互联网中度过的，一方面这些使用互联网的交互都是能够被捕捉记录的'，一方面由于碎片化时间的使用，客户与企业交互的机会也变的越来越频繁，进一步保障了客户数据的丰富。同时在大数据技术的支撑下，今天的系统能够允许对这些大规模的数据量进行高效的分析。
因此数据分析人员也能够开始使用一些较为抽象的算法来对数据做更为丰富的分析。所以数据分析正式进入到了数据分析2.0的时代，也就是数据挖掘的时代了。
三、数据处理流程
数据分析也即是数据处理的过程，这个过程是由三个关键环节所组成：数据采集，数据分析方法选取，数据分析主题选择。这三个关键环节呈现金字塔形，其中数据采集是最底层，而数据分析主题选择是最上层。
四、数据采集
数据采集即是如何将数据记录下来的环节。在这个环节中需要着重说明的是两个原则，即全量而非抽样，以及多维而非单维。今天的技术革命和数据分析2.0主要就是体现在这个两个层面上。
1. 全量而非抽样
由于系统分析速度以及数据导出速度的制约，在非大数据系统支撑的公司中，做数据分析的人员也是很少能够做到完全全量的对数据进行收集和分析。在未来这将不再成为问题。
2. 多维而非单维
另一方面则在于数据的维度上，这在前边同样提及。总之针对客户行为实现5W1H的全面细化，将交互过程的什么时间、什么地点、什么人、因为什么原因、做了什么事情全面记录下来，并将每一个板块进行细化，时间可以从起始时间、结束时间、中断时间、周期间隔时间等细分；地点可以从地市、小区、气候等地理特征、渠道等细分；人可以从多渠道注册账号、家庭成员、薪资、个人成长阶段等细分；原因可以从爱好、人生大事、需求层级等细分；事情可以从主题、步骤、质量、效率等细分。通过这些细分维度，增加分析的多样性，从而挖掘规律。
五、数据分析方法选取
数据分析方法是通过什么方法去组合数据从而展现规律的环节。从根本目的上来说，数据分析的任务在于抽象数据形成有业务意义的结论。因为单纯的数据是毫无意义的，直接看数据是没有办法发现其中的规律的，只有通过使用分析方法将数据抽象处理后，人们才能看出隐藏在数据背后的规律。
数据分析方法选取是整个数据处理过程的核心，一般从分析的方法复杂度上来讲，我将其分为三个层级，即常规分析方法，统计学分析方法跟自建模型。我之所以这样区分有两个层面上的考虑，分别是抽象程度以及定制程度。
其中抽象程度是说，有些数据不需要加工，直接转成图形的方式呈现出来，就能够表现出业务人员所需要的业务意义，但有些业务需求，直接把数据转化成图形是难以看出来的，需要建立数据模型，将多个指标或一个指标的多个维度进行重组，最终产生出新的数据来，那么形成的这个抽象的结果就是业务人员所需要的业务结论了。基于这个原则，可以划分出常规分析方法和非常规分析方法。
那么另一个层面是定制程度，到今天数学的发展已经有很长的时间了，其中一些经典的分析方法已经沉淀，他们可以通用在多用分析目的中，适用于多种业务结论中，这些分析方法就属于通用分析方法，但有些业务需求确实少见，它所需要的分析方法就不可能完全基于通用方法，因此就会形成独立的分析方法，也就是专门的数学建模，这种情况下所形成的数学模型都是专门为这个业务主题定制的，因此无法适用于多个主题，这类分析方法就属于高度定制的，因此基于这一原则，将非常规分析方法细分为统计学分析方法和自建模型类。
1) 常规分析方法
常规分析方法不对数据做抽象的处理，主要是直接呈现原始数据，多用于针对固定的指标、且周期性的分析主题。直接通过原始数据来呈现业务意义，主要是通过趋势分析和占比分析来呈现，其分析方法对应同环比及帕累托分析这两类。同环比分析，其核心目的在于呈现本期与往期之间的差异，如销售量增长趋势；而帕累托分析则是呈现单一维度中的各个要素占比的排名，比如各个地市中本期的销售量增长趋势的排名，以及前百分之八十的增长量都由哪几个地市贡献这样的结论。常规分析方法已经成为最为基础的分析方法，在此也不详细介绍了。
2) 统计学分析方法
统计学分析方法能够基于以往数据的规律来推导未来的趋势，其中可以分为多种规律总结的方式。根据原理多分为以下几大类，包括有目标结论的有指导学习算法，和没有目标结论的无指导学习算法，以及回归分析。
其中有指导的学习算法简单说就是有历史数据里边已经给出一个目标结论，然后分析当各个变量达到什么情况时，就会产生目标结论。比如我们想判断各项指标需要达到什么水平时我们才认定这个人患有心脏病的话，就可以把大量的心脏病人的各项指标数据和没有心脏病的正常人的各项指标数据都输入到系统中，目标结论就是是否有心脏病，变量就是各项指标数据，系统根据这些数据算出一个函数，这个函数能够恰当的描述各个指标的数据与最终这个是否是心脏病人之间的关系，也就是当各个指标达到什么临界值时，这个人就有心脏病的判断，这样以后再来病人，我们就可以根据各项指标的临界值。这个案例中的函数就是算法本身了， 这其中的算法逻辑有很多种，包括常见的贝叶斯分类、决策树、随机森林树以及支持向量机等，有兴趣的朋友可以在网上看看各种算法的逻辑是怎么样的。
另外无指导的学习算法因为没有一个给定的目标结论，因此是将指标之中所有有类似属性的数据分别合并在一起，形成聚类的结果。比如最经典的啤酒与尿布分析，业务人员希望了解啤酒跟什么搭配在一起卖会更容易让大家接受，因此需要把所有的购买数据都放进来，然后计算后，得出其他各个商品与啤酒的关联程度或者是距离远近，也就是同时购买了啤酒的人群中，都有购买哪些其他的商品，然后会输出多种结果，比如尿布或者牛肉或者酸奶或者花生米等等，这每个商品都可以成为一个聚类结果，由于没有目标结论，因此这些聚类结果都可以参考，之后就是货品摆放人员尝试各种聚类结果来看效果提升程度。在这个案例中各个商品与 啤酒的关联程度或者是距离远近就是算法本身了，这其中的逻辑也有很多中，包括Apriori等关联规则、聚类算法等。
另外还有一大类是回归分析，简单说就是几个自变量加减乘除后就能得出因变量来，这样就可以推算未来因变量会是多少了。比如我们想知道活动覆盖率、产品价格、客户薪资水平、客户活跃度等指标与购买量是否有关系，以及如果有关系，那么能不能给出一个等式来，把这几个指标的数据输入进去后，就能够得到购买量，这个时候就需要回归分析了，通过把这些指标以及购买量输入系统，运算后即可分别得出，这些指标对购买量有没有作用，以及如果有作用，那么各个指标应该如何计算才能得出购买量来。回归分析包括线性及非线性回归分析等算法。
统计学分析方法还有很多，不过在今天多用上述几大类分析方法，另外在各个分析方法中，又有很多的不同算法，这部分也是需要分析人员去多多掌握的。
3) 自建模型
自建模型是在分析方法中最为高阶也是最具有挖掘价值的，在今天多用于金融领域，甚至业界专门为这个人群起了一个名字叫做宽客，这群人就是靠数学模型来分析金融市场。由于统计学分析方法所使用的算法也是具有局限性的，虽然统计学分析方法能够通用在各种场景中，但是它存在不精准的问题，在有指导和没有指导的学习算法中，得出的结论多为含有多体现在结论不精准上，而在金融这种锱铢必较的领域中，这种算法显然不能达到需求的精准度，因此数学家在这个领域中专门自建模型，来输入可以获得数据，得出投资建议来。在统计学分析方法中，回归分析最接近于数学模型的，但公式的复杂程度有限，而数学模型是 完全自由的，能够将指标进行任意的组合，确保最终结论的有效性。
六、数据分析主题选取
在数据分析方法的基础上，进一步是将分析方法应用在业务需求中，基于业务主题的分析可以涉及太多的领域，从客户的参与活动的转化率，到客户的留 存时长分析，再到内部的各环节衔接的及时率和准确度等等，每一种都有独特的指标和维度的要求，以及分析方法的要求，以我个人的经验来看，主要分析主题都是围绕着营销、运营、客户这三大角度来开展的。
1. 营销/运营分析
营销运营分析多从过程及最终的成效上来进行分析，包括营销活动从发布到客户产生购买的过程的分析，运营从客户开始使用到停止使用为止的过程中的分析，前者更倾向于分析客户行为的变动趋势，以及不同类型的客户之间的行为差异，后者更倾向于分析在过程中服务的及时率和有效率，以及不同类型的客户之间对于服务需求的差异。
在针对这部分分析主题时，多采用常规分析方法，通过同环比以及帕累托来呈现简单的变动规律以及主要类型的客户，但通过统计学分析方法，营销分析可以根据有指导的学习算法，得出营销成功与营销失败之间的客户特征的差异，而运营分析则可以根据无指导的学习算法，得出哪些特征的客户对哪些服务是有突出的需求的，另外营销和运营分析都可以通过回归分析来判断，各项绩效指标中，哪些指标是对购买以及满意度有直接影响的。通过这些深入的挖掘，可以帮助指导营 销及运营人员更好的完成任务。
2. 客户分析
客户分析除了与营销和运营数据关联分析时候使用，另外单独对于客户特征的分析也是有很大价值的。这一部分分析更多需要通过统计学分析方法中的有指导和无指导的学习算法，一方面针对高价值客户，通过有指导的学习算法，能够看到哪些特征能够影响到客户的价值高低，从而为企业锁定目标客户提供指导；另一方面针对全体客户，通过无指导的学习算法，能够看到客户可以大概分为哪几种群落，针对每个群落的客户展开焦点讨论和情景观察，从而挖掘不同群落客户之间的需求差异，进而为各个群落的客户提供精准营销服务。通过以上这些的操作，一个企业的数据分析或者说数据挖掘工作的完整流程就呈现了出来。可以看到，无论是数据采集，还是分析方法，亦或是分析主题，在大数据和互联网的支撑基础上，在未来都将有大幅度的增加，数据分析人员将成为下一个阶段的关键企业支撑人员，也即是在未来，在各个领域中，都将产生大量的宽客，或者增长黑客这样的数据分析人员，来带动企业的发展。
今天的企业数据分析的架构和方法就到这里了，我们只有不断的理论联系实际，在实践中掌握方法和技巧，在不断的实践中得到启发，做好企业数据分析，推动企业高速发展，顺应市场和时代发展。
数据分析常用方法 篇2
1、未被满足的需求分析
商业可以简单的理解为满足客户需求的全部。未被满足的需求分析指的是揭示你的产品、服务、客户满意度以及收入方面是否还有未被满足的需求。对于未被满足的需求分析，有效的工具包括产品评价，定性调查，小组讨论和访谈。你也可以使用类似于Google Trends这样的工具来帮助识别客户都在搜索什么。
提示：现在向你的客户提问是一个非常经济实惠而又快速的办法。例如创建一个论坛，在线小组讨论，亦或是邀请客户关注你的Facebook页面并加入到一个反馈小组里面。
2、市场规模分析
如果对自己的市场规模和潜力不够了解，我们很容易对商业决策的可行性妄下结论。市场规模分析指的是评估你的产品以及服务市场规模有多大，是否有足够的增长潜力。衡量指标包括产量（售出多少）、产值、频率（一个产品或服务的出售频率）。有效数据包括政府公布的数据，行业协会数据，竞争对手财务数据以及客户调查。
提示：仅因为某个市场大并不意味着它是有利可图的——特别地，如果大多数客户想要的某个产品或者服务市场上已经有了，那么他们不太可能会接受另一个产品或服务了。
3、需求预测
了解需求对于保持企业的竞争力是至关重要的。需求预测属于预测分析领域，旨在预估消费者可能会购买的产品数量或服务。不同于简单猜测，它是基于过去市场上的历史数据或当前数据作出的估计。此时，分析技术（如时间序列分析）就显得非常有用了。
提示：用于需求预测的数据必须是干净并且准确的。如果不是这样的话，得到的结果将不准确，并且有可能导致你误入歧途。
4、市场趋势分析
每个企业都需要知道它自己的一个市场前进方向。市场趋势分析指的是确定市场是否在增长，停滞还是衰落，以及市场变化的快慢。了解市场的规模大小很重要，但了解的市场正趋势上涨还是下跌同样也很重要。为了监测市场动向，你可以做一些商业推演或情景分析以此判断市场未来的一个大概样子。客户调查或小组讨论有一定的帮助作用。
提示：始终警惕外部环境，如立法的修改，社会期望。
5、非客户分析
传统地，我们被告知我们需要了解我们的客户，以便于我们知道他们是怎样的一些人并找出更多跟他们相似的人。道理虽这样，但另一方面可能更重要——非客户分析。非客户分析指的是了解那些目前还不是你的客户对你的产品，服务或品牌的看法。通过识别出那些不买你产品的人，以此来扩大市场。访谈，问卷调查，焦点小组可以提供帮助。
提示：通过社交媒体的力量，我们可以轻松的获取那些不是你的客户的意见反馈。
6、竞争对手分析
任何业务都是在竞争环境中成长的。竞争对手分析对市场营销和战略规划非常重要，它指的是识别你的竞争者是谁，他们的市场定位是怎样的，他们的业务跟自己的业务有什么关系。通过了解自己的优势和劣势，你利用对方的弱点来寻找机会。收集竞争对手数据的方法有很多种，例如商业期刊和报纸，年度报告，产品说明书和营销活动。你甚至可以让你的一个员工、朋友或者家庭成员从你的竞争对手那里购买他们的产品或者服务进行比较。
提示：竞争对手分析的最有用的技巧是去做这件事情！可悲的是，大多数企业没有这样做。
7、定价分析
定价分析指的是在产品发布之前找出你的客户愿意为你的产品支付多少钱。它涉及细分市场价格灵敏度分析，尤其在高度竞争的市场非常有用。定价分析需要数据挖掘，预测模型和算法的开发。同时，它还涉及多个并行的商业实验，以此来测量价格变动所带来的变化。
提示：如果你希望通过定价分析来提升收入，请确保给那些为你的产品支付了更多钱的客户提供了更高的价值。
8、销售渠道分析
有数以百计的渠道和市场可以用来推广你的产品和服务。销售渠道分析可以帮助你评估现有销售渠道的有效性。你可能会通过不同的渠道来达到您的不同细分市场，但我们有必要知道哪些渠道是有效的，哪些渠道可以到达事半功倍的效果。对于每个现有的市场营销渠道以及那些潜在的尚未使用的渠道，你最好设置一些转化率目标，以便于了解各个渠道的推广效果。
提示：销售渠道分析显然是线上比线下更适合。在线渠道具有数字化的特征，并且经常是构建在市场和销售平台之上的。
9、品牌分析
品牌分析旨在确定你跟竞争对手相比你的品牌实力如何。品牌不是简单的商品标识和包装，它还包含了客户对你的产品的感受以及它们对客户的寓意。真正的了解客户如何看待自己的品牌很重要，因为这会影响到你的决策和战略方向。你需要从各种渠道来获取客户以及那些潜在客户的数据来进行数据分析，如客服服务记录，销售记录，网络论坛，博客，评论网站和社交媒体等。
提示：互联网为人们如何看待你的品牌以及你的业务提供了是一个丰富的信息源。人们乐于去分享他们的想法和感受，所以我们应该努力挖掘这样一个丰富的信息金矿。
数据分析对市场营销的益处
为什么要在市场营销中使用数据分析？ 因为它可以给你的市场营销工作带来很多的帮助。
假设你发起了一个电子邮件营销活动，你怎么知道你的邮件列表上有多少人打开了邮件？ 在电子邮件营销活动中，有些人可能已经决定不再和你做生意了———你如何追踪这些取消订阅的`用户？数据分析为电子邮件营销平台提供了解决这些问题的答案。
数据分析也可以帮助营销人员做出更好的决策。你知道哪种广告方法的投资回报率最高吗？ 通过对不同渠道的数据监测分析，你可以辨别出更有效的推广方式和渠道。你可能会发现，把钱投到CPC广告（点击付费广告）中并不能产生你所希望的投资回报。然而，也许电子邮件营销活动比你意识到的要成功得多。
如何在市场营销中成功地使用数据分析
虽然数据分析可以改善营销活动的效果，但前提是你必须遵循一些最佳实践方法。
首先，你应该设定明确的目标。数据是海量的，你不可能分析所有的数据，你也不应该分析所有的数据，毕竟不是每个数据都会对你产生益处。你需要且应该分析的是那些对你有益的数据。而这些都要求你明确自己想要完成的事情（如接触不活跃的客户，提高客户的参与度，决定销售到成交的比率等等），并找到合适的数据。
另一个最佳实践方法是保持数据“干净”。有时，信息可能有误。例如，如果一个电话号码的两位数被调换，你就不会找到合适的人。确保你的数据是无误的，这将帮助你更好地进行用户行为分析，从而更好地指导产品运营。
最后，使用合适的工具进行工作。市场上有许多数据分析解决方案，例如，开源私有化部署的Cobub Razor，它可以帮助你采集用户行为数据，并且提供可视化的报表，许多市场营销人员都认为它是有用的。尽管市场上的数据分析产品这么多，但最终你的团队需要找到适合其需求的数据分析工具，从而产生最佳的结果。
数据分析常用方法 篇3
一、面板数据
面板数据：其有时间序列和截面两个维度，当这类数据按两个维度排列时，是排在一个平面上，与只有一个维度的数据排在一条线上有着明显的不同，整个表格像是一个面板,所以把panel data译作“面板数据”。但是,如果从其内在含义上讲,把panel data译为“时间序列—截面数据” 更能揭示这类数据的本质上的特点。也有译作“平行数据”或“TS-CS数据（Time Series - Cross Section）”。
线性面板线性面板数据里面各种估计量的关系，每个箭头都是可以证明的，感兴趣的可以自己证明：
二、离散选择模型和受限因变量模型
在实证微观计量经济学分析当中，我们常常会碰到这样一类计量经济模型，其中的因变量或者是定性的，或者是取值范围受到限制。在这两种情形下，必须要使用特殊的方法才能对这类计量经济模型进行有效分析，才能获得其中参数的'一致估计。
当因变量是定性的时候，某些场合我们可以给它赋予诸如LL,,,2,1,0n等数值。但是，前提必须是有意义的。在实证微观计量经济学分析当中，我们常常会碰到这样一类计量经济模型，其中的因变量或者是定性的，或者是取值范围受到限制。在这两种情形下，必须要使用特殊的方法才能对这类计量经济模型进行有效分析，才能获得其中参数的一致估计。当因变量是定性的时候，某些场合我们可以给它赋予诸如0,1，...,n...等数值。但是，前提必须是有意义的。二元选择模型的特点就是其因变量仅有二个结果。
三、静态面板数据
我们一般所说的静态面板数据模型，是指解释变量中不包含被解释变量的滞后项（通常为一阶滞后项）的情形。但严格地讲，随机干扰项服从某种序列相关的模型，如AR(1)，AR(2)，MA(1)等，也不是静态模型。动态和静态模型在处理方法上往往有较大的差异。用静态面板数据建立的模型通常有三种，即混合模型、固定效应模型和随机效应模型。
四、动态面板数据
动态面板数据是研究现象动态行为的一种重要方式，在一个模型中添加动态因素，是对方程理解上的一个变化。在方程中添加滞后变量即右边变量的整个历史，所以所观测的任何影响都以这个历史为条件。假如在面板数据模型右端加入滞后因变量的话，则模型变为动态面板数据模型。
【数据分析方】相关文章：
大数据分析07-20
数据分析报告07-28
数据分析工作职责07-28
多维数据分析方法04-07
数据分析简历模板02-17
数据分析报告【推荐】03-07
数据分析主管的职责01-13
数据分析个人总结01-09
【推荐】数据分析报告03-01