定义大数据

  1. 数据量。(Volume)
  2. 数据类型和数据结构的可变性和复杂性。(Variety)
  3. 新数据创建和增长的速度。(Velocity)

  4. 数据质量,可靠性(准确性和真实性)。(Veracity)

4V:数据量(Volime),种类(Variety),速度(Velocity)和真实性(Veracity)
5V:4V + 价值 (Value)

数据分析生命周期

六个阶段

  1. 发现
  2. 数据准备(分析沙箱)
  3. 模型规划(方法,技术,工作流程,变量,关系,模型)
  4. 建立模型(训练和测试数据集,软硬件)
  5. 沟通结果(确定关键发现)
  6. 实施(交付,试点项目)

在团队大规模部署模型之前,可以先在小范围内实验性部署,从而学习部署经验和有效的风控,并且建立一个对模型精度持续监测的机制,并在精度下降时,设法重新调试模型,如果模型输出达不到模型精度,就需要重新训练模型。

相关文章: 大数据总览和生命周期

项目管理

img

相关文章:一张图读懂项目管理十大知识领域

包含:项目整合管理、项目范围管理、项目进度管理、项目成本管理、项目质量管理、项目资源管理、风险管理、项目采购管理、项目相关方管理、

这十大知识领导之间的逻辑关系可以描述为,在整合管理思想的指导下:

  • 第一、弄清楚项目的工作内容(范围)
  • 第二、弄清楚这些工作要在什么时间完成(进度),以多大代价完成(成本),满足什么要求(质量)
  • 第三、弄清楚需要什么资源来完成项目,以及组织内部有没有这些资源(包括相应的人力资源、知识与技能);
  • 第四、如果没有足够的资源,就需要外包一些工作,从而就需要对采购及相应的合同进行管理;
  • 第五、项目所涉及的内外部的资源之间都需要进行有效沟通,才能较好的相互协调;
  • 第六、弄清楚哪些风险会促进或妨碍项目的成功,并积极加以管理;
  • 第七、自始至终,都要进行项目相关方管理。

数据分析报告撰写

明确报告定位

报告就是向某一人群进行汇报,那么首先就要明确报告的对象,从报告对象的角度组织内容、结构,以及报告里各个模块的侧重点。

拆解核心指标,建立数据模型

明确了报告的定位之后,那么就可以结合报告定位和产品目标、活动运营目标等指标,对核心指标进行拆解,形成报告的数据模型。

需要指出的是:报告的核心指标和拆解是动态的,在产品的不同阶段,数据模型也需要进行调整。

数据的整理和分析

数据的获取

当数据出现差异时,需要对统计口径和统计方案进行分析,如果是统计手段层面造成的差异则可以忽略。

注意,如果一个数据来源出现大幅异常波动,往往可以借助另一个数据来源进行对比分析,如果两边是同方向、同幅度的波动,则要从业务角度去分析,如果两边差异很大,则很可能是数据统计源头出了问题。

数据的整理、清洗

数据的整理和清洗主要是排除脏数据和统计异常的数据、对数据进行结构化处理等等

分析数据 - 方法

  1. 拆解法

    将一个大问题拆分为更小粒度的指标,如果没有发现问题则继续往下拆解,直到发现问题所在为止,从而寻找到对应的解决方案。

  2. BCG矩阵

    根据不同业务场景,选取两个坐标作为坐标轴,从而把业务或用户划分为不同的类型进行分析。

  3. 同比分析法

    将各个业务相同类型的数据放在一起比较。

  4. 用户分析

    用户分析包括了使用广度、使用深度、使用粘性等指标,这些指标一般是若干用户指标的组合。

    例子:首先这是一份面向领导汇报的产品运营月报,因此需要突出核心指标的完成情况,以及拆解的二级、三级指标的情况,从而从上到下分析本月指标的完成情况。

    其次,这是一个电商导购类的产品,因此在报告的第一项,就是依据产品特性,对数据指标进行拆解和建立数据模型,从而让读者一目了然知道报告的内容框架,以及各项数据的完成情况,之后才是逐步展开进行汇报,便于说清楚具体情况、问题点、改进计划。

img

img

总结

数据报告的撰写,首先要基于阅读者和核心指标的分析,对指标进行拆解和建模、确定整个报告的内容框架和侧重点,然后对数据进行整理、分析和制表,最后的工作才是对报告进行美化。