Banner
首页 > 新闻 > 内容
如何进行IN数据采集
- 2020-07-10-

一,如何进行IN数据采集

数据采集的方式分别两种,一种是埋点,一种是无埋点

1,埋点

1.1 什么是埋点?

一种非常传统、非常普遍的方式就是通过写代码去定义这个事件。在网站需要监测用户行为数据的地方加载一段代码,比如说注册按钮、下单按钮等。加载了监测代码,我们才能知道用户是否点击了注册按钮、用户下了什么订单。

所有这些通过写代码来详细描述事件和属性的方式,国内都统称为“埋点”。这是一种非常耗费人力的工程,并且过程非常繁琐重复,但是大部分互联网公司仍然雇佣了大批埋点团队。

1.2 埋点采集的 7 个步骤

那么,埋点采集数据的过程又是怎样的呢?一般可以分成以下七个步骤。


用户行为数据分析的基本流程


(1)确定场景或目标

确定一个场景,或者一个目标。比如,我们发现很多用户访问了注册页面,但是最终完成注册的很少。那么我们的目标就是提高注册转化率,了解为什么用户没有完成注册,是哪一个步骤挡住用户了。

(2)数据采集规划

思考哪些数据我们需要了解,帮助我们实现这个目标。比如对于之前的目标,我们需要拆解从进入注册页面到完成注册的每一个步骤的数据,每一次输入的数据,同时,完成或者未成为这些步骤的人的特征数据。

(3)埋点采集数据

我们需要确定谁来负责收集数据?这个一般是工程师,有些企业有专门的数据工程师,负责埋点采集数据。

(4)数据评估和数据分析

收集上来的数据质量如何,又该如何分析呢?

(5)给出优化方案

发现问题后,怎么来出解决方案。比如,是否在设计上改进,或者是否是工程上的 bug。

(6)实施优化方案

谁负责实现解决方案。确定方案的实施责任人。

(7)如何评估解决方案的效果?

下一轮数据采集和分析,回到第一步继续迭代。

知易行难。这整个流程里,第 2 步到第 4 步是关键。目前传统的服务商比如 Google Analytics 、Mixpanel、友盟所采用的方式我们称之为 Capture 模式。通过在客户端埋下确定的点,采集相关数据到云端,最终在云端做呈现。


Capture 模式的流程


2,无埋点

2.1 无埋点的采集原理

区别于 Capture 模式,Record 模式是用机器来替代人的经验;在数据分析产品 GrowingIO 中,无需手动一个一个埋点;只需在第一次使用时加载一段 SDK( Software Development Kit,软件开发工具包 )代码,即可采集全量、实时的用户行为数据。


原子数据的五个维度


因为自动化,我们从分析流程的源头开始就控制了数据的格式。所有数据,从业务角度出发,划分为 5 种维度: Who,行为背后的人,具有哪些属性;When,什么时候触发的这个行为;Where,城市地区浏览器甚至 GPS 等;What,也就是内容;How,是怎样完成的。

基于对信息的解构,保证了数据从源头就是干净的,再在此基础上面,我们完全可以把 ETL 自动化,需要什么数据可以随时回溯。

2.2 无埋点的技术优势

回顾上面埋点采集数据的 7 个步骤,无埋点很好地解决了第二、三、四步的需求,将原来的多方参与减少到基本就一方了。无论是产品经理、分析师还是运营人员,都可以使用可视化工具来查询和分析数据,真正做到所见即所得。不仅是 PC,还支持 iOS、Android 和 Hybrid,可以进行跨屏的用户分析。

作者:GrowingIO
链接:https://www.zhihu.com/question/24939461/answer/1238521713
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

用户行为数据采集的目的是通过了解用户过去做的行为,用来预测未来发生的事情。无需埋点,随时回溯数据,让一个人就可以搞定用户行为分析的全部流程。这样一个简单、迅速和规模化的数据分析产品,能极大地简化分析流程,提交效率,直达业务。

3,埋点+无埋点

不论是采用无埋点还是埋点的方式,都需要能够将用户的每一次线上的访问过程用数据描述清楚;这个是 数据采集的基本目标,也是 GrowingIO 的初衷。

3.1 “埋点+无埋点”的数据采集原理

我们以一个加载了 GrowingIO 无埋点 SDK 的电商 App 为例:顾客打开 App,在首页搜索关键词,然后在结果页挑选喜欢的商品加入购物车;接着给购物车的商品下订单,并且完成支付。那么在这个过程中,有哪些数据需要采集,又该怎么去采集呢?


一体化数据采集方案



用户从 “打开 App” – “观看首屏广告” – “搜索关键词” – “进入结果页” – “加入购物车” 再到 “支付完成”,整个过程中既有用户行为数据(过程型数据),又有交易数据(结果型数据)。在上图中,GrowingIO 的无埋点 SDK 会自动采集用户在这个 App 上的所有行为数据,包括访问、页面浏览和行为事件。同时,GrowingIO 的数据对接埋点方案可以采集更多的交易数据,这里面包括商品 SKU、价格、折扣、支付等信息。

这样我们就可以将一个完整的线上购物行为,用无埋点和埋点相结合的方式采集下来了,用数据来完整的来描述和分析用户的购物历程。其实不论什么线上的业务场景,我们都希望能够采集到完整的用户的行为数据和业务数据。而且要把用户行为数据和业务数据打通。

3.2 “埋点+无埋点”的数据采集优势

那么为什么需要要无埋点和埋点相结合的方式去采集数据呢?

第一,因为无埋点的方法本身效率比较高。经过实践我们发现,无埋点产生的数据指标是埋点产生的数据指标的 100 倍甚至更多。

第二,无埋点数据采集成本低,App 发版/网站上线,都不影响数据自动采集。

第三,埋点采集的优势是可以更加详细的描述每个事件的属性,特别针对结果数据。

用无埋点采集的用户行为数据是用户产生最后结果的“前因”数据,用埋点采集的业务数据是结果数据是“后果”。无埋点和埋点相结合的解决方案提高了工作效率,同时记录了“前因”和“后果”数据,帮助市场、产品和运营分析获客、转化和留存,实现用户的快速增长。