业务场景下数据采集机制和策略

一、场景描述

做面向C端用户的产品,十分依赖用户数据的收集,下面都见过这样一张数据分析图,通过链路上各个环节的数据采集,分析对比出曝光产品的交易量:

业务场景下数据采集机制和策略

通过对商品的浏览-点击-交易页面-支付购买等,分析产品的交易场景,这里是从大的业务方面观察数据的链路,实际上在分析的时候要考虑很多细节问题。

二、数据来源

用户数据来衡量用户或者产品的各方面纬度是最具有说服力的,所以在互联网的产品后期开发和优化过程中,对数据的采集和管理一直都是非常重要操作。

现在产品常见的客户端有PC端、H5端、APP端、小程序等各个场景的入口,更有一些物联网设备或者专门做的数据采集机制,不同的场景下的数据类型都是要区分的。通过不同端口下各类数据埋点,获取各个场景下的不同事件的数据来分析产品的优缺点,获取具有建设性的分析结果。

例如模块一中的案例:通过对端口的分析如果在APP端商品A的推荐和交易率最高,在小程序端推荐效果不好,那就可以考虑针对APP和小程序端采用不同的推荐机制。

三、事件类型划分

数据需要采集,并且要区分不同端口的数据只是基本的意识层面,思考采集数据的事件类型是最基础的操作。这里要从产品的特点去考虑,不同一概而论。下面提供一些基础采集数据和一些常见案例,关于核心业务数据相对都是精细和完整的,基本具备读库直接分析的条件。

基础信息

属性 字段 类型 描述
操作终端 app_client String Android/IOS/小程序/H5等
终端版本 app_version String 版本号标识
用户标识 user_id Integer 用户ID
网络地址 ip_address String 用户IP信息

这些信息是存在任何采点数据中的,通过这些基础信息采集,用来分析不同端口下用户的特点,以此可以进行差异化的管理和运营。

登录信息

属性 字段 类型 描述
登录时间 login_time Date 用户登录时间
在线时长 online_time Long 在线使用系统的时间

通过对登录和在线时间,以及一些使用信息,判断该类用户活跃度,是否需要重点运营或者营销激活。

业务基础

属性 字段 类型 描述
服务类型 service_id Integer 不同的业务服务
模块划分 model_type Integer 例如订单/支付/物流等

以此作为业务数据采集的基础信息,用来对业务数据做整体的划分和分析,具体的细节数据需要根据具体场景设计。

商品案例

属性 字段 类型 描述
商品信息 product_id Integer 商品信息
展现位置 position_id Integer 例如:列表/推荐位/广告位
店铺信息 shop_id Integer 所属店铺信息
搜索信息 key_word String 搜索关键字
当前单价 unit_price Double 商品当前单价
当前销量 sales_num Long 商品当前销量

这里是按照用户浏览行为做的一个简单的数据采集信息,这种机制在实际的电商APP中很常见,产生点击或者搜索的商品会被重点推荐,如果没有这类动作,则根据日常浏览信息做推荐机制。在实际的开发中,采集的数据远比这里复杂,需要根据实际业务需要去考量。

营销案例

属性 字段 类型 描述
活动位置 location_id Integer 入口位/引导页/推荐位/分享链接等
营销产品 product_id Long 营销活动主打产品类型
产品详情流量 detail_num Long 活动产品浏览量统计
订单确认页 detail_num Long 活动产品浏览量统计
活动交易统计 trade_num Long 活动最终转化统计

通过运营活动进行产品营销,活动结束后对数据进行复盘统计,然后根据活动轨迹数据的分析,平衡营销产生的价值和成本,不断调整活动策略,优化运营思路。

四、实现方式

1、业务层面

从业务角度来看,除了一些用户无感知的采集操作之外,还可以基于问卷调查方式,例如很多APP在使用一段时间后都会弹出用户评价类似的评分系统,或者意见留言的入口,更加直接的搜集用户反馈信息。

2、技术层面

最常见的就是SDK埋点技术,针对特定用户行为或事件进行捕获、处理和发送给服务器的相关技术及其实施过程。这种方式用来处理一些非核心业务十分常见。如果是一些核心业务,可能需要自定义的方式采集数据,避免造成数据泄露的问题。

3、数据积累

当业务不断发展,需要分析的场景会越来越复杂,而且采集的数据量达到一定规模之后,数据管理的和分析的难度就会变大,就会需要专业化的流程和智能工具,例如BI工具,可视化组件,数据大屏,多场景联合分析等。

五、源代码地址

GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile

推荐阅读:编程体系整理

序号 项目名称 GitHub地址 GitEE地址 推荐指数
01 Java描述设计模式,算法,数据结构 GitHub·点这里 GitEE·点这里
02 Java基础、并发、面向对象、Web开发 GitHub·点这里 GitEE·点这里
03 SpringCloud微服务基础组件案例详解 GitHub·点这里 GitEE·点这里
04 SpringCloud微服务架构实战综合案例 GitHub·点这里 GitEE·点这里
05 SpringBoot框架基础应用入门到进阶 GitHub·点这里 GitEE·点这里
06 SpringBoot框架整合开发常用中间件 GitHub·点这里 GitEE·点这里
07 数据管理、分布式、架构设计基础案例 GitHub·点这里 GitEE·点这里
08 大数据系列、存储、组件、计算等框架 GitHub·点这里 GitEE·点这里
发表评论

相关文章