时时商务社区

标题: 他说：作为产品经理，不懂技术和代码也一样可以数据抓取 [打印本页]

作者: bewin83 时间: 2018-2-17 16:37

鉴于上一篇《第一个产品安装量破千万，我总结了这3句话》有人说没有干货，所以今天带来一篇诚意满满的干货。请自备酒水饮料。

先说一下我要做什么：为了解行业老大做线上手游陪玩业务的基本情况，想通过他们在app提供的月排行榜的数据，做初步营收相关的数据分析。
作为万能的产品经理，不懂技术和代码也一样可以数据抓取。
准备工作：
[ol]

百度、bing必应

charles或者其他的app抓包工具

excel

sublime（可以做一些基本的批量处理，没有也可以）
[/ol]
1、获取源数据
大部分app中使用https链接，所以正常使用charles抓包之前，先安装描述文件。不然会出现乱码（先百度“charles教程”和“charles https 抓取”这几个关键字）
在抓到的URL中，选择json格式，我们需要的东西就在这里面，保存到sublime中内容如下（不知道这玩意要不要打码）

这里面更多的东西是跟我无关的，我需要的字段有这些：
nickname       用户昵称
property_value       游戏段位
gender       性别（1=男；2=女）
birthday       生日
city_name       城市
price       单价
nickname       昵称
order_count       订单量
跟这些没关系的统统过滤掉（工具：sublime、excel）。
汉字在 json 中显示的是 UNICODE 编码（别问我这是啥，我也不认识他），所以还需要把 UNICODE 编码转换成汉字，所以请百度“UNICODE 编码转换”。
经过上面的工具，把得到的结果放到excel里面，得到如下内容：

至此，抓取过程结束。然后对数据进行加工。
2、数据加工
我想要的数据是：

总收入

总订单

人均收入

投入时间

订单量

平均每单交易额

用户基本属性（年龄、性别、城市分布）

其中投入时间、年龄、城市分布的信息是抓不到的。
估算投入产出比较重要的一个维度是时间，所以要先估算一个完成一笔交易要多久。
考虑到他们的段位在游戏里面都比较高，就算每局15分钟。也就是说完成一笔订单需要花费15分钟。
月排行第一名那哥们，接了2003单。对他来说，月薪30K，每天工作16.7个小时（当然，他可能是做外包）。

出生日期经过简单的计算，可以得到年龄；

找一份最新的全国城市排名，我用抓包得来的数据做匹配，城市分布搞定。

3、数据分析

抓取的内容都是可以在app中可以看到的，抓取的目的，是不用自己手动计算排行里面500多个人的信息。所以这个算是免责声明吗？
对了，上个月也做了类似的分析，爬取了7w个页面。同样不需要懂代码，感兴趣的话我们下次聊聊吧。

欢迎光临时时商务社区 (http://bbs.4435.cn/)