数据产品经理该懂的python技术

2019-01-10 13:55

数据产品经理该懂的python技术



  大仁:你是说编程语言?我来介绍下吧,我们来看下GitHub(程序员同城交友、代码协作平台)的数据,看下各种编程语言 Pull Requst的数据, Javascript的提交量最高,前端的鼎盛时期,python则处于飞速上升中,很有潜力。Java一直很稳,常年占据了后端主流编程语言第一。

数据产品经理该懂的python技术

  人工智能和数据分析,近年来需求持续攀升,这方面人才待遇也是水涨船高,既然python那么能干,热度自然飞速上涨。

  说到数据分析,我们不得不说下数据来源,一般是内部数据,也有外部数据,外部数据的获取有很多种,最常见的方式就是爬虫了。

数据产品经理该懂的python技术

  python中有成熟的爬虫框架(scrapy、bs4),只要你给爬虫一个网址,它就可以去爬取,和输入url类似却又不同,不同的是爬虫会把这些html文件里有用的信息抓取回来,而且爬虫可以爬取该网站相关的其它链接,像是daquan里的abc、123、456等。

  大仁:看你怎么爬取,其实有个爬虫协议(robots),每个网站都可以声明,其实就是声明哪些文件可以、哪些不可以,下面以淘宝网的robots.txt为例:

数据产品经理该懂的python技术

  遵循robots协议后,爬取的数据不用于商用,基本上没事,商用的话目前还是灰色地带,混沌蛮荒阶段。(抛砖引玉,求专业人士解答下)

  当年还可以在百度里搜索到淘宝商品信息,后来淘宝决定对搜索引擎实施不同程度的屏蔽,那时候淘宝体量还没那么大,屏蔽百度,会少了很多站外流量。

  但是这个关键性的决定,让用户心智统一(淘宝里才可以搜索商品),后面现金流般的淘宝广告就更不说了,站在当时,很考验产品决策人。

数据产品经理该懂的python技术

  假如你在“JackSearch”这个搜索引擎里,输入“产品经理”,那么当你点击搜索时,服务器就会去数据库查找,返回相关的文件信息,那么你就会问,这些文件是哪来的?

  当然,搜索引擎远比这个复杂,爬虫抓取回来的信息,还需要存储,建立索引,这个推荐一本书《Luence》。

  在上古时代,Unix系统连界面都没有,程序员都还是用vi来写代码的,就是密密麻麻黑乎乎的命令行状态。到了今天,依然有部分极客只用命令行(terminal)来写代码,然后现在生活条件好了,大部分程序员都是用集成开发环境,这样子可以提高效率,省下不少脑力。

数据产品经理该懂的python技术

  简单介绍下pycharm,大概长这样子,左边是项目文件(1.py , 2.py), 主界面是文件代码编写窗口,底部是调试窗口。

数据产品经理该懂的python技术

  Scrapy:Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

  这里不得不说下,scrapy是分布式爬虫框架,如何理解?上次也有介绍分布式,分布式就是假如100只爬虫,今天的任务是爬取100本小说,那么如果一百台机器,机器上各有一只,每只爬不同的一部小说,那就是分布式。

  当然可以的,常见有八抓鱼、火车头之类。八爪鱼有一些优势,比如学习成本低,可视化流程,快速搭建采集系统;能直接导出excel文件和导出到数据库中;降低采集成本,云采集提供10个节点,也能省事不少。

  大仁:数据分析可以用python、r、第三方分析工具,都可以,但最主要还是结合业务,要有分析思路,这个就要求有业务经验了,我举个例子吧,我常看小说,就以天龙八部为例子吧。

  “天龙八部”是哪八部?“天龙八部”都是“非人”,包括八种神道怪物,因为以“天”及“龙”为首,所以称为“天龙八部”。

  八部者,一天,二龙,三夜叉,四乾达婆,五阿修罗,六迦楼罗,七紧那罗,八摩呼罗迦。

  看完介绍,还是不懂,没关系,今天主要讲的是,用数据分析天龙八部里高频词语、人物关系、(关系真的很复杂,电脑都跑的发烫,瑟瑟发抖)以及究竟在讲啥?

  看到下面的词云,为什么“自己”这个词,那么高频?估计和写作人称有关,上帝视角?(有点不解,求天龙粉解答)

数据产品经理该懂的python技术

  乍看之下,段誉词频(1551)最高,其实要结合“业务”,实则乔峰才是正主。要从乔峰的身世说起,开头中,乔峰是丐帮帮主,后身世揭破,契丹人也,改名萧峰。

数据产品经理该懂的python技术

数据产品经理该懂的python技术

  从词语中,我们可以看出,写作手法,乔峰(段誉)听/笑/呆/动词,所以人物+动词。

  其中虚竹和乔峰,为什么关系最亲密?因为虚竹的爸是杀死乔峰的爸的带头大哥,寻仇是小说的主线)段正淳恋爱史:

  从另一角度看,可以说是,大理镇南王,段正淳恋爱史,他和几位女人谈恋爱,并生下的都全都是女儿,女儿再一个个和段誉谈恋爱,搞得段誉很痛苦,最后发现自己不是亲生的故事。

数据产品经理该懂的python技术

  总结来说:故事是由“慕容博”和“段正淳”,两位大Boss挑起的,各负责一条主线:

  最核心的当然是分析经验/思路,但是基本的数据分析能力还是得有,最常见的就是Python或R,这里推荐下python吧,动手能力强的话可以做点其它的。

数据产品经理该懂的python技术

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、招聘、社群为一体,全方位服务产品人和运营人,成立8年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里分享知识、招聘人才,与你一起成长。