前几天,Tony老师帮朋友写了一个爬虫工具,抓取网页上的股票信息,后来有人问我,有其它更方便的方法吗?
还真有!不用编程,鼠标点几下,就把网页的信息抓取到表格里面去,然后还能直接分析数据,而且软件也免费。。。
这么牛逼的软件是什么呢?那就是Power BI。
接下来,Tony老师会开一系列课程,教大家学习Power BI,如果你有兴趣学Power BI,欢迎加入QQ群,共同探讨:282308215
我们以一个实际案例来学习如何抓取网页数据:
统计过去一个月上海的天气情况。
在Google上搜索上海天气,第三个链接应该是这个:
http://tianqi.2345.com/wea_history/58362.htm
打开Power BI,在数据源的地方选择Web,并输入网址。
选择Table 0,点Load,我们看到天气的数据已经被我们抓取到表格里面了。
我们看到最高气温和最低气温是字符串28℃,这样没办法做数据对比,我们要把28和℃分开。
这就要用到一个Power Query的工具。
顺便提一下,使用Power BI的顺序(一定记住了):
Power Query -> Power Pivot -> Power View
在菜单栏点Edit Queries
选中要分列的字段点右键,选中【拆分列】-【按照从数字到非数字转换】
然后把数字字段转换为浮点数据类型,同样通过点右键【更改类型】-【小数】
我们可以点【高级编辑】,看一下M语言
Power BI里面有两种语言,一个是M语言,是在Power Query里整理数据源的时候的语言,另外一种是DAX语言,类似于Excel公式的一种语言。
点击左上角的【关闭并应用】,关闭Power Query。
在View界面的可视化点【折线】并设置如下参数:
点【堆积条形图】,并设置如下参数:
瞬间可以做出下面的图表:
是不是很神奇,Tony老师试了几个能够展现出Table样式的网页,基本上都能抓取成功,包括股票,天气,成绩。。。。。。
如果你想学Power BI,欢迎关注Tony老师。或者加入QQ群,共同学习:282308215
今天先讲到这里,谢谢。