|
副标题[/!--empirenews.page--]
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》
获取数据
其实逻辑并不复杂：
- 爬取歌单列表里的所有歌单url。
- 进入每篇歌单爬取所有歌曲url，去重。
- 进入每首歌曲首页爬取热评，汇总。
歌单列表是这样的：
翻页并观察它的url变化，注意下方动图，每次翻页末尾变化35。
采用requests+pyquery来爬取
- def get_list():
- list1 = []
- for i in range(0,1295,35):
- url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)
- print('已成功采集%i页歌单n' %(i/35+1))
- data = []
- html = restaurant(url)
- doc = pq(html)
- for i in range(1,36): # 一页35个歌单
- a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')
- a1 = 'https://music.163.com/api' + a.replace('?','/detail?')
- data.append(a1)
- list1.extend(data)
- time.sleep(5+random.random())
- return list1
这样我们就可以获得38页每页35篇歌单，共1300+篇歌单。
下面我们需要进入每篇歌单爬取所有歌曲url，并且要注意最后“去重”，不同歌单可能包含同一首歌曲。
点开一篇歌单，注意红色圈出的id。
观察一下，我们要在每篇歌单下方获取的信息也就是红框圈出的这些，利用刚刚爬取到的歌单id和网易云音乐的api可以构造出：
不方便看的话我们解析一下json。
- def get_playlist(url):
- data = []
- doc = get_json(url)
- obj=json.loads(doc)
- jobs=obj['result']['tracks']
- for job in jobs:
- dic = {}
- dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称
- dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID
- data.append(dic)
- return data
这样我们就获取了所有歌单下的歌曲，记得去重。
- #去重
- data = data.drop_duplicates(subset=None, keep='first', inplace=True)
剩下就是获取每首歌曲的热评了，与前面获取歌曲类似，也是根据api构造，很容易就找到了。
- def get_comments(url,k):
- data = []
- doc = get_json(url)
- obj=json.loads(doc)
- jobs=obj['hotComments']
- for job in jobs:
- dic = {}
- dic['content']=jsonpath.jsonpath(job,'$..content')[0]
- dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])
- dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID
- dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名
- dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]
- dic['name']= k
- data.append(dic)
- return data
汇总后就获得了44万条音乐热评数据。
数据分析
（编辑：青岛站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
