[[399227]]

本文轉(zhuǎn)載自微信公眾號「菜J學Python」，作者游世九黎。轉(zhuǎn)載本文請聯(lián)系菜J學Python公眾號。

今天的小demo我們使用的是selenium和xpath.函數(shù)式編程采集數(shù)據(jù).采集到的數(shù)據(jù)如圖所示。

01需求數(shù)據(jù)

網(wǎng)易云音樂新歌榜數(shù)據(jù)100首歌曲。

02頁面分析

首先這個頁面通過reuqests方法是無法獲取頁面數(shù)據(jù)的,所以我們這里使用selenium,xpath方法解析數(shù)據(jù)。

這個table標簽裝了100首歌曲數(shù)據(jù),但是這個頁面是嵌在iframe標簽中的,所以需要定位iframe標簽,獲取到里面的的內(nèi)容。

url = "https://music.163.com/#/discover/toplist?id=3779629" # 新歌榜 
 
driver = webdriver.Chrome() 
 
driver.get(url) 
 
time.sleep(3) 
 
_iframe = driver.find_element_by_id('g_iframe') # 找到iframe標簽 
 
driver.switch_to.frame(_iframe) 
 
time.sleep(1) 
 
page_text = driver.execute_script("return document.documentElement.outerHTML") 

03解析數(shù)據(jù)

得到了iframe中的元素page_text,我們使用xpath。

html = etree.HTML(page_text) 
 
trs = html.xpath('//tr') 
id_list = [] 
song_name_list = [] 
singer_list = [] 
 
for tr in trs[1:]: 
    id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] #  
    id_list.append(id) 
    song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0] 
    song_name_list.append(song_name) 
    print(id,"----",song_name) 

04保存數(shù)據(jù)

base_url = 'http://music.163.com/song/media/outer/url?id={}.mp3' 
try: 
    for index,id in enumerate(id_list): 
        if index == 25: # 因為這個26首歌曲名非正常字符,要排除,否則報錯 
            continue 
        file_name = song_name_list[index] 
        resp = requests.get(base_url.format(id)) 
        with open(r'HotMusic/'+ file_name + '.mp3','wb') as f: 
            f.write(resp.content) 
            print('歌曲:%s下載成功' % file_name) 
except Exception as error: 
    print(error) 

05運行程序