前言國內(nèi)大學(xué)最新排名,,北大反超,,浙大僅第四,,中科大跌至第八 時(shí)隔五年,,“雙一流”大學(xué)即將迎來首次大考,,這也是繼改變高校評斷標(biāo)準(zhǔn)之后,,第一次即將以官方對外發(fā)布,,自然是引來了許多人的關(guān)注。最近,,有許多不同機(jī)構(gòu)發(fā)布的國內(nèi)高校排名,,但彼此之間的差異很大,網(wǎng)友之間的爭議也很大,。
項(xiàng)目目標(biāo)爬取高三網(wǎng)大學(xué)排名,,并保存 目標(biāo)網(wǎng)址 http://m.gaosan.com/gaokao/265440.html 基本環(huán)境配置
爬蟲代碼導(dǎo)入工具
請求網(wǎng)頁數(shù)據(jù) ? url = 'http://m.gaosan.com/gaokao/265440.html'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)response.encoding = response.apparent_encoding 爬取數(shù)據(jù)
? 保存數(shù)據(jù) f = open('排名.csv', mode='a', encoding='utf-8', newline='')csv_writer = csv.DictWriter(f, fieldnames=['名次', '學(xué)校名稱', '綜合得分', '星級排名', '辦學(xué)層次'])f.close() 運(yùn)行代碼,,效果如下圖? ? ? |
|