【原】你們公司今年會(huì)發(fā)年終獎(jiǎng)嗎,？

AirPython 2021-10-28

展開(kāi)全文

第一時(shí)間獲取 Python 技術(shù)干貨！

閱讀文本大概需要 5 分鐘,。

目標(biāo)

場(chǎng)景：又到一年年底,，大家辛辛苦苦給公司干了一整年,，相信大家比較關(guān)心的是今年公司「年終獎(jiǎng) 」獎(jiǎng)勵(lì)方案。

和往年不一樣,，今年經(jīng)歷了資本HD,、裁Y潮，很多公司發(fā)的年終獎(jiǎng)比例少了很多或者干脆選擇不發(fā),。

今天是要抓取知識(shí)星球的一篇關(guān)于「年終獎(jiǎng) 」帖子,，獲取到所有球友的留言信息，然后使用「 jieba 」拆分成詞語(yǔ),，最后使用「 wordcloud 」生成詞云,。

準(zhǔn)備工作

首先，在 PC 上配置好「 mitmproxy 」環(huán)境,，手機(jī)上配置好證書(shū)，PC 和手機(jī)保證在同一個(gè)局域網(wǎng)內(nèi),。

另外,，需要保證已經(jīng)在虛擬環(huán)境下安裝必要的庫(kù)。

# 分詞庫(kù)
pip3 install jieba

# 詞云
pip3 install jieba

然后,，新建一個(gè)腳本文件「 nzj.py 」來(lái)攔截 APP 段的請(qǐng)求,，對(duì)獲取到的響應(yīng)做其他處理。使用 mitmproxy下的「 mitmdump 」組件啟動(dòng)監(jiān)聽(tīng)程序,。

$ mitmdump -s nzj.py
Loading script nzj.py
Proxy server listening at http://*:8080

爬取思路

我們首先打開(kāi)知識(shí)星球的這篇帖子,。

重寫(xiě)「 response(flow) 」方法，解析內(nèi)容獲取到評(píng)論內(nèi)容,，寫(xiě)入到文本中,。

def response(flow):
    request = flow.request
    response = flow.response

    # 請(qǐng)求的地址
    request_url = request.url
    # 篩選
    if 'comments' in request_url and 'zsxq' in request_url:
        # 返回的內(nèi)容
        response_content = response.content.decode('utf-8')
        comments = json.loads(response_content)['resp_data']['comments']

        # 最后一頁(yè)
        if len(comments) == 0:
            print('一共有%d個(gè)球友發(fā)表了自己的看法' % comment_count)
        else:
            comment_count += len(comments)
            for comment in comments:
                comment_content = comment['text']
                with open(filename, 'a') as f:
                    f.write(comment_content + '\n')

滾動(dòng)屏幕，直達(dá)加載完所有所有球友的評(píng)論數(shù)據(jù),，并保存到文件中,。可以看到一共有「 228 」個(gè)球友針對(duì)今年公司年終獎(jiǎng)發(fā)表了自己的看法,。

然后使用 wordcloud 讀取文本內(nèi)容,，生成詞云圖片并保存到本地，頭圖就是最后獲取到的結(jié)果,。

代碼非常簡(jiǎn)單,，就直接上代碼了。

def generate_word_cloud():
    """
    生成詞云
    :return:
    """
    with open(filename, 'r') as f:
        word_content = f.read()

        # 使用jieba去分割
        wordlist = jieba.cut(word_content, cut_all=True)

        wl_space_split = " ".join(wordlist)

        font = r'/Users/xingag/Library/Fonts/SimHei.ttf'

        wordcloud = WordCloud(font_path=font, width=1080, height=1920, margin=2).generate(wl_space_split)

        # 顯示圖片
        plt.imshow(wordcloud)
        plt.axis("off")

        # 按照設(shè)置保存到本地文件夾
        wordcloud.to_file("./output.png")