久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

Python反爬蟲(1) | Python爬蟲高級案例,,JS逆向,某手機(jī)反饋專區(qū)

 O聽_海_軒O 2022-01-24


文 | 酷頭

來源:印象python「ID: python_logic」

前言

前段時間看到有人js逆向了某手機(jī)的反饋專區(qū),,我也第一時間學(xué)習(xí)了一下,學(xué)完后一直想著憑借自己的能力,,看能不能單獨(dú)完成一次,,拿下js逆向真正第一血,所以就有了今天的受害者,,某藍(lán)廠手機(jī)圈子的逆向,。

網(wǎng)站分析

既然選定了目標(biāo),那就開始抓包,,分析網(wǎng)頁,。

圖片這是抓包后的情況,通過對多個包進(jìn)行比較發(fā)現(xiàn),,實際變化的參數(shù)只有l(wèi)astId,、nonce、timestamp,、pageNum,。具體分析了一下,lastId:前一頁最后一個發(fā)言用戶的tid,;pageNum:當(dāng)前頁碼,;timestamp:13位時間戳;nonce:不知道是什么,,但是看他長了一副加密的臉,。至此,目標(biāo)就很清晰了,,重點(diǎn)針對nonce,。

js逆向分析

圖片通過全局搜過,斷點(diǎn)定位,,最終將目標(biāo)鎖定在這一行代碼上,。

  e.params.nonce = Object(u["md5"])(t + "" + parseInt(1e7 * Math.random(), 10) + 132)

通過觀察發(fā)現(xiàn),這一行代碼的最終輸出結(jié)果正是我們今天的目標(biāo),。圖片分析一下代碼:

“t”:13位的時間戳

“+ "" +”:為將時間戳轉(zhuǎn)為字符串

“1e7” :10000000,,固定值

“Math.random()”:隨機(jī)數(shù)

“parseInt”:取整

“t + "" +parseInt(1e7 * Math.random(), 10)+ 1”,,這里的意思就很明顯了,時間戳+取整的隨機(jī)數(shù)+1,,最終的結(jié)果是一個21位數(shù),。

繼續(xù)分析Object(u["md5"])和32發(fā)現(xiàn),這里是調(diào)用了u的[md5]方法,,將前面的21位字符串和32作為參數(shù),,傳給了MD5,網(wǎng)頁源代碼如下:

   e.md5 = function(e, t{
                function n(e, t{
                    return e << t | e >>> 32 - t
                }
                function i(e, t{
                    var n, i, a, r, o;
                    return a = 2147483648 & e,
                    r = 2147483648 & t,
                    n = 1073741824 & e,
                    i = 1073741824 & t,
                    o = (1073741823 & e) + (1073741823 & t),
                    n & i ? 2147483648 ^ o ^ a ^ r : n | i ? 1073741824 & o ? 3221225472 ^ o ^ a ^ r : 1073741824 ^ o ^ a ^ r : o ^ a ^ r
                }
    …………//此處省略

目前為止,,思路已經(jīng)很清晰了,,這里我們可以通過Python實現(xiàn)MD5加密,也可以摳源代碼改寫,。為了保證百分百不出錯,,這里我選擇了摳代碼。

js代碼改寫

首先是源代碼:

  e.md5 = function(e, t{
                function n(e, t{
                    return e << t | e >>> 32 - t
                }
                function i(e, t{
                    var n, i, a, r, o;
                    return a = 2147483648 & e,
                    r = 2147483648 & t,
                    n = 1073741824 & e,
                    i = 1073741824 & t,
                    o = (1073741823 & e) + (1073741823 & t),
                    n & i ? 2147483648 ^ o ^ a ^ r : n | i ? 1073741824 & o ? 3221225472 ^ o ^ a ^ r : 1073741824 ^ o ^ a ^ r : o ^ a ^ r
                }
                function a(e, t, a, r, o, s, l{
                    return e = i(e, i(i(function(e, t, n{
                        return e & t | ~e & n
                    }(t, a, r), o), l)),
                    i(n(e, s), t)
                }
                function r(e, t, a, r, o, s, l{
                    return e = i(e, i(i(function(e, t, n{
                        return e & n | t & ~n
                    }(t, a, r), o), l)),
                    i(n(e, s), t)
                }
                function o(e, t, a, r, o, s, l{
                    return e = i(e, i(i(function(e, t, n{
                        return e ^ t ^ n
                    }(t, a, r), o), l)),
                    i(n(e, s), t)
                }
                function s(e, t, a, r, o, s, l{
                    return e = i(e, i(i(function(e, t, n{
                        return t ^ (e | ~n)
                    }(t, a, r), o), l)),
                    i(n(e, s), t)
                }
                function l(e{
                    var t, n = "", i = "";
                    for (t = 0; t <= 3; t++)
                        n += (i = "0" + (e >>> 8 * t & 255).toString(16)).substr(i.length - 22);
                    return n
                }
                var c, u, p, m, d, h, f, v, y, g = e, b = Array();
                for (b = function(e{
                    for (var t, n = e.length, i = n + 8, a = 16 * ((i - i % 64) / 64 + 1), r = Array(a - 1), o = 0, s = 0; s < n; )
                        o = s % 4 * 8,
                        r[t = (s - s % 4) / 4] = r[t] | e.charCodeAt(s) << o,
                        s++;
                    return t = (s - s % 4) / 4,
                    o = s % 4 * 8,
                    r[t] = r[t] | 128 << o,
                    r[a - 2] = n << 3,
                    r[a - 1] = n >>> 29,
                    r
                }(g),
                h = 1732584193,
                f = 4023233417,
                v = 2562383102,
                y = 271733878,
                c = 0; c < b.length; c += 16)
                    u = h,
                    p = f,
                    m = v,
                    d = y,
                    f = s(f = s(f = s(f = s(f = o(f = o(f = o(f = o(f = r(f = r(f = r(f = r(f = a(f = a(f = a(f = a(f, v = a(v, y = a(y, h = a(h, f, v, y, b[c + 0], 73614090360), f, v, b[c + 1], 123905402710), h, f, b[c + 2], 17606105819), y, h, b[c + 3], 223250441966), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 4], 74118548399), f, v, b[c + 5], 121200080426), h, f, b[c + 6], 172821735955), y, h, b[c + 7], 224249261313), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 8], 71770035416), f, v, b[c + 9], 122336552879), h, f, b[c + 10], 174294925233), y, h, b[c + 11], 222304563134), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 12], 71804603682), f, v, b[c + 13], 124254626195), h, f, b[c + 14], 172792965006), y, h, b[c + 15], 221236535329), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 1], 54129170786), f, v, b[c + 6], 93225465664), h, f, b[c + 11], 14643717713), y, h, b[c + 0], 203921069994), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 5], 53593408605), f, v, b[c + 10], 938016083), h, f, b[c + 15], 143634488961), y, h, b[c + 4], 203889429448), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 9], 5568446438), f, v, b[c + 14], 93275163606), h, f, b[c + 3], 144107603335), y, h, b[c + 8], 201163531501), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 13], 52850285829), f, v, b[c + 2], 94243563512), h, f, b[c + 7], 141735328473), y, h, b[c + 12], 202368359562), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 5], 44294588738), f, v, b[c + 8], 112272392833), h, f, b[c + 11], 161839030562), y, h, b[c + 14], 234259657740), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 1], 42763975236), f, v, b[c + 4], 111272893353), h, f, b[c + 7], 164139469664), y, h, b[c + 10], 233200236656), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 13], 4681279174), f, v, b[c + 0], 113936430074), h, f, b[c + 3], 163572445317), y, h, b[c + 6], 2376029189), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 9], 43654602809), f, v, b[c + 12], 113873151461), h, f, b[c + 15], 16530742520), y, h, b[c + 2], 233299628645), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 0], 64096336452), f, v, b[c + 7], 101126891415), h, f, b[c + 14], 152878612391), y, h, b[c + 5], 214237533241), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 12], 61700485571), f, v, b[c + 3], 102399980690), h, f, b[c + 10], 154293915773), y, h, b[c + 1], 212240044497), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 8], 61873313359), f, v, b[c + 15], 104264355552), h, f, b[c + 6], 152734768916), y, h, b[c + 13], 211309151649), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 4], 64149444226), f, v, b[c + 11], 103174756917), h, f, b[c + 2], 15718787259), y, h, b[c + 9], 213951481745),
                    h = i(h, u),
                    f = i(f, p),
                    v = i(v, m),
                    y = i(y, d);
                return 32 == t ? l(h) + l(f) + l(v) + l(y) : l(f) + l(v)
            }

其次是改寫后的代碼,,這里遵循的是改的越少越好的原則:

   function MD5 (e, t{
     function n(e, t{
         return e << t | e >>> 32 - t
     }

     function i(e, t{
         var n, i, a, r, o;
         return a = 2147483648 & e,
         r = 2147483648 & t,
         n = 1073741824 & e,
         i = 1073741824 & t,
         o = (1073741823 & e) + (1073741823 & t),
         n & i ? 2147483648 ^ o ^ a ^ r : n | i ? 1073741824 & o ? 3221225472 ^ o ^ a ^ r : 1073741824 ^ o ^ a ^ r : o ^ a ^ r
     }

     function a(e, t, a, r, o, s, l{
         return e = i(e, i(i(function(e, t, n{
             return e & t | ~e & n
         }(t, a, r), o), l)),
         i(n(e, s), t)
     }

     function r(e, t, a, r, o, s, l{
         return e = i(e, i(i(function(e, t, n{
             return e & n | t & ~n
         }(t, a, r), o), l)),
         i(n(e, s), t)
     }

     function o(e, t, a, r, o, s, l{
         return e = i(e, i(i(function(e, t, n{
             return e ^ t ^ n
         }(t, a, r), o), l)),
         i(n(e, s), t)
     }

     function s(e, t, a, r, o, s, l{
         return e = i(e, i(i(function(e, t, n{
             return t ^ (e | ~n)
         }(t, a, r), o), l)),
         i(n(e, s), t)
     }

     function l(e{
         var t, n = "",
             i = "";
         for (t = 0; t <= 3; t++)
         n += (i = "0" + (e >>> 8 * t & 255).toString(16)).substr(i.length - 22);
         return n
     }
     var c, u, p, m, d, h, f, v, y, g = e,
         b = Array();
     for (b = function(e{
         for (var t, n = e.length, i = n + 8, a = 16 * ((i - i % 64) / 64 + 1), r = Array(a - 1), o = 0, s = 0; s < n;)
         o = s % 4 * 8,
         r[t = (s - s % 4) / 4] = r[t] | e.charCodeAt(s) << o,
         s++;
         return t = (s - s % 4) / 4,
         o = s % 4 * 8,
         r[t] = r[t] | 128 << o,
         r[a - 2] = n << 3,
         r[a - 1] = n >>> 29,
         r
     }(g),
     h = 1732584193,
     f = 4023233417,
     v = 2562383102,
     y = 271733878,
     c = 0; c < b.length; c += 16)
     u = h,
     p = f,
     m = v,
     d = y,
     f = s(f = s(f = s(f = s(f = o(f = o(f = o(f = o(f = r(f = r(f = r(f = r(f = a(f = a(f = a(f = a(f, v = a(v, y = a(y, h = a(h, f, v, y, b[c + 0], 73614090360), f, v, b[c + 1], 123905402710), h, f, b[c + 2], 17606105819), y, h, b[c + 3], 223250441966), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 4], 74118548399), f, v, b[c + 5], 121200080426), h, f, b[c + 6], 172821735955), y, h, b[c + 7], 224249261313), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 8], 71770035416), f, v, b[c + 9], 122336552879), h, f, b[c + 10], 174294925233), y, h, b[c + 11], 222304563134), v = a(v, y = a(y, h = a(h, f, v, y, b[c + 12], 71804603682), f, v, b[c + 13], 124254626195), h, f, b[c + 14], 172792965006), y, h, b[c + 15], 221236535329), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 1], 54129170786), f, v, b[c + 6], 93225465664), h, f, b[c + 11], 14643717713), y, h, b[c + 0], 203921069994), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 5], 53593408605), f, v, b[c + 10], 938016083), h, f, b[c + 15], 143634488961), y, h, b[c + 4], 203889429448), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 9], 5568446438), f, v, b[c + 14], 93275163606), h, f, b[c + 3], 144107603335), y, h, b[c + 8], 201163531501), v = r(v, y = r(y, h = r(h, f, v, y, b[c + 13], 52850285829), f, v, b[c + 2], 94243563512), h, f, b[c + 7], 141735328473), y, h, b[c + 12], 202368359562), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 5], 44294588738), f, v, b[c + 8], 112272392833), h, f, b[c + 11], 161839030562), y, h, b[c + 14], 234259657740), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 1], 42763975236), f, v, b[c + 4], 111272893353), h, f, b[c + 7], 164139469664), y, h, b[c + 10], 233200236656), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 13], 4681279174), f, v, b[c + 0], 113936430074), h, f, b[c + 3], 163572445317), y, h, b[c + 6], 2376029189), v = o(v, y = o(y, h = o(h, f, v, y, b[c + 9], 43654602809), f, v, b[c + 12], 113873151461), h, f, b[c + 15], 16530742520), y, h, b[c + 2], 233299628645), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 0], 64096336452), f, v, b[c + 7], 101126891415), h, f, b[c + 14], 152878612391), y, h, b[c + 5], 214237533241), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 12], 61700485571), f, v, b[c + 3], 102399980690), h, f, b[c + 10], 154293915773), y, h, b[c + 1], 212240044497), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 8], 61873313359), f, v, b[c + 15], 104264355552), h, f, b[c + 6], 152734768916), y, h, b[c + 13], 211309151649), v = s(v, y = s(y, h = s(h, f, v, y, b[c + 4], 64149444226), f, v, b[c + 11], 103174756917), h, f, b[c + 2], 15718787259), y, h, b[c + 9], 213951481745),
     h = i(h, u),
     f = i(f, p),
     v = i(v, m),
     y = i(y, d);
     return 32 == t ? l(h) + l(f) + l(v) + l(y) : l(f) + l(v)
 }

經(jīng)過測試,,代碼能完美實現(xiàn)我想要的功能,

圖片然后將代碼保存為.js文件,。

Python代碼編寫

  • 常規(guī)操作
import requests
import random
import execjs
import json
import pandas as pd
import time

url = 'https://bbs.vivo.com.cn/api/community/forum/threads'
headers = {
    'accept''application/json, text/plain, */*',
    'content-type''application/json;charset=UTF-8',
    'user-agent''Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4621.0 Safari/537.36',
    'sec-ch-ua''"Chromium";v="21", " Not;A Brand";v="99"',
    'sec-ch-ua-mobile''?0',
    'sec-ch-ua-platform''"Windows"',
    'origin''https://bbs.vivo.com.cn',
    'referer''https://bbs.vivo.com.cn/newbbs/forum/9',
    'cookie''cookieId=e1c6727a-9b29-1c13-a417-1b74440b9d521639290997482; KL9d_2132_saltkey=pU2Rr4AV; KL9d_2132_lastvisit=1639287439; Hm_lvt_9ef7debb81babe8b94af7f2c274869fd=1639291140,1639713347; Hm_lvt_a7471116b9007c038d41873ab9121a9e=1639291040,1639713440; sessionId=b6c66b37-b88e-f74d-fa6b-b7e526d5e5f7'
}

這里雖然導(dǎo)入了好多包,,但其實都是根據(jù)使用需要一個個導(dǎo)入的。

  • Python生成js需要的參數(shù)
def get_timestamp():
    timestamp = int(time.time() * 1000)  # 獲取13位時間戳
    return timestamp


def get_str_():
    num = int(float(str(random.random() * 10000000)[:10]))  # 獲取隨機(jī)數(shù)
    str_ = str(get_timestamp()) + str(num) + '1'  # 獲取21位隨機(jī)數(shù)
    return str_

這里分別生成時間戳和21位拼接字符串

  • 導(dǎo)入js文件,,獲取最重要的參數(shù)nonce
def get_cxt():
    with open("1.js"as file:  # 打開js文件
        cxt = execjs.compile(file.read())  # 導(dǎo)入js文件
        return cxt


def get_nonce():
    nonce = get_cxt().call('md5', get_str_(), '32')  # 調(diào)用js文件md5函數(shù)加密,,獲取nonce
    return nonce
  • 獲取data 萬事具備,下一步生成data,,這里我選擇了第一頁作為測試,。
def get_data():  # 獲取第一頁data
    data = {
        'forumId'"9",
        'imgSpecs': ["t577x324""t577x4096"],
        'lastId'"",
        'nonce': get_nonce(),
        'order''1',
        'pageNum''1',
        'pageSize''10',
        'timestamp': get_timestamp(),
        'topicId'""
    }
    return data
  • 發(fā)起請求,拿到數(shù)據(jù)
def main():
    res = requests.post(url, headers=headers, data=json.dumps(get_data())).text  # 請求第一頁數(shù)據(jù)
    datss = json.loads(res)['data']['list']
    data_list = []
    for data in datss:
        bbsname = data['author']['bbsName']
        name = data['forum']['name']
        summary = data['summary']
        tid = data['tid']
        data_list.append({
            'bbsname': bbsname,
            'name': name,
            'summary': summary,
            'tid': tid
        })
    return data_list


if __name__ == '__main__':
    df = pd.DataFrame(main())
    # df.index = df.index + 1
    print(df)
    df.to_excel('手機(jī)圈子0.xlsx')

全部代碼展示

import requests
import random
import execjs
import json
import pandas as pd
import time

url = 'https://bbs.vivo.com.cn/api/community/forum/threads'
headers = {
    'accept''application/json, text/plain, */*',
    'content-type''application/json;charset=UTF-8',
    'user-agent''Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4621.0 Safari/537.36',
    'sec-ch-ua''"Chromium";v="21", " Not;A Brand";v="99"',
    'sec-ch-ua-mobile''?0',
    'sec-ch-ua-platform''"Windows"',
    'origin''https://bbs.vivo.com.cn',
    'referer''https://bbs.vivo.com.cn/newbbs/forum/9',
    'cookie''cookieId=e1c6727a-9b29-1c13-a417-1b74440b9d521639290997482; KL9d_2132_saltkey=pU2Rr4AV; KL9d_2132_lastvisit=1639287439; Hm_lvt_9ef7debb81babe8b94af7f2c274869fd=1639291140,1639713347; Hm_lvt_a7471116b9007c038d41873ab9121a9e=1639291040,1639713440; sessionId=b6c66b37-b88e-f74d-fa6b-b7e526d5e5f7'
}


def get_timestamp():
    timestamp = int(time.time() * 1000)  # 獲取13位時間戳
    return timestamp


def get_str_():
    num = int(float(str(random.random() * 10000000)[:10]))  # 獲取隨機(jī)數(shù)
    str_ = str(get_timestamp()) + str(num) + '1'  # 獲取21位隨機(jī)數(shù)
    return str_


def get_cxt():
    with open("1.js"as file:  # 打開js文件
        cxt = execjs.compile(file.read())  # 導(dǎo)入js文件
        return cxt


def get_nonce():
    nonce = get_cxt().call('md5', get_str_(), '32')  # 調(diào)用js文件md5函數(shù)加密,,獲取nonce
    return nonce


def get_data():  # 獲取第一頁data
    data = {
        'forumId'"9",
        'imgSpecs': ["t577x324""t577x4096"],
        'lastId'"",
        'nonce': get_nonce(),
        'order''1',
        'pageNum''1',
        'pageSize''10',
        'timestamp': get_timestamp(),
        'topicId'""
    }
    return data


def main():
    res = requests.post(url, headers=headers, data=json.dumps(get_data())).text  # 請求第一頁數(shù)據(jù)
    datss = json.loads(res)['data']['list']
    data_list = []
    for data in datss:
        bbsname = data['author']['bbsName']
        name = data['forum']['name']
        summary = data['summary']
        tid = data['tid']
        data_list.append({
            'bbsname': bbsname,
            'name': name,
            'summary': summary,
            'tid': tid
        })
    return data_list


if __name__ == '__main__':
    df = pd.DataFrame(main())
    # df.index = df.index + 1
    print(df)
    df.to_excel('手機(jī)圈子0.xlsx')

成果展示

圖片

寫在最后

  • 1 這是我自己真正意義上第一次單獨(dú)完成的js逆向,,過程也很曲折,至此成功,,發(fā)個文章,,紀(jì)念一下,心里不由得WK一聲,。
  • 2 特別感謝饅頭哥的幫助,,所有代碼完成后,只要請求就報“客戶端參數(shù)錯誤”,,被這個問題困擾了很久,后來還是饅頭哥發(fā)現(xiàn),,data的格式不對,,需要用json.dumps()將數(shù)據(jù)編碼,,在這里再一次感謝。
  • 3 至此雖然js逆向的工作已經(jīng)結(jié)束了,,但是這個網(wǎng)站的data里面還有一個lastid,,要獲取前一頁最后一位用戶的tid,但也不是什么難事,,后續(xù)有時間再寫個循環(huán),。


    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請點(diǎn)擊一鍵舉報,。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多