開源的網易雲音樂API項目都是怎麼實現的?

語言: CN / TW / HK

上一篇文章這個高顏值的開源第三方網易雲音樂播放器你值得擁有介紹了一個開源的第三方網易雲音樂播放器,這篇文章我們來詳細瞭解一下其中使用到的網易雲音樂api項目NeteaseCloudMusicApi的實現原理。

NeteaseCloudMusicApi使用Node.js開發,主要用到的框架和庫有兩個,一個Web應用開發框架Express,一個請求庫Axios,這兩個大家應該都很熟了就不過多介紹了。

創建express應用

項目的入口文件為/app.js

js async function start() { require('./server').serveNcmApi({ checkVersion: true, }) } start()

調用了/server.js文件的serveNcmApi方法,讓我們轉到這個文件,serveNcmApi方法簡化後如下:

``js async function serveNcmApi(options) { const port = Number(options.port || process.env.PORT || '3000') const host = options.host || process.env.HOST || '' const app = await consturctServer(options.moduleDefs) const appExt = app appExt.server = app.listen(port, host, () => { console.log(server running @ http://${host ? host : 'localhost'}:${port}`) })

return appExt

} ```

主要是啟動監聽指定端口,所以創建應用的主要邏輯在consturctServer方法:

```js async function consturctServer(moduleDefs) { // 創建一個應用 const app = express()

// 設置為true,則客户端的IP地址被理解為X-Forwarded-*報頭中最左邊的條目
app.set('trust proxy', true)

/**
  • 配置CORS & 預檢請求 / app.use((req, res, next) => { if (req.path !== '/' && !req.path.includes('.')) { res.set({ 'Access-Control-Allow-Credentials': true, // 跨域情況下,允許客户端攜帶驗證信息,比如cookie,同時,前端發送請求時也需要設置withCredentials: true 'Access-Control-Allow-Origin': req.headers.origin || '', // 允許跨域請求的域名,設置為*代表允許所有域名 'Access-Control-Allow-Headers': 'X-Requested-With,Content-Type', // 用於給預檢請求(options)列出服務端允許的自定義標頭,如果前端發送的請求中包含自定義的請求標頭,且該標頭不包含在Access-Control-Allow-Headers中,那麼該請求無法成功發起 'Access-Control-Allow-Methods': 'PUT,POST,GET,DELETE,OPTIONS', // 設置跨域請求允許的請求方法理想 'Content-Type': 'application/json; charset=utf-8', // 設置響應數據的類型及編碼 }) } // OPTIONS為預檢請求,複雜請求會在發送真正的請求前先發送一個預檢請求,獲取服務器支持的Access-Control-Allow-xxx相關信息,判斷後續是否有必要再發送真正的請求,返回狀態碼204代表請求成功,但是沒有內容 req.method === 'OPTIONS' ? res.status(204).end() : next() }) // ... } ```

首先創建了一個Express應用,然後設置為信任代理,在Express裏獲取ip一般是通過req.ipreq.ipstrust proxy默認值為false,這種情況下req.ips值是空的,當設置為true時,req.ip的值會從請求頭X-Forwarded-For上取最左側的一個值,req.ips則會包含X-Forwarded-For頭部的所有ip地址。

X-Forwarded-For頭部的格式如下:

X-Forwarded-For: client1, proxy1, proxy2

值通過一個 逗號+空格 把多個ip地址區分開,最左邊的client1是最原始客户端的ip地址,代理服務器每成功收到一個請求,就把請求來源ip地址添加到右邊。

以上面為例,這個請求通過了兩台代理服務器:proxy1proxy2。請求由client1發出,此時XFF是空的,到了proxy1時,proxy1client1添加到XFF中,之後請求發往proxy2,通過proxy2的時候,proxy1被添加到XFF中,之後請求發往最終服務器,到達後proxy2被添加到XFF中。

但是偽造這個字段非常容易,所以當代理不可信時,這個字段也不一定可靠,不過正常情況下XFF中最後一個ip地址肯定是最後一個代理服務器的ip地址,這個會比較可靠。

隨後設置了跨域響應頭,這裏的設置就是允許不同域名的網站也能請求成功的關鍵所在。

繼續:

```js async function consturctServer(moduleDefs) { // ... / * 解析Cookie / app.use((req, _, next) => { req.cookies = {} //;(req.headers.cookie || '').split(/\s;\s*/).forEach((pair) => { // Polynomial regular expression // // 從請求頭中讀取cookie,cookie格式為:name=value;name2=value2...,所以先根據;切割為數組 ;(req.headers.cookie || '').split(/;\s+|(?<!\s)\s+$/g).forEach((pair) => { let crack = pair.indexOf('=') // 沒有值的直接跳過 if (crack < 1 || crack == pair.length - 1) return // 將cookie保存到cookies對象上 req.cookies[decode(pair.slice(0, crack)).trim()] = decode( pair.slice(crack + 1), ).trim() }) next() })

/**
  • 請求體解析和文件上傳處理 */ app.use(express.json()) app.use(express.urlencoded({ extended: false })) app.use(fileUpload())

    /* * 將public目錄下的文件作為靜態文件提供 / app.use(express.static(path.join(__dirname, 'public')))

    /* * 緩存請求,兩分鐘內同樣的請求會從緩存裏讀取數據,不會向網易雲音樂服務器發送請求 / app.use(cache('2 minutes', (_, res) => res.statusCode === 200)) // ... } ```

接下來註冊了一些中間件,用來解析cookie、處理請求體等,另外還做了接口緩存,防止太頻繁請求網易雲音樂服務器導致被封掉。

繼續:

```js async function consturctServer(moduleDefs) { // ... /* * 特殊路由 / const special = { 'daily_signin.js': '/daily_signin', 'fm_trash.js': '/fm_trash', 'personal_fm.js': '/personal_fm', }

/**
  • 加載/module目錄下的所有模塊,每個模塊對應一個接口 */ const moduleDefinitions = moduleDefs || (await getModulesDefinitions(path.join(__dirname, 'module'), special)) // ... } ```

接下來加載了/module目錄下所有的模塊:

每個模塊代表一個對網易雲音樂接口的請求,比如獲取專輯詳情的album_detail.js

模塊加載方法getModulesDefinitions如下:

``js async function getModulesDefinitions( modulesPath, specificRoute, doRequire = true, ) { const files = await fs.promises.readdir(modulesPath) const parseRoute = (fileName) => specificRoute && fileName in specificRoute ? specificRoute[fileName] :/${fileName.replace(/.js$/i, '').replace(/_/g, '/')}` // 遍歷目錄下的所有文件 const modules = files .reverse() .filter((file) => file.endsWith('.js'))// 過濾出js文件 .map((file) => { const identifier = file.split('.').shift()// 模塊標識 const route = parseRoute(file)// 模塊對應的路由 const modulePath = path.join(modulesPath, file)// 模塊路徑 const module = doRequire ? require(modulePath) : modulePath// 加載模塊

  return { identifier, route, module }
})

return modules } ```

以剛才的album_detail.js模塊為例,返回的數據如下:

js { identifier: 'album_detail', route: '/album/detail', module: () => {/*模塊內容*/} }

接下來就是註冊路由:

```js async function consturctServer(moduleDefs) { // ... for (const moduleDef of moduleDefinitions) { // 註冊路由 app.use(moduleDef.route, async (req, res) => { // cookie也可以從查詢參數、請求體上傳來 ;[req.query, req.body].forEach((item) => { if (typeof item.cookie === 'string') { // 將cookie字符串轉換成json類型 item.cookie = cookieToJson(decode(item.cookie)) } })

        // 把cookie、查詢參數、請求頭、文件都整合到一起,作為參數傳給每個模塊
        let query = Object.assign(
            {},
            { cookie: req.cookies },
            req.query,
            req.body,
            req.files,
        )

        try {
            // 執行模塊方法,即發起對網易雲音樂接口的請求
            const moduleResponse = await moduleDef.module(query, (...params) => {
                // 參數注入客户端IP
                const obj = [...params]
                // 處理ip,為了實現IPv4-IPv6互通,IPv4地址前會增加::ffff:
                let ip = req.ip
                if (ip.substr(0, 7) == '::ffff:') {
                    ip = ip.substr(7)
                }
                obj[3] = {
                    ...obj[3],
                    ip,
                }
                return request(...obj)
            })
            // 請求成功後,獲取響應中的cookie,並且通過Set-Cookie響應頭來將這個cookie設置到前端瀏覽器上
            const cookies = moduleResponse.cookie
            if (Array.isArray(cookies) && cookies.length > 0) {
                if (req.protocol === 'https') {
                    // 去掉跨域請求cookie的SameSite限制,這個屬性用來限制第三方Cookie,從而減少安全風險
                    res.append(
                        'Set-Cookie',
                        cookies.map((cookie) => {
                            return cookie + '; SameSite=None; Secure'
                        }),
                    )
                } else {
                    res.append('Set-Cookie', cookies)
                }
            }
            // 回覆請求
            res.status(moduleResponse.status).send(moduleResponse.body)
        } catch (moduleResponse) {
            // 請求失敗處理
            // 沒有響應體,返回404
            if (!moduleResponse.body) {
                res.status(404).send({
                    code: 404,
                    data: null,
                    msg: 'Not Found',
                })
                return
            }
            // 301代表調用了需要登錄的接口,但是並沒有登錄
            if (moduleResponse.body.code == '301')
                moduleResponse.body.msg = '需要登錄'
            res.append('Set-Cookie', moduleResponse.cookie)
            res.status(moduleResponse.status).send(moduleResponse.body)
        }
    })
}

return app

} ```

邏輯很清晰,將每個模塊都註冊成一個路由,接收到對應的請求後,將cookie、查詢參數、請求體等都傳給對應的模塊,然後請求網易雲音樂的接口,如果請求成功了,那麼處理一下網易雲音樂接口返回的cookie,最後將數據都返回給前端即可,如果接口失敗了,那麼也進行對應的處理。

其中從請求的查詢參數和請求體裏獲取cookie可能不是很好理解,因為cookie一般是從請求體裏帶過來,這麼做應該主要是為了支持在Node.js裏調用:

請求成功後,返回的數據裏如果存在cookie,那麼會進行一些處理,首先如果是https的請求,那麼會設置SameSite=None; SecureSameSiteCookie中的一個屬性,用來限制第三方Cookie,從而減少安全風險。Chrome 51 開始新增這個屬性,用來防止CSRF攻擊和用户追蹤,有三個可選值:strict/lax/none,默認為lax,比如在域名為https://123.com的頁面裏調用https://456.com域名的接口,默認情況下除了導航到123網址的get請求除外,其他請求都不會攜帶123域名的cookie,如果設置為strict更嚴格,完全不會攜帶cookie,所以這個項目為了方便跨域調用,設置為none,不進行限制,設置為none的同時需要設置Secure屬性。

最後通過Set-Cookie響應頭將cookie寫入前端的瀏覽器即可。

發送請求

接下來看一下上面涉及到發送請求所使用的request方法,這個方法在/util/request.js文件,首先引入了一些模塊:

js const encrypt = require('./crypto') const axios = require('axios') const PacProxyAgent = require('pac-proxy-agent') const http = require('http') const https = require('https') const tunnel = require('tunnel') const { URLSearchParams, URL } = require('url') const config = require('../util/config.json') // ...

然後就是具體發送請求的方法createRequest,這個方法也挺長的,我們慢慢來看:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { let headers = { 'User-Agent': chooseUserAgent(options.ua) } // ... }) }

函數會返回一個Promise,首先定義了一個請求頭對象,並添加了User-Agent頭,這個頭部會保存瀏覽器類型、版本號、渲染引擎,以及操作系統、版本、CPU類型等信息,標準格式為:

瀏覽器標識 (操作系統標識; 加密等級標識; 瀏覽器語言) 渲染引擎標識 版本信息

不用多説,偽造這個頭顯然是用來欺騙服務器,讓它認為這個請求是來自瀏覽器,而不是同樣也來自服務端。

默認寫死了幾個User-Agent頭部隨機進行選擇:

js const chooseUserAgent = (ua = false) => { const userAgentList = { mobile: [ 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1', 'Mozilla/5.0 (Linux; Android 9; PCT-AL10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.64 HuaweiBrowser/10.0.3.311 Mobile Safari/537.36', // ... ], pc: [ 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:80.0) Gecko/20100101 Firefox/80.0', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0', // ... ], } let realUserAgentList = userAgentList[ua] || userAgentList.mobile.concat(userAgentList.pc) return ['mobile', 'pc', false].indexOf(ua) > -1 ? realUserAgentList[Math.floor(Math.random() * realUserAgentList.length)] : ua }

繼續看:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { // ... // 如果是post請求,修改編碼格式 if (method.toUpperCase() === 'POST') headers['Content-Type'] = 'application/x-www-form-urlencoded' // 偽造Referer頭 if (url.includes('music.163.com')) headers['Referer'] = 'https://music.163.com' // 設置ip頭部 let ip = options.realIP || options.ip || '' if (ip) { headers['X-Real-IP'] = ip headers['X-Forwarded-For'] = ip } // ... }) }

繼續設置了幾個頭部字段,Axios默認的編碼格式為json,而POST請求一般都會使用application/x-www-form-urlencoded編碼格式。

Referer頭代表發送請求時所在頁面的url,比如在https://123.com頁面內調用https://456.com接口,Referer頭會設置為https://123.com,這個頭部一般用來防盜鏈。所以偽造這個頭部也是為了欺騙服務器這個請求是來自它們自己的頁面。

接下來設置了兩個ip頭部,realIP需要前端手動傳遞:

繼續:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { // ... // 設置cookie if (typeof options.cookie === 'object') { if (!options.cookie.MUSIC_U) { // 遊客 if (!options.cookie.MUSIC_A) { options.cookie.MUSIC_A = config.anonymous_token } } headers['Cookie'] = Object.keys(options.cookie) .map( (key) => encodeURIComponent(key) + '=' + encodeURIComponent(options.cookie[key]), ) .join('; ') } else if (options.cookie) { headers['Cookie'] = options.cookie } // ... }) }

接下來設置cookie,分兩種類型,一種是對象類型,這種情況cookie一般來源於查詢參數或者請求體,另一種為字符串,這個就是正常情況下請求頭帶過來的。MUSIC_U應該就是登錄後的cookie了,MUSIC_A應該是一個token,未登錄情況下調用某些接口可能報錯,所以會設置一個遊客token

繼續:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { // ... if (options.crypto === 'weapi') { let csrfToken = (headers['Cookie'] || '').match(/_csrf=([^(;|$)]+)/) data.csrf_token = csrfToken ? csrfToken[1] : '' data = encrypt.weapi(data) url = url.replace(/\w*api/, 'weapi') } else if (options.crypto === 'linuxapi') { data = encrypt.linuxapi({ method: method, url: url.replace(/\w*api/, 'api'), params: data, }) headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36' url = 'https://music.163.com/api/linux/forward' } else if (options.crypto === 'eapi') { const cookie = options.cookie || {} const csrfToken = cookie['__csrf'] || '' const header = { osver: cookie.osver, //系統版本 deviceId: cookie.deviceId, //encrypt.base64.encode(imei + '\t02:00:00:00:00:00\t5106025eb79a5247\t70ffbaac7') appver: cookie.appver || '8.7.01', // app版本 versioncode: cookie.versioncode || '140', //版本號 mobilename: cookie.mobilename, //設備model buildver: cookie.buildver || Date.now().toString().substr(0, 10), resolution: cookie.resolution || '1920x1080', //設備分辨率 __csrf: csrfToken, os: cookie.os || 'android', channel: cookie.channel, requestId: `${Date.now()}_${Math.floor(Math.random() * 1000) .toString() .padStart(4, '0')}`, } if (cookie.MUSIC_U) header['MUSIC_U'] = cookie.MUSIC_U if (cookie.MUSIC_A) header['MUSIC_A'] = cookie.MUSIC_A headers['Cookie'] = Object.keys(header) .map( (key) => encodeURIComponent(key) + '=' + encodeURIComponent(header[key]), ) .join('; ') data.header = header data = encrypt.eapi(options.url, data) url = url.replace(/\w*api/, 'eapi') } // ... }) }

這一段代碼會比較難理解,筆者也沒有看懂,反正大致呢這個項目使用了四種類型網易雲音樂的接口:weapilinuxapieapiapi,比如:

https://music.163.com/weapi/vipmall/albumproduct/detail https://music.163.com/eapi/activate/initProfile https://music.163.com/api/album/detail/dynamic

每種類型的接口請求參數、加密方式都不一樣,所以需要分開單獨處理:

比如weapi

js let csrfToken = (headers['Cookie'] || '').match(/_csrf=([^(;|$)]+)/) data.csrf_token = csrfToken ? csrfToken[1] : '' data = encrypt.weapi(data) url = url.replace(/\w*api/, 'weapi')

cookie中的_csrf值取出加到請求數據中,然後加密數據:

js const weapi = (object) => { const text = JSON.stringify(object) const secretKey = crypto .randomBytes(16) .map((n) => base62.charAt(n % 62).charCodeAt()) return { params: aesEncrypt( Buffer.from( aesEncrypt(Buffer.from(text), 'cbc', presetKey, iv).toString('base64'), ), 'cbc', secretKey, iv, ).toString('base64'), encSecKey: rsaEncrypt(secretKey.reverse(), publicKey).toString('hex'), } }

查看其他加密算法:crypto.js

至於這些是怎麼知道的呢,要麼就是網易雲音樂內部人士(基本不可能),要麼就是進行逆向了,比如網頁版的接口,打開控制枱,發送請求,找到在源碼中的位置, 打斷點,查看請求數據結構,閲讀壓縮或混淆後的源碼慢慢進行嘗試,總之,向這些大佬致敬。

繼續:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { // ... // 響應的數據結構 const answer = { status: 500, body: {}, cookie: [] } // 請求配置 let settings = { method: method, url: url, headers: headers, data: new URLSearchParams(data).toString(), httpAgent: new http.Agent({ keepAlive: true }), httpsAgent: new https.Agent({ keepAlive: true }), } if (options.crypto === 'eapi') settings.encoding = null // 配置代理 if (options.proxy) { if (options.proxy.indexOf('pac') > -1) { settings.httpAgent = new PacProxyAgent(options.proxy) settings.httpsAgent = new PacProxyAgent(options.proxy) } else { const purl = new URL(options.proxy) if (purl.hostname) { const agent = tunnel.httpsOverHttp({ proxy: { host: purl.hostname, port: purl.port || 80, }, }) settings.httpsAgent = agent settings.httpAgent = agent settings.proxy = false } else { console.error('代理配置無效,不使用代理') } } } else { settings.proxy = false } if (options.crypto === 'eapi') { settings = { ...settings, responseType: 'arraybuffer', } } // ... }) }

這裏主要是定義了響應的數據結構、定義了請求的配置數據,以及針對eapi做了一些特殊處理,最主要是代理的相關配置。

AgentNode.jsHTTP模塊中的一個類,負責管理http客户端連接的持久性和重用。 它維護一個給定主機和端口的待處理請求隊列,為每個請求重用單個套接字連接,直到隊列為空,此時套接字要麼被銷燬,要麼放入池中,在池裏會被再次用於請求到相同的主機和端口,總之就是省去了每次發起http請求時需要重新創建套接字的時間,提高效率。

pac指代理自動配置,其實就是包含了一個javascript函數的文本文件,這個函數會決定是直接連接還是通過某個代理連接,比直接寫死一個代理方便一點,當然需要配置的options.proxy是這個文件的遠程地址,格式為:'pac+【pac文件地址】+'pac-proxy-agent模塊會提供一個http.Agent實現,它會根據指定的PAC代理文件判斷使用哪個HTTPHTTPSSOCKS代理,或者是直接連接。

至於為什麼要使用tunnel模塊,筆者搜索了一番還是沒有搞懂,可能是解決http協議的接口請求網易雲音樂的https協議接口失敗的問題?知道的朋友可以評論區解釋一下~

最後:

js const createRequest = (method, url, data = {}, options) => { return new Promise((resolve, reject) => { // ... axios(settings) .then((res) => { const body = res.data // 將響應的set-cookie頭中的cookie取出,直接保存到響應對象上 answer.cookie = (res.headers['set-cookie'] || []).map((x) => x.replace(/\s*Domain=[^(;|$)]+;*/, ''),// 去掉域名限制 ) try { // eapi返回的數據也是加密的,需要解密 if (options.crypto === 'eapi') { answer.body = JSON.parse(encrypt.decrypt(body).toString()) } else { answer.body = body } answer.status = answer.body.code || res.status // 統一這些狀態碼為200,都代表成功 if ( [201, 302, 400, 502, 800, 801, 802, 803].indexOf(answer.body.code) > -1 ) { // 特殊狀態碼 answer.status = 200 } } catch (e) { try { answer.body = JSON.parse(body.toString()) } catch (err) { answer.body = body } answer.status = res.status } answer.status = 100 < answer.status && answer.status < 600 ? answer.status : 400 // 狀態碼200代表成功,其他都代表失敗 if (answer.status === 200) resolve(answer) else reject(answer) }) .catch((err) => { answer.status = 502 answer.body = { code: 502, msg: err } reject(answer) }) }) }

最後一步就是使用Axios發送請求了,處理了一下響應的cookie,保存到響應對象上,方便後續使用,另外處理了一些狀態碼,可以看到try-catch的使用比較多,至於為什麼呢,估計要多嘗試來能知道到底哪裏會出錯了,有興趣的可以自行嘗試。

總結

本文通過源碼角度瞭解了一下NeteaseCloudMusicApi項目的實現原理,可以看到整個流程是比較簡單的。無非就是一個請求代理,難的在於找出這些接口,並且逆向分析出每個接口的參數,加密方法,解密方法。最後也提醒一下,這個項目僅供學習使用,請勿從事商業行為或進行破壞版權行為~