為了買房,我抓取了某家房源的成交資料(分析篇)
一、緣起
最近貸款利率不斷的下降,以及到了結婚的年紀,打算買套房來當做婚房,不然結婚後還得租房住,不斷搬家實在扛不住啊。
下定決心後(畢竟要揹負大幾百萬的貸款,所以給自己做了很多心理建設,哈哈),於是加入了看房的大隊伍中。隨著看房累積的經驗不斷的增加,越發感覺中介這行水很深,真是為了成交什麼手段都能用出來的。當然也有非常專業的中介,給了很多客觀的意見,但還是少數
考慮到沒辦法一直關注房源的變化,而且北京的房源是不顯示成交價的,作為一名資深頭禿程式猿,那必然是想著有沒有什麼神奇的操作可以解決這兩個問題,所以要實現的目標呼之欲出
- 房源變動每日報表
- 抓到房源成交價
經過縝密的分析(玩遊戲等待載入的時候看了看),發現可以實現,於是快速的付出了行動(打完N局遊戲之後)
本系列共分為兩篇文章《為了買房,我抓取了某家房源的資料-分析篇》,《為了買房,我抓取了某家房源的資料-實戰篇》,本篇為原理分析篇,關注後食用更佳~
二、效果展示
為了證明本刁的強大,那必然先上效果,大家且看下圖
由於本刁是後端碼農,實在不善於美化介面,大家將就著看
資料主要分為兩大塊,有每日變動的資料以及全部的資料
黃色的標題代表的是今日變動的資料,有成交的房源,停售的房源,如果有新上架的房源也會展示在內
全部資料指的是從抓取到至今所有的房源資料詳情
而且如果房源是已成交的話,會展示房源的【簽約日期】、【簽約價格】以及【成交週期】
三、分析
3.1 某家業務的承載方式
看了效果圖,下面著手分析下這個需求,該如何實現
首先需要了解的是某家業務的承載形式以及資料獲取的難易程度,主要有:
- 某家APP。手機APP可做的功能很多,一般都會有防抓包以及資料加密的功能,資料獲取難度高
- 某家網站。在瀏覽器上即可訪問以及抓包,資料獲取較為容易
- 某家小程式。在微信上訪問的,需要工具來抓包,資料獲取難度一般
根據資料獲取的難易程度,在瀏覽器上可直接開啟的某家網站無疑是首選。
於是對某家網站進行抽絲剝繭的分析,這個過程非常重要,需要戒驕戒躁
3.2 資料獲取流程分析
首當其中的是,如何獲取心儀小區的全部房源資訊?
鏈家提供了對指定小區的房源進行搜尋的功能,如下圖所示,可以拿到小區的總資訊和房源資訊,若一頁放不下的話還需要翻頁,具體如下圖
有了上面這份資料,新上架的房源資訊就可以拿到了,公式為:今天新上架的房源 = 今天的所有房源 - 昨天所有的房源
,這公式的複雜程度讓我連連稱自己為小天才
對於下架/停售的房源和成交的房源,鏈家做了一定的限制,需要關注該房源後等到【下架/停售】或【成交】的時候才會在關注列表中改變房源的狀態資訊,如下:
在關注列表中停售的房源圖
在關注列表中成交的房源圖
那麼理論上,我們只要關注這個小區的所有房源,然後不斷的遍歷其狀態就可以拿到下架和停售的房源資訊嘍
說起簡單,做起來也簡單,這涉及到兩個點:
- 登入
- 關注房源
大部分網站登入態的儲存都是借用的cookie的功能,我們在訪問介面的時候直接把所有的cookie扔進去即可,這些技術細節我會在實現篇詳細介紹,這裡暫時不需要關注
對於關注房源,關注一下,抓個包就OK了,看起來也挺簡單,這些細節就讓我們相約實戰篇吧~
四、總結
本篇文章主要對鏈家的網站進行了分析,找到合適的資料資訊,下面實戰篇將會介紹如何抓包、解析出自己需要的資料以及郵件通知
本系列文章僅供學習使用,不得用於違法犯罪行為