程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

【python爬蟲】爬取鏈家二手房數據

編輯:Python

相信大家買房前都會在網上找找資料,看看行情,問問朋友,今天就帶大家扒一扒《鏈家二手房》的數據:

一、查找數據所在位置:

打開鏈家官網,進入二手房頁面,選取某個城市,可以看到該城市房源總數以及房源列表數據。

二、確定數據存放位置:

某些網站的數據是存放在html中,而有些卻api接口,甚至有些加密在js中,還好鏈家的房源數據是存放到html中:

三、獲取html數據:

通過requests請求頁面,獲取每頁的html數據

# 爬取的url,默認爬取的南京的鏈家房產信息
url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
# 請求url
resp = requests.get(url, headers=headers, timeout=10)

四、解析html,提取有用數據:

通過BeautifulSoup解析html,並提取相應有用的數據

soup = BeautifulSoup(resp.content, 'lxml')
# 篩選全部的li標簽
sellListContent = soup.select('.sellListContent li.LOGCLICKDATA')
# 循環遍歷
for sell in sellListContent:
# 標題
title = sell.select('div.title a')[0].string
# 先抓取全部的div信息,再針對每一條進行提取
houseInfo = list(sell.select('div.houseInfo')[0].stripped_strings)
# 樓盤名字
loupan = houseInfo[0]
# 對樓盤的信息進行分割
info = houseInfo[0].split('|')
# 房子類型
house_type = info[1].strip()
# 面積大小
area = info[2].strip()
# 房間朝向
toward = info[3].strip()
# 裝修類型
renovation = info[4].strip()
# 房屋地址
positionInfo = ''.join(list(sell.select('div.positionInfo')[0].stripped_strings))
# 房屋總價
totalPrice = ''.join(list(sell.select('div.totalPrice')[0].stripped_strings))
# 房屋單價
unitPrice = list(sell.select('div.unitPrice')[0].stripped_strings)[0]

以上就是我的分享,如果有什麼不足之處請指出,多交流,謝謝!

想獲取更多數據或定制爬蟲的請私信我

 

 

 


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved