网上彩票购买

码迷,bjsfhd.cn
网上彩票购买 > 编程语言 > 详细

Python爬虫基础教程,手把手教你爬取拉勾网!

时间:2019-06-29 11:17:04      阅读:28      评论:0      收藏:0      [点我收藏+]

标签:规模   call   format   size   数据   代码   付费   ida   思路   

  一、思路分析:
  
  在之前写拉勾网的爬虫的时候,总是得到下面这个结果(真是头疼),当你看到下面这个结果的时候,也就意味着被反爬了,因为一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会禁止这个IP的访问: 对于拉勾网,我们要找到职位信息的ajax接口倒是不难(如下图),问题是怎么不得到上面的结果。 要想我们的爬虫不被检测出来,我们可以使用代理IP,而网上有很多提供免费代理的网站,比如西刺代理、快代理、89免费代理等等,我们可以爬取一些免费的代理然后搭建我们的代理池,使用的时候直接从里面进行调用就好了。然后通过观察可以发现,拉勾网最多显示30页职位信息,一页显示15条,也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段,而这个字段表示的就是查询结果的数量,获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果,保存在MongoDB数据库中。
  
  二、主要代码:
  
  proxies.py(爬取免费代理并验证其可用性,然后生成代理池)
  
  import requests
  
  import re
  
  class Proxies:
  
  def __init__(self):
  
  self.proxy_list = []
  
  self.headers = {
  
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
  
  "Chrome/45.0.2454.101 Safari/537.36",
  
  ‘Accept-Encoding‘: ‘gzip, deflate, sdch‘,
  
  }
  
  ‘‘‘
  
  在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,934109170,群里有不错的学习教程与开发工具。
  
  ‘‘‘
  
  # 爬取西刺代理的国内高匿代理
  
  def get_proxy_nn(self):
  
  proxy_list = []
  
  res = requests.get("http://www.xicidaili.com/nn", headers=self.headers)
  
  ip_list = re.findall(‘<td>(\d+\.\d+\.\d+\.\d+)</td>‘, res.text)
  
  port_list = re.findall(‘<td>(\d+)</td>‘, res.text)
  
  for ip, port in zip(ip_list, port_list):
  
  proxy_list.append(ip + ":" + port)
  
  return proxy_list
  
  # 验证代理是否能用
  
  def verify_proxy(self, proxy_list):
  
  for proxy in proxy_list:
  
  proxies = {
  
  "http": proxy
  
  }
  
  try:
  
  if requests.get(‘http://www.baidu.com‘, proxies=proxies, timeout=2).status_code == 200:
  
  print(‘success %s‘ % proxy)
  
  if proxy not in self.proxy_list:
  
  self.proxy_list.append(proxy)
  
  except:
  
  print(‘fail %s‘ % proxy)
  
  # 保存到proxies.txt里
  
  def save_proxy(self):
  
  # 验证代理池中的IP是否可用
  
  print("开始清洗代理池...")
  
  with open("proxies.txt", ‘r‘, encoding="utf-8") as f:
  
  txt = f.read()
  
  # 判断代理池是否为空
  
  if txt != ‘‘:
  
  self.verify_proxy(txt.strip().split(‘\n‘))
  
  else:
  
  print("代理池为空!\n")
  
  print("开始存入代理池...")
  
  # 把可用的代理添加到代理池中
  
  with open("proxies.txt", ‘w‘, encoding="utf-8") as f:
  
  for proxy in self.proxy_list:
  
  f.write(proxy + "\n")
  
  if __name__ == ‘__main__‘:
  
  p = Proxies()
  
  results = p.get_proxy_nn()
  
  print("爬取到的代理数量", len(results))
  
  print("开始验证:")
  
  p.verify_proxy(results)
  
  print("验证完毕:www.xcdeyiju.com ")
  
  print("可用代理数量:", len(p.proxy_list))
  
  p.save_proxy()
  
  在middlewares.py中添加如下代码:
  
  class LaGouProxyMiddleWare(object):
  
  def process_request(self, request, spider):
  
  import random
  
  import requests
  
  with open("具体路径\proxies.txt", ‘r‘, encoding="utf-8") as f:
  
  txt = f.read()
  
  proxy = ""
  
  flag = 0
  
  for i in range(10):
  
  proxy = random.choice(txt.split(‘\n‘))
  
  proxies = {
  
  "http": proxy
  
  }
  
  if requests.get(‘http://www.yuchengyule.com ‘, proxies=proxies, timeout=2).status_code == 200:
  
  flag = 1
  
  break
  
  if proxy != "" and flag:
  
  print("Request proxy is {}".format(proxy))
  
  request.meta["proxy"] = "http://www.yifayuled.cn" + proxy
  
  else:
  
  print("没有可用的IP!")
  
  然后还要在settings.py中添加如下代码,这样就能使用代理IP了:
  
  1 SPIDER_MIDDLEWARES = {
  
  2 ‘LaGou.middlewares.LaGouProxyMiddleWare‘: 543,
  
  3 }
  
  在item.py中添加如下代码:
  
  import scrapy
  
  class LaGouItem(scrapy.Item):
  
  city = scrapy.Field() # 城市
  
  salary = scrapy.Field() # 薪水
  
  position = scrapy.Field() # 职位
  
  education = scrapy.Field() # 学历要求
  
  company_name = scrapy.Field() # 公司名称
  
  company_size = scrapy.Field() # 公司规模
  
  finance_stage = scrapy.Field(www.baiyidLu.com) # 融资阶段
  
  在pipeline.py中添加如下代码:
  
  import pymongo
  
  class LaGouPipeline(object):
  
  def __init__(self):
  
  conn = pymongo.MongoClient(host="127.0.0.1", port=27017)
  
  self.col = conn[‘Spider‘].LaGou
  
  def process_item(self, item, spider):
  
  self.col.insert(dict(item))
  
  return item
  
  在spiders文件夹下新建一个spider.py,代码如下:
  
  import json
  
  import scrapy
  
  import codecs
  
  import requests
  
  from time import sleep
  
  from LaGou.items import LaGouItem
  
  class LaGouSpider(www.chaoyuepint.com scrapy.Spider):
  
  name = "LaGouSpider"
  
  def start_requests(self):
  
  # city = input("请输入城市:")
  
  # position = input("请输入职位方向:")
  
  city = "上海"
  
  position = "python"
  
  url = "https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}".format(city)
  
  headers = {
  
  "Referer": "https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=".format(codecs.encode(position, ‘utf-8‘), codecs.encode(city, ‘utf-8‘)),
  
  "Cookie": "_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe",
  
  "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
  
  }
  
  data = {
  
  "first": "true",
  
  "pn": 1,
  
  "kd": position
  
  }
  
  res = requests.post(url, headers=headers, data=data)
  
  # 获取相关职位结果数目
  
  count = res.json()[‘content‘][‘positionResult‘][‘totalCount‘]
  
  # 由于最多显示30页,也就是最多显示450条职位信息
  
  page_count = count // 15 + 1 if count <= 450 else 30
  
  for i in range(page_count):
  
  sleep(5)
  
  yield scrapy.FormRequest(
  
  url=url,
  
  formdata={
  
  "first": "true",
  
  "pn": str(i + 1),
  
  "kd": position
  
  },
  
  callback=self.parse
  
  )
  
  def parse(self, response):
  
  try:
  
  # 解码并转成json格式
  
  js = json.loads(response.body.decode(‘utf-8‘))
  
  result = js[‘content‘][‘positionResult‘][‘result‘]
  
  item = LaGouItem()
  
  for i in result:
  
  item[‘city‘] = i[‘city‘]
  
  item[‘salary‘] = i[‘salary‘]
  
  item[‘position‘] = i[‘positionName‘]
  
  item[‘education‘] = i[‘education‘]
  
  item[‘company_name‘] = i[‘companyFullName‘]
  
  item[‘company_size‘] = i[‘companySize‘]
  
  item[‘finance_stage‘] = i[‘financeStage‘]
  
  yield item
  
  except:
  
  print(response.body)
  
  三、运行结果:
  
  由于使用的是免费代理,短时间内就失效了,所以会碰上爬取不到数据的情况,所以推荐使用付费代理。

Python爬虫基础教程,手把手教你爬取拉勾网!

标签:规模   call   format   size   数据   代码   付费   ida   思路   

原文地址:https://www。cnblogs。com/qwangxiao/p/11105718。html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
           
© 2014 bjsfhd.cn 版权所有 京ICP备13008772号-2
迷上了代码!
彩票app 秒速彩票投注 网上彩票购买 彩票购买 彩票app 网上彩票购买 彩票开奖结果 网上彩票购买 彩票开奖查询 网上彩票购买