创新互联Python教程：python如何重写start_requests方法

说明

江干网站制作公司哪家好，找成都创新互联！从网页设计、网站建设、微信开发、APP开发、响应式网站等网站项目制作，到程序开发，运营维护。成都创新互联公司2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联。

1、在scrapy中，start_url是由start_requests处理的，通过重写这种方法，start_url可以携带请求头信息。

2、cookie不能放在scrapy中的headers中，在构建请求时有专门的cookies参数。

可以接收字典形式的cookie。可能需要在settings中设置ROBOTS协议和USER_AGENT。

实例

import scrapy
 
 
class Git1Spider(scrapy.Spider):
    name = 'git1'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/GitLqr']
 
    def start_requests(self):
        """
        重写start_requests，发送携带cookies的Request。
        默认start_requests只是普通的get请求，不会携带自定义的头信息
        """
        url = self.start_urls[0]
 
        temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804'
        # 把cookies字符串转成字典
        cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')}
 
        yield scrapy.Request(
            url=url,
            callback=self.parse,
            cookies=cookies
        )
 
    def parse(self, response):
        print(response.xpath('/html/head/title/text()').extract_first())

以上就是python重写start_requests方法，希望对大家有所帮助。更多Python学习指路：创新互联python教程

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。

网站名称：创新互联Python教程：python如何重写start_requests方法
分享网址：http://www.hantingmc.com/qtweb/news25/131025.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联