最近在学习和使用python爬虫框架：scrapy。 学习途径为，阅读官方文档，编写一个可配置的通用新闻内容爬虫FlexSpider。 目前FlexSpider已支持以下功能： 通过配置文件配置页面内容提取方法，不需要直接修改代码 可递归爬取多层页面，支持在最末级页面提取新闻内容 可同时爬取多个网站 支持提取页面图片 借助scrapy-redis支持分布式部署 后续继续完善，以支持提取动态页面的内
详情万字长文带你入门Scrapy – Scrapy简明教程
本文通过示例简要介绍一下使用Scrapy抓取网站内容的基本方法和流程。 继续阅读之前请确保已安装了scrapy。 基本安装方法为：pip install scrapy 我们已经在之前的文章中初步介绍了scrapy，本文是前文的进一步拓展。 本文主要包含如下几部分： 1，创建一个scrapy项目 2，编写一个爬虫（或蜘蛛spider，本文中含义相同）类用于爬取网站页面并提取数据 3，使用命令行导出爬
详情10分钟学Python：极简python教程
这是一篇极简Python教程，简单到谈不上是教程，更类似Python知识点的备忘或注记，力图在10分钟之内让你明白Python的基本概念，仅仅带你入门，不做深入讨论。 本文适用于Python 3。话不多说，直接入题。 【语言特性】 Python是强类型的语言：对变量只能执行当前类型定义的操作。 支持动态及隐式变量声明：不需要显式声明变量的类型，可以更改变量指向的对象从而改变其类型。
详情python爬虫scrapy概要介绍
Scrapy是一个用于爬取web站点并提取结构化数据的应用框架，通常我们称之为爬虫，一款优秀的python爬虫。 scrapy爬取的数据可被用在数据挖掘、信息处理、历史数据归档等非常广泛数据分析和处理领域。 我们可以通过一个简单的例子来初步了解一下如何通过scrapy蜘蛛（spider）爬取web页面。 import scrapy class QuotesSpider(scrapy.Spider)
详情f-string: 改进的 Python 字符串格式化语法
欢迎关注本站公众号【python学与思】
详情Python 3.7 升级 pip 时报错：Unable to find resource t64.exe in package pip._vendor.distlib
今天将 Win10 系统上的 pip 由20.02 升级到 21.0.1 时发生了报错。 python -m pip install –upgrade pip 当前使用的 Python 版本为 3.7.6，报错信息为： ERROR: Exception: Traceback (most recent call last): File “C:\Users\LYJ\AppDat
详情RealPython 基础教程：Python 字符串详解
文章正在编写中… 欢迎关注本站公众号【python学与思】
详情RealPython 基础教程：运算符和表达式
“ 运算是程序的基本功能，而运算符和表达式则是最基本的运算单元” 在了解了不同类型的变量之后，我们现在该用这些变量做点什么了。 今天，我们将了解如何在变量上执行计算。你最终将会掌握如何使用变量和操作符来创建复杂的表达式。 Python 中，运算符（operators）是一些特殊的符号，用来指明可以执行某种计算。 那些被运算符操作的值叫做操作数（operands）。 >>> a
详情RealPython 基础教程：变量
我们在之前的文章《Python 基本数据类型介绍》中了解了如何创建各种基本类型的数据，但是我们的例子中使用的都是“字面量”或者“常量”。 >>> print(5.3) 5.3 这显然不适于复杂的实用程序中，我们需要定义能够在程序执行过程中可以变化的数据。 通过本文，你将了解到： 1，Python 中的所有数据元素都可通过抽象的对象（object）来描述 2，你将学会如何通过符号名
详情RealPython 基础教程：基本数据类型
“ 数据是业务的核心，任何编程语言都要支持各种数据类型。我们一起来学习一下 Python 支持的数据类型” Python 内置了 numeric、string 和 Boolean 等基本数据类型，同时也提供了诸多内置的 函数（functions）供我们调用。 【整数】 Python 3 中，你可以定义任一长度的整数，语言层面并不限制整数的长度的。实际操作中，整数的长度受限于机器物理内存的大小。 当
详情Python 3.4+，可使用 contextlib.suppress 来禁止抛出异常
在 Python 3.4 及之后的版本 中，你可以使用 contextlib.suppress() 方法来选择性地忽略指定的异常。 import contextlib with contextlib.suppress(FileNotFoundError): os.remove(‘somefile.tmp’) 这等同于以下代码： try: os.remove(‘somefile.tmp’) ex
详情在 Python 3 中可强制函数调用者使用关键词参数
在 Python 3 中，你可以在函数的参数列表中使用一个单独的星号（*）来要求调用者必须通过关键词参数的方式对 * 后的参数进行传参。 >>> def f(a, b, *, c=’x’, d=’y’, e=’z’): … return ‘Hello’ 如果你想给上边这个函数 f() 的c、d、e参数赋值，你必须以“key = value”这种命名参数的方式来传参
详情一分钟了解 Python 中的并行计算
Python 以极高的开发效率著称，而运行速度则“没那么快”。虽然，在现代计算机体系架构下，系统的运行效率并不完全取决于编程语言，但程序员仍有可能从编程技巧着手，让自己的代码“跑得更快些”。 对 Python 而言，我们可以通过“并行化”来实现程序的加速。 简单而言，并行计算允许你“同时”执行多个运算任务，这样就可以减少程序运行所需要的总耗时了。 这听起来有点笼统，并且你可能感觉实现起来会有些复杂
详情dont_process_response参数在scrapy-splash中的作用
在scrapy中使用scrapy-splash处理动态页面时，我们需要使用SplashRequest来创建请求对象。 SplashRequest有一个参数dont_process_response，字面上来理解就是用来设置是否处理响应消息的。 其值默认为False，就是SplashMiddleware会对响应消息做下加工，返回一个scrapy.Response的子类对象，通常是SplashText
详情