subtitle
Scrapy 暂停与重启 Scrapy 暂停与重启
实现方法如下方法一：进入 Terminal 输入以下命令scrapy crawl spider -s JOBDIR=job_info/001 方法二：配置 settings 组件JOBDIR='job_info/001' 方法三：在 Spi
2020-08-09 Scrapy
Learn
PhantomJS 简介 PhantomJS 简介
简述 PhantomJS 是一个基于 webkit 的 JavaScript API。它使用 QtWebKit 作为它核心浏览器的功能，使用 webkit 来编译解释执行 JavaScript 代码。任何你可以在基于 webkit 浏览器做
2020-08-09 Ming Hui
Requests 模拟知乎登录 Requests 模拟知乎登录
常见 http_status_code 200 请求被成功处理 301/302 永久重定向/临时重定向 403
2020-08-09 Ming Hui
ChromeDriver 图片加载控制 ChromeDriver 图片加载控制
设置 chromedriver 不加载图片方法一：# 关闭图片加载, 使得代码运行速度更快 chrome_option.add_argument('blink-settings=imagesEnabled=false') 注意: 该选项在远
2020-08-09 Selenium
Learn
个人简历 个人简历
自我评价熟练 Fiddler，Postman，Wireshrak 抓包/请求数据分析，perfdog 性能监测工具。 熟练 Python 运用 Scrapy 框架，进行分布式爬虫，运用 selenium 验证码识别，文字识别，进行模拟登录。
2020-08-08 Ming Hui
Python正则表达式 Python正则表达式
正则表达式 爬虫的基础掌握 是一个特殊的字符序列 检测一个字符串是否与我们设定的字符序列，相匹配 若匹配，则可以快速检索，替换文本的操作 场景示例1：检测一串数字是否是电话号码 场景示例2：检测一串字符串是否符合 Email 把一个文本中
2020-07-12 Python
Basics
JSON与XML区别 JSON与XML区别
JSON简述：JavaScript Object Notation 译为 JavaScript 对象标记 本质概述：是一种轻量级的数据交换格式 再次强调 JSON是 一种数据交换格式 字符串是JSON的表现形式/载体 JSON对象 与
2020-07-12 Data
Basics
Python扩展知识 Python扩展知识
导语产品是需要打磨出来的，重点在于打磨二字，没有什么产品可以一就而成 字典替代switch Switch语句同样为条件分支语句 其他语言中Switch语句的作用，C# 字典映射替代switch语句 示例：def get_Sunday():
2020-07-12 Python
Learn
套接字 套接字
Socket简介不同电脑上的进程之间如何通信 首先解决的问题是如何唯一标识一个进程，否则通信无从谈起。 在一台电脑上可以通过进程号(PID) 来唯一标识一个进程，但是在网络上这是行不通的。 其实TCP/IP协议族已经帮我们解决了这个问题，网
2020-07-12 Network
UDP Socket
端口 端口
什么是端口 网络通信必备IP ，端口 端口就好比是一个房子的门，是出入这间房子的必经之路。 扩展知识：一个程序没有运行之间称之为“程序”，程序运行起来之后称为“进程” 如果一个程序需要收发网络数据，那么就需要有这样的端口 在linux
2020-07-12 Network
Port
2 / 3