JSON与XML区别
JSON简述：JavaScript Object Notation 译为 JavaScript 对象标记 本质概述：是一种轻量级的数据交换格式 再次强调 JSON是
Read more
验证码识别方法
编码实现（ tesseract-ocr ）
这是 google 开源的一款识别工具，最早是用来识别文字的。 识别率低
不建议自己去开发，因为识别各种验证码，是需要大量时间的。
而且验证码一旦更改了，代码就无效了
在线打码
识别率高达90%
2020-08-09
解决倒立文字验证
引用第三方库，调用接口进行识别安装 zheye 第三方库git clone https://github.com/996refuse/zheye.git
安装依赖包，并移动到项目目录下其中 tensorflow 库，改为1.13版本接口调用
2020-08-09
模拟 Chrome 知乎登录
创建 chromedriver 实例class ZhihuReqSpider(scrapy.Spider):
name = 'zhihu_req'
allowed_domains = ['www.zhihu.com']
start_u
2020-08-09
模拟 Firefox 知乎登录
代码示例：
# -*- coding: utf-8 -*-
from ArticleSpider.utils.common import DataConvert
import scrapy
import pickle
from mouse
2020-08-09
Selenium 模拟微博登录
启用 ChromeDriverdef start_requests(self):
"""使用 selenium 获取 cookie"""
# 获得 Options(操作)对象
chrome_option = Opti
2020-08-09
Selenium 简介
简单实例：from selenium import webdriver
from scrapy.selector import Selector
browser = webdriver.Chrome(executable_path='E:
2020-08-09
Selenium 基本使用
Selenium简介 自动化测试框架，最开始是用来做Web自动化测试的，测试网站系统开发。
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE
2020-08-09
Scrapy 集成 Selenium
设置中间件集成 selenium driver，实现动态加载以下方法改变了scrapy异步加载，变为了同步加载，会降低运行效率，当然也可以解决，需要重写 downloader（至少要了解 twisted API)
定义中间件class J
2020-08-09
session 与 cookie 的区别
Cookie
浏览器本地存储方式，存储键值对的格式
简介为什么有cookie的存在，http协议是一种无状态的协议，服务器接收到浏览器的请求后，服务器直接返回内容给浏览器。不管是谁发起的请求
Cookie存储本地，存在隐患。随
2020-08-09
存储知乎数据
Scrapy -> Shell 中配置 User-Agent
scrapy shell -s USER_AGENT="Browser AGENT" URL
分析URL
源URLhttps://www.zh
2020-08-09