博客
关于我
requests模块基础
阅读量:346 次
发布时间:2019-03-04

本文共 417 字,大约阅读时间需要 1 分钟。

requests模块:python中原生的一款基于网络请求的模块

作用:模拟浏览器发送请求

如何使用(requests模块的编码流程):

  1. 指定url
  2. 发起请求
  3. 获取相应数据
  4. 持久化存储

安装:

pip install requests

爬取搜狗首页的数据:

import requests# 1.指定urlurl = 'https://www.sogou.com/'# 2.发起请求# get方法会返回一个相应对象response = requests.get(url=url)# 3.获取相应数据,text返回的是字符串形式的数据page_text = response.textprint(page_text)# 4.持久化存储with open('./sougou.html', 'w', encoding='utf-8') as fp:    fp.write(page_text)print('数据爬取结束')

爬取后页面:

在这里插入图片描述

转载地址:http://ksne.baihongyu.com/

你可能感兴趣的文章
mysql 死锁(先delete 后insert)日志分析
查看>>
MySQL 死锁了,怎么办?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 添加列,修改列,删除列
查看>>
mysql 添加索引
查看>>
MySQL 添加索引,删除索引及其用法
查看>>
MySQL 用 limit 为什么会影响性能?
查看>>
MySQL 用 limit 为什么会影响性能?有什么优化方案?
查看>>
MySQL 用户权限管理:授权、撤销、密码更新和用户删除(图文解析)
查看>>
mysql 用户管理和权限设置
查看>>
mysql 的GROUP_CONCAT函数的使用(group_by 如何显示分组之前的数据)
查看>>
MySQL 的instr函数
查看>>
MySQL 的mysql_secure_installation安全脚本执行过程介绍
查看>>
MySQL 的Rename Table语句
查看>>
MySQL 的全局锁、表锁和行锁
查看>>
mysql 的存储引擎介绍
查看>>
MySQL 的存储引擎有哪些?为什么常用InnoDB?
查看>>
mysql 索引
查看>>
MySQL 索引失效的 15 种场景!
查看>>