博客
关于我
requests模块基础
阅读量:346 次
发布时间:2019-03-04

本文共 417 字,大约阅读时间需要 1 分钟。

requests模块:python中原生的一款基于网络请求的模块

作用:模拟浏览器发送请求

如何使用(requests模块的编码流程):

  1. 指定url
  2. 发起请求
  3. 获取相应数据
  4. 持久化存储

安装:

pip install requests

爬取搜狗首页的数据:

import requests# 1.指定urlurl = 'https://www.sogou.com/'# 2.发起请求# get方法会返回一个相应对象response = requests.get(url=url)# 3.获取相应数据,text返回的是字符串形式的数据page_text = response.textprint(page_text)# 4.持久化存储with open('./sougou.html', 'w', encoding='utf-8') as fp:    fp.write(page_text)print('数据爬取结束')

爬取后页面:

在这里插入图片描述

转载地址:http://ksne.baihongyu.com/

你可能感兴趣的文章
Mysql中视图的使用以及常见运算符的使用示例和优先级
查看>>
Mysql中触发器的使用示例
查看>>
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)
查看>>
mysql中还有窗口函数?这是什么东西?
查看>>
mysql中间件
查看>>
MYSQL中频繁的乱码问题终极解决
查看>>
MySQL为Null会导致5个问题,个个致命!
查看>>
MySQL为什么不建议使用delete删除数据?
查看>>
MySQL主从、环境搭建、主从配制
查看>>
Mysql主从不同步
查看>>
mysql主从同步及清除信息
查看>>
MySQL主从同步相关-主从多久的延迟?
查看>>
mysql主从同步配置方法和原理
查看>>
mysql主从复制 master和slave配置的参数大全
查看>>
MySQL主从复制几个重要的启动选项
查看>>
MySQL主从复制及排错
查看>>
mysql主从复制及故障修复
查看>>
MySQL主从复制的原理和实践操作
查看>>
webpack loader配置全流程详解
查看>>
mysql主从复制,读写分离,半同步复制实现
查看>>