博客
关于我
requests模块基础
阅读量:346 次
发布时间:2019-03-04

本文共 417 字,大约阅读时间需要 1 分钟。

requests模块:python中原生的一款基于网络请求的模块

作用:模拟浏览器发送请求

如何使用(requests模块的编码流程):

  1. 指定url
  2. 发起请求
  3. 获取相应数据
  4. 持久化存储

安装:

pip install requests

爬取搜狗首页的数据:

import requests# 1.指定urlurl = 'https://www.sogou.com/'# 2.发起请求# get方法会返回一个相应对象response = requests.get(url=url)# 3.获取相应数据,text返回的是字符串形式的数据page_text = response.textprint(page_text)# 4.持久化存储with open('./sougou.html', 'w', encoding='utf-8') as fp:    fp.write(page_text)print('数据爬取结束')

爬取后页面:

在这里插入图片描述

转载地址:http://ksne.baihongyu.com/

你可能感兴趣的文章
MySQL Workbench安装教程以及菜单汉化
查看>>
MySQL Xtrabackup 安装、备份、恢复
查看>>
mysql [Err] 1436 - Thread stack overrun: 129464 bytes used of a 286720 byte stack, and 160000 bytes
查看>>
MySQL _ MySQL常用操作
查看>>
MySQL – 导出数据成csv
查看>>
MySQL —— 在CentOS9下安装MySQL
查看>>
mysql 不区分大小写
查看>>
mysql 两列互转
查看>>
MySQL 中开启二进制日志(Binlog)
查看>>
MySQL 中文问题
查看>>
MySQL 中日志的面试题总结
查看>>
mysql 中的all,5分钟了解MySQL5.7中union all用法的黑科技
查看>>
Mysql 中的日期时间字符串查询
查看>>
MySQL 中锁的面试题总结
查看>>
MySQL 中随机抽样:order by rand limit 的替代方案
查看>>
MySQL 为什么需要两阶段提交?
查看>>
mysql 为某个字段的值加前缀、去掉前缀
查看>>
mysql 主从
查看>>
mysql 主从 lock_mysql 主从同步权限mysql 行锁的实现
查看>>
mysql 主从互备份_mysql互为主从实战设置详解及自动化备份(Centos7.2)
查看>>