整理的一些在使用Python中常用网页字符串处理方法 _Python

首先一些Python字符串处理的简易常用的用法。

文章插图

1.去掉重复空格
s = "hello hello hello"s = ' '.join(s.split())2.去掉所有回车（或其他字符或字符串）
s = "hellonhellonhello hellon"print(s)s = s.replace("n","")print(s)3.查找字符串首次出现的位置（没有返回-1）
s = "hellonhellonhello hellon"print(s.find('n'))print(s.find('la'))4.查找字符串从后往前找首次出现的位置（没有返回-1）
s = "hellonhellonhello hellon"print(s.rfind('n'))print(s.rfind('la'))5.将字符串转化成列表list
s = "hellonhellonhello hellon"print(list(s))6.查找所有匹配的子串
import res = "hellonhellonhello hellon"print(re.findall('hello',s)) # hello也可以换成正则表达式然后是网页字符串处理的高端用法：
综合运用requests模块， beautifulsoup模块， re模块等
1.requests获取一个链接的内容并原封不动写入文件

import requestsr = requests.get('https://baike.baidu.com')with open('test.html', 'wb') as fd:    for chunk in r.iter_content(100):        fd.write(chunk)

2.读取一个文件的所有内容存到一个字符串里

with open('test.html','r',encoding='utf-8') as f:    content = f.readlines()content = ''.join(content)# content = content.replace('n','') # 如果想去掉回车可以加上这行print(content)

3.把网页字符串用BeautifulSoup存起来处理
from bs4 import BeautifulSoupsoup = BeautifulSoup(content,'html.parser')print(soup.prettify())4.存到BeautifulSoup里之后这个字符串就可以任你摆布了，比如：提取出所有<a>标签
soup = BeautifulSoup(content,'html.parser')print(soup.find_all('a'))或者提取出所有<a>标签和<b>标签
soup = BeautifulSoup(content,'html.parser')print(soup.find_all(['a','b']))这些属于beautifulsoup的内容了
5.多个关键字切分字符串

import rere.split('; |, ',str)>>> a='Beautiful, is; better*thannugly'>>> import re>>> re.split('; |, |*|n',a)['Beautiful', 'is', 'better', 'than', 'ugly'

【整理的一些在使用Python中常用网页字符串处理方法】