以下是个人在学习beautifulsoup过程中的一些总结，目前我在使用爬虫数据时使用的方法的是：先用find_all()找出需要内容所在的标签，如果所需内容一个find_all()不能满足，那就用两个或者多个。接下来遍历find_all的结果，用get_txt（）、get(‘href’)、得到文本或者链接，然后放入各自的列表中。这样做有一个缺点就是txt的数据是一个单独的列表，链接的数据也是一个单独的列表，一方面不能体现这些数据之间的结构性，另一方面当想要获得更多的内容时，就要创建更多的空列表。
遍历所有标签：
找出所有页面中含有标签a的html语句，结果以列表形式存储。对找到的标签可以进一步处理，如用for对结果遍历，可以对结果进行purify，得到如链接，字符等结果。
得到html的属性名：
find_all()的相关用法实例：
实例来自beautifulsoup中文文档
1. 字符串
最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,beautiful soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的标签:
2.正则表达式
如果传入正则表达式作为参数,beautiful soup会通过正则表达式的 match() 来匹配内容.下面例子中找出所有以b开头的标签,这表示和标签都应该被找到:
下面代码找出所有名字中包含”t”的标签:
3.列表
如果传入列表参数,beautiful soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有标签和标签:
4.方法（自定义函数，传入find_all）
如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 [4] ,如果这个方法返回 true 表示当前元素匹配并且被找到,如果不是则反回 false
下面方法校验了当前元素,如果包含 class 属性却不包含 id 属性,那么将返回 true:
返回结果中只有
标签没有标签,因为标签还定义了”id”,没有返回和,因为和中没有定义”class”属性.
下面代码找到所有被文字包含的节点内容:
5.按照css搜索
按照css类名搜索tag的功能非常实用,但标识css类名的关键字 class 在python中是保留字,使用 class 做参数会导致语法错误.从beautiful soup的4.1.1版本开始,可以通过 class_ 参数搜索有指定css类名的tag:
或者：
6.按照text参数查找
通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, true . 看例子:
虽然 text 参数用于搜索字符串,还可以与其它参数混合使用来过滤tag.beautiful soup会找到 .string 方法与 text 参数值相符的tag.下面代码用来搜索内容里面包含“elsie”的标签:
7.只查找当前标签的子节点
调用tag的 find_all() 方法时,beautiful soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=false .
一段简单的文档:
是否使用 recursive 参数的搜索结果:
到此这篇关于详解beautifulsoup获取特定标签下内容的方法的文章就介绍到这了,更多相关beautifulsoup获取特定标签内容内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！
