html页面解析技术之Jsoup的基本使用

link之家
链接快照平台
输入网页链接，自动生成快照
标签化管理网页链接
相关文章推荐
咆哮的木瓜 · ajaxform ...· 9 月前 ·
奋斗的企鹅 · Excel ...· 1 年前 ·
刀枪不入的小蝌蚪 · jQuery has() 方法 | 菜鸟教程· 1 年前 ·
玩足球的筷子 · 义乌国际商贸城旅游攻略 - 抖音· 1 年前 ·
怕老婆的生姜 · Qt事件系统之四：定时器与定时事件 - ...· 1 年前 ·
Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
可用于爬虫领域，爬虫抓取页面后，需要对页面进行解析，就可以使用Jsoup这种专门解析html页面的技术。
GitHub地址： https://github.com/jhy/jsoup/
1.从一个URL，文件或字符串中解析HTML
2.使用DOM或CSS选择器来查找、取出数据
3.可操作HTML元素、属性、文本
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.15.2</version>
        </dependency>
创建html测试文件
添加IO包，用于读取html文件
	 <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version>
        </dependency>
创建test.html文件，用于解析测试。
<!DOCTYPE html>
<html lang="en">
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<div id="myDiv" class="myDivClass1 myDivClass2" myTag="1">
    <h2 id="title">根据id查询元素</h2>
    <span>根据标签获取元素</span>
    <div class="myClass">根据class获取元素</div>
    <span myTag="1">根据属性获取元素1</span>
    <span myTag="2">根据属性获取元素2</span>
</body>
</html>
解析URL
发起请求并获取数据，封装为Document对象
    @Test
    public void parseUrl() throws Exception {
         * 解析url地址
         * URL url:访问的url
         * int timeoutMillis:访问超时时间
        Document doc = Jsoup.parse(new URL("http://www.baidu.com"), 5000);
        // 使用标签选择器，获取title标签中的内容
        String title = doc.getElementsByTag("title").first().text();
        log.info("title={}", title);
解析字符串
读取一个HTML文件，获取字符串，直接输入字符串，并封装为Document对象
    @Test
    public void parseString() throws IOException {
        // 使用工具类读取文件，获取字符串
        String content = FileUtils.readFileToString(new File("D:\\test.html"), "utf8");
        // 解析字符串
        Document doc = Jsoup.parse(content);
        String title = doc.getElementsByTag("title").first().text();
        log.info("title={}", title);
直接解析一个HTML文件，并封装为Document对象
    @Test
    public void parseFile() throws Exception {
        // 解析文件
        Document doc = Jsoup.parse(new File("D:\\test.html"), "utf8");
        String title = doc.getElementsByTag("title").first().text();
        log.info("title={}", title);
使用dom遍历文档
1.获取元素
1.根据id查询元素getElementById
2.根据标签获取元素getElementsByTag
3.根据class获取元素getElementsByClass
4.根据属性获取元素getElementsByAttribute
    @Test
    public void parseDOM() throws Exception {
        // 解析文件，获取Document对象
        Document doc = Jsoup.parse(new File("D:\\test.html"), "utf8");
        // 根据id查询元素getElementById
        Element element1 = doc.getElementById("title");
        log.info("element1={}", element1);
        // 根据标签获取元素getElementsByTag
        Element element2 = doc.getElementsByTag("span").first();
        log.info("element2={}", element2);
        // 根据class获取元素getElementsByClass
        Element element3 = doc.getElementsByClass("myClass").first();
        log.info("element3={}", element3);
        // 根据属性获取元素getElementsByAttribute
        Element element4 = doc.getElementsByAttribute("myTag").first();
        log.info("element4={}", element4);
        Element element5 = doc.getElementsByAttributeValue("myTag", "2").first();
        log.info("element5={}", element5);
20:08:37.918 [main] INFO com.example.demo.test.JsoupFirstTest - element1=<h2 id="title">根据id查询元素</h2>
20:08:37.923 [main] INFO com.example.demo.test.JsoupFirstTest - element2=<span>根据标签获取元素</span>
20:08:37.923 [main] INFO com.example.demo.test.JsoupFirstTest - element3=<div class="myClass">
 根据class获取元素
20:08:37.924 [main] INFO com.example.demo.test.JsoupFirstTest - element4=<span mytag="1">根据属性获取元素1</span>
20:08:37.924 [main] INFO com.example.demo.test.JsoupFirstTest - element5=<span mytag="2">根据属性获取元素2</span>
2.获取元素中的数据
1.从元素中获取id
2.从元素中获取className
3.从元素中获取属性的值attr
4.从元素中获取所有属性attributes
5.从元素中获取文本内容text
	@Test
    public void parseData() throws Exception {
        // 解析文件，获取Document对象
       Document doc = Jsoup.parse(new File("D:\\test.html"), "utf8");
        // 根据id获取元素
        Element element = doc.getElementById("myDiv");
        // 从元素中获取id
        String id = element.id();
        log.info("id={}", id);
        // 从元素中获取className
        String className = element.className();
        log.info("className={}", className);
        // 循环得到的className集合
        Set<String> classSet = element.classNames();
        for (String s : classSet) {
            log.info("className={}", s);
        // 从元素中获取属性的值attr
        String attr = element.attr("myTag");
        log.info("attr={}", attr);
        // 从元素中获取所有属性attributes
        Attributes attributes = element.attributes();
        List<Attribute> attributesList = attributes.asList();
        for (Attribute attribute : attributesList) {
            log.info("attribute={}", attribute);
        // 从元素中获取文本内容text
        String text = element.text();
        log.info("text={}", text);
20:15:06.628 [main] INFO com.example.demo.test.JsoupFirstTest - id=myDiv
20:15:06.632 [main] INFO com.example.demo.test.JsoupFirstTest - className=myDivClass1 myDivClass2
20:15:06.632 [main] INFO com.example.demo.test.JsoupFirstTest - className=myDivClass1
20:15:06.632 [main] INFO com.example.demo.test.JsoupFirstTest - className=myDivClass2
20:15:06.632 [main] INFO com.example.demo.test.JsoupFirstTest - attr=1
20:15:06.633 [main] INFO com.example.demo.test.JsoupFirstTest - attribute=id="myDiv"
20:15:06.634 [main] INFO com.example.demo.test.JsoupFirstTest - attribute=class="myDivClass1 myDivClass2"
20:15:06.634 [main] INFO com.example.demo.test.JsoupFirstTest - attribute=mytag="1"
20:15:06.635 [main] INFO com.example.demo.test.JsoupFirstTest - text=根据id查询元素 根据标签获取元素 根据class获取元素 根据属性获取元素1 根据属性获取元素2
选择器查找元素
jsoup的elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。
select方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。
选择器 描述 举例
tagname 通过标签元素 span
#id 通过ID查找元素 #myId
.class 通过class名称查找元素 .myClass
[attribute] 利用属性查找元素 [myTag]
[attribute=value] 利用属性值来查找元素 [myTag=1]
    @Test
    public void parseSelector() throws Exception {
        // 解析文件，获取Document对象
        Document doc = Jsoup.parse(new File("D:\\test.html"), "utf8");
        // tagname: 通过标签查找元素，比如：span
        Elements elements = doc.select("span");
        for (Element element : elements) {
            log.info("element={}", element);
            log.info("----------------------------------------------------");
        // #id: 通过ID查找元素
        Element id = doc.select("#title").first();
        log.info("id={}", id);
        log.info("----------------------------------------------------");
        // .class: 通过class名称查找元素
        Element classs = doc.select(".myClass").first();
        log.info("classs={}", classs);
        log.info("----------------------------------------------------");
        // [attribute]: 利用属性查找元素
        Element myTag = doc.select("[myTag]").first();
        log.info("myTag={}", myTag);
        log.info("----------------------------------------------------");
        //[attr=value]: 利用属性值来查找元素
        Elements myTag1 = doc.select("[myTag=1]");
        for (Element element : myTag1) {
            log.info("element={}", element);
20:19:25.247 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span>根据标签获取元素</span>
20:19:25.251 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.251 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="1">根据属性获取元素1</span>
20:19:25.252 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.252 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="2"




    
>根据属性获取元素2</span>
20:19:25.252 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.252 [main] INFO com.example.demo.test.JsoupFirstTest - id=<h2 id="title">根据id查询元素</h2>
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - classs=<div class="myClass">
 根据class获取元素
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - myTag=<div id="myDiv" class="myDivClass1 myDivClass2" mytag="1">
 <h2 id="title">根据id查询元素</h2> <span>根据标签获取元素</span>
 <div class="myClass">
  根据class获取元素
 </div> <span mytag="1">根据属性获取元素1</span> <span mytag="2">根据属性获取元素2</span>
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - element=<div id="myDiv" class="myDivClass1 myDivClass2" mytag="1">
 <h2 id="title">根据id查询元素</h2> <span>根据标签获取元素</span>
 <div class="myClass">
  根据class获取元素
 </div> <span mytag="1">根据属性获取元素1</span> <span mytag="2">根据属性获取元素2</span>
20:19:25.253 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="1">根据属性获取元素1</span>
Selector选择器组合
选择器 描述 举例
el#id 元素+ID h1#myId
el.class 元素+class li.myClass
el[attr] 元素+属性名 span[myTag]
ancestor child 查找某个元素下子元素 #myId p
parent > child 查找某个父元素下的直接子元素 #myId>p
parent > * 查找某个父元素下所有直接子元素 #myId > *
    @Test
    public void parseSelector2() throws Exception {
        // 解析文件，获取Document对象
         Document doc = Jsoup.parse(new File("D:\\test.html"), "utf8");
        // el#id: 元素+ID
        Element element1 = doc.select("div#myDiv").first();
        log.info("element1={}", element1);
        log.info("----------------------------------------------------");
        // el.class: 元素+class
        Element element2 = doc.select("div.myClass").first();
        log.info("element2={}", element2);
        log.info("----------------------------------------------------");
        //el[attr]: 元素+属性名
        Element element3 = doc.select("span[myTag]").first();
        log.info("element3={}", element3);
        log.info("----------------------------------------------------");
        // ancestor child: 查找某个元素下子元素
        Elements elements1 = doc.select("#myDiv span");
        for (Element element : elements1) {
            log.info("element={}", element);
        log.info("----------------------------------------------------");
        // parent > child: 查找某个父元素下的直接子元素
        Elements elements2 = doc.select("#myDiv>h2");
        for (Element element : elements2) {
            log.info("element={}", element);
        log.info("----------------------------------------------------");
        // parent > *: 查找某个父元素下所有直接子元素
        Elements elements3 = doc.select("#myDiv>*");
        for (Element element : elements3) {
            log.info("element={}", element);
20:23:17.938 [main] INFO com.example.demo.test.JsoupFirstTest - element1=<div id="myDiv" class="myDivClass1 myDivClass2" mytag="1">
 <h2 id="title">根据id查询元素</h2> <span>根据标签获取元素</span>
 <div class="myClass">
  根据class获取元素
 </div> <span mytag="1">根据属性获取元素1</span> <span mytag="2">根据属性获取元素2</span>
20:23:17.944 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:23:17.945 [main] INFO com.example.demo.test.JsoupFirstTest - element2=<div class="myClass">
 根据class获取元素
20:23:17.945 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:23:17.945 [main] INFO com.example.demo.test.JsoupFirstTest - element3=<span mytag="1">根据属性获取元素1</span>
20:23:17.945 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:23:17.946 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span>根据标签获取元素</span>
20:23:17.946 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="1">根据属性获取元素1</span>
20:23:17.946 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="2">根据属性获取元素2</span>
20:23:17.946 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:23:17.947 [main] INFO com.example.demo.test.JsoupFirstTest - element=<h2 id="title">根据id查询元素</h2>
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - ----------------------------------------------------
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - element=<h2 id="title">根据id查询元素</h2>
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span>根据标签获取元素</span>
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - element=<div class="myClass">
 根据class获取元素
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="1">根据属性获取元素1</span>
20:24:22.333 [main] INFO com.example.demo.test.JsoupFirstTest - element=<span mytag="2">根据属性获取元素2</span>
复制代码
  
 
   相关推荐
   
        wazing_
        Android
      
    Android 使用Jsoup解析HTML
 Jsoup是一个用于处理真实世界的HTML的Java库。 它提供了一个非常方便的API来提取和操作数据，使用最好的DOM，CSS和类似jquery的方法。
  3183
 
 
        hryou0922
      
    Jsoup使用总结
 Jsoup使用总结
  5174
 




    
 
        行朝雾_坠云间
      
    使用jsoup爬取小说
 1.开局扯犊子 最近正在学习Java爬虫技术，于是乎接触到了jsoup这个东西。 继爬取美女图片后的第二个小项目，爬取笔趣阁小说， 2.页面分析 首先我们进入笔趣阁选择一本喜欢的小说，f12后拿到他的
  811
 
 
        Vue.js
      
    使用vue实现HTML页面生成图片
 随着网络的发展，越来越多的网络平台应运而生。如何获得更多的流量，吸引更多的眼球已经成为网络平台生存、发展的必要条件。现在网络平台最常见的一种宣传方式就是人邀人。 我最近就接到一个需求，做一个海报页面，并且能保存到手机，方便用户分享给朋友，希望能够达到人邀人的效果。 问题来了：二…
  2.3w
 
 
        U2647
        Spring Boot
      
    spring boot 使用 jsoup 拦截XSS
 spring boot 使用 Filter 拦截参数，使用 jsoup 拦截 xss
  2300
 
 
        itsOli
      
    2021 前端面试 | “HTML + CSS + JS”专题
 前端面试——HTML + CSS + JS，可以再轻松点儿~ 🔥🔥🔥“前端一万小时”两大明星专栏限时折扣中，欢迎点击公众号菜单栏各模块了解~
  17.4w
 
 
        非优秀程序员
        JavaScript
      
    如何用 CSS 中写出超级美丽的阴影效果
 「这是我参与11月更文挑战的第7天，活动详情查看：2021最后一次更文挑战」。 在我看来，最好的网站和Web应用程序对它们具有切实的"真实"质量。实现这种质量涉及很多因素，但阴影是一个关键因素。 然而
  116.0w




    
 
 
        程序员老鱼
        掘金·日新计划
        ChatGPT
        OpenAI
      
    ChatGPT保姆级教程，一分钟学会使用ChatGPT！
 最近ChatGPT大火！微软退出首款ChatGPT搜索引擎，阿里等国内巨头也纷纷爆出自家产品，一夜之间，全球最大的科技公司仿佛都回到了自己年轻时的样子！ 然而，ChatGPT这么火，这么好玩的东西，国
  71.5w
 
 
        行朝雾_坠云间
      
    使用jsoup获取歌曲
 1.开局扯犊子 上次编写了爬取笔趣阁小说的示例，这次咱就上网抑云借几首歌听听 2.页面分析 首先咱先进入我们的目标网站 https://music.163.com/#/artist?id=3684 找
  401
 
 
        程序员依扬
      
    【1 月最新】前端 100 问：能搞懂 80% 的请把简历给我
 半年时间，几千人参与，精选大厂前端面试高频 100 题，这就是「壹题」。 在 2019 年 1 月 21 日这天，「壹题」项目正式开始，在这之后每个工作日都会出一道高频面试题，主要涵盖阿里、腾讯、头条、百度、网易等大公司和常见题型。得益于大家热情参与，现在每道题都有很多答案，提…
  65.3w
 
 
            11155
      
    使用httpRequest+Jsoup爬取红蓝球号码
 这是我参与更文挑战的第2天，活动详情查看： 更文挑战 基础环境： 1、Jsoup介绍 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一
  1188
 
 
      
    jsoup爬取某东数据
 jsoup爬取某东数据 免责声明：本文所记录的技术手段及实现过程，仅作为爬虫技术学习使用，不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任 js
  994
 
 
        AnLingYi
      
    Jsoup爬取爱奇艺高分电影排行榜数据
 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 浏览器打开爱奇艺高分电影排行榜的地址 https://www.iqiyi.com/di…
  1655
 
 
        OBKoro1
        Firefox
        JavaScript
      
    【干货】js 数组详细操作方法及解析合集
 在开发中，数组的使用场景非常多，平日中也涉及到很多数组的api/相关操作，一直也没有对这块内容进行一块整理总结，很多时候就算用过几次这个api，在开发中也很容易忘记，还是要谷歌一下。所以就希望对这块内容有一个比较系统性的总结，在这背景下，就有了本篇文章，如果喜欢的话可以点波赞/…
  10.1w
 
 
        sibyl_
      
    Jsoup爬虫程序的实现
 在没有解析之前我们得到得数据是什么。 maven打包，双击package。
  926
 
 
    CodeDevMaster
        全栈工程师
      
   私信
   
         1,628
选择器	描述	举例
tagname	通过标签元素	span
#id	通过ID查找元素	#myId
.class	通过class名称查找元素	.myClass
[attribute]	利用属性查找元素	[myTag]
[attribute=value]	利用属性值来查找元素	[myTag=1]
选择器	描述	举例
el#id	元素+ID	h1#myId
el.class	元素+class	li.myClass
el[attr]	元素+属性名	span[myTag]
ancestor child	查找某个元素下子元素	#myId p
parent > child	查找某个父元素下的直接子元素	#myId>p
parent > *	查找某个父元素下所有直接子元素	#myId > *