添加链接 注册    登录
link之家
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
面冷心慈的绿茶  ·  使用python把数组[['a']['b'] ...·  9 月前    · 
逃课的紫菜汤  ·  Android逆向之旅---动态方式破解ap ...·  1 年前    · 
挂过科的香菜  ·  python3中如何处理用逗号分隔的多个列表 ...·  1 年前    · 
时尚的熊猫  ·  编写脚本操作引用 - Power ...·  1 年前    · 
link之家  ›  【jsoup+jdic】java获取URL请求最终的html源码(js解析过的)_happydecai的博客
https://blog.csdn.net/happydecai/article/details/82419815
踏实的刺猬
1 年前

转自： http://yiyickf.iteye.com/blog/1107108

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于 JQuery 的操作方法来取出和操作数据。

jsoup的主要功能如下：

  1. 从一个URL，文件或字符串中解析HTML；
  2. 使用DOM或CSS选择器来查找、取出数据；
  3. 可操作HTML元素、属性、文本；

如果对jsoup不熟悉，请移步 http://jsoup.org/

JDIC 全程是 JDesktop Integration Components 目的是构建消除本机应用程序和 Java 等价物之间差距的组件。JDIC 单一的 Java API 允许应用程序接进本机操作系统特性，同时保持跨平台支持。它目前提供了本机 Web 浏览器（Internet Explorer 或 Mozilla） 支持、系统托盘支持、文件扩展集成和其他桌面特性。

官网： http://java.net/projects/jdic/

svn地址，直接下了看例子吧：https://svn.java.net/svn/jdic~svn

helloword程序： http://plplum.blog.163.com/blog/static/31032400200910994034328/

另，刚刚找到的一篇好文章，Java 网页浏览器组件介绍： http://www.ibm.com/developerworks/cn/java/j-lo-browser/index.html

jsoup 的解析很好用，但是jsoup不能解析动态的代码，于是就有了JDIC调用ie内核，然后执行

Java代码

  1. String jscript =   "function getAllHtml() {"+
  2. "var a='';" +
  3. "a = '<html><head><title>';" +
  4. "a += document.title;"+
  5. "a += '</title></head>';"+
  6. "a += document.body.outerHTML;"+
  7. "a += '</html>';"+
  8. "return a;"+
  9. "}"+
  10. "getAllHtml();";
  11. String result = webBrowser.executeScript(jscript);

这段代码得到当前的html，然后交由jsoup 进行解析

Java代码

  1. Document doc=Jsoup.parse(result);

示例目标：

招聘网站，希望出来的结果按照公司规模来排序

购物网站，希望商品按照评论的多少来排序

图片搜索，快速保存所有的结果

。。。。。。

下面的演示实现了找出标题，百度图片搜索的前2页，智联招聘的前6页

Java代码

  1. package ins1000.main;
  3. import ins1000.dialect.DefiniteUrl;
  4. import ins1000.dialect.impl.CopyOfDefiniteUrl_zhilianzhaoping;
  5. import ins1000.dialect.impl.DefiniteUrl_baiduMap;
  6. import ins1000.util.BrowserReadHtml;
  8. import java.util.ArrayList;
  9. import java.util.List;
  11. /**
  12. * 以网页翻页为例子
  13. * @author Administrator
  14. *
  15. */
  16. public class Main{
  17. static List<DefiniteUrl> definiteUrls=new ArrayList<DefiniteUrl>();
  18. static{
  19. definiteUrls.add(new DefiniteUrl_baiduMap());
  20. definiteUrls.add(new CopyOfDefiniteUrl_zhilianzhaoping());
  21. }
  23. public static void main(String[] args) throws Exception {
  24. for(DefiniteUrl du:definiteUrls){
  25. BrowserReadHtml brh= new BrowserReadHtml(du);
  26. brh.begin();
  27. }
  28. }
  30. public static void finish(DefiniteUrl du) {
  31. definiteUrls.remove(du);
  32. if(definiteUrls.size()==0){
  33. System.exit(0);
  34. }
  36. }
  38. }

主类，扩展的时候直接添加definiteUrls.add(new xxx());即可

Java代码

  1. package ins1000.util;
  2. import ins1000.dialect.DefiniteUrl;
  3. import java.awt.BorderLayout;
  4. import java.net.URL;
  5. import java.util.Timer;
  6. import java.util.TimerTask;
  8. import javax.swing.JFrame;
  9. import javax.swing.JPanel;
  11. import org.jdesktop.jdic.browser.WebBrowser;
  12. import org.jdesktop.jdic.browser.WebBrowserEvent;
  13. import org.jdesktop.jdic.browser.WebBrowserListener;
  14. import org.jsoup.Jsoup;
  15. import org.jsoup.nodes.Document;
  18. /**
  19. * 动态读取页面的html
  20. * @author ckf
  21. *
  22. */
  23. public class BrowserReadHtml {
  24. private DefiniteUrl definiteUrl;
  26. public BrowserReadHtml(DefiniteUrl definiteUrl) {
  27. this.definiteUrl=definiteUrl;
  28. }
  30. private  JFrame frame;
  31. private JPanel panel_name=new JPanel();
  32. private WebBrowser webBrowser = new WebBrowser();
  33. public void begin() throws Exception{
  34. initwebBrowser();
  35. frame = new JFrame("Browser Test");
  36. frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
  37. frame.getContentPane().add(webBrowser);
  38. frame.pack();
  39. frame.setSize(900,500);
  40. frame.setLocation((int)(100*Math.random()), (int)(100*Math.random()));
  41. frame.setVisible(definiteUrl.isVisible());
  42. }
  43. int begincount;
  44. private void initwebBrowser()  throws Exception{
  46. panel_name.add(webBrowser, BorderLayout.CENTER);
  47. webBrowser .setURL(new URL(definiteUrl.getUrl()));
  48. webBrowser .addWebBrowserListener(new WebBrowserListener() {
  49. public void documentCompleted(WebBrowserEvent event) {
  50. if(begincount==0){
  51. getThisPageResult();
  52. }
  53. begincount++;
  54. }
  55. public void downloadStarted(WebBrowserEvent event) {}
  56. public void downloadCompleted(WebBrowserEvent event) {      }
  57. public void downloadProgress(WebBrowserEvent event) {       }
  58. public void downloadError(WebBrowserEvent event) {          }
  59. public void titleChange(WebBrowserEvent event) {        }
  60. public void statusTextChange(WebBrowserEvent event) {       }
  61. public void windowClose(WebBrowserEvent arg0) {     }
  63. });
  65. }
  67. private void callback(String result) {
  68. Document doc=Jsoup.parse(result);
  69. definiteUrl.page(doc);
  70. if(definiteUrl.isEndPage(doc)){
  71. frame.dispose();
  72. definiteUrl.finish();
  73. }else{
  74. webBrowser.executeScript(definiteUrl.getNextPageJavaScript(doc));
  75. getThisPageResult();
  76. }
  77. }
  78. private void getThisPageResult() {
  79. Timer timer = new Timer(false);
  80. timer.schedule(new AllTask(), 1 * 1000);
  81. }
  84. class AllTask extends TimerTask {
  85. public void run() {
  86. String jscript =   "function getAllHtml() {"+
  87. "var a='';" +
  88. "a = '<html><head><title>';" +
  89. "a += document.title;"+
  90. "a += '</title></head>';"+
  91. "a += document.body.outerHTML;"+
  92. "a += '</html>';"+
  93. "return a;"+
  94. "}"+
  95. "getAllHtml();";
  96. String result = webBrowser.executeScript(jscript);
  97. callback(result);
  98. }
  99. }
  100. }

这个类是调用ie浏览器，执行javascript代码，可以不管

Java代码

  1. package ins1000.dialect;
  4. import ins1000.main.Main;
  6. import org.jsoup.nodes.Document;
  8. /**
  9. * 抽象类，每个具体的网站都要继承此类
  10. * @author Administrator
  11. *
  12. */
  13. public abstract class DefiniteUrl{
  14. private String url;
  15. private boolean visible;
  16. public DefiniteUrl(String url){
  17. this.url=url;
  18. visible=true;
  19. }
  21. public abstract String getNextPageJavaScript(Document doc);
  23. public abstract boolean isEndPage(Document doc);
  25. public abstract void page(Document doc);
  28. public String getUrl() {
  29. return url;
  30. }
  32. public void setUrl(String url) {
  33. this.url = url;
  34. }
  36. public boolean isVisible() {
  37. return visible;
  38. }
  40. public void setVisible(boolean visible) {
  41. this.visible = visible;
  42. }
  44. public void finish() {
  45. Main.finish(this);
  46. }
  50. }

这个是抽象类，每个网站要实现对应的方法

getNextPageJavaScript下一页javascript代码，可以是点击下一页按钮，也可以是直接换url

isEndPage是否为最后一页

page当前页面最终的html代码（动态的html代码）

//以下为具体的实现类，扩展的时候直接继承一个DefiniteUrl

Java代码

  1. package ins1000.dialect.impl;
  3. import org.jsoup.nodes.Document;
  4. import org.jsoup.nodes.Element;
  5. import org.jsoup.select.Elements;
  6. import ins1000.dialect.DefiniteUrl;
  8. public class DefiniteUrl_baiduMap  extends DefiniteUrl{
  10. public DefiniteUrl_baiduMap() {
  11. //设置网站入口地址
  12. super("http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&istype=2&fm=index&pv=&z=0&word=%C2%E3%BB%E9%CA%B1%B4%FA&s=0");
  13. //设置窗口是否可视化，默认为true
  14. //setVisible(false);
  15. }
  16. private int count=1;
  17. @Override
  18. public String getNextPageJavaScript(Document doc) {
  19. count++;
  20. Element el= doc.select("#pgw").select("a").last();
  21. return el.attr("onclick");
  22. }
  24. @Override
  25. public boolean isEndPage(Document doc) {
  26. if(count>=2){
  27. return true;
  28. }else{
  29. return false;
  30. }
  31. }
  33. @Override
  34. public void page(Document doc) {
  35. Elements els= doc.select("#imgid").select("dl");
  36. for(Element el:els){
  37. Element img=el.select("img").first();
  38. Element link=el.select("dt").select("a").first();
  39. System.out.println(link.text()+"=======>"+img.absUrl("src"));
  40. }
  41. }
  43. }

Java代码

  1. package ins1000.dialect.impl;
  3. import org.jsoup.nodes.Document;
  4. import org.jsoup.nodes.Element;
  5. import org.jsoup.select.Elements;
  7. import ins1000.dialect.DefiniteUrl;
  9. public class CopyOfDefiniteUrl_zhilianzhaoping  extends DefiniteUrl{
  11. public CopyOfDefiniteUrl_zhilianzhaoping() {
  12. //设置网站入口地址
  13. super("http://sou.zhaopin.com/jobs/jobsearch_jobtype.aspx?in=210500&jl=%E6%B7%B1%E5%9C%B3&kw=java&sm=1&p=1");
  14. //设置窗口是否可视化，默认为true
  15. //setVisible(false);
  16. }
  17. private int count=1;
  18. @Override
  19. public String getNextPageJavaScript(Document doc) {
  22. String url="http://sou.zhaopin.com/jobs/jobsearch_jobtype.aspx?in=210500&jl=%E6%B7%B1%E5%9C%B3&kw=java&sm=1&p="+count;
  23. String next="window.location.href='"+url+"';";
  25. count++;
  26. return next;
  27. }
  29. @Override
  30. public boolean isEndPage(Document doc) {
  31. if(count>=6){
  32. return true;
  33. }else{
  34. return false;
  35. }
  36. }
  38. @Override
  39. public void page(Document doc) {
  40. Elements els= doc.select("#joblist").select("[class=trW2]");
  41. for(Element el:els){
  42. try {
  43. System.out.print(el.select("a").first().text());
  44. System.out.print("==========>");
  45. System.out.println(el.select("a").eq(1).text());
  46. } catch (Exception e) {
  47. }
  48. }
  50. }
  52. }

有图有真相

附件中有源码，eclipse导出

Java代码

  1. private void getThisPageResult() {
  2. Timer timer = new Timer(false);
  3. timer.schedule(new AllTask(), 1 * 1000);
  4. }
  7. class AllTask extends TimerTask {
  8. public void run() {
  9. String jscript =   "function getAllHtml() {"+
  10. "var a='';" +
  11. "a = '<html><head><title>';" +
  12. "a += document.title;"+
  13. "a += '</title></head>';"+
  14. "a += document.body.outerHTML;"+
  15. "a += '</html>';"+
  16. "return a;"+
  17. "}"+
  18. "getAllHtml();";
  19. String result = webBrowser.executeScript(jscript);
  20. callback(result);
  21. }

上面是当前代码，求更好的解决方案

现在取得当前的html使用了定时器，1秒后执行，感觉很不精确，有没有什么更好的方式，比如判断当前页面所有的内容都已经加载完了，其它的javascript都已经执行完了的代码？

转自：http://yiyickf.iteye.com/blog/1107108准备资料jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。jsoup的主要功能如下：从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找...
在 Java 中， Java .net包里面的类是进行网络编程的，其中， java .net. URL 类和 java .net. URL Conection类是编程者方便地利用 URL 在Internet上进行网络通信。有两种方法可以用来访问Internet。 一是使用 URL 类的openStream()方法： openStream()方法与制定的 URL 建立连接并返回InputStream类的对象，以从这一连接中读取数据； openStream()方法只能读取网络资源。 二是使用 URL 类的openConnection()方
我们抓取到页面后，还需要对页面进行 解析 。可以使用字符串处理工具 解析 页面，也可以使用正则表达式，但是这些技术都会带来很大的开发成本，所以我们需要一款专门 解析 html 页面的技术。 jsoup 是一款 java 的 html 解析 器，可以直接 解析 某个 URL 地址、 HTML 文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似Jquery的操作方法来取出和操作数据。 jsoup 的主要功能如下：
JDIC （ Java Desktop Integration Components）项目的背景是当可以不考虑 Java 代码的平台可移植性的时候，能让 Java 程序与系统无缝地整合在一起。它提供给 Java 代码直接访问本地桌面的功能，其中包含了一系列的 Java 包以及工具，包含了嵌入本地浏览器组件的功能，启动桌面应用程序，在桌面的系统托盘处添加托盘图标以及注册文件类型关联等等。 JDIC plus 是在 JDIC 项目上的另外一个扩展，它是一个 Java 的 win32 操作系统的扩展开发工具包，也就是说，它只能在 Windows 操作系统上使用，所以不具有平台无关性。它提供了很多类似于 Windows API 的功能，除了提供了对 IE 组件的封装之外，还有地图显示组件，以及编辑浏览 MS Word、MS PPT、MS Excel、MS Outlook、PDF 的组件。 JDIC plus 曾经的官方网站是 https:// jdic .dev. java .net/documentation/incubator/ JDIC plus/index. html ，这个页面上展示了很多使用了 JDIC plus 这个库的 DEMO，这里讨论的主要是对 Windows IE 封装的浏览器组件。
 
推荐文章
面冷心慈的绿茶  ·  使用python把数组[['a']['b']['c]]变成['a','b','c'] - CSDN文库
9 月前
逃课的紫菜汤  ·  Android逆向之旅---动态方式破解apk进阶篇(IDA调试so源码) - 知乎
1 年前
挂过科的香菜  ·  python3中如何处理用逗号分隔的多个列表? - 知乎
1 年前
时尚的熊猫  ·  编写脚本操作引用 - Power Automate | Microsoft Learn
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
link之家 - 链接快照平台
© 2024 ~ 沪ICP备11025650号