import org.jsoup.Jsoup;
import javax.swing.*;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.awt.BorderLayout;
import java.awt.GridLayout;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.Scanner;
import javax.swing.JFrame;
import javax.swing.JPanel;
import javax.swing.JScrollPane;
import javax.swing.JTextArea;
import javax.swing.JTextField;
@SuppressWarnings("unused")
public class SimpleWebCrawler extends JFrame {
JTextField yourInputField = new JTextField(20);
static JTextArea _resultArea = new JTextArea(100, 100);
JScrollPane scrollingArea = new JScrollPane(_resultArea);
private final static String newline = "\n";
public SimpleWebCrawler() throws MalformedURLException {
String word2 = yourInputField.getText();
_resultArea.setEditable(false);
try {
URL my_url = new URL("http://" + word2 + "/");
BufferedReader br = new BufferedReader(new InputStreamReader(
my_url.openStream()));
String strTemp = "";
while (null != (strTemp = br.readLine())) {
_resultArea.append(strTemp + newline);
}
} catch (Exception ex) {
ex.printStackTrace();
}
_resultArea.append("\n");
_resultArea.append("\n");
_resultArea.append("\n");
String url = "http://" + word2 + "/";
print("Fetching %s...", url);
try{
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
System.out.println("\n");
BufferedWriter bw = new BufferedWriter(new FileWriter("C:\\Users\\user\\fypworkspace\\FYP\\Link\\abc.txt"));
_resultArea.append("\n");
for (Element link : links) {
print(" %s ", link.attr("abs:href"), trim(link.text(), 35));
bw.write(link.attr("abs:href"));
bw.write(System.getProperty("line.separator"));
}
bw.flush();
bw.close();
} catch (IOException e1) {
}
JPanel content = new JPanel();
content.setLayout(new BorderLayout());
content.add(scrollingArea, BorderLayout.CENTER);
content.add(yourInputField);
this.setContentPane(content);
this.setTitle("Crawled Links");
this.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
this.pack();
}
private static void print(String msg, Object... args) {
_resultArea.append(String.format(msg, args) +newline);
}
private static String trim(String s, int width) {
if (s.length() > width)
return s.substring(0, width - 1) + ".";
else
return s;
}
//.. Get the content pane, set layout, add to center
public static void main(String[] args) throws IOException {
JFrame win = new SimpleWebCrawler();
win.setVisible(true);
}
}
嗨,这是我从网址中提取链接的代码。用户将键入所需的URL,此代码将从URL中提取链接。
此代码提示用户在ECLIPSE IDE控制台中键入URL。键入输入后,代码将从URL中提取链接并将输出传输到JTextArea。
我现在想做的是,我想创建一个Jtextfield来接收用户输入而不是控制台内输入中的用户键。
负责处理字符串输入的代码行是:
URL my_url = new URL("http://" + word2 + "/");
String url = "http://" + word2 + "/";
然而我得到一个描述
的非法争论异常protocol = http host = null.
我缺少什么?
答案 0 :(得分:0)
构造对象时,您将创建一个新的,新鲜的JTextField。但是,您没有在任何地方显示此JTextField,因此用户无法在其中输入数据。因为它们无法输入数据,所以当您调用getText()时,新创建的JTextField将返回null。
最好的办法是在表单上显示JTextField并在有人点击“开始”后才运行HTTP Crawl,或者更好的是更改构造函数以接受作为URL基本主机的String参数你想下载。然后SimpleWebCrawler完成所有工作,然后你可以构建另一个显示表单的类。
e.g。
public SimpleWebCrawler(String word2) throws MalformedURLException {
// We don't need this any more
//String word2 = yourInputField.getText();
_resultArea.setEditable(false);
try {
URL my_url = new URL("http://" + word2 + "/");
BufferedReader br = new BufferedReader(new InputStreamReader(
my_url.openStream()));
String strTemp = "";
while (null != (strTemp = br.readLine())) {
_resultArea.append(strTemp + newline);
}
} catch (Exception ex) {
ex.printStackTrace();
}
// Rest of your constructor goes here...
答案 1 :(得分:0)
这里的问题是你试图过早地制定网址;甚至在创建GUI之前。所以word2
只是一个空字符串,因此URL看起来像"http:///"
无效。尝试添加JButton
并尝试在按下按钮时从网页中提取链接。