快捷導(dǎo)航

java抓取網(wǎng)頁數(shù)據(jù)示例

更新時(shí)間：2014年03月02日 16:10:50 作者：

要通java獲取整個網(wǎng)頁的html內(nèi)容，或者某個網(wǎng)絡(luò)文件的內(nèi)容,可以使用java提供的HttpURLConnection類來實(shí)現(xiàn)對網(wǎng)頁內(nèi)容的抓取

下面舉例說明：

抓取百度首頁的內(nèi)容：

復(fù)制代碼代碼如下:

URL url = new URL("http://www.baidu.com");
HttpURLConnection urlCon=(HttpURLConnection)url.openConnection();
urlCon.setConnectTimeout(50000);
urlCon.setReadTimeout(300000);
DataInputStream fIn;
byte[] content = new byte[MAX_FILE_SIZE];
fIn = new DataInputStream(urlCon.getInputStream());
int size = 0,f_size = 0;
while((size = fIn.read(content,f_size,2048))> 0){
    f_size += size;
}

在代碼中我們將百度首頁的內(nèi)容存儲到了一個byte數(shù)組中，當(dāng)然我們有了 IO流以后還可以存儲到文件中去了。

您可能感興趣的文章:

相關(guān)文章

使用Mybatis-plus實(shí)現(xiàn)對數(shù)據(jù)庫表的內(nèi)部字段進(jìn)行比較
這篇文章主要介紹了使用Mybatis-plus實(shí)現(xiàn)對數(shù)據(jù)庫表的內(nèi)部字段進(jìn)行比較方式，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-07-07
Java加載properties文件實(shí)現(xiàn)方式詳解
這篇文章主要介紹了Java加載properties文件實(shí)現(xiàn)方式詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
關(guān)于JDK15的新特性之TextBlocks文本塊的引入和使用
這篇文章主要介紹了關(guān)于JDK15的新特性之文本塊的引入和使用,如果具有一種語言學(xué)機(jī)制，可以比多行文字更直觀地表示字符串，而且可以跨越多行，而且不會出現(xiàn)轉(zhuǎn)義的視覺混亂，那么這將提高廣泛Java類程序的可讀性和可寫性,需要的朋友可以參考下
2023-07-07
Java TreeMap排序算法實(shí)例
這篇文章主要介紹了Java TreeMap排序算法,結(jié)合實(shí)例形式分析了TreeMap排序算法的原理、實(shí)現(xiàn)方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下
2017-07-07
java理論基礎(chǔ)Stream管道流狀態(tài)與并行操作
這篇文章主要為大家介紹了java理論基礎(chǔ)Stream管道流狀態(tài)與并行操作，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步
2022-03-03
Java生成隨機(jī)數(shù)的2種示例方法代碼
在Java中，生成隨機(jī)數(shù)有兩種方法。1是使用Random類。2是使用Math類中的random方法?？聪旅娴睦邮褂冒?/div> 2013-11-11
java實(shí)現(xiàn)二維數(shù)組轉(zhuǎn)json的方法示例
這篇文章主要介紹了java實(shí)現(xiàn)二維數(shù)組轉(zhuǎn)json的方法,涉及java數(shù)組遍歷及json格式數(shù)據(jù)構(gòu)造相關(guān)操作技巧,需要的朋友可以參考下
2017-10-10
java轉(zhuǎn)化為exe程序步驟詳解
在本篇內(nèi)容里我們給大家分享了關(guān)于java轉(zhuǎn)化為exe程序的具體步驟和相關(guān)知識點(diǎn)，需要的朋友們學(xué)習(xí)下。
2019-03-03
聊聊SpringBoot的@Scheduled的并發(fā)問題
這篇文章主要介紹了聊聊SpringBoot的@Scheduled的并發(fā)問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2021-11-11
java對象池管理方式common-pool2使用
這篇文章主要為大家介紹了java對象池common-pool2使用示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2023-05-05