文章详情页
java - 爬虫爬取图片问题?
浏览:234日期:2023-10-31 08:12:21
问题描述
刚才修改了下 POM,大家可以重新下载源码这是我写的爬虫的项目地址 项目不报错,但是问题是下载图片到本地后经常性的是图片不完整,如下:
这是下载图片的核心代码,如下:
@Override public void run() {Response res = null;try { res = Jsoup.connect(src).ignoreContentType(true).timeout(30000).execute(); byte[] bytes = res.bodyAsBytes(); File file = new File(path + name); if (!file.exists()) {RandomAccessFile raf = new RandomAccessFile(file, 'rw');raf.write(bytes);raf.close(); }} catch (IOException e1) { e1.printStackTrace();} }
经过资料查询,感觉是范围请求 Range的问题或者自己没发现的问题?希望大家给看下,谢谢
问题解答
回答1:感觉是响应数据没获取完整,你debug一下看看响应的实际数据大小和你保存的数据大小是否有出入。
又或者因为还有一部分数据还在缓冲区中,没来得及写到文件,此时进程退出,导致数据不完整,关闭文件流之前执行一下flush操作。
标签:
java
相关文章:
1. mysql - SELECT 多個資料表及多個欄位2. 微信端电子书翻页效果3. mac连接阿里云docker集群,已经卡了2天了,求问?4. 如何在指定的JSON数据中根据指定条件拿到匹配到的结果?5. java enum 变量不能再case里面重复定义?6. 13寸笔记本win10 界面字体有点小7. javascript - js删除页面节点有何作用,直接删除具体代码不是一样的效果么?8. 如何解决Centos下Docker服务启动无响应,且输入docker命令无响应?9. debian - docker依赖的aufs-tools源码哪里可以找到啊?10. css - 关于Flex布局的问题
排行榜

网公网安备