请选择 进入手机版 | 继续访问电脑版

大蛇智能

 找回密码
 立即注册

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
查看: 326|回复: 6

第四章 数据爬不下来,爬到一半报错

[复制链接]

1

主题

1

帖子

5

积分

新手上路

Rank: 1

积分
5
发表于 2020-12-1 11:58:11 | 显示全部楼层 |阅读模式
有解决的吗???
回复

使用道具 举报

143

主题

242

帖子

759

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
759
发表于 2020-12-6 06:32:07 | 显示全部楼层
原先的爬虫失效了,我们后来有更新一版代码。从新获取一次代码试试
回复

使用道具 举报

1

主题

4

帖子

29

积分

新手上路

Rank: 1

积分
29
发表于 2020-12-15 14:27:24 | 显示全部楼层
C:\Users\78384\anaconda3\python.exe "E:/深度学习/机器视觉之TensorFlow2:入门、原理与应用实战/code_03_ spyder.py"
Traceback (most recent call last):
  File "E:/深度学习/机器视觉之TensorFlow2:入门、原理与应用实战/code_03_ spyder.py", line 119, in <module>
    crawler.start('模特 白人', "org_white2", 500)
  File "E:/深度学习/机器视觉之TensorFlow2:入门、原理与应用实战/code_03_ spyder.py", line 114, in start
    self.__getImages(keyword)
  File "E:/深度学习/机器视觉之TensorFlow2:入门、原理与应用实战/code_03_ spyder.py", line 56, in __getImages
    json_data = json.loads(data)  # 解析json
  File "C:\Users\78384\anaconda3\lib\json\__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "C:\Users\78384\anaconda3\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\78384\anaconda3\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

执行爬虫程序出错,请帮我看看啥原因,谢谢。
回复

使用道具 举报

1

主题

4

帖子

29

积分

新手上路

Rank: 1

积分
29
发表于 2020-12-17 08:34:26 | 显示全部楼层
使用了新版本的代码,下载不到图片,提示如下:
C:\Users\78384\anaconda3\python.exe "E:/深度学习/Machine-Vision-for-TensorFlow-2.x--master/code/code_03_ spyder(new).py"
下载到了空文件,跳过!
采集图片+1,已采集到1张图片
The read operation timed out
产生未知错误,放弃保存
采集图片+1,已采集到2张图片
The read operation timed out
产生未知错误,放弃保存
采集图片+1,已采集到3张图片
下载到了空文件,跳过!
采集图片+1,已采集到4张图片
采集图片+1,已采集到5张图片
回复

使用道具 举报

1

主题

4

帖子

29

积分

新手上路

Rank: 1

积分
29
发表于 2020-12-17 10:46:37 | 显示全部楼层
估计是网站做了反爬虫处理,不知道该如何办?
回复

使用道具 举报

0

主题

1

帖子

8

积分

新手上路

Rank: 1

积分
8
发表于 2020-12-17 15:42:56 | 显示全部楼层
杭州夜未央 发表于 2020-12-17 10:46
估计是网站做了反爬虫处理,不知道该如何办?

去网上找能爬的程序,大把大把的,爬下来自己再筛选下,然后训练
回复

使用道具 举报

0

主题

2

帖子

8

积分

新手上路

Rank: 1

积分
8
发表于 2021-1-17 23:29:42 | 显示全部楼层
代码医生 发表于 2020-12-6 06:32
原先的爬虫失效了,我们后来有更新一版代码。从新获取一次代码试试

我是前两天刚获取的代码,我换了url爬到了东西,但是在line 56,json.loads(data)报错。
查了loads的作用,因为data是个string,所以报错了吧,不知道怎么解决。
报错信息:
JSONDecodeError                           Traceback (most recent call last)
<ipython-input-32-a63535960cae> in <module>
      1 # type(data)
----> 2 json_data = json.loads(data)

~/opt/anaconda3/lib/python3.7/json/__init__.py in loads(s, encoding, cls, object_hook, parse_float, parse_int, parse_constant, object_pairs_hook, **kw)
    346             parse_int is None and parse_float is None and
    347             parse_constant is None and object_pairs_hook is None and not kw):
--> 348         return _default_decoder.decode(s)
    349     if cls is None:
    350         cls = JSONDecoder

~/opt/anaconda3/lib/python3.7/json/decoder.py in decode(self, s, _w)
    335
    336         """
--> 337         obj, end = self.raw_decode(s, idx=_w(s, 0).end())
    338         end = _w(s, end).end()
    339         if end != len(s):

~/opt/anaconda3/lib/python3.7/json/decoder.py in raw_decode(self, s, idx)
    353             obj, end = self.scan_once(s, idx)
    354         except StopIteration as err:
--> 355             raise JSONDecodeError("Expecting value", s, err.value) from None
    356         return obj, end

JSONDecodeError: Expecting value: line 1 column 1 (char 0)
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|大蛇智能 ( 京ICP备18026897号-1 )

GMT+8, 2021-4-18 01:27 , Processed in 0.024981 second(s), 24 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表