Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BUG]images.py get_all_images出错;download.py creat_time赋值有问题 #377

Open
CCMonkeyss opened this issue Mar 29, 2023 · 6 comments
Assignees
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies)

Comments

@CCMonkeyss
Copy link

描述出现的错误

  1. File "L:\山海观雾\视频\抖音下载\Util\Profile.py", line 290, in getVideoInfo
    datas = Util.Images().get_all_images(self.image_list)
    File "L:\山海观雾\视频\抖音下载\Util\Images.py", line 53, in get_all_images
    js = Util.json.loads(r)

此处print(r)数据为空,时好时坏。

  1. creat_time似乎有问题,有时download.py第93行的档名比对会出错,此时尝试print(create_time)也会报错。
    而且下载时有下载“同名”“同大小”“日期不同”的“相同视频”的现象,
    有时也会下载“同名”“不同大小”“日期不同”的“相同视频”(分辨率不同),而且发生此状况的时候,日期较新的视频通常分辨率较低。

桌面(请填写以下信息):
-操作系统:例如windows10 64bit
-vpn代理:关闭

@CCMonkeyss CCMonkeyss added 故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies) labels Mar 29, 2023
@NightMoonIsland03
Copy link

Download改成异步后似乎经常出问题

@whitebeard916
Copy link

whitebeard916 commented Apr 2, 2023

先说我的使用方法:手动添加cookie到conf.ini,然后再使用。
开始用着正常但是后续也突然出现了你说的那种问题,r没有取到值。后面发现video下载的时候用的的参数self.headers有自己添加的cookie数据,但是到get_all_images函数里面的self.headers变量值没有cookie内容,然后也不知道原因。
解决方法:只能给get_all_images再加一个参数self.headers,把有cookie的self.headers传进去不能直接使用self.headers。最后get_all_images函数里面的r = Util.requests.get(url=jx_url, headers=self.headers).text的self.headers要改为自己传进去的那个有cookie的self.headers。希望可以使用

@CCMonkeyss
Copy link
Author

先说我的使用方法:手动添加cookie到conf.ini,然后再使用。 开始用着正常但是后续也突然出现了你说的那种问题,r没有取到值。后面发现video下载的时候用的的参数self.headers有自己添加的cookie数据,但是到get_all_images函数里面的self.headers变量值没有cookie内容,然后也不知道原因。 解决方法:只能给get_all_images再加一个参数self.headers,把有cookie的self.headers传进去不能直接使用self.headers。最后get_all_images函数里面的r = Util.requests.get(url=jx_url, headers=self.headers).text的self.headers要改为自己传进去的那个有cookie的self.headers。希望可以使用

我也差不多,因为我不懂编程,不知道怎么把headers的参数传进去,所以我把image.py里面的headers加上了cookies的内容。情况就好了很多,不过还是偶尔会报错。

@Johnserf-Seed
Copy link
Owner

谢谢反馈,我去查看一下

@Johnserf-Seed
Copy link
Owner

先说我的使用方法:手动添加cookie到conf.ini,然后再使用。 开始用着正常但是后续也突然出现了你说的那种问题,r没有取到值。后面发现video下载的时候用的的参数self.headers有自己添加的cookie数据,但是到get_all_images函数里面的self.headers变量值没有cookie内容,然后也不知道原因。 解决方法:只能给get_all_images再加一个参数self.headers,把有cookie的self.headers传进去不能直接使用self.headers。最后get_all_images函数里面的r = Util.requests.get(url=jx_url, headers=self.headers).text的self.headers要改为自己传进去的那个有cookie的self.headers。希望可以使用

我也差不多,因为我不懂编程,不知道怎么把headers的参数传进去,所以我把image.py里面的headers加上了cookies的内容。情况就好了很多,不过还是偶尔会报错。

测试了是接口的问题,图集不是每次请求都会返回数据

@CCMonkeyss
Copy link
Author

CCMonkeyss commented Apr 4, 2023

今天把create_time的错误复制下来啦,如下:

File "L:\视频\抖音下载\Util\Profile.py", line 229, in getNextData
self.getVideoInfo(result)
File "L:\视频\抖音下载\Util\Profile.py", line 291, in getVideoInfo
Util.Download().VideoDownload(self)
File "L:\视频\抖音下载\Util\Download.py", line 95, in VideoDownload
self.path, creat_time, self.author_list[i], ".mp4")
^^^^^^^^^^
UnboundLocalError: cannot access local variable 'creat_time' where it is not associated with a value

Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
…#287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、全面升级aiohttp作为异步网络请求,asyncio为密集型IO
2、将导入的库做一个分类排序
3、新增昵称映射、登录、版本自定义模块
4、删除图集模块(现统一由Profile模块处理)
5、优化初始化控制台输出信息,由rich美化
6、偷懒欠了一屁股issues🥴
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
…294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、重构所有逻辑改使用异步,便于个人开发调用
2、create_user_folder函数用于创建作品保存目录并返回路径
3、re_match匹配用户的唯一标识
4、get_request_data返回接口的数据
5、get_all_sec_user_id返回用户的唯一标识
6、get_diff_type_url根据传入配置文件中的mode和用户sec_user_id,生成不同作品类型的接口链接
7、get_user_base_info获取用户im基本数据
8、get_user_profile_info获取用户完整信息
9、get_user_post_info获取用户的作品信息
10、get_Profile 相当于main
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、引入了 "update" 参数来决定是否每次进行版本更新
2、自定义URL常量,方便修改
3、使用 os.path.join() 代替手动拼接路径,以提高跨平台兼容性
4、提取了进度条显示功能,简化了 zip_Download 方法
5、优化了对用户输入的处理,改用循环重新询问,直到用户输入有效值为止
6、使用 shutil.move() 和 shutil.rmtree() 代替 os.rename() 和 os.removedirs(),以解决部分情况下无法移动或删除文件的问题
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Dec 31, 2023
…#220 #223 #230 #242 #258 #260 #295 #312 #313 #320 #322 #332 #335 #341 # #343 #346 #348 #355 #357 #360 #361 #362 #364 #367 #370 #372 #373 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #395 #396 #398 #399 #400 #401 #402 #403 #404 #405 #407 #408 #410 #412 #414 #416 #423 #424 #426 #432 #435 #438 #442 #443 #449 #450 #455 #456 #457 #459 #460 #465 #467 #470 #472 #473 #474 #475 #481 #482 #483 #488 #492 #493 #499 #502 #503 #504 #505 #507 #509 #512 #514 #524 #525 #530 #539 #540 #541 #547 #550 #554 #558 #563 #568 #569 #572 #574 #575 #576 #577 #578 #582 #583 #584 #587 #589 #590 #594 #595 #597 #598 #600 #601 #604 #605 #606 #608 #611 #617 #618 #619

[Added]
1. 新增了对直播间信息的详细获取和下载功能。
2. 添加详细直播间信息的下载支持。
3. 引入了提取评论的功能。
4. 新增支持下载 TikTok 数据,包括发布作品、喜欢作品、图集作品等。
5. 提供了自动生成 XB 参数的接口,支持真实和虚假的 msToken。
6. 引入接口数据过滤器,提高数据采集和处理效率。
7. 增加支持长短链解析的功能。
8. 新增了对合集作品的详细获取和下载功能。
9. 引入了 SSO 扫码登录和自动获取Cookie的功能,可通过 `--auto-cookie` 参数实现。

[Changed]
1. 优化了异步下载的网络并发数、超时重试设置,降低采集错误率。
2. 修改了文件检查逻辑,添加了黑名单选项,不再检查黑名单中的作品是否存在。(未来)
3. 对命令行交互进行了调整,添加了更多的配置选项,提供了更灵活的 CLI 模式。
4. 改进了版本更新机制,全新开发的 F2 现在依赖 pip 进行升级。
5. 对于多用户配置,现在可以为不同用户建立不同的配置与下载模式。

[Security]
1. 修复了可能导致信息泄露的漏洞。

[Deprecated]
1. 废弃了一些低版本接口的相关功能,建议使用更新的接口。

[Fixed]
1. 修复了一些在异步下载中可能导致的错误。
2. 修复了一些异步下载线程控制的错误。

[Removed]
1. 移除了不再支持的功能和接口。

[Documentation]
1. 更新了文档,提供了更详细的配置和使用说明。
2. 补充了开发者必读的内容,包括配置文件、调试日志级别等。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies)
Projects
None yet
Development

No branches or pull requests

4 participants