deferred:url-retrieve碰到DDOS-GUARD怎么办?

比如这个地址 https://sci-hub.ru/10.1001/jama.2014.13128

其启用了DDOS-GUARD,显示信息:

This process is automatic. Your browser will redirect to your requested content shortly.
Please allow up to 5 seconds…

这跟 url-retrieve 有什么关系?

这真是个好资源,不知中文的有没有类似的

来自deferred,是url-retrieve的defer/async包装。

示例网站会在第一次请求的时候导向DDOS-GUARD的信息,过5秒才重新导向原来的页面。url-retrieve有可以过5秒更新内容的方法吗?

知网万维没有

哈,这些和上面的Open Access Movement不一样

过5秒可看下这个 run-at-time 函数

我的理解是除非你用个模拟浏览器的 http 库,像 selenium 或 phantomjs 之类的,不然应该是没什么办法的。可以试试换个代理的 ip ,有些地区 ip 可能在网站设置的白名单里。最近俄罗斯的网站被攻击的太多了,基本都上了 DDOS-GUARD 。

list of Sci-Hub dois 有2G多, an SQL table with metadata for every article 是31G 的sql。这么大要怎么利用啊,2G打开都要好久

url-retrieve 可以自动重定向,但是你遇到的问题不在此列。需要你自行处理:解析页面,获得倒计时时间,然后定时发起新的请求。