请教一下scrapy获取frame页面信息问题

hong29

这个网站有frame页面，直接访问会返回“非法连接”。

我现在想爬frame页面所有信息，selenium可以切换到frame进行获取，但数据量比较大。所以我用crawlspider去爬，应该怎样去切换到frame页面？

另外我用普通spider去进行yield url的也可以获取，但比较麻烦，要进行页判断等等

萌新请教一下各位大神

loco

frame你就当成另一个页面处理就行了，原本的页面怎么处理你就怎么处理，该带referer就带referer。

yeyang

目测 allowed_domains =  设置问题    尝试注释掉这项设置之后在启动.    如果使用crawlspider 爬的话建议成当前 url根域名