编号89457 发表于 2023-8-17 16:56:35

C#爬金融网站数据

东方财富可以直接用C#爬,但其它网站如雪球网就不行,创建HttpWeb请求就返回错误,这显然是反爬虫机制的结果。我百度只找到Python的代码,原理是先访问网站主页并把cookies保存下来,再访问个股网页,然后抓个股票数据前设定好cookies值以伪装自己是用户操作。按此方法,我确实可以创建HttpWeb请求(我理解是可以访问个股网页了),但关键第二步request.GetResponse()获取网页数据还是不可以。遗憾的是关于C#爬虫的知识很少,更不要说如何反制网站反爬虫的相关内容,希望社区的前辈指点一下,或者推荐相关书籍。非常感谢!!!

杨小弟IT服务1号 发表于 2023-8-18 08:57:12

页: [1]
查看完整版本: C#爬金融网站数据