Error in atexit._run_exitfuncs: Traceback (most recent call last): File "C:\Users\Toenc\Anaconda3\envs\tensorf…

robot信息查询 from urllib.robotparser import RobotFileParser UrlRobots = 'https://book.douban.com/robots.txt' def …

通过User-Agent构建请求头headers能够将爬虫伪装，但是有的网站会去检查请求头，所以在每次提交网站请求时可以使用随机的header，频繁更换UserAgent可以避免触发相应的反爬机制，而fake-usera…

https://docs.cloudera.com/documentation/enterprise/latest/topics/spark_python.html python环境为3.7.2，通过Anaconda-5…

豆瓣 ：http://pypi.douban.com/simple/ 阿里 ：http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学：http://pypi.mirrors.ust…

稀疏数组是一种压缩后的数组，把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模 原数组中存在大量的无效数据，占据了大量的存储空间，真正有用的数据却少之又少 压缩存储可以节省存储空间以避免资源的不必要…

https://github.com/jhao104/proxy_pool