动图妞动图妞02-11 20:08

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

作者:Python进阶者

来源:Python爬虫与数据挖掘  

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

1、关于虚拟环境的创建可以参考之前发布的两篇博文,在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境(默认情况下)。下面在指定的文件夹下,直接先创建环境,在命令行输入环境创建命令“virtualenv --python=C:Python34python.exe scrapy_demo”,指定Python的版本和路径,以及虚拟环境的名字scrapy_demo,其中虚拟环境可以自己进行修改,这里命名为scrapy_demo。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

2、尔后进入到scrapy_demo文件夹下,找到Scripts文件夹,输入activate.bat以激活虚拟环境,步骤如下图所示。之后可以看到scrapy_demo被括号括起来了,说明进入了环境,在命令行中输入python,可以看到直接弹出Python3的环境。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

3、新建完虚拟环境之后,接下来就开始安装Scrapy,输入安装命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面这个命令是通过豆瓣源镜像进行下载,速度会快很多,而且较为稳定,建议使用该方法进行安装,Python中的其他库也建议用该命令进行安装,十分的方便快捷。输入命令之后,等待Scrapy的安装,如下图所示。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

4、可以看到Scrapy的安装速度非常快,因为我们使用了镜像进行下载。不过稍等片刻之后可能会碰到timeout的问题,这是由于Scrapy安装的过程中需要很多依赖包,导致下载过程中会遇到网络延时的问题,此时只需要重新输入安装命令进行安装即可。除了timeout的问题之外,可能还会碰到下图这个问题。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

5、这个问题的出现是因为缺乏Twisted依赖包,此时通过“pip install twisted”可能有问题,这里给大家介绍一个非常实用的Python包网站https://www.lfd.uci.edu/~gohlke/pythonlibs/,里边的Python包专门用于Windows下的安装的。在网页中找到Twisted安装包,然后选择本机Python对应版本和电脑系统位数的安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以下载的包如下图红色框框所示。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

6、下载完成之后,直接进入到下载的目录,由此进入命令行窗口,输入安装命令“pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl”,一般是可以安装上的,但是有时候会出现下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

7、此时不用慌,在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

8、之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

9、尔后我们再次输入Scrapy的安装命令,“pip install -i https://pypi.douban.com/simple/ Scrapy”,等待安装完成,此时可以看到没有任何的报错了。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

10、最后通过pip list查看Scrapy是否安装成功,可以看到Scrapy已经在list之内了,如下图所示。

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

至此,Scrapy的安装已经顺利完成。文中记录的部分bug解决方法是很多小伙伴们都会遇到的问题,希望大家日后在安装Scrapy的时候有章可循。最后,祝大家安装Scrapy一切顺利~~

在windows下如何新建爬虫虚拟环境和进行Scrapy安装

000
评论
欢迎投稿

热搜标签

神评线程池RStudioPyinstallerNavicatMATLABEclipseARMR语言C语言FCNIpynbplustokenTensorflowword2vecRNNFasterRCNNHTTPrequestsCDNHadoopwget元字符DubboOSSDBAurllibRAC子网掩码子网划分朴素贝叶斯达观杯opencv蓝桥杯多线程IPv4IPv6VLSMOSIIP地址堆栈溢出二分查找哈希表哈希算法线程假死MYSQLJNI分布式中间件热更新同步调用异步调用异步执行JSONThinkPHPplus币scratchHystrixMQ消息队列RabbitMQ消息中间件AOPsqlserverInnoDBMODDLLTomcatAPIReactReduxOAuthStreamWebFluxNSObjecthashcodeHaproxyhttpclienthybridappSpringBoot大数据变现并行计算TeamviewerwebstormPycharmIDEAJetBrainsAjaxXpathbeautifulsoupJDK爬虫华为阿里巴巴腾讯百度滴滴美团字节跳动今日头条抖音SQL360一致性UMLReadWriteLock读写锁HTML数据解析bs4deepinGPUreactnativeRedis小米京东fiddler抓包numpy搜索引擎推荐引擎Scrapy网易搜狐负载均衡新浪ndarrayAndroid安卓iOS苹果亚马逊谷歌Chrome微软区块链软件测试架构师ACMHDU校赛单片机CNN卷积神经网络Dialog建造者模式反向代理量子编程BuildergolangJavaBeanAndroidSutido知识库知识图谱sublimeemmetVim微服务Brackets测序平台IonTorrent数据分析Unix基因检测链表单链表GradlepluginsynchronizedDialogFragmentmybatis算法一元运算符并行接口串行接口串口serial以太口以太币Csharp线性表存储结构数据结构GitLabPackageControl面试题ParallelPATReact割韭菜VueVuejsmui编程函数数据挖掘视频教程层次聚类PandasAtom文本检索少儿编程检索系统MCUProcessing数据结构RFIDARouter强引用软引用弱引用生成器人工智能创建型模式KotlinDSLA星算法A*算法强化学习马氏过程ndarrayleetcode阿里云捡尸云计算chardet抖音jupyterpysparkOpenStackhotfix蚂蚁金服继承变量构造函数scp命令程序员ShadowrocketutilsDbutils耦合vmtoolsThreadPoolsocket中台textareaACE正则表达式TokenSolr布隆过滤器布隆996马云马化腾李彦宏刘强东周鸿祎小程序雷军张一鸣王兴程维任正非李笑来源码资本红杉资本LogicmonitorSaaS高可用目标检测CIO阿博茨科技东皇太一每日优鲜用友裁员神评局编程猫记忆承载5GGA-RPN苏明哲堆栈队列董明珠torrent渡边太太余额宝gc算法B站分布式前端面试戴卫国thinkeyANR计算机编程儿童编程木易杨快手神回复最毒神评论Nodejs蔡徐坤edge方舟支付宝AWS乔布斯比尔盖茨贝索斯扎克伯格公众号敏捷开发Bittorrent三表龙门阵商务范邓潍倪大红DOSDDOS科创板纪源资本GGV源代码Lambda表达式抖音小程序元器件PCB摩尔定律IPO融资CVSIBMHDFSMapReduce川口耕介Flutter产品经理码农程序猿PMCTOCEO套接字UDP编程语言csvJVMjsondemo字符串chartjsDevOps持续交付运维HiveFlinkApache物联网DataSetNetflix数据交互JSPAPP虚函数AIOpsLDAPTkinterseleniumICOPUAListViewNotification戴卫国GridViewDataGridPopupWindowContentProvider贪心算法动态规划算法周志华比特币监督学习吴恩达半监督学习无监督学习训练样本没有免费午餐定理迁移学习概念学习归纳偏好假设空间线性模型贝叶斯六边形架构自然语言处理MinGWPthreadUIButtonCLion黑客菜鸟小白BIOCVPR合鲸资本霍中彦赵胜工业40AzureERP软件工程Web应用OpenMVG软件架构linuxbisectlsofRPCsonar代码质量管理持续集成项目管理虚拟化Mahout推荐算法hibernate搜索算法性能指标POSA视频中间件NVRPACJVM调优web性能优化DB性能优化InfluxDBzookeeper 数据库调优海思芯片何庭波CPU半导体inteloracle商汤科技代码编辑器聂云宸CSS高通开源iSCSI数组排序二叉树以太网ARPOSI分层模型TopKelasticsearch三次握手四次挥手客户端服务器希尔排序冒泡排序TensorBoard近邻传播算法APAP聚类算法JavaScript聚类算法算法JuliaIEEEregex正则小说编程ROS散列树kali散列算法Metaspace推荐系统回溯算法遍历集合迭代器全局函数锁死H5ServletWindowsequals互斥锁条件变量数据流转工业相机高效编程抓包丘成桐哈佛信号量python控制输出QtBATCAMVTChain通证公链以太坊私有链联盟链Jquery公有链无人驾驶bugArduino旋转矩阵存储引擎自学引擎引擎LayaAir开发者社区session问答社区MFC免费教程安装教程测试教程pdf电子书USB装饰器单例模式cookiemakefileluceneMyISAM存储sqldatasourcePartition分区降序索引索引数据库索引聚簇索引matlab单向HttpRunner微信微博网红内存模型JMM底层实现原理io同步异步调用机器学习异步阻塞注入攻击游戏编程小游戏手游桌游B站OpenJDK谷子帝嵌入式王志会神点评SPOSEOSGC垃圾回收代码重构代码LambdaSVG比特币pcc教程cdn局域网依赖注入类加载机制排序算法序列化构建工具闭包FPGA外包私活网站MapReduceHTML5接口接口回调解耦anchornms操作系统非极大值抑制gcc编译器静态库动态库yumcmakerpmLVM安装命令Ubuntu监控告警ELK部署软件仓库仓库软件TeamTalk二次开发devtoolsetGNUVuex桌面环境deepfakes换脸RedditMIDIH2数据库BugkuCTF代码审计源码回文数ArchLinux数素数华为软件精英挑战赛虚拟机虚拟化管理虚拟化反向传播反向传播算法ZabbixkuduimpalaVMware分区表文本情感分析意见挖掘倾向性分析kerasMaskRCNN图像增强DeepMaskSharpMaskMultiPathNetredhat全栈工程师全栈yoloSSD可视化pytorch相似度算法矩阵分解svd奇异值分解mavenALS徐刚博士热修复插件化SSMRecyclerViewcheckBox购物车ijkplayerionicDagger2junitOkhttpRecyclerRecyclerView生成式对抗网络天猫精灵语音控制语音识别知乎Win10杀毒软件Docker杀毒ACMday02valueOftoStringIntentFeaturetools深度特征合成DFS自动特征深度学习手动特征特征工程金钟仁LEO资金盘hdfs用户体验数据仓库越狱shadowrocketLaTeXc&c自动驾驶酒店偷拍陈伟星wotoken复利phpStormJetBrains特产家乡caffePermutations单身狗潜规则宝宝呛奶月嫂GitChatSElinux双11lamp读书笔记jmeter创业书单HCTFkotlinSDKchmodRWX面试JoomlaCMSTinyOSGitGitHubCentOSXshellgormWebSocketRaft神评论共识算法vectorJAVAOOObeliskUTXOGo语言POWPaxosPBFTSpark

聊骚我们

神评微信公众号 关注神评公众号