centos开发python 搭建centos7的开发环境1- - Linux - 服务器之家

服务器之家

专注于服务器技术!
当前位置:首页 > 服务器系统 > Linux

centos开发python 搭建centos7的开发环境1-

发布时间:2017-05-07 来源:服务器之家

在公司开发部干活的好处是可以再分配一台高性能的PC,有了新的工作电脑,原来分配的笔记本电脑就可以安装linux系统做开发了,主要有两方面的开发计划,一个是计划中要参与爬虫系统的开发,第二个是大数据环境的安装和测试。



选择centos


既然选择了要做linux开发了,选择哪个系统版本就成立一个问题。以前学OS系统时候,用过ubuntu,GUI感觉和用老版本的windows比较像(后来ubuntu12的GUI惊艳了我),和windows环境的差异感比较小。



最后决定是centos,最重要的原因是公司都在往centos7上迁移,并且目前国内的互联网公司也主要是centos为主吧,参考为什么国内互联网公司喜欢用Centos而不是Ubuntu?。另外centos也比较能锻炼人吧,后面配置环境的经历确实让我感觉很受锻炼,遇到更多问题,还重装了N次系统。



用U盘刻了CentOS-7-x86_64-Everything-1511版本,目前最新的应该是7.3.1611,不过差别不太大。安装步骤说明:



首先参考这两份文档:U盘安装win8(win7)+centos7双系统 Win10下安装CentOS 7双系统详解



修改BIOS的boot顺序,改为U盘启动。





进入Centos的安装界面小黑屏,有三个选择,先别管那么多,按一下TAB键修改安装的位置,避免进入默认的网络安装。下图中第二份教程中的这个图片有点问题,不一定能找出来,建议使用这个命令找到U盘的盘符名,类似sda1,sdb2,sdc3这种。



vmlinuz initrd=initrd.img linux dd





找到插入的U盘的盘符后(假设为sdc4),按电源键强制重启再进入,再按TAB键,这次修改为



vmlinuz initrd=initrd.img


inst.stage2=hd:/dev/sdc4 quite



更新yum源


centos是使用yum来在线安装软件的,也比较好用,能管理依赖关系。如果yum安装不成功,就要手工下载rpm包或者源码进行make install。



因为众所周知的原因,国内用centos默认yum源会比较慢,所以需要更新为国内的软件源。我用了阿里云的源,具体更新步骤如下:



sudo -i



cd /etc/yum.repos.d/



mv CentOS-Base.repo


CentOS-Base.repo.save



wget -O /etc/yum.repos.d/CentOS-Base.repo


yum clean all



yum makecache



yum -y update



yum install python-setuptools



easy_install pip



好,上述步骤完成后,我们就把python的pip工具安装好了。不过python还是2.7.5版本的,之前有升级过2.7.13,但是后来yum就各种傻逼了,所以暂时先不升级2.7.13。



python的开发环境


因为后续可能涉及python2和python3的开发项目,需要把每个项目环境独立开来,这里通过virtualenv和virtualenvwrapper来解决。执行下面的步骤:



sudo yum -y install


python-virtualenv



sudo easy_install


virtualenvwrapper



mkdir py_vm



export


WORKON_HOME=/home/kejun/py_vm



source


/usr/bin/virtualenvwrapper.sh



mkvirtualenv spider



执行上述的指令,我们就完成了爬虫的虚拟环境的安装,现在继续安装在windows开发的环境中用到的python第三方包。



这边介绍一款可以按项目导出需求包的工具pipreqs。以创建的第一个爬虫项目kejun_first_crawler为例。执行下面的命令:



pip install pipreqs



pipreqs


D:\PWorkspace\kejun_first_crawler



成功运行后,可以看到下图:







打开目录下的requirements.txt,可以看到



chardet==2.3.0



Scrapy==1.3.2



selenium==3.0.2



beautifulsoup4==4.5.3



python_dateutil==2.6.0



也就是说运行该爬虫项目需要的就只要上述5个第三方包就行了。然后按照下面的指令完成导入到虚拟项目spider中就行了,这样可以做到相对的隔离。



pip install -r requirements.txt