前言

昨天把自己的VASP文件處理庫(kù)進(jìn)行了打包并上傳到PyPI，現(xiàn)在可以直接通過(guò)pip和easy_install來(lái)安裝VASPy啦（同時(shí)歡迎使用VASP做計(jì)算化學(xué)的童鞋們加星和參與進(jìn)來(lái)），

VASPy的GotHub地址：https://github.com/PytLab/VASPy
VASPy的PyPI地址：https://pypi.python.org/pypi/vaspy/

由于自己的記性真是不咋地，怕時(shí)間久了就忘了，于是在這里趁熱打鐵以自己的VASPy程序?yàn)槔龑?duì)python的打包和上傳進(jìn)行下總結(jié)。

VASPy包文件結(jié)構(gòu)

首先寫(xiě)貼上來(lái)VASPy包的整個(gè)文件結(jié)構(gòu), 后面的內(nèi)容都是以此為例進(jìn)行說(shuō)明：

            
VASPy/
├── LICENSE
├── MANIFEST
├── MANIFEST.in
├── README.rst
├── requirements.txt
├── scripts
│  ├── change_incar_parameters.py
│  ├── create_inputs.py
│  └── ...
├── setup.cfg
├── setup.py
├── tests
│  ├── incar_test.py
│  ├── __init__.py
│  ├── oszicar_test.py
│  ├── outcar_test.py
│  ├── testdata
│  │  ├── CONTCAR
│  │  ├── DOS_SUM
│  │  ├── ELFCAR
│  │  └── ...
│  └── ...
└── vaspy
  ├── __init__.py
  ├── iter.py
  ├── matstudio.py
  └── ...
 
4 directories, 54 files

          

打包和安裝第三方包的工具

這里我們需要借助setuptools和pip等工具進(jìn)行自己包的打包和發(fā)布以及安裝，如果需要構(gòu)建成wheel還需要安裝wheel模塊。如果python版本>=2.7.9或者>=3.4，setuptools和pip是已經(jīng)安裝好的，可能需要進(jìn)行更新到最新版本

pip install -U pip setuptools

可以使用包管理工具，例如

            
yum install pip
sudo apt-get install pip



          

通過(guò)get-pip.py腳本安裝，如果檢測(cè)到?jīng)]有安裝wheel和setuptools也會(huì)自動(dòng)安裝

python get-pip.py


具體的工具安裝和介紹就不多講了，可以請(qǐng)參考requirements for installing packages

包中不同文件的作用

setup.py

這個(gè)文件是打包整個(gè)項(xiàng)目最重要的文件，它里面提供了兩個(gè)主要的功能：

setup()函數(shù)，此函數(shù)的參數(shù)指定了如何配置自己的項(xiàng)目。
命令行工具，包括打包，測(cè)試，發(fā)布等。可以通過(guò)下面的命令查看；

python setup.py --help-commands

setup.cfg

此文件包含了構(gòu)建時(shí)候的一些默認(rèn)參數(shù)例如構(gòu)建bdist_wheel的時(shí)候的--universal參數(shù)

            
[bdist_wheel]
universal=1

          

這樣每次打包的時(shí)候就會(huì)默認(rèn)使用--universal參數(shù)了，效果類(lèi)似：

python setup.py bdist_wheel --universal

README.rst

這個(gè)最初我是用markdown寫(xiě)的，打包發(fā)布到PyPI之后發(fā)現(xiàn)PyPI不支持markdown的渲染，頁(yè)面上真是一片混亂，于是就用reStrutruedText的語(yǔ)法重新寫(xiě)了一遍。畢竟標(biāo)記語(yǔ)言語(yǔ)法基本上可以秒上手，實(shí)在不行找個(gè)模板比葫蘆畫(huà)瓢就行。
reStructureText的語(yǔ)法規(guī)則可參考官方文檔:Quick reStructuredText

其實(shí)還有一種方法就是使用pandoc將markdown轉(zhuǎn)換成rst格式，一種省事的方式就是使用pyandoc模塊在發(fā)布的時(shí)候自動(dòng)轉(zhuǎn)換。
具體方法可以參考：Use Markdown README's in Python modules

MANIFEST.in

此文件在打包的時(shí)候告訴setuptools還需要額外打包那些文件，例如我VASPy中的單元測(cè)試的測(cè)試數(shù)據(jù)文件我就使用這個(gè)文件將其包含進(jìn)來(lái)。當(dāng)然README，LICENSE這些也可以通過(guò)它來(lái)一起打包進(jìn)來(lái)。
下面是我自己的MANIFEST.in的內(nèi)容：

            
include README.rst
include requirements.txt
include LICENSE
recursive-include scripts *
recursive-include tests *

          

具體的語(yǔ)法規(guī)則可以參考：The MANIFEST.in template

vaspy/

此文件夾就是vaspy源代碼所在的包。

tests/

此文件夾也是一個(gè)子包，包含了單元測(cè)試腳本，為了能使用python setup.py test進(jìn)行單元測(cè)試，特地添加了__init__.pys使其成為一個(gè)包。

setup()的參數(shù)

這里只介紹我使用的幾個(gè)參數(shù)，其他參數(shù)的具體使用可以參考：https://docs.python.org/3/distutils/setupscript.html

name

versions = "vaspy"

是整個(gè)項(xiàng)目的名字，打包后會(huì)使用此名字和版本號(hào)。

version

            
from vaspy import __version__
version = __version__



          

description

是一個(gè)簡(jiǎn)短的對(duì)項(xiàng)目的描述，一般一句話(huà)就好，會(huì)顯示在pypi上名字下端。

long_description

是一個(gè)長(zhǎng)的描述，相當(dāng)于對(duì)項(xiàng)目的一個(gè)簡(jiǎn)潔，如果此字符串是rst格式的，PyPI會(huì)自動(dòng)渲染成HTML顯示。這里可以直接讀取README.rst中的內(nèi)容。

url

包的連接，通常為GitHub上的鏈接或者readthedocs的鏈接。

packages

需要包含的子包列表，setuptools提供了find_packages()幫助我們?cè)诟窂较聦ふ野@個(gè)函數(shù)distutil是沒(méi)有的。

setup_requires

這個(gè)參數(shù)定義了VASPy安裝和順利運(yùn)行所需要的其他依賴(lài)項(xiàng)（最基本的），使用pip安裝的時(shí)候會(huì)對(duì)這些依賴(lài)項(xiàng)進(jìn)行安裝。
關(guān)于這個(gè)參數(shù)與requirements.txt的區(qū)別可以參考：install_requires vs Requirements files

classifier

這個(gè)參數(shù)提供了一系列的分類(lèi)，在PyPI上會(huì)將其放入不同的目錄中講項(xiàng)目進(jìn)行歸類(lèi)。
具體的categories的名稱(chēng)和規(guī)則參考：https://pypi.python.org/pypi?%3Aaction=list_classifiers

test_suite

這個(gè)參數(shù)可以幫助我們使用

python setup.py test

來(lái)跑單元測(cè)試，再也不需要單獨(dú)再寫(xiě)一個(gè)腳本例如run_tests.py這樣來(lái)跑單元測(cè)試了。
此參數(shù)的官方解釋?zhuān)?

A string naming a unittest.TestCase subclass (or a package or module containing one or more of them, or a method of such a subclass), or naming a function that can be called with no arguments and returns a unittest.TestSuite. If the named suite is a module, and the module has an additional_tests() function, it is called and the results are added to the tests to be run. If the named suite is a package, any submodules and subpackages are recursively added to the overall test suite.

也就是說(shuō)這個(gè)參數(shù)可以接受多種類(lèi)型的參數(shù)：

接收unittest.TestCase子類(lèi)，我們可以講所有單元測(cè)試寫(xiě)入一個(gè)測(cè)試用例中，然后import進(jìn)來(lái)，再傳你給test_suite
接收函數(shù)對(duì)象，此函數(shù)對(duì)象沒(méi)有任何參數(shù)，且返回一個(gè)unittest.TestSuite.這樣我們就可以單獨(dú)寫(xiě)一個(gè)函數(shù)，將多個(gè)測(cè)試用例合并成一個(gè)suite然后返回，然后再將函數(shù)import進(jìn)來(lái)傳給test_suite。

模塊和包名稱(chēng)，我就是使用這種方式，之前自己的測(cè)試都是分開(kāi)的多個(gè)腳本，這樣我添加一個(gè)__init__.py就可以將其變成一個(gè)包，將包名傳給test_suite，setuptools就會(huì)神奇的將此包下的所有測(cè)試全部跑一邊，這樣我以后再加測(cè)試腳本的時(shí)候直接就添加新的腳本就好了，其他的都不需要改動(dòng)了。

運(yùn)行效果：

            
zjshao@SHAO-PC:/mnt/d/Dropbox/Code/CentOS_code/VASPy$ python setup.py test
running test
running egg_info
creating vaspy.egg-info
writing vaspy.egg-info/PKG-INFO
writing top-level names to vaspy.egg-info/top_level.txt
writing dependency_links to vaspy.egg-info/dependency_links.txt
writing manifest file 'vaspy.egg-info/SOURCES.txt'
reading manifest file 'vaspy.egg-info/SOURCES.txt'
reading manifest template 'MANIFEST.in'
writing manifest file 'vaspy.egg-info/SOURCES.txt'
running build_ext
test_compare (tests.incar_test.InCarTest)
Make sure we can compare two InCar objects correctly. ... ok
test_eq (tests.incar_test.InCarTest)
Test __eq__() function. ... ok
...
此處省略若干輸出
 
----------------------------------------------------------------------
Ran 22 tests in 3.574s
 
OK

          

發(fā)布自己的python包

1. 首先先去PyPI注冊(cè)帳號(hào)

2. 配置~/.pypirc如下：

            
[distutils]
index-servers =
  pypi
  pypitest
 
[pypi]
username:ShaoZhengjiang
password:mypassword
 
[pypitest]
username:ShaoZhengjiang
password:mypassword

          

3. 然后注冊(cè)并上傳自己的包到測(cè)試服務(wù)器

pypi提供了一個(gè)測(cè)試服務(wù)器，我們可以在這個(gè)測(cè)試服務(wù)器上做測(cè)試。

python setup.py register -r pypitest


然后

python setup.py sdist upload -r pypitest


若沒(méi)有問(wèn)題我們應(yīng)該不會(huì)得到任何錯(cuò)誤。

4. 上傳至PyPI

若上面的測(cè)試成功，我們就可以按照相同的步驟將包注冊(cè)并上傳。

            
python setup.py register -r pypi
python setup.py sdist upload -r pypi

          

Ok,之后我們就可以在PyPI(https://pypi.python.org/pypi/vaspy/)上看到我們自己的包了。