link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

为什么要用arm64原生Python

之前在Mac M1上用anaconda装的Python，在活动监视器里会发现是Rosetta转译的intel应用，运行Python程序性能会有较大损耗，无法发挥出Mac M1和M1 Max的性能。

如果更换为arm64下原生的Python，Apple的veclib能够加速numpy，相比加速前后性能提升巨大。而常用的pandas，geopandas，scipy等各种数据分析包都是建立在numpy基础上，M1和M1 Max经过这样的配置后将成为数据科学领域的神器。

安装过程

1.卸载anaconda

Uninstalling Anaconda — Anaconda documentation https://docs.anaconda.com/anaconda/install/uninstall/ 用anaconda-clean删除配置文件

$ conda install anaconda-clean
$ anaconda-clean --yes

再删除anaconda3文件夹（根据自己anaconda3的路径）

$ rm -rf ~/anaconda3

2.安装MacOSX版本的Miniforge3

参考这个，但有小改动 https://gist.github.com/MarkDana/a9481b8134cf38a556cf23e1e815dafb https://gist.github.com/MarkDana/a9481b8134cf38a556cf23e1e815dafb

下载 Miniforge3-MacOSX-arm64.sh ,
运行下面代码安装

$ bash Miniforge3-MacOSX-arm64.sh

3.创建osx-arm64下的Python3.8环境

我这里用的python3.8测试成功，python3.9不一定能行，各位视情况而定

$ CONDA_SUBDIR=osx-arm64 conda create -n py38_native python=3.8 -c conda-forge --override-channels

4.安装numpy

$ pip install cython pybind11
$ pip install --no-binary :all: --no-use-pep517 numpy

安装好后，在Python里运行

>>> import numpy
>>> numpy.show_config()

看看里面有没有 /System/Library/Frameworks/vecLib.framework/Headers 的路径，如果有，则说明numpy已经能够使用apple的veclib进行加速，可以在Python中运行下面代码测试

import time
import numpy as np
np.random.seed(42)
a = np.random.uniform(size=(300, 300))
runtimes = 10
timecosts = []
for _ in range(runtimes):
    s_time = time.time()
    for i in range(100):
        a += 1
        np.linalg.svd(a)
    timecosts.append(time.time() - s_time)
print(f'mean of {runtimes} runs: {np.mean(timecosts):.5f}s')

这段代码用numpy进行了100次SVD分解，在之前intel版本下实测需要29s，而现在经过veclib加速后只需要1s，提升30倍

原来的：

加速的：

5.安装其他包

接下来用pip install安装其他的包，我测试了一下conda install，不太行，pip install比较稳妥

jupyter notebook

$ pip install jupyter notebook

pandas

$ pip install pandas

geopandas

geopandas不容易装，直接pip install会报错，conda install也不行，只能一个一个依赖开始装，主要有问题的是fiona和pyproj这两个依赖

1.fiona

对于fiona，它需要GDAL包作为依赖，用homebrew安装GDAL

$ brew install GDAL

然后再安装fiona就行

$ pip install fiona

2.pyproj

对于pyproj，它需要PROJ包作为依赖，用homebrew安装PROJ

$ brew install PROJ

然后安装pyproj，注意这里不能直接安装最新版（最新是3.3.1），否则会报错说PROJ_DIR变量没设置。

先安装低版本：

$ pip install pyproj==1.9.6

然后再安装geopandas

$ pip install geopandas

成功

TransBigData和pybdshadow

这两个包是我自己写的包，TransBigData用于处理时空大数据，pybdshadow用于处理建筑阴影，也一起装上

$ pip install transbigdata
$ pip install pybdshadow

效果测试

用我自己开发的pybdshadow测试了一下建筑阴影计算的性能，案例是这个：

pybdshadow/Example1-building_shadow_analysis.ipynb at main · ni1o1/pybdshadow · GitHub A python package for generating, analyzing and visualizing building shadows – pybdshadow/Example1-building_shadow_analysis.ipynb at main · ni1o1/pybdshadow https://github.com/ni1o1/pybdshadow/blob/main/example/Example1-building_shadow_analysis.ipynb 算一个片区的建筑阴影

有加速的情况用了4.7秒：

没加速的情况用了8.1秒：