跑狗图,属牛的和什么属相最配,高通骁龙-婆媳关系处理网,我国最复杂的关系,分析及案例分享

admin 2019-05-20 阅读:143

python一向被病垢运转速度太慢,可是实际上python的履行功率并不慢,慢的是python用的解说器Cpython运转功率太差。

“一行代码让python的运转速度进步100倍”这绝不是哗众取宠的论调。

咱们来看一下这个最简略的比如,从1一向累加到1亿。

最原始的代码:

import time
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print('Time used: {} sec'.format(time.time()-tt))
return s
print(foo(1,100000000))

成果:

Time used: 6.779874801635742 sec
4999999950000000

咱们来加一行代码,再看看成果:

from numba import jit
import time
@jit
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print('Time used: {} sec'.format(time.time()-tt))
return s
print(foo(1,100000000))

成果:

Time used: 0.04680037498474121 sec
4999999950000000

是不是快了100多倍呢?

那么下面就共享一下“为啥numba库的jit模块那么牛掰?”

NumPy的创始人Travis Oliphant在脱离Enthought之后,创立了CONTINUUM,致力于将Python大数据处理方面的运用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码履行,然后上百倍的进步程序的运算速度。

Numba项目的主页上有Linux下的具体装置过程。编译LLVM需求花一些时刻。

Windows用户能够从Unofficial Windows Binaries for Python Extension Packages下载装置LLVMPy、meta和numba等几个扩展库。

下面咱们看一个比如:

import numba as nb
from numba import jit
@jit('f8(f8[:])')
def sum1d(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
import numpy as np
array = np.random.random(10000)
%timeit sum1d(array)
%timeit np.sum(array)
%timeit sum(array)
10000 loops, best of 3: 38.9 us per loop
10000 loops, best of 3: 32.3 us per loop
100 loops, best of 3: 12.4 ms per loop

numba中供给了一些润饰器,它们能够将其润饰的函数JIT编译成机器码函数,并回来一个可在Python中调用机器码的包装目标。为了能将Python函数编译成能高速履行的机器码,咱们需求通知JIT编译器函数的各个参数和回来值的类型。咱们能够经过多种方法指定类型信息,在上面的比如中,类型信息由一个字符串’f8(f8[:])’指定。其间’f8’表明8个字节双精度浮点数,括号前面的’f8’表明回来值类型,括号里的表明参数类型,’[:]’表明一维数组。因而整个类型字符串表明sum1d()是一个参数为双精度浮点数的一维数组,回来值是一个双精度浮点数。

需求留意的是,JIT所发生的函数只能对指定的类型的参数进行运算:

print sum1d(np.ones(10, dtype=np.int32))
print sum1d(np.ones(10, dtype=np.float32))
print sum1d(np.ones(10, dtype=np.float64))
1.2095376009e-312
1.46201599944e+185
10.0

假如期望JIT能针对一切类型的参数进行运算,能够运用autojit

from numba import autojit
@autojit
def sum1d2(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
%timeit sum1d2(array)
print sum1d2(np.ones(10, dtype=np.int32))
print sum1d2(np.ones(10, dtype=np.float32))
print sum1d2(np.ones(10, dtype=np.float64))
10000 loops, best of 3: 143 us per loop
10.0
10.0
10.0

autoit尽管能够依据参数类型动态地发生机器码函数,可是因为它需求每次查看参数类型,因而核算速度也有所下降。numba的用法很简略,基本上便是用jit和autojit这两个润饰器,和一些类型目标。下面的程序列出numba所支撑的一切类型:

print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
unsigned int, short, int64, Py_ssize_t]

作业原理

numba的经过meta模块解析Python函数的ast语法树,对各个变量增加相应的类型信息。然后调用llvmpy生成机器码,最终再生成机器码的Python调用接口。

meta模块

经过研讨numba的作业原理,咱们能够找到许多有用的东西。例如meta模块可在程序源码、ast语法树以及Python二进制码之间进行彼此转化。下面看一个比如:

def add2(a, b):
return a + b

decompile_func能将函数的代码目标反编译成ast语法树,而str_ast能直观地显现ast语法树,运用这两个东西学习Python的ast语法树是很有协助的。

from meta.decompiler import decompile_func
from meta.asttools import str_ast
print str_ast(decompile_func(add2))
FunctionDef(args=arguments(args=[Name(ctx=Param(),
id='a'),
Name(ctx=Param(),
id='b')],
defaults=[],
kwarg=None,
vararg=None),
body=[Return(value=BinOp(left=Name(ctx=Load(),
id='a'),
op=Add(),
right=Name(ctx=Load(),
id='b')))],
decorator_list=[],
name='add2')

而python_source能够将ast语法树转化为Python源代码:

from meta.asttools import python_source
python_source(decompile_func(add2))
def add2(a, b):
return (a + b)

decompile_pyc将上述二者结合起来,它能将Python编译之后的pyc或许pyo文件反编译成源代码。下面咱们先写一个tmp.py文件,然后经过py_compile将其编译成tmp.pyc。

with open("tmp.py", "w") as f:
f.write("""
def square_sum(n):
s = 0
for i in range(n):
s += i**2
return s
""")
import py_compile
py_compile.compile("tmp.py")

下面调用decompile_pyc将tmp.pyc显现为源代码:

with open("tmp.pyc", "rb") as f:
decompile_pyc(f)
def square_sum(n):
s = 0
for i in range(n):
s += (i ** 2)
return s

llvmpy模块

LLVM是一个动态编译器,llvmpy则能够经过Python调用LLVM动态地创立机器码。直接经过llvmpy创立机器码是比较繁琐的,例如下面的程序创立一个核算两个整数之和的函数,并调用它核算成果。

from llvm.core import Module, Type, Builder
from llvm.ee import ExecutionEngine, GenericValue
# Create a new module with a function implementing this:
#
# int add(int a, int b) {
# return a + b;
# }
#
my_module = Module.new('my_module')
ty_int = Type.int()
ty_func = Type.function(ty_int, [ty_int, ty_int])
f_add = my_module.add_function(ty_func, "add")
f_add.args[0].name = "a"
f_add.args[1].name = "b"
bb = f_add.append_basic_block("entry")
# IRBuilder for our basic block
builder = Builder.new(bb)
tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
builder.ret(tmp)
# Create an execution engine object. This will create a JIT compiler
# on platforms that support it, or an interpreter otherwise
ee = ExecutionEngine.new(my_module)
# Each argument needs to be passed as a GenericValue object, which is a kind
# of variant
arg1 = GenericValue.int(ty_int, 100)
arg2 = GenericValue.int(ty_int, 42)
# Now let's compile and run!
retval = ee.run_function(f_add, [arg1, arg2])
# The return value is also GenericValue. Let's print it.
print "returned", retval.as_int()
returned 142

f_add便是一个动态生成的机器码函数,咱们能够把它幻想成C言语编译之后的函数。在上面的程序中,咱们经过ee.run_function调用此函数,而实际上咱们还能够取得它的地址,然后经过Python的ctypes模块调用它。

首要经过ee.get_pointer_to_function取得f_add函数的地址:

addr = ee.get_pointer_to_function(f_add)
addr
2975997968L

然后经过ctypes.PYFUNCTYPE创立一个函数类型:

import ctypes
f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)

最终经过f_type将函数的地址转化为可调用的Python函数,并调用它:

f = f_type(addr)
f(100, 42)
142

numba所完结的作业便是:

解析Python函数的ast语法树并加以改造,增加类型信息;

将带类型信息的ast语法树经过llvmpy动态地转化为机器码函数,然后再经过和ctypes相似的技能为机器码函数创立包装函数供Python调用。


来历网络,侵权删去