目录
  • numba
    • numba 模式
    • 什么是llvm?
      • numba的优势:
      • numba的劣势:
  • cython
    • cython的优势:
      • cython的劣势:
      • numba 对 cython

        numba

        numba是一个即时(jit)编译器,它将python代码转换为用于cpu和gpu的本地机器指令。代码可以在导入时、运行时或提前编译。

        通过使用jit装饰器,使用numba非常容易:

        正如你所知道的,在python中,所有代码块都被编译成字节码:

        代码优化

        为了优化python代码,numba从提供的函数中提取一个字节码,并在其上运行一组分析器。python字节码包含一系列小而简单的指令,因此不必从python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段,但numba将python字节码转换为llvm中间表示 (ir)。

        请注意,llvm ir是一种低级编程语言,它类似于汇编语法,与python无关。

        numba 模式

        numba中有两种模式:nopython 和 object。前者不使用python运行时并且在没有python依赖项的情况下生成本机代码。 本机代码是静态类型的,运行非常快。而对象模式使用python对象和python c api,这通常不会带来显著的速度改进。在这两种情况下,python代码都是使用llvm编译的。

        什么是llvm?

        llvm是一种编译器,它采用代码的特殊中间表示(ir),并将其编译成本机代码。编译过程涉及许多额外的传递,其中编译器优化ir。llvm工具链很好地优化了ir,不仅为numba编译代码,而且优化numba。整个系统大致如下:

        python numba 体系结构

        numba的优势:

        • 易用性
        • 自动并行化
        • 支持numpy操作和对象
        • gpu支持

        numba的劣势:

        多层的抽象使得调试和优化变得非常困难

        在nopython模式下无法与python及其模块进行交互

        有限的类支持

        cython

        取代分析字节码和生成ir,cython使用python语法的超集,它后来转换成c代码。在使用cython时,基本上是用高级python语法编写c代码。

        在cython中,通常不必担心python包装器和低级api调用,因为所有交互都会自动扩展到合适的c代码。

        与numba不同,所有的cython代码应该在专门文件中与常规python代码分开。cython将这些文件解析并转换成c代码,然后使用提供的c编译器 (例如, gcc)编译它。

        python代码已经是有效的cython代码。

        但是,类型版本工作得更快。

        编写快速cython代码需要理解c和python内部结构。如果你熟悉c,你的cython代码可以运行得和c代码一样快。

        cython的优势:

        • 通过python api的使用控制
        • 与c/c++库和c/c++代码的简单接口
        • 并行执行支持
        • 支持python类,在c中提供面向对象的特性

        cython的劣势:

        • 学习曲线
        • 需要c和python内部专业技术
        • 模块的组织不方便

        numba 对 cython

        就个人而言,我更喜欢小项目和etl实验用numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为c库编写包装器,我将使用cython,因为它提供更多的控制和更容易调试。

        此外,cython是许多库的标准,如pandas、scikit-learn、scipy、spacy、gensim和lxml。

        以上就是利用numba与cython结合提升python运行效率详解的详细内容,更多关于提升python运行效率的资料请关注www.887551.com其它相关文章!