性能优化（CPU优化技术）-ARM Neon详细介绍
本文主要介绍ARM Neon技术，包括SIMD技术、SIMT、ARM Neon的指令、寄存器、意图为读者提供对ARM Neon的一个整体理解。
🎬个人简介：一个全栈工程师的升级之路！
📋个人专栏：高性能（HPC）开发基础教程
🎀CSDN主页 发狂的小花
🌄人生秘诀：学习的本质就是极致重复!
目录
1 并行技术的几种方式
并行计算根据费林分类法，将指令流和数据流的几种不同的方式分成四种计算机类型：SISD、MISD、MIMD、SIMD。NVIDIA CUDA设计出SIMT技术区别于这四种。
1.2 SISD
SISD是单指令流单数据流（Single Instruction Single Data）的缩写，是一种计算机体系结构。在SISD中，所有的指令和数据都按照一定的顺序串行执行，即每条指令只处理一个操作数，且每个操作数只在一条指令中使用。
SISD的特点是简单、直观，但效率较低。因为所有指令和数据都必须按顺序执行，所以无法充分利用现代处理器的并行计算能力。不过，由于其实现相对简单，所以在一些简单的应用场景下仍然有一定的应用价值。
1.3 MIMD
MIMD是多指令流多数据流（Multiple Instruction Multiple Data）的缩写，是一种计算机体系结构。在MIMD中，可以同时有多条指令在不同的处理单元中并行执行，并且每个处理单元都可以同时处理多个数据。
与SISD和MISD相比，MIMD能够更好地利用现代处理器的并行计算能力，提高程序的执行效率。由于每个处理单元都可以独立地执行指令和处理数据，所以MIMD也被称为“真正并行”的计算机体系结构。
MIMD需要更复杂的控制逻辑来协调不同处理单元之间的操作，增加了实现难度。但是，随着多核处理器的普及和硬件技术的发展，MIMD已经成为现代高性能计算机的主要架构之一。
1.4 SIMD
1.4.1 概念和特点
SIMD是单指令流多数据流（Single Instruction Multiple Data）的缩写，是一种计算机体系结构。在SIMD中，所有的指令都按照一定的顺序串行执行，但是每个指令可以同时处理多个数据。
与SISD和MISD相比，SIMD能够更好地利用现代处理器的并行计算能力，提高程序的执行效率。由于每个指令可以同时处理多个数据，所以SIMD也被称为“向量化”的计算机体系结构。
SIMD需要更复杂的控制逻辑来协调不同数据之间的操作，增加了实现难度。但是，随着硬件技术的发展，SIMD已经成为现代高性能计算机、图形处理器和数字信号处理器等领域的主要架构之一。
1.4.2 产生的原因
许多程序需要处理大量的数据集，而且很多都是由少于32bits的位数来存储的。比如在视频、图形、图像处理中的8-bit像素数据；音频编码中的16-bit采样数据等。在诸如上述的情形中，很可能充斥着大量简单而重复的运算，且少有控制代码的出现。因此，SIMD就擅长为这类程序提供更高的性能。比如大量的数据集、2D、3D图像、视频、音频、色彩转换、流体力学、气象学、天体物理等。
1.5 MISD
MISD是多指令流单数据流（Multiple Instruction Single Data）的缩写，是一种计算机体系结构。在MISD中，指令和数据都按照一定的顺序串行执行，但是可以同时有多条指令在不同的处理单元中并行执行。
与SISD相比，MISD能够更好地利用现代处理器的并行计算能力，提高程序的执行效率。但是，由于指令和数据仍然必须按顺序执行，所以仍然存在一些限制。此外，MISD需要更复杂的控制逻辑来协调不同处理单元之间的操作，增加了实现难度
1.6 SIMT
SIMT是单指令流多线程（Single Instruction, Multiple Threads）的缩写，是一种并行计算模型。在SIMT中，所有的线程都执行相同的指令，但是每个线程可以处理不同的数据。
与SIMD相比，SIMT能够更好地利用现代处理器的并行计算能力，提高程序的执行效率。由于每个线程可以独立地处理不同的数据，所以SIMT也被称为“线程化”的计算机体系结构。
SIMT需要更复杂的控制逻辑来协调不同线程之间的操作，增加了实现难度。但是，随着多核处理器和硬件技术的发展，SIMT已经成为现代高性能计算机、图形处理器和游戏机等领域的主要架构之一。
类似 CPU 上的多线程，所有的核心各有各的执行单元，数据不同，执行的命令是相同的。多个线程各有各的处理单元，和 SIMD 共用一个 ALU 不同。
2 NEON介绍
ARM NEON是ARM推出的一种CPU扩展技术SIMD，一般在Cortex-A应用处理器上和少量的Cortex-R处理器上支持Neon技术，使用SIMD方式可以在一定程度上提升CPU的运算效率。
由于现代处理器的寄存器、ALU都是为了32位或者64为设计的，但是这些大量的数据基本都是8位和16位的，因此如果每次执行一个数据就会很浪费寄存器的宽度，由此引入了Neon 的SIMD技术，通过一条指令控制同时处理多个数据来提高效率，这样就提高了寄存器和ALU的使用效率。
2.1 ARM Neon 特点
（1）一般每个ARM核都有一个NEON单元，CPU与NEON共用一个ALU，相对于SIMT是每个核都有一个ALU。
（2）NEON技术最早出现在ARMv7上，ARMv7有16个128位寄存器（Q），32个64位寄存器（D）。ARMv8有32个128位寄存器（Q），64个64位寄存器（D），Q寄存器物理上不存在，但是逻辑上存在，其核心是D寄存器组成的。因此优化时注意，Q寄存器和D寄存器的不能重复使用。
（3）ARM NEON技术是一种SIMD，即单指令多数据技术，是区别于SISD和SIMT的不同的技术，对于提高CPU运行效率，有很大的作用。
（4） NEON技术可以用于多线程，并且共享常规CPU的内存和cache，Cache一般有三级Cache L1、L2、L3。
2.2 ARM Neon 数据类型
2.2.1 Neon 数据类型的命名格式
（1） <type><size>x<number_of_lanes>_t
（2）<type><size>x<number_of_lanes>x<length_of_array>_t
例如 float32x4x2_t u1 表示定义两个128位向量寄存器数据 ，用两个128位寄存器存储，
每个寄存器存储4个float类型数据。
内部的构造是：
struct float32x4x2_t
{
float32x4_t val[2];
}float32x4x2_t;
取每个寄存器数据的格式：
u1.val[0]; u1.val[1];
2.2.2 支持的数据类型
对64位D寄存器或者是128位Q寄存器拆分，比如int8x16_t指的是int8类型的16个数据存储在一个128位Q寄存器中，Q寄存器是虚拟的，真实并不存在；int8x8_t指的是int8类型的8个数据存储在一个64位D寄存器中。
主要支持的数据类型如下：
注：F16不适用于数据处理运算，只用于数据转换，仅用于实现半精度体系结构扩展的系统。
多项式算术在实现某些加密、数据完整性算法中非常有用。
一个向量寄存器存储数据的格式如下图，通过一次处理多个数据，可以提高效率大概10倍左右，由于寄存器之间有专门的通道，处理的速度极快，因此使用SIMD的编程方式可以使得程序的性能变得优秀。
2.3 ARM Neon 指令
ARM Neon 指令集可以分为以下几类：
1. 加载和存储指令：用于从内存中加载数据或将数据存储到内存中。包括单精度浮点数的加载和存储指令，以及双精度浮点数的加载和存储指令。
2. 算术运算指令：用于执行各种算术运算，包括加法、减法、乘法、除法等。这些指令可以对单精度浮点数和整数进行操作，也可以对双精度浮点数进行操作。
3. 逻辑运算指令：用于执行各种逻辑运算，包括与、或、非等。这些指令可以对单精度浮点数和整数进行操作，也可以对双精度浮点数进行操作。
4. 比较指令：用于比较两个值的大小关系，包括相等、不等、大于、小于等。这些指令可以对单精度浮点数和整数进行操作，也可以对双精度浮点数进行操作。
5. 移位指令：用于将一个值向左或向右移动指定的位数。这些指令可以对单精度浮点数和整数进行操作，也可以对双精度浮点数进行操作。
6. 向量数据处理指令：用于对多个数据进行并行处理，包括向量加法、向量减法、向量乘法等。这些指令可以对单精度浮点数和整数进行操作，也可以对双精度浮点数进行操作。
2.4 Neon 寄存器
2.4.1 Neon一般的执行流程
第一步：从内存load数据到vector寄存器
第二步：使用Intrinsic指令或者汇编在ALU执行相应的运算
第三步：将执行后的结果save到内存
2.4.2 Neon 寄存器
ARMv7上寄存器关系：
ARMv7上寄存器的组合：（一个Q寄存器对应2个D寄存器）
- 16×128-bit寄存器(Q0-Q15)；
- 或32×64-bit寄存器(D0-D31)
- 或上述寄存器的组合。
映射关系：
- D<2n> 映射到 Q 的最低有效半部；
- D<2n+1> 映射到 Q 的最高有效半部；
Neon寄存器存储数据的几种形式：
2.5 Neon数据处理指令分类
一般分为普通指令、长指令、宽指令、窄指令、饱和指令等。
普通指令（Normal instructions ）
可以对任意类型的向量进行操作，并生成与操作数向量相同大小和通常相同类型的结果向量。
长指令（Long instructions）
对双字向量操作数进行操作，并生成四倍长字向量结果。结果元素的宽度通常是操作数的两倍，并且类型相同。长指令使用在指令中添加字母L来指定。
宽指令（Wide instructions）
对一个双字向量操作数和一个四倍长字向量操作数进行操作，生成四倍长字向量结果。结果元素和第一个操作数都是第二个操作数的元素宽度的两倍。宽指令在指令中添加字母W来指定。
窄指令（Narrow instructions）
对四倍长字向量操作数进行操作，并生成双字向量结果。结果元素的宽度通常是操作数元素宽度的一半。窄指令使用在指令中添加字母N来指定。
饱和变体（Saturating variants）
在ARM中，饱和算法如下：
对于有符号饱和运算，如果结果小于 -2^n，则返回的结果将为 -2^n；
对于无符号饱和运算，如果整个结果将是负值，那么返回的结果是 0；如果结果大于 2^n - 1，则返回的结果将为 2^n - 1；
在NEON中，饱和算法通过在V和指令助记符之间使用Q前缀来指定饱和指令，原理与上述内容相同。
来自官方文档的一些参考说明图：
3 一般使用ARM Neon优化的几种方式
a.通过使用编译选项增加-O3 和针对Neon的优化编译选项，对于一些简单的运算，让编译器
自动优化，效果会出奇的好
c.通过使用一些已经优化好的ARM Neon库来加速程序
d.使用Intrinsic Instruction 来编写SIMD相关的代码优化，编写该类程序时需要注意不同的指
令速度有所不同，选择合适的指令也是优化的一个难点，同时要对数据进行一个预取，利用
cache的高性能来提高效率，也要注意不要做超过寄存器长度的处理。
e.使用ARM Neon汇编来提高运行效率
🌈我的分享也就到此结束啦🌈
如果我的分享也能对你有帮助，那就太好了！
若有不足，还请大家多多指正，我们一起学习交流！
📢未来的富豪们：点赞👍→收藏⭐→关注🔍，如果能评论下就太惊喜了！
感谢大家的观看和支持！最后，☺祝愿大家每天有钱赚！！！下一节将介绍如何在一个Android手机进行ARM Neon的优化测试，并且包括Intrinsic指令的使用。