2018年全球最值得关注的AI芯片初创公司
Wave Computing
Wave Computing在2018取得了不少进展，推出其第一个DataFlow处理单元，收购MIPS，创建MIPS Open，并将首批系统交付给少数客户。虽然Wave架构有一些非常有趣的功能，但我们更期待用户的大规模真实体验反馈。
Wave不是插入到服务器的加速器，它是用于图形计算的独立处理器。这种方法有利有弊。从积极的方面看，Wave不会受到GPU等加速器面临的内存瓶颈影响。从消极方面来说，安装Wave设备将是新的升级，需要完全替换传统的X86服务器，也让其成为所有服务器制造商的竞争对手。
我不认为Wave能从某个点击败NVIDIA，但该架构的设计的非常好，该公司已经表示它很快就会有客户的反馈。
图1：Wave是从上面显示的4节点“DPU”构建的系统。Wave Computing
Graphcore
Graphcore是一家资金雄厚（融资3.1亿美元，目前估值为17亿美元）的英国独角兽创业公司，拥有全球化的团队。它正在构建一种新型的图形处理器架构，其内存与其逻辑单元位于同一芯片上，这应该能够实现更高的性能。该团队产品的发布时间暂不明确，不过他们去年四月表示“几乎准备好发布”了，12月的最新信息表明它将很快开始生产。
Graphcore的投资者名单令人印象深刻，包括红杉资本、宝马、微软、博世和戴尔 科技 。
我了解了该公司的架构，它非常令人印象深刻。从边缘设备扩展到用于数据中心的训练和推理的“Colossus”双芯片封装。在最近的NeurIPS活动中，Graphcore展示了其RackScale IPU Pod，它在一个32台服务器的机架中提供超过16 petaflops的算力。虽然该公司经常声称它将提供比同类最好GPU强100倍的性能。
Graphcore表示，4“Colossus”GC2（8芯片）服务器可提供500 TFlops（每秒数万亿次操作）的混合精度性能。单个NVIDIA V100可提供125 TFlops，因此理论上4 个V100就可提供与其相同的性能。
与往常一样，细节更能发现差别，V100峰值性能仅在重构代码执行TensorCore的4x4矩阵乘法时才可用，这是Graphcore架构巧妙避免的限制。更不用说V100消耗了300瓦的电能和大量现金这一事实。
此外，Graphcore支持片上互连和“处理器内存”（片上存储器）方法，可以得到超出TFlops基准所认可的优秀性能。在一些神经网络中，如Generative Adversarial Networks，内存是瓶颈。
再次强调，我们将不得不等待真实的用户用实际应用程序来评估此体系结构。尽管如此，Graphcore的投资者名单、专家名单和台天价估值告诉我，这可能是一件好事。
图2：GraphCore展示了ImageNet数据集处理的照片。 可视化可帮助开发人员了解其训练处理占用处理周期的位置。
Habana Labs
Habana Labs是一家以色列创业公司，去年9月在第一次AI硬件峰会上宣布它已经准备好推出其首款用于推理的芯片，其创纪录的性能用于卷积神经网络图像处理。结果显示在Resnet50图像分类数据库中该处理器每秒分类15,000张图像，比NVIDIA的T4高出约50％，功耗仅为100瓦。
在2018年12月，Habana Labs的最新一轮融资由英特尔风险投资（Intel Venture Capital）领投，WRV Capital，Bessemer Venture Partners和Battery Ventures跟投，该公司的融资也由此前的4500万美元增加了7500万美元。
据悉，Habana Labs新的融资将部分用于流片其名为“Gaudi“的第二款芯片，该芯片将专注于训练市场，据称可扩展到1000多个处理器。
其它创业公司
我知道世界上有超过40家公司在为人工智能设计训练和推理芯片。我发现大多数公司都在进行简单的FMA（浮点乘法累加）和混合精度数学（整型8位和浮点16位和32位）。对此我不会感到惊讶，因为这种方法相对容易实现并且会获得一些成果，但它不会为像NVIDIA，英特尔以及少数初创公司做出不一样的架构提供持久的架构优势。
以下是一些引起我注意的公司：
中国AI芯片初创公司
中国一直试图找到一条摆脱美国半导体的方式，人工智能加速器可能会提供它一直在寻求的机会。中国设定了2030年要建立一个价值数万亿美元的人工智能产业的目标，自2012年以来，投资者已经向创业公司投入了超过40亿美元的资金。
寒武纪 科技 估值为25亿美元，是已经发布了第三代AI芯片的中国独角兽公司。寒武纪称它可以用更低的功耗提供比NVIDIA V100更好的AI性能，他们还销售其AI IP，搭载在华为麒麟970和麒麟980的处理器当中，作为AI加速硬件。
商汤 科技 也许是估值最高的AI创业公司，以在中国推广智能监控摄像头而闻名。这些安防摄像头数量超过1.75亿，包括其他公司生产的摄像头。商汤 科技 在香港成立，最近一轮融资数额达6亿美元，由阿里巴巴领投。据报道，这家初创公司的价值目前为45亿美元。
商汤 科技 与阿里巴巴、高通、本田甚至NVIDIA等主要公司建立了战略合作伙伴关系。该公司今天拥有一台超级计算机，运行大约8000块（可能是NVIDIA提供？）GPU，并计划再建造5台超级计算机来处理数百万个摄像头采集的面部识别数据。
雷锋网编译，via forbes
CPU TFLOPS 计算
@(System)
深度学习等计算密集型任务很关注设备的峰值算力，落实到具体指标，就是大家都很关心T(FL)OPS (Tera (FLoat) OPerations per Second)。这里，operations具体指的就是乘加操作。该指标在GPU上是明确标示供查的，但CPU目前并不会在spec中暴露TOPS指标。
一种方法可以通过跑BLAS的benchmark来测量的，这种方法有两个问题：一是需要一定的操作成本，二是受软件优化的影响（所以，如果出了问题就容易不知道这是硬件能力不行还是软件优化没到位）。因此，需要一个对硬件能力的直接估计。
这里提供一个计算CPU峰值算力的公式来解决这个问题。
CPU使用SIMD协处理器(co-processor) 来加速FP32乘加运算，如SSE、AVX2、AVX-512。更具体地，是由协处理器的FMA(Fused Multiply-Add)单元完成的。所以CPU的T(FL)OPS主要取决于FMA的计算能力。
FP64 FMA乘加指令 vfmadd132pd 执行以下操作：
这里，向量的长度由AVX寄存器长度决定。
如: 一个AVX-512寄存器可以存放8个FP64 ( ), 那么 ， ， 和 的长度就均为8，一个AVX-512 FMA每个clock cycle可以做8个乘加操作，如下：
因此，FP64的 可以计算如下：
这里，乘法和加法各算一个操作，所以8需要乘2。
Xeon SkyLake 8180，一个socket有28个core，每个core有一个AVX-512协处理器，每个AVX-512协处理器配有2个FMA。因此：
frequency可以通过查spec得到，这里需要取AVX-512 max all core Turbo frequency，即2.3 GHz。
所以，一个双路(dual-socket) SkyLake 8180系统的FP64峰值TFLOPS (Tera FLoat OPerations per Second)为：
FP32 FMA乘加指令 vfmadd132ps 执行以下操作：
一个AVX-512寄存器可以存放16个FP32 ( ), 因此 ， ， 和 的长度均为16，一个AVX-512 FMA每个clock cycle可以做16个乘加操作，如下：
因此，FP32的 可以计算如下：
Xeon SkyLake 8180，一个socket有28个core，每个core有一个AVX-512协处理器，每个AVX-512协处理器配有2个FMA。因此：
又因为8180 AVX-512 max all core Turbo frequency = 2.3GHz，则一个双路SkyLake 8180系统的FP32峰值TFLOPS为：
Xeon CPU在SapphirRapids(SPR)之前不支持FP16的原生FMA运算，需要先通过 vcvtph2ps 指令将FP16转换成FP32，再通过FP32的FMA运算来完成。此时，FP16的峰值TFLOPS与FP32的峰值TFLOPS是相等的。
从SPR开始，AVX512引入了 vfmadd132ph 指令用于FP16的FMA运算。凡是CPU Flag中有AVX512_FP16的CPU均支持原生FP16乘加。一个AVX-512寄存器可以存放32个FP16 ( )，一个AVX-512 FMA每个clock cycle可以做32个乘加操作，如下：
此时，FP16的 可以计算如下：
Xeon CPU从CooperLake(CPX)开始支持BF16的乘加运算，凡是CPU Flag中有AVX512_BF16的CPU均支持原生BF16乘加。但因为其复用了FP32的FMA，所以暴露出来的BF16指令并不是标准的FMA，而是DP(Dot Product)。
BF16 DP指令 vdpbf16ps 操作如下：
一个AVX-512寄存器可以存放32个BF16 ( )。因此，一个AVX-512 BF16 DP每个clock cycle可以做32个乘加操作。
因此， 可以计算如下：
CPU通过两条指令 vpmuldq + vpaddq 完成INT32的乘加操作，如下：
一个AVX-512寄存器可以存放16个INT32 ( )。因此，一个AVX-512 FMA每2个clock cycle可以做16个INT32乘加操作，即平均每个clock cycle可以做8个INT32乘加操作。
因此， 可以计算如下：
在支持VNNI(Vector Neural Network Instructions)指令前，CPU通过两条指令 vpmaddwd + vpaddd 完成INT16的DP操作(原因也是为了复用INT32的FMA，所以选择不支持INT16的FMA，而只支持Multiply Add), 如下：
在支持VNNI指令后，CPU通过一条指令 vpdpwssd 完成INT16的乘加操作, 如下：
在支持VNNI指令前，CPU通过三条指令 vpmaddubsw + vpmaddwd + vpaddd 完成INT8的DP操作, 如下：
一个AVX-512寄存器可以存放64个INT8 ( )。因此，每3个clock可以做64个INT8乘加操作，即平均每个clock做 个INT8乘加操作。
因此， 可以计算如下：
在支持VNNI指令后，CPU通过一条指令 vpdpbusd 完成INT8的DP操作, 如下：
一个AVX-512寄存器可以存放64个INT8 ( )。因此，一个AVX-512 FMA每个clock cycle可以做64个INT8乘加操作。
因此， 可以计算如下：
8192cuda 性能强悍 NV公布7nm安培A100gpu 还想弯道超车?
如约而至，NVIDIA 昨天以线上发布录制视频的方式带来了 GTC 2020 主题演讲，这次，没有舞台、没有大屏幕背景，此次的重点就是介绍 NVIDIA 基于全新安培架构，面向 HPC 领域的 A100 GPU，适用于科学计算、数据分析、云图形等高性能计算。
基于 AMPERE (安培) 架构的 A100 GPU 采用台积电 7nm 工艺打造，核心面积 826m㎡，晶体管数量高达恐怖的 542 亿，是 Volta GV100 GPU 的 2.5 倍还多，后者采用的是台积电 12nm 工艺，面积为 815m㎡，晶体管数量为 211 亿，由此可见台积电 7nm 工艺的提升之大。
完整的 AMPERE A100 GPU 拥有 128 组SM，每组 64 个 CUDA FP32 核心、32 个 FP64 CUDA 核心、4 个第三代 Tensor 核心、12x 512-bit 显存接口、支持 6 个 HBM 显存堆栈，由于并非为 游戏 领域设计，所以 A100 GPU 没有 RT 核心。
完整的 A100 共计有 8192 个 FP32 CUDA 核心，4096 个 FP64 CUDA 核心 、512 个 Tensor 核心、6144-bit 显存位宽、最高可支持 48GB HBM 显存，另外 AMPERE A100 GPU 将支持 PCIe 4.0 连接。
不过，新一代 Tesla A100 计算卡没有用上完整的 128 组 SM，只有启用了 108 组，共计 6912 个 CUDA 核心，432 个 Tensor 核心，配备 40GB 显存，显存位宽也缩减为 5120-bit，即便如此，该卡的 TDP 也高达400W，名副其实的电老虎。
强大的规模使得 A100 成为 NVIDIA 目前最快的 GPU，其中第三代 Tensor 内核提供了一种新的混合 FP32 格式，称为 TF32（Tensor Float 32) 对于使用 TF32 的工作负载，A100 可以在单个芯片中提供 312 TFLOPS 的算力，比 V100 的 15.7 TFLOPS 的 FP32 性能快 20 倍，但这并不是一个完全公平的比较，因为 TF32 与 FP32 并不完全相同。
相比上一代，NVIDIA Ampere架构的A100将性能提升了20倍。A100的五大关键特性包括：
以上这些特性促成了A100性能的提升：与NVIDIA上一代的Volta架构相比，训练性能提高了6倍，推理性能提高了7倍。
此外 NVIDIA 还推出了基于 AMPERE A100 打造的 DGX A100 系统，内置 8 块基于 A100 GPU 的 Tesla A100 计算卡，总显存容量高达 320GB (每卡40GB)，可提供 5 Petaflops 的 AI 性能，以及 10 Petaops 的 INT8 性能。
这次，NVIDIA 选择了与 AMD 合作，在 DGX A100 系统上使用了 AMD EPYC 7742 处理器，该处理器具备高达 64 核心 128 线程，基础频率 2.25GHz，加速频率 3.4GHz，每个 DGX A100 使用两个，共计 128 核心和 256 线程，另外该系统还具备高达 1TB DDR4 内存，15TB 的 U.2 NVMe SSD 以及 2 个 1.92TB 的 M.2 NVMe SSD，8 个 Mellanox HDR(Infiniband) 额定 200Gb/s 的网络端口。
NVIDIA DGX-A100 系统现已开始供货，起价为 199,000 美元。