Nota de Prensa
SAN FRANCISCO, Calif., —10 de octubre, 2024 — AMD (NASDAQ: AMD) ha anunciado hoy la disponibilidad de los procesadores AMD EPYC™ de 5ª generación, anteriormente con el nombre en clave «Turín», la mejor CPU para servidores del mundo para empresas, IA y la nube[i].
Utilizando la arquitectura de núcleo «Zen 5», compatible con la plataforma SP5 de amplia implantación[ii] y ofreciendo una amplia gama de núcleos que van de 8 a 192, los procesadores, AMD EPYC Serie 9005 mejora el récord de rendimiento[iii] y eficiencia energética de las generaciones anteriores, con la CPU de 192 núcleos en la parte superior de la gama que ofrece hasta 2,7 veces más rendimiento que la competencia [iv].
Una novedad en las CPU de la serie AMD EPYC 9005 es AMD EPYC 9575F con 64 núcleos, hecha a medida para las soluciones de IA basadas en GPU que necesitan lo último en capacidades de CPU host. Al aumentar la frecuencia hasta 5 GHz [v], en comparación con el procesador de 3,8 GHz de la competencia, proporciona hasta un 28% más de velocidad de procesamiento necesaria para mantener las GPU alimentadas con datos para las exigentes cargas de trabajo de IA.
“AMD se ha ganado la confianza de los clientes que valoran el rendimiento demostrado, la innovación y la eficiencia energética, desde los superordenadores más rápidos del mundo hasta las empresas líderes y los sistemas de hiperescalado más grandes”, ha declarado Dan McNamara, senior vice president and general manager, server business, en AMD. “Con cinco generaciones recibidas puntualmente según la hoja de ruta, AMD ha demostrado que puede satisfacer las necesidades del mercado de centros de datos y ofrecer a los clientes el estándar de rendimiento, eficiencia, soluciones y capacidades de centros de datos para cargas de trabajo en la nube, empresariales y de IA”.
La mejor CPU del mundo para cargas de trabajo empresariales, de IA y en la nube
Los centros de datos actuales ejecutan una gran variedad de cargas de trabajo, desde el apoyo a las iniciativas corporativas de habilitación de IA hasta la alimentación de infraestructuras basadas en la nube a gran escala para alojar las aplicaciones críticas de negocio más exigentes. Los nuevos procesadores AMD EPYC de 5ª generación proporcionan un rendimiento y unas capacidades líderes para el amplio espectro de cargas de trabajo de servidor que impulsan la TI empresarial hoy en día.
La nueva arquitectura de núcleos «Zen 5» proporciona hasta un 17% más de instrucciones por reloj (IPC) para cargas de trabajo empresariales y en la nube y hasta un 37% más de IPC en IA y computación de alto rendimiento (HPC) en comparación con «Zen 4».[vi]
Con los servidores basados en el procesador AMD EPYC 9965, los clientes pueden esperar un impacto significativo en sus aplicaciones y cargas de trabajo del mundo real en comparación con los servidores basados en la CPU Intel Xeon® 8592+, con:
- Resultados hasta 4 veces más rápidos en aplicaciones empresariales como la transcodificación de vídeo.[vii]
- Hasta 3,9 veces más espacio en unidades de tiempo para obtener información en aplicaciones científicas y de HPC que resuelven los problemas más complejos del mundo.[viii]
- Hasta 1,6 veces más rendimiento por núcleo en infraestructuras virtualizadas.[ix]
Además de ofrecer un rendimiento y una eficiencia líderes en cargas de trabajo de propósito general, los procesadores AMD EPYC de 5ª generación permiten a los clientes acelerar la obtención de información y la implementación de IA, tanto si utilizan una CPU como una solución de CPU + GPU.
En comparación con la competencia:
- La CPU EPYC 9965 de 192 núcleos tiene hasta 3,7 veces más rendimiento en cargas de trabajo de IA de extremo a extremo, como TPCx-AI (derivative), que son fundamentales para impulsar un enfoque eficiente de la IA generativa.[x]
- En modelos de IA generativa de nivel empresarial de tamaño pequeño y mediano, como Llama 3.1-8B de Meta, EPYC 9965 proporciona un rendimiento 1,9 veces superior al de la competencia.[xi]
- Por último, EPYC 9575F, la CPU de nodo anfitrión de IA especialmente diseñada, puede utilizar su aumento de frecuencia máxima de 5 GHz para ayudar a un clúster de IA de 1.000 nodos a generar hasta 700.000 tokens de inferencia más por segundo. Conseguir más, más rápido.[xii]
Al modernizar su centro de datos con estos nuevos procesadores para alcanzar las 391.000 unidades de rendimiento informático de propósito general SPECrate®2017_int_base, los clientes obtienen un rendimiento impresionante para diversas cargas de trabajo, al tiempo que consiguen utilizar un 71% menos de energía y ~87% menos de servidores[xiii]. Esto ofrece a los CIO la flexibilidad de beneficiarse del ahorro de espacio y energía o de añadir rendimiento para las tareas informáticas cotidianas al tiempo que ofrecen un impresionante rendimiento de IA.
CPU AMD EPYC: impulsan la próxima ola de innovación
El rendimiento probado y el profundo apoyo del ecosistema a través de socios y clientes han impulsado la adopción generalizada de las CPU EPYC para potenciar las tareas informáticas más exigentes. Con un rendimiento, características y densidad líderes, las CPU AMD EPYC ayudan a los clientes a impulsar el valor en sus centros de datos y entornos de TI de forma rápida y eficiente.
Características de los procesadores AMD EPYC de 5ª Generación
Toda la línea de procesadores AMD EPYC de 5ª generación está disponible hoy, con soporte de Cisco, Dell, Hewlett Packard Enterprise, Lenovo y Supermicro, así como de los principales ODM y proveedores de servicios en la nube, proporcionando una ruta de actualización sencilla para las organizaciones que buscan el liderazgo en computación e IA.
Entre las características de alto nivel de las CPU AMD EPYC serie 9005 se incluyen:
- Líder en opciones en cuanto a cantidad de núcleos, desde 8 a 192, por CPU
- Arquitecturas de núcleo “Zen 5” y “Zen 5c”
- 12 canales de memoria DDR5 por CPU
- Soporte para hasta DDR5-6400 MT/s[xiv]
- Liderazgo en frecuencias turbo hasta 5GHz5
- AVX-512 con el ancho completo de datos de 512b
- Certificación Trusted I/O for Confidential Computing y FIPS en proceso para cada parte de la serie
Modelo (AMD EPYC) | Núcleos | CCD (Zen5/Zen5c) | Base/Boost5 (hasta GHz) | TDP (W) base | L3 Cache (MB) | Precio (1 KU, USD) |
9965 | 192 núcleos | “Zen5c” | 2.25 / 3.7 | 500W | 384 | $14,813 |
9845 | 160 núcleos | “Zen5c” | 2.1 / 3.7 | 390W | 320 | $13,564 |
9825 | 144 núcleos | “Zen5c” | 2.2 / 3.7 | 390W | 384 | $13,006 |
9755 9745 | 128 núcleos | “Zen5” “Zen5c” | 2.7 / 4.1 2.4 / 3.7 | 500W 400W | 512 256 | $12,984 $12,141 |
9655 9655P 9645 | 96 núcleos | “Zen5” “Zen5” “Zen5c” | 2.6 / 4.5 2.6 / 4.5 2.3 / 3.7 | 400W 400W 320W | 384 384 384 | $11,852 $10,811 $11,048 |
9565 | 72 núcleos | “Zen5” | 3.15 / 4.3 | 400W | 384 | $10,486 |
9575F 9555 9555P 9535 | 64 núcleos | “Zen5” “Zen5” “Zen5” “Zen5” | 3.3 / 5.0 3.2 / 4.4 3.2 / 4.4 2.4 / 4.3 | 400W 360W 360W 300W | 256 256 256 256 | $11,791 $9,826 $7,983 $8,992 |
9475F 9455 9455P | 48 núcleos | “Zen5” “Zen5” “Zen5” | 3.65 / 4.8 3.15 / 4.4 3.15 / 4.4 | 400W 300W 300W | 256 192 192 | $7,592 $5,412 $4,819 |
9365 | 36 núcleos | “Zen5” | 3.4 / 4.3 | 300W | 256 | $4,341 |
9375F 9355 9355P 9335 | 32 núcleos | “Zen5” “Zen5” “Zen5” “Zen5” | 3.8 / 4.8 3.55 / 4.4 3.55 / 4.4 3.0 / 4.4 | 320W 280W 280W 210W | 256 256 256 256 | $5,306 $3,694 $2,998 $3,178 |
9275F 9255 | 24 núcleos | “Zen5” “Zen5” | 4.1 / 4.8 3.25 / 4.3 | 320W 200W | 256 128 | $3,439 $2,495 |
9175F 9135 9115 | 16 núcleos | “Zen5” “Zen5” “Zen5” | 4.2 / 5.0 3.65 / 4.3 2.6 / 4.1 | 320W 200W 125W | 512 64 64 | $4,256 $1,214 $726 |
9015 | 8 núcleos | “Zen5” | 3.6 / 4.1 | 125W | 64 | $527 |
[i] EPYC-029C: Comparison based on thread density, performance, features, process technology and built-in security features of currently shipping servers as of 10/10/2024. EPYC 9005 series CPUs offer the highest thread density [EPYC-025B], leads the industry with 500+ performance world records [EPYC-023F] with performance world record enterprise leadership Java® ops/sec performance [EPYCWR-20241010-260], top HPC leadership with floating-point throughput performance [EPYCWR-2024-1010-381], AI end-to-end performance with TPCx-AI performance [EPYCWR-2024-1010-525] and highest energy efficiency scores [EPYCWR-20241010-326]. The 5th Gen EPYC series also has 50% more DDR5 memory channels [EPYC-033C] with 70% more memory bandwidth [EPYC-032C] and supports 70% more PCIe® Gen5 lanes for I/O throughput [EPYC-035C], has up to 5x the L3 cache/core [EPYC-043C] for faster data access, uses advanced 3-4nm technology, and offers Secure Memory Encryption + Secure Encrypted Virtualization (SEV) + SEV Encrypted State + SEV-Secure Nested Paging security features. See the AMD EPYC Architecture White Paper (https://library.amd.com/l/3f4587d147382e2/) for more information.
[ii] AMD EPYC™ 9005 processors utilize the SP5 socket. Many factors determine system compatibility. Check with your server manufacturer to determine if this processor is supported in systems configured with previously launched AMD EPYC 9004 family CPUs.
[iii] EPYC-022F: For a complete list of world records see: http://amd.com/worldrecords.
[iv] 9xx5-002C: SPECrate®2017_int_base comparison based on published scores from www.spec.org as of 10/10/2024.
2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 Total Cores, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240923-44833.html)
2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 Total Cores, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)
2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 Total Cores, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html)
2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 Total Cores, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html)
2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 Total Cores, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html)
2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 Total Cores, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html)
SPEC®, SPEC CPU®, and SPECrate® are registered trademarks of the Standard Performance Evaluation Corporation. See www.spec.org for more information. Intel CPU TDP at https://ark.intel.com/.
[v] GD-150: Boost Clock Frequency is the maximum frequency achievable on the CPU running a bursty workload. Boost clock achievability, frequency, and sustainability will vary based on several factors, including but not limited to: thermal conditions and variation in applications and workloads. GD-150.
[vi] 9xx5-001: Based on AMD internal testing as of 9/10/2024, geomean performance improvement (IPC) at fixed-frequency.
- 5th Gen EPYC CPU Enterprise and Cloud Server Workloads generational IPC Uplift of 1.170x (geomean) using a select set of 36 workloads and is the geomean of estimated scores for total and all subsets of SPECrate®2017_int_base (geomean ), estimated scores for total and all subsets of SPECrate®2017_fp_base (geomean), scores for Server Side Java multi instance max ops/sec, representative Cloud Server workloads (geomean), and representative Enterprise server workloads (geomean).
“Genoa” Config (all NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-4800 (2Rx4 64GB), 32Gbps xGMI;
“Turin” config (all NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-6000 (2Rx4 64GB), 32Gbps xGMI
Utilizing Performance Determinism and the Performance governor on Ubuntu® 22.04 w/ 6.8.0-40-generic kernel OS for all workloads.
- 5th Gen EPYC generational ML/HPC Server Workloads IPC Uplift of 1.369x (geomean) using a select set of 24 workloads and is the geomean of representative ML Server Workloads (geomean), and representative HPC Server Workloads (geomean).
“Genoa Config (all NPS1) “Genoa” config: EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-4800 (2Rx4 64GB), 32Gbps xGMI;
“Turin” config (all NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-6000 (2Rx4 64GB), 32Gbps xGMI
Utilizing Performance Determinism and the Performance governor on Ubuntu 22.04 w/ 6.8.0-40-generic kernel OS for all workloads except LAMMPS, HPCG, NAMD, OpenFOAM, Gromacs which utilize 24.04 w/ 6.8.0-40-generic kernel.
SPEC® and SPECrate® are registered trademarks for Standard Performance Evaluation Corporation. Learn more at spec.org.
[vii] 9xx5-006: AMD internal testing as of 09/01/2024, on FFMPEG (Raw to VP9, 1080P, 302 Frames, 1 instance/thread, video source: https://media.xiph.org/video/derf/y4m/ducks_take_off_1080p50.y4m).
System Configurations: 2P AMD EPYC™ 9965 reference system (2 x 192C) 1.5TB 24x64GB DDR5-6400 running at 6000MT/s, SAMSUNG MZWLO3T8HCLS-00A07, NPS=4, Ubuntu 22.04.3 LTS, Kernel Linux 5.15.0-119-generic, BIOS RVOT1000C (determinism enable=power), 10825484.25 Frames/Hour Median
2P AMD EPYC™ 9654 production system (2 x 96C) 1.5TB 24x64GB DDR5-5600, , SAMSUNG MO003200KYDNC, NPS=4, Ubuntu 22.04.3 LTS, Kernel Linux 5.15.0-119-generic, BIOS 1.56 (determinism enable=power) , 5154133.333 Frames/Hour Median
2P Intel Xeon Platinum 8592+ production system (2 x 64C) 1TB 16x64GB DDR5-5600, 3.2 TB NVME, Ubuntu 22.04.3 LTS, Kernel Linux 6.5.0-35-generic), BIOS ESE122V-3.10, 2712701.754 Frames/Hour Median
For 3.99x the performance with the AMD EPYC 9965 vs Intel Xeon Platinum 8592+ systems
For 1.90x the performance with the AMD EPYC 9654 vs Intel Xeon Platinum 8592+ systems
Results may vary based on factors including but not limited to BIOS and OS settings and versions, software versions and data used.
[viii] 9xx5-022: Source: https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/performance-briefs/amd-epyc-9005-pb-gromacs.pdf
[ix] 9xx5-071: VMmark® 4.0.1 host/node FC SAN comparison based on “independently published” results as of 10/10/2024.
Configurations:
2 node, 2P AMD EPYC 9575F (128 total cores) powered server running VMware ESXi8.0 U3, 3.31 @ 4 tiles,
https://www.infobellit.com/BlueBookSeries/VMmark4-FDR-1003
2 node, 2P AMD EPYC 9554 (128 total cores) powered server running VMware ESXi 8.0 U3, 2.64 @ 3 tiles,
https://www.infobellit.com/BlueBookSeries/VMmark4-FDR-1002
2 node, 2P Intel Xeon Platinum 8592+ (128 total cores) powered server running VMware ESXi 8.0 U3, 2.06 @ 2.4 Tiles,
https://www.infobellit.com/BlueBookSeries/VMmark4-FDR-1001
VMmark is a registered trademark of VMware in the US or other countries.
[x] 9xx5-012: TPCxAI @SF30 Multi-Instance 32C Instance Size throughput results based on AMD internal testing as of 09/05/2024 running multiple VM instances. The aggregate end-to-end AI throughput test is derived from the TPCx-AI benchmark and as such is not comparable to published TPCx-AI results, as the end-to-end AI throughput test results do not comply with the TPCx-AI Specification.
2P AMD EPYC 9965 (384 Total Cores), 12 32C instances, NPS1, 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 Total Cores), 8 32C instances, NPS1, 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 Total cores) 6 32C instances, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Versus 2P Xeon Platinum 8592+ (128 Total Cores), 4 32C instances, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, , Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled)
Results:
CPU Median Relative Generational
Turin 192C, 12 Inst 6067.531 3.775 2.278
Turin 128C, 8 Inst 4091.85 2.546 1.536
Genoa 96C, 6 Inst 2663.14 1.657 1
EMR 64C, 4 Inst 1607.417 1 NA
Results may vary due to factors including system configurations, software versions and BIOS settings. TPC, TPC Benchmark and TPC-C are trademarks of the Transaction Processing Performance Council.
[xi] 9xx5-009: Llama3.1-8B throughput results based on AMD internal testing as of 09/05/2024.
Llama3-8B configurations: IPEX.LLM 2.4.0, NPS=2, BF16, batch size 4, Use Case Input/Output token configurations: [Summary = 1024/128, Chatbot = 128/128, Translate = 1024/1024, Essay = 128/1024, Caption = 16/16].
2P AMD EPYC 9965 (384 Total Cores), 6 64C instances 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1 DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192) , BIOS RVOT1000C, (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2
2P AMD EPYC 9755 (256 Total Cores), 4 64C instances , 1.5TB 24x64GB DDR5-6400 (at 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2
2P AMD EPYC 9654 (192 Total Cores) 4 48C instances , 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2
Versus 2P Xeon Platinum 8592+ (128 Total Cores), 2 64C instances , AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled).
Results:
CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c
Average Aggregate Median Total Throughput 99.474 193.267 182.595 138.978
Competitive 1 1.943 1.836 1.397
Generational NA 1.391 1.314 1
Results may vary due to factors including system configurations, software versions and BIOS settings.
[xii] 9xx5-087: As of 10/10/2024; this scenario contains several assumptions and estimates and, while based on AMD internal research and best approximations, should be considered an example for information purposes only, and not used as a basis for decision making over actual testing.
Referencing 9XX5-056A: “2P AMD EPYC 9575F powered server and 8x AMD Instinct MI300X GPUs running Llama3.1-70B select inference workloads at FP8 precision vs 2P Intel Xeon Platinum 8592+ powered server and 8x AMD Instinct MI300X GPUs has ~8% overall throughput increase across select inference use cases” and 8763.52 tokens/s (9575F) versus 8,048.48 tokens/s (8592+) at 128 input / 2048 output tokens, 500 prompts for 1.089x the tokens/s or 715.04 more tokens/s.
1 Node = 2 CPUs and 8 GPUs.
Assuming a 1000 node cluster, 1000 * 715.04 = 715,040 tokens/s
For ~700,000 more tokens/s
Results may vary due to factors including system configurations, software versions and BIOS settings.
[xiii] 9xx5TCO-001a: This scenario contains many assumptions and estimates and, while based on AMD internal research and best approximations, should be considered an example for information purposes only, and not used as a basis for decision making over actual testing. The AMD Server & Greenhouse Gas Emissions TCO (total cost of ownership) Estimator Tool - version 1.12, compares the selected AMD EPYC™ and Intel® Xeon® CPU based server solutions required to deliver a TOTAL_PERFORMANCE of 39100 units of SPECrate2017_int_base performance as of October 10, 2024. This scenario compares a legacy 2P Intel Xeon 28 core Platinum_8280 based server with a score of 391 versus 2P EPYC 9965 (192C) powered server with an score of 3030 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240923-44833.pdf) along with a comparison upgrade to a 2P Intel Xeon Platinum 8592+ (64C) based server with a score of 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Actual SPECrate®2017_int_base score for 2P EPYC 9965 will vary based on OEM publications.
Environmental impact estimates made leveraging this data, using the Country / Region specific electricity factors from the 2024 International Country Specific Electricity Factors 10 – July 2024 , and the United States Environmental Protection Agency 'Greenhouse Gas Equivalencies Calculator'.
For additional details, see https://www.amd.com/en/claims/epyc5#9xx5TCO-001a
[xiv] 9xx5-083: 5th Gen EPYC processors support DDR5-6400 MT/s for targeted customers and configurations. 5th Gen production SKUs support up to DDR5-6000 MT/s to enable a broad set of DIMMs across all OEM platforms and maintain SP5 platform compatibility
