GPUs Pro Reviews Studio Workstations

Intel Arc Pro B60 Workstation Graphics Card Review with technical Analysis and Teardown – Battle of the small Workhorses under 1200 Euros

The UL Procyon benchmarks for AI are designed to map different real-world workloads. They cover classic computer vision tasks, image generation with stable diffusion and text generation with large language models. The particular value of this suite lies in the fact that identical models are executed using different inference stacks. This makes it clear whether performance advantages come from optimized runtimes, from the hardware itself or simply from available VRAM. This limit is quickly reached in memory-intensive benchmarks, especially for cards with only 8 GB of memory, meaning that measurements are either severely limited or can no longer be carried out at all.

Interfaces and implementations

Windows ML is a generic inference API integrated into Windows. It uses DirectML and distributes operators to the CPU and GPU. The results are stable and manufacturer-independent, but in benchmarks they usually lag behind specialized runtimes. For example, the Intel Arc Pro B50 with Windows ML achieved 527 points in the Vision test, while the RTX A1000 fell behind with 311 points and the W7500 with 238 points. Especially with memory-hungry models such as LLaMA 2, bottlenecks quickly occur with 8 GB cards, making a run impossible.

TensorRT is NVIDIA’s engine for optimized inference, which merges operators and uses GPU memory efficiently. It achieves the best results on RTX cards in many cases, as long as there is enough VRAM available. In the Stable Diffusion test, the RTX A1000 with TensorRT scored 564 points – well ahead of its performance with ONNX Olive, which was only 174 points due to memory bottlenecks. However, with large language models such as LLaMA 2, the memory was no longer sufficient, so the test was aborted.

OpenVINO is Intel’s inference stack, which streamlines models via the Model Optimizer and distributes them to XMX units as well as CPU and GPU. The Arc Pro B50 regularly achieved the best results in the benchmarks: 609 points in Computer Vision FP32, 757 points in Stable Diffusion FP16 and top scores in text generation with Phi 3.5 (2589 points), Mistral 7B (2479 points), LLaMA 3.1 (2446 points) and LLaMA 2 (2402 points). The decisive factor here was not only the optimization, but also the larger VRAM of 16 GB, which made the difference with complex language models.

ONNX Olive optimizes models within the ONNX Runtime and runs vendor-neutral. Olive achieved solid results on the Arc Pro B50, such as 547 points with Stable Diffusion, or 1768 points with Phi 3.5. Compared to OpenVINO, however, the gap remained visible because Olive is more dependent on generic kernels. With the 8 GB models from AMD and NVIDIA, the memory limited the results: the W7500 only achieved 467 points with Stable Diffusion, the RTX A1000 174 points, while more complex language models such as LLaMA 2 could no longer be run at all with NVIDIA. The AMD-optimized ONNX runtime specifically addresses RDNA GPUs, but also remains dependent on memory.

AI Computer Vision FP32

The UL Procyon AI Computer Vision benchmark shows a classic picture in favor of NVIDIA, but with significant progress for Intel. The RTX 4000 Ada achieves 1073 points with TensorRT, closely followed by the RTX 2000 Ada with 942 points. The Intel Arc Pro B60 is in a solid third place with 822 points, clearly outperforming both AMD’s Radeon Pro W7700 (733 points) and its own B50 with 609 points. These results show that Intel’s OpenVINO framework now works extremely efficiently in classic image processing tasks such as object recognition or segmentation and that NVIDIA only scores with the advantage of the tensor cores. AMD continues to lag far behind with Windows ML, which is due to the still limited optimization of its ML drivers.

AI Image Generation Benchmark – Stable Diffusion 1.5 (FP16)

In the image generation benchmark with Stable Diffusion 1.5, Intel takes the top position for the first time. The Arc Pro B60 achieves first place with 1362 points and is just ahead of the RTX 4000 Ada (1358 points). This shows how efficiently OpenVINO works in combination with Intel’s Xe architecture. The B50 follows with 757 points, while AMD’s Radeon Pro W7700 performs slightly better than expected with 902 points. NVIDIA loses its previous TensorRT lead here, as the benchmark benefits less from specialized hardware and more from memory bandwidth and execution optimization. The fact that the RTX A1000 falls behind with only 564 points illustrates the high memory requirements and the dependence on wide GPU memory for generative workloads.

AI Text Generation Benchmark – Mistral 7B

The Mistral 7B test reveals the current performance monopoly of Intel Arc GPUs. With 4284 points, the B60 achieves the clear top score and is thus more than twice as high as the RTX 4000 Ada (2017 points). Even the smaller B50 with 2479 points beats all competitor models. OpenVINO shows its strength here with quantized transformer models based on mixed precision and high throughput. Although NVIDIA can deliver solid results with TensorRT, it lags behind in terms of efficiency per watt. AMD’s cards under Windows ML and ONNX only achieve a quarter of Intel’s performance with 900 to 1000 points – a clear indication of insufficient optimizations for Large Language Models (LLMs).

AI Text Generation Benchmark – LLAMA 3.1

The dominance of the Arc GPUs is also confirmed in LLAMA 3.1. The B60 achieves 4190 points, the B50 2446 points – a considerable lead over the RTX 4000 Ada (1773 points) and RTX 2000 Ada (1432 points). The Arc GPUs benefit massively here from Intel’s own optimizations, which are specially tailored to text tokenization and attention mechanisms. NVIDIA remains powerful, but the TensorRT implementation shows higher latencies for longer sequences. AMD’s Radeon Pro W7700 still achieves the best result of the RDNA3-based models with 860 points, but is clearly lagging behind.

AI Text Generation Benchmark – LLAMA 2

In the older LLAMA 2 test, the Arc Pro B60 once again achieved the top score with 4342 points, followed by the B50 with 2402 points. NVIDIA can no longer keep up with the RTX 4000 Ada (1705 points) and RTX 2000 Ada (1429 points). Particularly striking is the large gap to AMD, whose ONNX implementation is not competitive with a maximum of 152 points. The reason for this is the lack of support for quantized INT8 and BF16 models in the current AMD driver environment. Intel, on the other hand, can use all common quantization modes with OpenVINO and thus achieves an exceptionally high computing performance per clock.

Interim conclusion

Intel’s Arc Pro B60 dominates the current AI benchmarks with an impressive lead in text and image generation tasks. While NVIDIA remains strong in the classic FP32 training and TensorRT segment, Intel is taking full advantage of the open ONNX and OpenVINO frameworks. The results show that Arc GPUs are not only suitable in practice as workstation graphics cards, but increasingly also as efficient accelerators for AI inference. AMD’s Windows ML approach, on the other hand, is currently still too limited to keep up in productive AI workflows.

Kommentar

Lade neue Kommentare

e
eastcoast_pete

Urgestein

3,083 Kommentare 2,046 Likes

@Igor Wallossek : Danke, ein guter und detaillierter Test und Vergleich.
Was aus meiner Sicht auch wichtig ist,: Intels Grafik Abteilung hat sich bei den Treibern scheinbar sehr reingekniet, und das zeigt Früchte. Bleibt die Hoffnung, das Xe3 dann auch in dGPUs Einzug findet.
Und abschließend die Frage: irgendwelche Neuigkeiten ob und wann Battlematrix jetzt erscheinen soll?

Antwort 2 Likes

R
Robofighter

Veteran

153 Kommentare 89 Likes

Gar nicht so schlecht was Intel da abliefert. Igors gefundene Mängel noch abstellen und die Software optimieren dann ist es eine gute Alternative. Ich hatte mir ja eine Intel B580 gekauft weil meine RTX 4090 zur RMA ( Hotspot Temperatur zu hoch) musste und war damit super zufrieden. Taktfreudig( 3150 Mhz), kühl und super verarbeitet. Kann man diese Workstation Karte auch übertakten und wie hoch wäre der Leistungsgewinn?
Ich denke Intel ist auf dem richtigen Weg. Also 👍

Antwort Gefällt mir

Igor Wallossek

1

13,159 Kommentare 26,153 Likes

OC ist nicht. Ist ja Workstation. Allerdings hat die Power rund 55 Watt headroom.

Antwort 1 Like

konkretor

Veteran

448 Kommentare 494 Likes

Das mit der PCIE Verlängerung muss echt nicht sein. Da sollte dringend nachgearbeitet werden.

Mal sehen bis die Dual Karte endlich kommt

Antwort 2 Likes

FfFCMAD

Urgestein

1,158 Kommentare 486 Likes

Was wohl auch noch in Arbeit ist ist der SR-IOV Support. Sodass man recht günstig virtuelle Desktops flüssig bedienen kann. Intel hat da echt was in der Tasche. Ist eine gute Idee das untere Segment in Bereich Desktop und Workstation anzugreifen. Das haben AMD und Nvidia nämlich stark vernachlässigt.

In meinem Wohnzimmer habe ich mir nun die B580 in den Media-PC rein gesetzt. Die ist zwar langsamer als die 3070TI, die vorher drin steckte. Sie spielt aber 8K 60Hz Videos mit HDR ab, wo die 3070TI schon bei 4K 60Hz ohne HDR jede Sekunde Bilder dropte bis zum Umfallen. Auch die 2D Leistung in Windows ist deutlich besser. Ich überlege mir schon die B770 oder B780 zu holen, wenn sie dann erscheint. (Dann gebe ich die B580 für nen Kumpel ab für seinen Media Center PC) Die Treiber sind auf jeden Fall deutlich ausgereifter in zwischen. Vor ein paar Wochen wurde wohl auch das Problem behoben, das langsame CPUs durch Overhead wesentlich weniger FPS mit den Intel Karten lieferten als die Konkurrenz.

Antwort 3 Likes

P
Pokerclock

Urgestein

978 Kommentare 959 Likes

Danke für den ausführlichen Test! @Igor Wallossek

Wann immer Kunden anfragen, habe ich jetzt einen Link parat. 😂

Realistisch betrachtet, wird es wohl mindestens bis nächstes Jahr dauern, bis die B60-Karten der breiten Masse verfügbar gemacht werden. Es war eine absolute Tortur, an eine B60 heranzukommen. Von Distri's bis hin zu den Boardpartnern. Alle haben abgewunken und wollten (konnten durchaus) nicht an mich etwas verkaufen. Asrock ghosted mich bis heute. Die wollten ganz genau wissen, wofür die Karten benutzt werden sollen. Ja und dann taucht die plötzlich im Geizhals auf...

Ich finde das äußerst lächerlich, was Intel da abzieht. Interessierte professionelle Anwender werden abgeblockt, obwohl denen ganz klar ist, dass sie da ein Produkt mit Ecken und Kanten erhalten.

So wird das nichts Intel. Wenn man Geld machen möchte, muss man auch Kunden finden.

Antwort 4 Likes

HerrRossi

Urgestein

7,065 Kommentare 2,400 Likes

Interessanter Test, vielen Dank! Bei mir wird die Grafik für Stable Diffusion nicht angezeigt, liegt das Problem bei mir?

Für AI sind das für mich interessante Karten, könntest du dort evtl. noch eine Consumer-Grafikkarte bei den AI-Tests mit aufnehmen @Igor Wallossek ? Das würde mir (und vllt. auch anderen) den Leistungsvergleich vereinfachen.

Antwort Gefällt mir

LurkingInShadows

Urgestein

1,531 Kommentare 655 Likes

Wenn wir schon bei Kabeln sind; haben da nicht die beiden schwarzen rechts oben auch Macken?

Spoilerinhalt versteckt.

Antwort Gefällt mir

Igor Wallossek

1

13,159 Kommentare 26,153 Likes

Masseisolierung, da passiert erst mal nichts. Sieht aber unschön aus :)

Antwort Gefällt mir

Kaito Kariheddo

Mitglied

18 Kommentare 4 Likes

Schönes Ding, trotz abenteuerlicher Stromzuführung

Antwort Gefällt mir

Alkbert

Urgestein

1,311 Kommentare 1,087 Likes

Ich hoffe da kommt von Intel in allen GPU Kartenbereichen noch mehr. Zum einen, weil ich Intel ungerne den Bach runtergehen sehen würde, sonst haben wir ein AMD Monopol (wie seinerzeit das unselige Intel Monopol, dass uns mit 4 Haswell Kernen abgespeist hat, nach dem Motto: Das reicht für die Dödel schon) und zum Anderen, weil man sich heute lebensnotwendig breiter aufstellen muss. Dann klappt´s auch mit den Nachbarn.
Ich habe zwar nur eine B580 im Wohnzimmer / Beamer PC laufen (5800x Basis), aber die werkelt zumindest geräucharm vor sich hin - und damit meine ich nicht nur die Lautstärke.

Antwort 2 Likes

e
eastcoast_pete

Urgestein

3,083 Kommentare 2,046 Likes

Zur Bauqualität: uU eine Konsequenz daraus, daß Intel ihren Boardpartnern ziemlich viel Spielraum lässt. Die Karte, die @Igor Wallossek zum Testen hatte, war ja von Sparkle. Eine "FE" oder "LE" der B60 direkt von Intel gibt's, soweit ich es weiß, nicht. Warum sie das anders als bei der B580 gemacht haben? Spekulation meinerseits ist, daß Intel es so leichter hatte, Boardpartner zu gewinnen. Und auch hier den Kontrast zu Nvidia sucht, die ja bekanntlich ihren Boardpartnern nur wenig bis keinen Spielraum lassen.

Antwort Gefällt mir

Igor Wallossek

1

13,159 Kommentare 26,153 Likes

Die B50 hat ja das typische Standarddesign in Blau. Die Platine sieht auch komplett anders aus. Das hier ist eher so ein Boardpartner-Ding, das ich auch nicht mag.

Antwort Gefällt mir

P
Pokerclock

Urgestein

978 Kommentare 959 Likes

Aussage dazu seitens GN war einmal sinngemäß laut Intel: Ihr könnt tun und lassen, was ihr wollt, Hauptsache ihr (die Boardpartner) übernehmt den Support.

Ich persönlich finde den Ansatz gut, weil es zu Vielfalt und Innovation führen kann. Aktuell wird aber nur geblockt und die Karten sind da aber nur an handverlesenes Publikum...

Antwort 1 Like

M
McFly_76

Veteran

428 Kommentare 161 Likes

Intel bewirbt auch Multi-GPU-LLM mit bis zu 4 Grafikkarten und da frage ich mich wie es wohl funktionieren würde mit bis zu 4x Arc B580 im PC wenn das Mainboard ( PCIe Slots ) dafür ausgelegt ist. :coffee:
P.S.
Was mir beim Begutachten des Intel Grafiktreibers ( B580 ) aufgefallen ist dass der "Modus mit geringer Latenz" eher stottern in manchen Spielen verursacht und dass die Low-FPS dabei um bis zu ~15 % niedriger droppen können.

Antwort Gefällt mir

P
Pokerclock

Urgestein

978 Kommentare 959 Likes

Ich hatte das mal mit drei A310 getestet. Treiberseitig wird da alles erkannt. Auch rBar ist kein Problem. Am Ende hatte ich da 12 Full-HD-Displays dran. Aber der Decoder lief nur über eine Karte und man hatte keine Möglichkeiten, die 3D-Last zu switchen. Das gab auch Windows in seinen Einstellungen nicht her. Schlicht keine Funktion.

Also ohne spezielle Softwareunterstützung, die das ermöglicht, wird das nichts. Außer natürlich, man möchte sich einen Display-Cluster bauen.

Antwort 2 Likes

hansmuff

Veteran

116 Kommentare 67 Likes

@Igor Wallossek In Maya 2025 Shaded stimmt was mit den Balken nicht.

"In der Disziplin Shaded SSAO (Screen Space Ambient Occlusion), die Umgebungsverdeckung simuliert, zeigt die B60 leichte Schwächen. Mit 0,90 Punkten liegt sie etwas hinter AMD und NVIDIA" läßt sich nicht von der Grafik ablesen.

Antwort Gefällt mir

unspektakulaer

Mitglied

17 Kommentare 3 Likes

Danke für den Artikel. Hätte jetzt, wie in der Extrabox im Artikel nahegelegt, auch gerne Raff seinen Artikel gelesen. Aber den gibt es wohl (noch?) nicht? War selten so enttäuscht :(

Antwort Gefällt mir

Igor Wallossek

1

13,159 Kommentare 26,153 Likes

Kommt in ca. 2 Wochen

Antwort 2 Likes

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Igor Wallossek

Editor-in-chief and name-giver of igor'sLAB as the content successor of Tom's Hardware Germany, whose license was returned in June 2019 in order to better meet the qualitative demands of web content and challenges of new media such as YouTube with its own channel.

Computer nerd since 1983, audio freak since 1979 and pretty much open to anything with a plug or battery for over 50 years.

Follow Igor:
YouTube Facebook Instagram Twitter

Werbung

Werbung