[ 00 / 10 ]

[ PAITON | AMD GPU-OPTIMALISATIE | ECHTE WORKLOADS ]

HAAL MEER UIT AMD-GPU'S. BEWEZEN OP ECHTE MODELLEN.

Haal meer
uit AMD-GPU's.

Paiton spoort de vertraging in uw model op, vervangt het generieke runtimepad
en versnelt workloads voor taal, beeld en video zonder het model opnieuw te trainen.

gemeten winst
103,29 s Qwen-Image 2.1 op 2048 × 2048
400,7 tok/s totale doorvoer op één R9700
16,7% minder wachten met MiniMax H3
17,6% Wan2.2 versus B200
$/1M MoE-benchmark
1,054 s FLUX.2 klein op R9700
103,29 s Qwen-Image 2.1 op 2048 × 2048
400,7 tok/s totale doorvoer op één R9700
16,7% minder wachten met MiniMax H3
17,6% Wan2.2 versus B200
$/1M MoE-benchmark
1,054 s FLUX.2 klein op R9700

[ 00 / 10 ]

[ NIEUWSTE DOORBRAKEN ]

GEMETEN OP ECHTE GENERATIE- EN INFERENCEPADEN.

Benchmarks die een tweede blik op AMD
rechtvaardigen

De bottleneck zit zelden in het model. Meestal zit die in de runtime.
Paiton stemt het exacte pad af dat uw workload gebruikt en bewijst vervolgens de winst met benchmarks.

Gepubliceerde beeldgeneratie: Qwen-Image 2.1 v1.0.2

103,29 s

Beelden van 2048 × 2048 op 1 × Radeon AI PRO R9700

ongeveer 37%kortere wachttijd na opwarming dan bij de historische v1.0.1-herhaling
25,55 GiBhoogste gemeten VRAM-gebruik van de hele GPU

Op één Radeon AI PRO R9700 van 32 GB, met 40 stappen, guidance 1.0 en een batchgrootte van één. De mediaan van 103,29 s loopt van een opgewarmde HTTP-aanvraag tot en met de aflevering van de PNG, gemeten over drie gepubliceerde v1.0.2-containers. Opstarten en downloaden vallen erbuiten. De vergelijking met v1.0.1 komt uit een aparte releaseherhaling en is geen experiment met gelijktijdig vergeleken configuraties.

Bekijk de beeldbenchmarkOpen de installatiehandleiding voor Qwen-Image

Nieuwste benchmark: Radeon AI PRO R9700

400,7 tok/s

Eén Radeon. Gewoon vLLM. Meer mogelijkheden.

8gelijktijdige verzoeken in de doorvoertest
146,9 tok/sgewogen seriële decodesnelheid

Qwen3.8 levert 400,7 uitvoertokens per seconde in totaal op één R9700 van 32 GB met ROCm 10 en vLLM 0.29. De run met de 65K-preset omvatte 290 verzoeken inclusief warmups, met thinking en prefix caching uitgeschakeld. Dit is een aparte workload, geen gecontroleerde snelheidsvergelijking met de eerdere release.

Benchmark en demo

Video diffusion: MI355X versus B200

17,6%

Wan2.2-T2V-A14B draaide sneller op AMD MI355X

5,501 sAMD MI355X
6,672 sNVIDIA B200

Paiton-Diffusers verminderde overhead in het generatiepad, zodat de hardware zijn werkelijke prestaties kon leveren.

Lees de Wan2.2-benchmark

Lokale video + audio: Radeon AI PRO R9700

16,7%

Minder wachten op MiniMax H3-video met geluid

5 min 33 sgemiddelde tijd tot een opgeslagen MP4
15 svideo met door het model gegenereerd stereogeluid

Eén R9700 van 32 GB genereert video van 864 × 480 met stereogeluid, na installatie volledig lokaal. Vergeleken met stock op hetzelfde Turbo8-profiel: één prompt en twee gemeten aanvragen per engine na het opwarmen. Inclusief het opslaan van de MP4.

Bekijk de clips
Waarom het ertoe doet

U hebt geen nieuw model nodig om de kosten per outputeenheid te verbeteren. U moet de runtime, kernels en het deploymentpad optimaliseren voor de workload die u al uitvoert.

[ 00 / 10 ]

[ GPU-BUSINESSCASE ]

VERTAAL DOORVOER IN HERBRUIKBARE CAPACITEIT.

BEWERKBAAR PLANNINGSCENARIO

Zet runtimewinst
in een businesscase.

Snellere inference is meer dan een benchmarkcijfer. Daarmee kunt u de GPU-tijd voor dezelfde workload verkorten,

of de output verhogen van hardware die u al bezit.

Begin met dit illustratieve scenario en vervang vervolgens de aannames door de stijging die is gemeten tijdens uw Paiton-benchmark.

UW GPU-SCENARIOAlle vier de aannames zijn aanpasbaar
DEZELFDE WORKLOAD13,0% minder GPU-uren per outputeenheid
16.000 huidige GPU-uren / maand
Huidige runtimebaselineSchatting met Paiton: 13.913 GPU-uren

VRIJGEKOMEN CAPACITEIT

2.087GPU-uren / maand

Dit komt ongeveer overeen met 4,2 GPU's op dit benuttingsniveau.

Potentiële waarde van compute-capaciteit€ 6.261 / maand€ 75.130 / jaar

HETZELFDE COMPUTEBUDGET

+15,0%potentiële output

Gebruik de vrijgekomen runtime voor meer tokens, generaties, jobs of klantvraag zonder het GPU-budget te verhogen.

Een gepubliceerde test met de Radeon AI PRO R9700 mat 39,77 tegenover 32,86 outputtokens per seconde voor dezelfde Qwen3.8-workload. De winst blijft afhankelijk van de workload en wordt in deze berekening niet automatisch toegepast.

Bekijk de R9700-benchmark
Benchmark mijn workload

Illustratief planningsmodel. De werkelijke winst hangt af van het model, de batchgrootte, sequentielengte, precisie, runtime, hardware, schaalgedrag en deployment. De berekening veronderstelt dat hogere throughput zich evenredig vertaalt in minder GPU-runtime voor dezelfde workload. Vrijgekomen capaciteit kan een kostenbesparing opleveren bij gebruiksgebaseerde infrastructuur of opnieuw inzetbare capaciteit op eigen hardware. De cijfers zijn exclusief Paiton-kosten en garanderen geen besparingen of prestaties.

[ 00 / 10 ]

[ WAT PAITON VERANDERT ]

TAAL, BEELDEN, VIDEO MET GELUID EN EIGEN STACKS.

Paiton workloadoptimalisatie visueel

Haal meer uit AMD-hardware
in productie.

Of u nu LLM’s, beeld- en videodiffusie, MoE of eigen architecturen gebruikt,
Paiton richt zich op wat tijd en geld kost: wachttijd, throughput, geheugendruk en kosten per bruikbaar resultaat.

Prestatiepictogram

Meer tokens, minder wachten

Verwerk meer werk op één GPU. De nieuwste Qwen3.8-run haalde 400,7 uitvoertokens per seconde in totaal bij acht gelijktijdige verzoeken op R9700. Totale doorvoer over meerdere gebruikers is niet hetzelfde als de snelheid van één antwoord.

Pictogram dat aangeeft dat de modelgewichten ongewijzigd blijven

Het model hoeft niet opnieuw te worden getraind

Behoud het model en verbeter het pad eromheen met voor AMD geoptimaliseerde operators en aangepaste .so-bestanden.

Runtime-pictogram

Runtime-optimalisatie met meetbaar rendement

ComfyUI-workflows voor FLUX.2 klein-beelden en MiniMax H3-video met geluid op R9700, een aparte beeld-API voor Qwen-Image 2.1, Wan2.2-video op Instinct en vLLM voor taalinferentie.

Taalmodel icoon

Taalmodellen

Llama, Qwen, Deepseek, Gemma, Mistral en CodeLlama met vLLM-ondersteuning, FP8-precisie en aangepaste kernels wanneer de winst het waard is.

Pictogram voor diffusion en video

Diffusion en video

Qwen-Image 2.1, MiniMax H3 met door het model gegenereerd geluid, Wan2.2, FLUX.2 klein, Stable Diffusion, SDXL en ControlNet, met runtime- en geheugenoptimalisatie per workload.

Geavanceerd modelpictogram

Geavanceerde modellen

MoE, MLA, multimodale systemen, propriëtaire architecturen, gespecialiseerde kernels, nieuwe attentiontechnieken en aangepaste inferencestacks.

[ 00 / 10 ]

[ OPTIMALISATIETRAJECT ]

METEN. OPTIMALISEREN. BEWIJZEN.

Een praktische optimalisatiesprint

Breng de workload, de doel-GPU en het prestatiedoel mee.
Wij zetten dat om in een gericht traject van meting naar productieklare winst.

01Meten

Meet de echte workload en bepaal waar wachttijd, geheugendruk of kosten per bruikbaar resultaat de waarde beperken.

02Optimaliseren

Bouw het AMD-specifieke pad met aangepaste .so-bestanden, FP8-precisie, kernelfusie en dezelfde modelgewichten.

03Bewijzen

Implementeer het geoptimaliseerde pad op AMD Instinct- of Radeon AI PRO-hardware en vergelijk het resultaat met de baseline.

[ 00 / 10 ]

[ GESCHIKTHEID VOOR DEPLOYMENT ]

ROCM, KERNELS, MULTI-GPU EN RUNTIME-WERK.

Serieuze AMD-tuning,
voor inference in productie.

Runtime-werk

vLLMPaiton-DiffusersComfyUI (FLUX.2 klein en MiniMax H3 op R9700)Beeld-API voor Qwen-Image 2.1 (R9700)ROCmHIPZelfstandig uitvoerbare kernels

Mogelijkheden voor prestatiewinst

FP8-precisieTensor-parallellismeDataparallellismeKernelfusieAangepaste AMD-operatorsMulti-GPU-schaling

Wat wordt afgestemd

FP8 kan de geheugendruk verminderen terwijl de nauwkeurigheid behouden blijft. Tensor-parallellisme verspreidt grote modellen zoals Llama-3.1-405B over meerdere AMD GPU's. Aangepaste kernels richten zich op de knelpunten die generieke runtimes achterlaten.

CDNA 4.0

MI355X

288 GB HBM3E

CDNA 3.0

MI325X / MI300X / MI300A

256 GB HBM3E, 192 GB HBM3, 128 GB HBM3 APU

CDNA 2.0

MI250X / MI250 / MI210

Datacenter AMD GPU-ondersteuning

CDNA 1.0

MI100

Eerste generatie geoptimaliseerd voor compute

RDNA 4.0

Radeon AI PRO R9700

Geteste profielen voor Qwen3.8, Ornith 1.5, FLUX.2 klein, Qwen-Image 2.1 en MiniMax H3 op 32 GB GDDR6

RDNA 3.0

RX 7900 XTX / RX 7900 XT

Ondersteund voor geselecteerde inferenceworkloads

RDNA 2.0

RX 6800 XT / RX 6900 XT

Ondersteund met workloadspecifieke kwalificatie

Paiton ondersteunt zowel AMD Instinct-datacenteraccelerators als Radeon-GPU's. Elke combinatie van model, runtime, precisie en hardware wordt vóór levering gekwalificeerd voor een duidelijk afgebakende deploymentscope.

[ 00 / 10 ]

[ COMMUNITY ]

PRAKTISCHE LOKALE AI, GEDEELD MET DE COMMUNITY.

Snellere lokale AI.Gedeeld met de community.

Snellere AI mag niet beperkt blijven tot onze klantprojecten. Naast onze opensource vLLM-plugin bieden we publieke RDNA-communitypakketten waarmee ontwikkelaars taalmodellen draaien, beelden genereren en video met geluid maken op hun eigen hardware.

Bekijk de code, draai de ondersteunde modellen lokaal en deel uw ervaringen. Zo helpen we meer mensen om meer uit hun bestaande GPU’s te halen.

Plan your on-prem AI
CommunitypakkettenvLLM-plugin: Apache-2.0

paiton-vllm-plugin

vLLM-integratie, presets voor 65K-doorvoer en 200K-chat, een beeld-API voor Qwen-Image 2.1, ComfyUI-workflows en installatiehandleidingen per model.

Bekijk de pakketten op GitHub

Qwen3.8 biedt gestructureerde toolaanroepen en een publiek experimenteel chatprofiel met prefix caching en een optie voor 220K-context. Chat met lange context gebruikt één actief verzoek en heeft weinig VRAM-reserve; caching staat standaard uit in de releasepresets. Aparte R9700-pakketten bieden Qwen-Image 2.1- en FLUX.2 klein-beelden, plus MiniMax H3-video met geluid. De beeld-API van Qwen-Image staat los van de presets voor taalmodellen. De Qwen-Image-gewichten vallen onder de Qwen Research License voor onderzoek en evaluatie; commercieel gebruik vereist een aparte licentie van de oorspronkelijke licentiegever. De vLLM-plugin valt onder Apache-2.0 en de Paiton-compiler blijft gesloten.

[ 00 / 10 ]

[ BEWIJS ]

GEPUBLICEERDE BENCHMARKS EN CASESTUDIES.

Lees de benchmarks
achter de beweringen

103,29 s per opgewarmde beeldaanvraag

Qwen-Image 2.1 op één Radeon AI PRO R9700

Het gepubliceerde standaardprofiel van v1.0.2 leverde een PNG van 2048 × 2048 af met een mediane aanvraagtijd van 103,29 s na opwarming, gemeten over drie containers. Hetzelfde MXFP4-checkpoint, 40 stappen, guidance 1.0 en een batchgrootte van één. Ongeveer 37% kortere aanvraagtijd dan in de aparte historische v1.0.1-herhaling; de beeldkwaliteit werd gecontroleerd tegenover het exact-profiel.

Lees de beeldbenchmark

400,7 tok/s totale doorvoer

Qwen3.8 op ROCm 10: doorvoer en lange gesprekken

Nieuwe resultaten met de 65K-preset, publieke instructies voor 200K/220K-chat en experimentele prefix caching. Het artikel behoudt ook de oorspronkelijke winst van 57% tegenover Radiance + DFlash2 met dezelfde instellingen in de aparte vergelijking met 188 verzoeken en 8K-context, plus de demo-opname.

Benchmark en demo

16,7% minder wachten

MiniMax H3-video en audio op één Radeon

Een clip van 15 seconden met stereogeluid, gemiddeld opgeslagen in 5 min 33 s tegenover 6 min 39 s voor stock met dezelfde instellingen. Turbo8 op één R9700 van 32 GB, met de volledige aanvraagtijd gemeten na het opwarmen.

Bekijk de clips

16,2% minder generatietijd

FLUX.2 klein op Radeon AI PRO R9700

1,054 seconden per beeld met een opgewarmde pipeline, 33,4% minder piekallocatie in Torch en een gratis lokale ComfyUI-workflow. Getest op 1024 × 1024, met vier stappen en een batchgrootte van één.

Lees de benchmark

+27% output

Ornith 1.5 op één Radeon-GPU van 32 GB

Paiton met DFlash levert 44,63 outputtokens per seconde op R9700, 27% meer dan de geoptimaliseerde standaard-vLLM-configuratie in de geteste workload met één gebruiker.

Lees de benchmark

+21% output

Qwen3.8 op Radeon AI PRO R9700

Meer throughput voor interactieve taken, code en lange contexten op dezelfde Radeon-GPU met 32 GB.

Lees de benchmark

405B-model

Versnelling van Llama-3.1-405B

Sneller opstarten en snellere inference voor een open model op frontierniveau.

Casestudy lezen

$/1 miljoen tokens

MoE-kernels verslaan H200/B200

MI300X met de Paiton-runtime voor kostenefficiënte MoE-workloads met een lange context.

Lees de benchmark

[ 00 / 10 ]

[ VOLGENDE STAP ]

BEGIN MET HET MODEL EN DE DOEL-GPU.
Paiton CTA-achtergrondaccent

Laat ons de workload zien.
Wij laten u de winst zien.

Deel het model, de doel-GPU en het productiedoel.
Paiton zet dat om in een op benchmarks gebaseerd optimalisatieplan.

Vraag een workloadbenchmark aan