[ 00 / 10 ]

[ PAITON | AMD GPU-OPTIMALISATIE | ECHTE WORKLOADS ]

HAAL MEER UIT AMD-GPU'S. BEWEZEN OP ECHTE MODELLEN.

Haal meer
uit AMD-GPU's.

Paiton spoort de vertraging in uw model op, vervangt het generieke runtimepad
en versnelt workloads voor taal, beeld en video zonder het model opnieuw te trainen.

gemeten winst
492,1 tok/s totale doorvoer op één R9700
103,29 s Qwen-Image 2.1 op 2048 × 2048
16,7% minder wachten met MiniMax H3
17,6% Wan2.2 versus B200
$/1M MoE-benchmark
1,054 s FLUX.2 klein op R9700
492,1 tok/s totale doorvoer op één R9700
103,29 s Qwen-Image 2.1 op 2048 × 2048
16,7% minder wachten met MiniMax H3
17,6% Wan2.2 versus B200
$/1M MoE-benchmark
1,054 s FLUX.2 klein op R9700

[ 00 / 10 ]

[ NIEUWSTE DOORBRAKEN ]

GEMETEN OP ECHTE GENERATIE- EN INFERENCEPADEN.

Benchmarks die een tweede blik op AMD
rechtvaardigen

De bottleneck zit zelden in het model. Meestal zit die in de runtime.
Paiton stemt het exacte pad af dat uw workload gebruikt en bewijst vervolgens de winst met benchmarks.

Nieuwste Qwen3.8 27B-release: één Radeon AI PRO R9700

492,1 tok/s

Snellere tekstinferentie, met keuze in precisie

184,4 tok/sgewogen decodesnelheid in de 65K-benchmark
393Kgerapporteerde cachetokens in de latere 4-bit-KV-release

De W3A4-benchmark van 26 september met FP8-cache mat 492,1 uitvoertokens per seconde in totaal bij acht gelijktijdige verzoeken en een 19,9% hogere gewogen decodesnelheid dan de vorige MXFP4-release. De nieuwere image voegt afzonderlijk een 4-bit-KV-cache toe in de W3A4-modus met 65K-context; het capaciteitscijfer komt niet uit de run van 492,1 tok/s. In de oorspronkelijke nauwkeurigheidsvergelijking met FP8-cache verlaagden de 3-bit-gewichten de score op de geteste MMLU-Pro-subset met 2,86 punten; MXFP4 blijft beschikbaar.

Lees de W3A4-benchmarkOpen de handleiding voor de huidige release

Gepubliceerde beeldgeneratie: Qwen-Image 2.1 v1.0.2

103,29 s

Beelden van 2048 × 2048 op 1 × Radeon AI PRO R9700

ongeveer 37%kortere wachttijd na opwarming dan bij de historische v1.0.1-herhaling
25,55 GiBhoogste gemeten VRAM-gebruik van de hele GPU

Op één Radeon AI PRO R9700 van 32 GB, met 40 stappen, guidance 1.0 en een batchgrootte van één. De mediaan van 103,29 s loopt van een opgewarmde HTTP-aanvraag tot en met de aflevering van de PNG, gemeten over drie gepubliceerde v1.0.2-containers. Opstarten en downloaden vallen erbuiten. De vergelijking met v1.0.1 komt uit een aparte releaseherhaling en is geen experiment met gelijktijdig vergeleken configuraties.

Bekijk de beeldbenchmarkOpen de installatiehandleiding voor Qwen-Image

Video diffusion: MI355X versus B200

17,6%

Wan2.2-T2V-A14B draaide sneller op AMD MI355X

5,501 sAMD MI355X
6,672 sNVIDIA B200

Paiton-Diffusers verminderde overhead in het generatiepad, zodat de hardware zijn werkelijke prestaties kon leveren.

Lees de Wan2.2-benchmark

Lokale video + audio: Radeon AI PRO R9700

16,7%

Minder wachten op MiniMax H3-video met geluid

5 min 33 sgemiddelde tijd tot een opgeslagen MP4
15 svideo met door het model gegenereerd stereogeluid

Eén R9700 van 32 GB genereert video van 864 × 480 met stereogeluid, na installatie volledig lokaal. Vergeleken met stock op hetzelfde Turbo8-profiel: één prompt en twee gemeten aanvragen per engine na het opwarmen. Inclusief het opslaan van de MP4.

Bekijk de clips
Waarom het ertoe doet

U hebt geen nieuw model nodig om de kosten per outputeenheid te verbeteren. U moet de runtime, kernels en het deploymentpad optimaliseren voor de workload die u al uitvoert.

[ 00 / 10 ]

[ GPU-BUSINESSCASE ]

VERTAAL DOORVOER IN HERBRUIKBARE CAPACITEIT.

BEWERKBAAR PLANNINGSCENARIO

Zet runtimewinst
in een businesscase.

Snellere inference is meer dan een benchmarkcijfer. Daarmee kunt u de GPU-tijd voor dezelfde workload verkorten,

of de output verhogen van hardware die u al bezit.

Begin met dit illustratieve scenario en vervang vervolgens de aannames door de stijging die is gemeten tijdens uw Paiton-benchmark.

UW GPU-SCENARIOAlle vier de aannames zijn aanpasbaar
DEZELFDE WORKLOAD13,0% minder GPU-uren per outputeenheid
16.000 huidige GPU-uren / maand
Huidige runtimebaselineSchatting met Paiton: 13.913 GPU-uren

VRIJGEKOMEN CAPACITEIT

2.087GPU-uren / maand

Dit komt ongeveer overeen met 4,2 GPU's op dit benuttingsniveau.

Potentiële waarde van compute-capaciteit€ 6.261 / maand€ 75.130 / jaar

HETZELFDE COMPUTEBUDGET

+15,0%potentiële output

Gebruik de vrijgekomen runtime voor meer tokens, generaties, jobs of klantvraag zonder het GPU-budget te verhogen.

Een gepubliceerde test met de Radeon AI PRO R9700 mat 39,77 tegenover 32,86 outputtokens per seconde voor dezelfde Qwen3.8-workload. De winst blijft afhankelijk van de workload en wordt in deze berekening niet automatisch toegepast.

Bekijk de R9700-benchmark
Benchmark mijn workload

Illustratief planningsmodel. De werkelijke winst hangt af van het model, de batchgrootte, sequentielengte, precisie, runtime, hardware, schaalgedrag en deployment. De berekening veronderstelt dat hogere throughput zich evenredig vertaalt in minder GPU-runtime voor dezelfde workload. Vrijgekomen capaciteit kan een kostenbesparing opleveren bij gebruiksgebaseerde infrastructuur of opnieuw inzetbare capaciteit op eigen hardware. De cijfers zijn exclusief Paiton-kosten en garanderen geen besparingen of prestaties.

[ 00 / 10 ]

[ WAT PAITON VERANDERT ]

TAAL, BEELDEN, VIDEO MET GELUID EN EIGEN STACKS.

Paiton workloadoptimalisatie visueel

Haal meer uit AMD-hardware
in productie.

Of u nu LLM’s, beeld- en videodiffusie, MoE of eigen architecturen gebruikt,
Paiton richt zich op wat tijd en geld kost: wachttijd, throughput, geheugendruk en kosten per bruikbaar resultaat.

Prestatiepictogram

Meer tokens, minder wachten

Verwerk meer werk op één GPU. In de Qwen3.8 W3A4-benchmark van 26 september met 65K-context haalde één R9700 492,1 uitvoertokens per seconde in totaal bij acht verzoeken. Dit is de gezamenlijke doorvoer, niet de snelheid van één antwoord; het nieuwere 4-bit-KV-profiel werd afzonderlijk getest.

Pictogram voor geen hertraining

Het model hoeft niet opnieuw te worden getraind

Behoud waar passend het checkpoint, of kies gekalibreerde gewichten met minder bits wanneer kwaliteitscontroles dat rechtvaardigen. Voor geen van beide opties hoeft het basismodel opnieuw te worden getraind.

Runtime-pictogram

Runtime-optimalisatie met meetbaar rendement

ComfyUI-workflows voor FLUX.2 klein-beelden en MiniMax H3-video met geluid op R9700, een aparte beeld-API voor Qwen-Image 2.1, Wan2.2-video op Instinct en vLLM voor taalinferentie.

Taalmodel icoon

Taalmodellen

Llama, Qwen, Deepseek, Gemma, Mistral en CodeLlama met vLLM-ondersteuning, FP8-precisie en aangepaste kernels wanneer de winst het waard is.

Pictogram voor diffusion en video

Diffusion en video

Qwen-Image 2.1, MiniMax H3 met door het model gegenereerd geluid, Wan2.2, FLUX.2 klein, Stable Diffusion, SDXL en ControlNet, met runtime- en geheugenoptimalisatie per workload.

Geavanceerd modelpictogram

Geavanceerde modellen

MoE, MLA, multimodale systemen, propriëtaire architecturen, gespecialiseerde kernels, nieuwe attentiontechnieken en aangepaste inferencestacks.

[ 00 / 10 ]

[ OPTIMALISATIETRAJECT ]

METEN. OPTIMALISEREN. BEWIJZEN.

Een praktische optimalisatiesprint

Breng de workload, de doel-GPU en het prestatiedoel mee.
Wij zetten dat om in een gericht traject van meting naar productieklare winst.

01Meten

Meet de echte workload en bepaal waar wachttijd, geheugendruk of kosten per bruikbaar resultaat de waarde beperken.

02Optimaliseren

Bouw het AMD-specifieke pad met aangepaste .so-bestanden, kernelfusie en een precisiekeuze die voor de workload is gevalideerd.

03Bewijzen

Implementeer het geoptimaliseerde pad op AMD Instinct- of Radeon AI PRO-hardware en vergelijk het resultaat met de baseline.

[ 00 / 10 ]

[ GESCHIKTHEID VOOR DEPLOYMENT ]

ROCM, KERNELS, MULTI-GPU EN RUNTIME-WERK.

Serieuze AMD-tuning,
voor inference in productie.

Runtime-werk

vLLMPaiton-DiffusersComfyUI (FLUX.2 klein en MiniMax H3 op R9700)Beeld-API voor Qwen-Image 2.1 (R9700)ROCmHIPZelfstandig uitvoerbare kernels

Mogelijkheden voor prestatiewinst

FP8-precisieGeteste 3-bit-gewichten en 4-bit KVTensor-parallellismeDataparallellismeKernelfusieAangepaste AMD-operatorsMulti-GPU-schaling

Wat wordt afgestemd

Precisie is een keuze per workload. In het gemeten Qwen3.8-profiel verbetert W3A4 de snelheid en cachecapaciteit, met een afruil in kennisnauwkeurigheid tegenover MXFP4; andere modellen vereisen eigen controles. Tensorparallellisme verdeelt grote modellen zoals Llama-3.1-405B over meerdere AMD-GPU’s. Aangepaste kernels pakken knelpunten aan die generieke runtimes laten liggen.

CDNA 4.0

MI355X

288 GB HBM3E

CDNA 3.0

MI325X / MI300X / MI300A

256 GB HBM3E, 192 GB HBM3, 128 GB HBM3 APU

CDNA 2.0

MI250X / MI250 / MI210

Datacenter AMD GPU-ondersteuning

CDNA 1.0

MI100

Eerste generatie geoptimaliseerd voor compute

RDNA 4.0

Radeon AI PRO R9700

Geteste profielen voor Qwen3.8, Ornith 1.5, FLUX.2 klein, Qwen-Image 2.1 en MiniMax H3 op 32 GB GDDR6

RDNA 3.0

RX 7900 XTX / RX 7900 XT

Ondersteund voor geselecteerde inferenceworkloads

RDNA 2.0

RX 6800 XT / RX 6900 XT

Ondersteund met workloadspecifieke kwalificatie

Paiton ondersteunt zowel AMD Instinct-datacenteraccelerators als Radeon-GPU's. Elke combinatie van model, runtime, precisie en hardware wordt vóór levering gekwalificeerd voor een duidelijk afgebakende deploymentscope.

[ 00 / 10 ]

[ COMMUNITY ]

PRAKTISCHE LOKALE AI, GEDEELD MET DE COMMUNITY.

Snellere lokale AI.Gedeeld met de community.

Snellere AI mag niet beperkt blijven tot onze klantprojecten. Naast onze opensource vLLM-plugin bieden we publieke RDNA-communitypakketten waarmee ontwikkelaars taalmodellen draaien, beelden genereren en video met geluid maken op hun eigen hardware.

Bekijk de code, draai de ondersteunde modellen lokaal en deel uw ervaringen. Zo helpen we meer mensen om meer uit hun bestaande GPU’s te halen.

Plan your on-prem AI
CommunitypakkettenvLLM-plugin: Apache-2.0

paiton-vllm-plugin

vLLM-integratie, één Qwen3.8-Docker-image met 65K- en 200K-modi, optionele W3A4-gewichten en beeldinvoer in de 65K-modus, een aparte beeld-API voor Qwen-Image 2.1, ComfyUI-workflows en installatiehandleidingen.

Bekijk de pakketten op GitHub

Qwen3.8 ondersteunt gestructureerde toolaanroepen. De huidige R9700-Docker-image start standaard in de 65K-tekstmodus; optionele W3A4-gewichten schakelen daar de 4-bit-KV-cache in. De eerdere nauwkeurigheidsvergelijking van W3A4 met FP8-cache vond een afruil in kennisnauwkeurigheid tegenover MXFP4; de 4-bit-KV-instelling werd afzonderlijk gecontroleerd. De 200K-modus gebruikt één actief verzoek, FP8 KV en prefix caching; 220K werd afzonderlijk getest. Optionele beeldinvoer is beschikbaar in de 65K-modus en verkleint de cachecapaciteit. Deze Docker-profielen verschillen van de native preset paiton serve qwen38-nvfp4. Aparte R9700-pakketten bieden Qwen-Image 2.1- en FLUX.2 klein-beelden, plus MiniMax H3-video met geluid. De Qwen-Image-gewichten vallen onder de Qwen Research License voor onderzoek en evaluatie; commercieel gebruik vereist een aparte licentie van de oorspronkelijke licentiegever. De vLLM-plugin valt onder Apache-2.0 en de Paiton-compiler blijft gesloten.

[ 00 / 10 ]

[ BEWIJS ]

GEPUBLICEERDE BENCHMARKS EN CASESTUDIES.

Lees de benchmarks
achter de beweringen

492,1 tok/s totale doorvoer

Qwen3.8 W3A4: sneller decoderen op één R9700

De 65K-test van 26 september gebruikte FP8-KV-cache: acht gelijktijdige verzoeken haalden samen 492,1 uitvoertokens per seconde en de gewogen decodesnelheid steeg met 19,9% tot 184,4 tok/s tegenover de vorige MXFP4-release. De latere 4-bit-KV- en 200K-profielen werden afzonderlijk gemeten. In de oorspronkelijke nauwkeurigheidstest met FP8-cache verlaagde W3A4 de score op de geteste MMLU-Pro-subset met 2,86 punten.

Lees de W3A4-benchmark

103,29 s per opgewarmde beeldaanvraag

Qwen-Image 2.1 op één Radeon AI PRO R9700

Het gepubliceerde standaardprofiel van v1.0.2 leverde een PNG van 2048 × 2048 af met een mediane aanvraagtijd van 103,29 s na opwarming, gemeten over drie containers. Hetzelfde MXFP4-checkpoint, 40 stappen, guidance 1.0 en een batchgrootte van één. Ongeveer 37% kortere aanvraagtijd dan in de aparte historische v1.0.1-herhaling; de beeldkwaliteit werd gecontroleerd tegenover het exact-profiel.

Lees de beeldbenchmark

400,7 tok/s totale doorvoer

Eerder Qwen3.8 MXFP4-resultaat op ROCm 10

De eerdere MXFP4-preset met 65K-context haalde 400,7 tok/s totale doorvoer bij acht gelijktijdige verzoeken en 146,9 tok/s gewogen seriële decodesnelheid. Het aparte artikel behandelt chat met lange context en behoudt de oorspronkelijke winst van 57% tegenover Radiance + DFlash2 met dezelfde instellingen in de vergelijking met 188 verzoeken en 8K-context.

Benchmark en demo

16,7% minder wachten

MiniMax H3-video en audio op één Radeon

Een clip van 15 seconden met stereogeluid, gemiddeld opgeslagen in 5 min 33 s tegenover 6 min 39 s voor stock met dezelfde instellingen. Turbo8 op één R9700 van 32 GB, met de volledige aanvraagtijd gemeten na het opwarmen.

Bekijk de clips

16,2% minder generatietijd

FLUX.2 klein op Radeon AI PRO R9700

1,054 seconden per beeld met een opgewarmde pipeline, 33,4% minder piekallocatie in Torch en een gratis lokale ComfyUI-workflow. Getest op 1024 × 1024, met vier stappen en een batchgrootte van één.

Lees de benchmark

+27% output

Ornith 1.5 op één Radeon-GPU van 32 GB

Paiton met DFlash levert 44,63 outputtokens per seconde op R9700, 27% meer dan de geoptimaliseerde standaard-vLLM-configuratie in de geteste workload met één gebruiker.

Lees de benchmark

+21% output

Qwen3.8 op Radeon AI PRO R9700

Meer throughput voor interactieve taken, code en lange contexten op dezelfde Radeon-GPU met 32 GB.

Lees de benchmark

405B-model

Versnelling van Llama-3.1-405B

Sneller opstarten en snellere inference voor een open model op frontierniveau.

Casestudy lezen

$/1 miljoen tokens

MoE-kernels verslaan H200/B200

MI300X met de Paiton-runtime voor kostenefficiënte MoE-workloads met een lange context.

Lees de benchmark

[ 00 / 10 ]

[ VOLGENDE STAP ]

BEGIN MET HET MODEL EN DE DOEL-GPU.
Paiton CTA-achtergrondaccent

Laat ons de workload zien.
Wij laten u de winst zien.

Deel het model, de doel-GPU en het productiedoel.
Paiton zet dat om in een op benchmarks gebaseerd optimalisatieplan.

Vraag een workloadbenchmark aan