Illustratie: met AI gemaakt redactioneel beeld, geen hardwarefoto of benchmarkopname.
Betere antwoorden, minder wachten tussen beurten. Onze Paiton-release van 24 oktober brengt nieuwe 3-bit gewichten voor Qwen3.8 Flash Next die op drie taakbenchmarks dicht bij de 16-bit referentie liggen, plus native prefixcaching met multi-token prediction (MTP) voor lange gesprekken op twee Radeon AI PRO R9700-kaarten. Een afzonderlijke nauwkeurigheidsupdate verbetert ook ons 27B-model op één kaart.12
De nieuwste 3-bit cachemodus hervat een herhaalde prompt van 200K tokens in 0,68 seconde, tegenover 25,81 seconden zonder cachehit, met speculatieve generatie aan. Dit zijn cachemetingen, niet de wachttijd voor een nieuw document.3
Nauwkeurigheid: vergelijkbare taakscores in 3-bit
De nieuwe gewichten verbeteren de kalibratie achter onze oorspronkelijke 3-bit Flash Next-release, zonder het formaat, de grootte of de kernels te veranderen. Hieronder staan ze naast de 4-bit release en het oorspronkelijke 16-bit model.1
Nauwkeurigheid; hoger is beter. Teksttaken draaiden via de uitgebrachte serverconfiguraties, niet de native doorvoeropstelling hieronder. AI2D emuleert de berekeningen tijdens serving en staat apart. De 3-bit resultaten zijn van 24 oktober; de 4-bit en 16-bit referenties zijn van 12 oktober.
| Taak | Vragen | 16-bit | Nieuwe 3-bit | 4-bit |
|---|---|---|---|---|
| GSM8K, rekenen | 1.319 | 96,9% | 97,4% | 96,8% |
| HumanEval, Python pass@1 | 164 | 96,3% | 94,5% | 96,3% |
| MMLU-Pro, kennis | 1.400 | 84,7% | 83,6% | 83,7% |
| AI2D, wetenschappelijke diagrammen | 600 | 85,3% | 81,8% | Niet gerapporteerd |
Geen van de drie teksttaken verschilt statistisch significant van 16-bit in de gepaarde toetsen. Dat bewijst geen gelijkwaardigheid: HumanEval ligt 1,8 procentpunt lager, met een gepaard 95%-interval van −5,0 tot +1,3 punten. De 16-bit referentie zelf veranderde met maximaal 1,2 punten tussen twee reeksen seeds.14
Beeldbegrip blijft achter op de referentie. De AI2D-evaluatie toont niet aan dat de native worker beeldinvoer ondersteunt: de uitgebrachte 3-bit modi verwerken alleen tekst.15
Hoe dicht liggen de tokenvoorspellingen bij elkaar?
| Afzonderlijke evaluatie tegenover 16-bit | Nieuwe 3-bit | 4-bit |
|---|---|---|
| KL-divergentie over de volledige woordenschat, lager is beter | 0,055 | 0,031 |
| Relatieve toename van negatieve log-likelihood bij lange documenten | +0,35% | +0,16% |
| Naald-in-een-hooibergtest bij 131.072 tokens | 40 / 40 | 40 / 40 |
KL meet verschillen in de kansverdeling voor het volgende token; nul betekent identieke verdelingen. Negatieve log-likelihood meet hoe goed voorspellingen bij waargenomen tekst passen. Dit zijn relatieve NLL-veranderingen, geen veranderingen in perplexiteit. De verdelingscontroles emuleren de berekeningen tijdens serving; de afzonderlijke terugvindtests gebruiken het geserveerde model. Geen van beide vervangt een brede taakevaluatie.14
Wat veranderde aan de gewichten
Het recept combineert afzonderlijke kalibratiestatistieken voor de uitvoerprojectie van elke expert, een gevarieerdere kalibratieset van ongeveer vier miljoen tokens, en behouden 8-bit gedeelde lagen rond de 3-bit experts. Alleen de afronding verandert; het gepakte formaat en de runtimekernels blijven gelijk.1
Prefixcaching terwijl MTP aan blijft
Codeeragents sturen bij elke beurt het hele gesprek opnieuw. Prefixcaching hergebruikt het onveranderde deel; MTP stelt meerdere volgende tokens voor die het doelmodel controleert. De native worker combineert nu beide. Hij voert de modelstap uit zonder PyTorch op de GPU, terwijl vLLM de API en planning blijft verzorgen.5
Tijd tot het eerste token in afzonderlijke tests met herhaalde prompts; lager is beter. Een hit vereist een onveranderde prefix die nog in de GPU- of RAM-cache staat. Dit zijn geen prefilldoorvoermetingen met een lege cache.
| Configuratie en herhaalde prompt | Zonder cachehit | Met cachehit |
|---|---|---|
| 4-bit native MTP-cache, 32K | 5,25 s | 0,69 s |
| 4-bit native MTP-cache, 90K | 14,68 s | 0,78 s |
| 4-bit native MTP-cache, 200K | 33,62 s | 0,85 s |
| 4-bit inactieve sessie hersteld uit RAM, 145K–200K | 21–30 s | 0,98–1,17 s |
| Nieuwe 3-bit native MTP-cache, 90K | 11,09 s | 0,60 s |
| Nieuwe 3-bit native MTP-cache, 200K | 25,81 s | 0,68 s |
Afzonderlijk verwerkte testverzoeken leveren identieke uitvoer met en zonder cachehit; gelijktijdige verwerking kan op beide paden tokens veranderen. Een optionele RAM-laag bewaart verwijderde sessies en past zich aan het beschikbare geheugen aan. De 4-bit cacheconfiguratie genereert 206,9 tokens/s met die laag aan.3
De nieuwere modus 3bit-long-cache-mtp-native brengt dit naar een contextvenster van 262.144 tokens: 213,5 tokens/s met de RAM-laag aan, 250,0 zonder. De cache- en generatiecijfers komen uit afzonderlijke validatiemetingen, niet uit herhalingen van de releasevergelijking hieronder. Prompt, opmaak en antwoord moeten samen in het venster passen.3
Voor kleinere hosts ondersteunt --mode decode --fn-worker native --prefix-caching 64 GB RAM, een venster van 98.304 tokens en ongeveer 101 tokens/s, zonder MTP. Dit is een andere modus, niet de configuratie achter het resultaat van 213,5 tokens/s.5
In één test dicht bij de capaciteit, met 2,05 miljoen tokens aan inactieve sessies, werden verwachte RAM-hits toch opnieuw ingelezen. De uitvoer bleef correct; het probleem staat nog open. Ook eindigt het 3-bit model in geteste sessies vaker te vroeg voorbij ongeveer 28K context. De openbare handleiding geeft voor lange codegesprekken de voorkeur aan 4-bit.31
Generatiesnelheid op twee workstationkaarten
De nauwkeurigheidsupdate verandert de gewichtswaarden, niet de hoeveelheid gelezen data of de kernels. De gepubliceerde native-workerdoorvoer blijft in hetzelfde prestatiebereik.3
Twee R9700-kaarten, native worker, prefixcaching uit. Hoger is beter. Gewogen generatie met één verzoek en gezamenlijke doorvoer bij gelijktijdige verzoeken zijn verschillende workloads, geen schaalvergelijking per gebruiker.
| Meting | 3-bit | 4-bit |
|---|---|---|
| BetterBench gewogen generatie, één verzoek | 258,7 tokens/s | 245,3 tokens/s |
| BetterBench, acht verzoeken, gezamenlijk | 687,5 tokens/s | 566,7 tokens/s |
| Lezen van een nominale prompt van 64K | 8.433 invoertokens/s | 7.788 invoertokens/s |
| LocalMaxxing, één gebruiker | 220,3 tokens/s | 200,5 tokens/s |
| LocalMaxxing, acht gebruikers, gezamenlijk | 781,3 tokens/s | 680,2 tokens/s |
Dit zijn resultaten met de expliciet gekozen native worker. Gewone decode- en 4bit-commando's kiezen nog steeds de torch worker, tenzij anders gevraagd. De cachemodi en hun RAM-lagen zijn niet opgenomen in deze tabel.53
Een tweede nauwkeurigheidsupdate voor Qwen3.8 27B
Onze 3-bit 27B-release draait op één R9700. Deze update houdt de 3-bit codes vast en traint hun schaalfactoren verder richting het 16-bit model, met 4,2 miljoen nieuwe tokens die losstaan van eerdere kalibratie en gerapporteerde benchmarks.2
De geserveerde KL daalt met 3,0%, met een 95%-interval van 0,4% tot 6,4%. Voorspellingen verbeteren in de lengtecategorieën van 8K–32K; de 131K-controle vindt geen verslechtering, met winst vanaf 64K. Formaat, grootte en kernelkosten blijven gelijk; gemeten doorvoer kan variëren met de acceptatie van speculatieve tokens. Nieuwe taakcontroles tonen geen significante verandering, maar zijn evaluaties van alleen de gewichten, geen nieuwe taakmetingen van het geserveerde model.2
Zo lees je de metingen
De teksttaken voor Flash Next gebruiken thinking aan, temperature 1,0, top-p 0,95, top-k 20 en een antwoordlimiet van 16.384 tokens. Prompts en seeds per vraag zijn gelijk; antwoorden op de limiet tellen als fout. GSM8K en HumanEval gebruiken hun volledige testsets; MMLU-Pro gebruikt 100 vragen uit elk van 14 vakgebieden. De oorspronkelijke 16-bit gewichten draaiden tweemaal op een grotere AMD-server. Vergelijkingen gebruiken gepaarde betrouwbaarheidsintervallen en exacte McNemar-toetsen.14
De snelheidsmetingen gebruiken BetterBench 0.6.0, standaardprofiel, één run per configuratie, en LocalMaxxing v0.1.54, met na opwarming de run met de mediane eengebruikersdoorvoer uit drie runs. Dit zijn onze metingen, geen onafhankelijke reproducties.3
Probeer de release
Gebruik Linux x86-64, twee R9700-kaarten, een ROCm 10-hostdriver, Docker met GPU-toegang en Python 3.10+. Snelle native 3-bit en 3-bit MTP-caching vragen ongeveer 128 GB+ RAM en 60 GiB vrije GTT; native 4-bit vraagt ongeveer een GTT-limiet van 98 GiB. De voorafgaande controle toetst de echte host. Reken op 116 GB voor 3-bit gewichten of 133 GB voor 4-bit, plus de native image van ongeveer 56 GB.5
Gebruik een nieuwe checkout als je lokale pluginwijzigingen hebt. De vastgezette launcher kiest zijn runtime- en modelrevisies, downloadt de bijgewerkte 3-bit gewichten in een nieuwe map en laat de oude download intact.6
git clone https://github.com/Eliovp-BV/paiton-vllm-plugin.git
cd paiton-vllm-plugin
git checkout 4882e36e455c1e657175db910367c992837c72a5
python3 -m venv .venv
. .venv/bin/activate
python3 -m pip install huggingface_hub
python3 models/Qwen3.8-Flash-Next/launch-flashnext.py \
--mode 3bit-long-cache-mtp-native --host 127.0.0.1 --dry-run
python3 models/Qwen3.8-Flash-Next/launch-flashnext.py \
--mode 3bit-long-cache-mtp-native --host 127.0.0.1
Gebruik voor 4-bit MTP-caching bash models/Qwen3.8-Flash-Next/run-flashnext-4bit.sh met --fn-worker native --prefix-caching --host 127.0.0.1. Wacht op launcher: READY; de API staat op http://127.0.0.1:18982/v1, met modelnaam Qwen3.8-Flash-Next.5
Volg voor 27B de vastgezette installatie- en upgradehandleiding. Download de nieuwe gewichtsrevisie expliciet; alleen de launcher bijwerken vernieuwt die gewichten niet.
De server luistert standaard op alle netwerkinterfaces zonder API-sleutel. Gebruik --host 127.0.0.1 voor lokaal gebruik. Bescherm toegang voor externe clients met een firewall en PAITON_API_KEY; zet een sleutel niet rechtstreeks in commandoargumenten. Stop de draaiende server voordat je een andere modus kiest.5
Native modi weigeren gestructureerde uitvoer, strikte/verplichte toolaanroepen en andere API-opties; gewone automatische toolaanroepen werken. Lees de compatibiliteitsinformatie voordat je een agent aansluit.5
Credits en licenties
Qwen levert de modellen, vLLM het servingframework, en BetterBench en LocalMaxxing de benchmarktools. Flash Next-gewichten gebruiken Qwen Community License 1.0, met voorwaarden voor commercieel gebruik; de 27B-gewichten gebruiken Apache 2.0. Lees vóór inzet de modellicenties en naamsvermeldingen voor kalibratiedata.12
Bekijk Paiton voor de runtime, of soevereine AI voor een lokaal beheerde implementatie. De vastgezette bronnen hieronder beschrijven kalibratie, modi en reproduceerbaarheid.
Bronnen
- Flash Next W3A8-modelkaart, taaknauwkeurigheid en kalibratie, vastgezette revisie. 2 3 4 5 6 7 8 9
- 27B 3-bit modelkaart en tweede nauwkeurigheidsupdate, vastgezette revisie. 2 3 4
- Flash Next-snelheidsmetingen, cachevalidatie en methodologie, vastgezette release. 2 3 4 5 6 7
- Flash Next W4A8-modelkaart en evaluatiemethoden, vastgezette revisie. 2 3
- Flash Next-installatie, cachemodi, hostvereisten en beperkingen van de native worker, vastgezette release. 2 3 4 5 6 7 8
- Flash Next-launcher en vastgezette downloads.