FLUX

A FLUX a Black Forest Labs nyílt súlyú képgeneráló modellcsaládja. A FLUX.1 tagok 12 milliárd paraméteres, rectified flow eljárással tanított transzformerek, amelyek szöveges leírásból állítanak elő képet, lépések sorozatán keresztül. A család azóta két vonalon él tovább: a FLUX.1 sor szöveg-kép modellekre és szerkesztő eszközökre bomlik, a FLUX.2 pedig egy nagyobb, 32 milliárd paraméteres dev modellt és a klein nevű, kisebb változatokat hozott.

A súlyok a Hugging Face-en érhetők el, a hivatalos black-forest-labs/flux repository pedig minimális következtetési kódot ad hozzá, amivel a modellek parancssorból vagy demó felületen futtathatók. Ugyanez a kód a diffusers könyvtáron és a ComfyUI-n keresztül is használható. A pro vonal nem nyílt súlyú, azt a Black Forest Labs kizárólag API-n keresztül adja.

A család és a változatok

A kínálat változatonként más, és ezt érdemes fejben tartani, mert a licenc nem a családra, hanem a konkrét modellre vonatkozik.

• FLUX.1 [schnell]: 12 milliárd paraméter, lépésre és vezetésre is desztillált változat, amely 1-4 lépésben ad használható képet.
• FLUX.1 [dev]: szintén 12 milliárd paraméter, guidance distillation eljárással finomítva.
• FLUX.1 [pro]: a bázismodell, kizárólag API-n érhető el, nem tartozik a nyílt súlyok közé.
• FLUX.1 eszközök [dev]: Fill a kép ki- és befestéséhez, Canny és Depth strukturális vezérléshez, Redux képváltozatokhoz, Kontext képszerkesztéshez, Krea szöveg-kép generáláshoz. A Canny és a Depth LoRA formában is megjelent.
• FLUX.2 [dev]: 32 milliárd paraméteres flow matching transzformer szöveg-kép generáláshoz és egy vagy több referenciaképes szerkesztéshez.
• FLUX.2 [klein]: a leggyorsabb változatok 4B és 9B méretben, desztillált és base kivitelben.
• Az autoencoder mindkét vonalon apache-2.0 licenc alatt jelenik meg.

Licenc: változatonként eltérő feltételek

A licenc itt nem mellékes, mert a család tagjai nem azonos feltételekkel használhatók, és a nyílt súlyok használatára is vannak korlátozások. A kereskedelmi használat mindig az adott változat licencétől függ.

• A FLUX.1 [schnell] apache-2.0 licenc alatt jelenik meg, a modellkártya szerint személyes, tudományos és kereskedelmi célra is használható.
• A FLUX.1 [dev] és a dev eszközök (Fill, Canny, Depth, Redux, Kontext, Krea), valamint a Canny és Depth LoRA-k a FLUX.1 [dev] Non-Commercial License v1.1.1 alá esnek. Ez a licenc a nem kereskedelmi felhasználást a fizetés hiányához köti: ha a használatból közvetlen vagy közvetett bevétel származik, már nem tartozik bele.
• A FLUX.2 vonalon a klein 4B és a klein 4B Base apache-2.0 licenc alatt jelenik meg, a 9B változatok és a FLUX.2 [dev] viszont a FLUX nem kereskedelmi licence alatt.
• A dev licenc a kimenetre nem tart igényt: a szöveg szerint a kimenet bármilyen célra használható, a kifejezetten tiltott esetek kivételével. Tiltott viszont a kimenet használata olyan modell tanítására, finomhangolására vagy desztillálására, amely a FLUX.1 [dev] vagy a FLUX.1 Kontext [dev] modellel versenyzik, és a licenc tartalomszűrést is előír.
• Kereskedelmi használathoz a Black Forest Labs külön licencet ad. A hivatalos repository szerint ilyenkor a használatot a BFL API-n keresztül kell jelenteni, a parancssorban a track_usage kapcsolóval és egy BFL_API_KEY környezeti változóval.

Hardver és futtatás

A hivatalos dokumentáció nem egyetlen VRAM számot közöl, hanem a memóriaigény csökkentésének módjait írja le.

• A FLUX.1 repositoryban a demók CPU-ra offloadolhatók, a TensorRT export pedig BF16, FP8 és FP4 pontosságban is elérhető, amivel a futásidejű memóriaigény csökkenthető.
• A FLUX.2 [dev] teljes pontosságú futtatása jelentős memóriát kíván, a repository H100 osztályú GPU-t említ. A hivatalos diffusers útmutató 4 bites kvantálással és távoli szövegkódolóval mintegy 18 GB, 4 bites szövegkódolóval mintegy 20 GB VRAM-ot nevez meg, 80 GB felett pedig minden komponens egyszerre elfér.
• A FLUX.2 [klein] 4B körülbelül 8 GB VRAM-ba befér, a repository fogyasztói kártyákkal (RTX 3090/4070 és feljebb) hozza összefüggésbe.
• A súlyok automatikusan töltődnek a Hugging Face-ről, vagy kézzel letöltve környezeti változóval adhatók meg. A FLUX.1 kódja Python 3.10 alatt fut, a FLUX.2 következtetési kódját a szerzők CUDA 12.9 és Python 3.12 mellett tesztelték.

Amit a gyakorlatban érdemes tudni

• A modellkártyák a korlátokat is felsorolják: a modell nem ad tényinformációt, statisztikai modellként erősítheti a meglévő társadalmi elfogultságokat, és a prompt követése erősen függ a prompt stílusától.
• A finomhangoláshoz használt LoRA adapter származtatott műnek számít, ezért a bázismodell licencét örökli, a nem kereskedelmi megkötéssel együtt.
• A generatív munka a helyi gépen osztozik a GPU-memórián: ugyanaz a kártya szolgálja ki a videós FramePack futásokat és a szöveges modelleket, ezért a FLUX beállításait a memóriaigényhez igazítjuk, nem fordítva.

Tovább olvasás

• Black Forest Labs: FLUX repository
• FLUX.1 [schnell] modellkártya
• Kereskedelmi licencelés

A CyberElectrónál a FLUX a generatív képi réteg: a gyors változatot iterációra használjuk, és mielőtt egy modell ügyfélmunkába kerül, a licencét változatonként ellenőrizzük.