{"id":6489,"date":"2023-05-15T12:08:00","date_gmt":"2023-05-15T10:08:00","guid":{"rendered":"https:\/\/eurocc.nscc.sk\/?p=6489"},"modified":"2024-03-13T14:48:53","modified_gmt":"2024-03-13T13:48:53","slug":"use-case-prenos-a-optimalizacia-pracovneho-toku-cfd-vypoctov-v-hpc-prostredi","status":"publish","type":"post","link":"https:\/\/eurocc.nscc.sk\/en\/use-case-prenos-a-optimalizacia-pracovneho-toku-cfd-vypoctov-v-hpc-prostredi\/","title":{"rendered":"Use case: Transfer and optimization of CFD calculations workflow in HPC environment<\/strong>"},"content":{"rendered":"\n
\n
\n
\n
\n

Use case: Prenos a optimaliz\u00e1cia pracovn\u00e9ho toku CFD v\u00fdpo\u010dtov v HPC prostred\u00ed<\/strong><\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

Autori:<\/strong> J\u00e1n \u0160koviera (N\u00e1rodn\u00e9 kompeten\u010dn\u00e9 centrum pre HPC), Sylvain Suzan (Shark Aero)<\/p>\n\n\n\n

Spolo\u010dnos\u0165 Shark Aero navrhuje a vyr\u00e1ba ultra\u013eahk\u00e9 \u0161portov\u00e9 lietadl\u00e1 s dvojmiestnym tandemov\u00fdm kokpitom. Na v\u00fdvoj dizajnu pou\u017e\u00edvaj\u00fa popul\u00e1rny open-source softv\u00e9rov\u00fd bal\u00edk openFOAM [1], konkr\u00e9tne CFD simul\u00e1cie (Computational Fluid Dynamics), vyu\u017e\u00edvaj\u00fa met\u00f3du kone\u010dn\u00fdch prvkov (Finite elements method – FEM). Po vytvoren\u00ed modelu pomocou softv\u00e9ru Computer-Aided Design (CAD) sa model rozdel\u00ed na samostatn\u00e9 bunky, tzv. sie\u0165 (angl. mesh). Presnos\u0165 simul\u00e1cie silne z\u00e1vis\u00ed od hustoty siete, pri\u010dom v\u00fdpo\u010dtov\u00e9 a pam\u00e4\u0165ov\u00e9 po\u017eiadavky st\u00fapaj\u00fa s tre\u0165ou mocninou po\u010dtu jej vrcholov. Pre niektor\u00e9 simul\u00e1cie m\u00f4\u017eu by\u0165 v\u00fdpo\u010dtov\u00e9 n\u00e1roky naozaj limituj\u00facim faktorom, ak pou\u017e\u00edvate\u013e pracuje s be\u017ene dostupnou v\u00fdpo\u010dtovou technikou. Pok\u00fasili sme sa preto prenies\u0165 pracovn\u00fd tok simul\u00e1cie do High-Performance Computing (HPC) prostredia s osobitn\u00fdm zameran\u00edm na presk\u00famanie efekt\u00edvnosti paraleliz\u00e1cie v\u00fdpo\u010dtov\u00fdch \u00faloh pre dan\u00fd typ modelu.<\/p>\n\n\n\n

<\/p>\n<\/div>\n\n\n\n

\n
\"\"<\/a><\/figure>\n<\/div>\n<\/div>\n\n\n\n

MET\u00d3DY<\/p>\n\n\n\n

Pre tento projekt boli pou\u017eit\u00e9 v\u00fdpo\u010dtov\u00e9 uzly s 2×6 jadrami Intel Xeon L5640 @ 2,27GHz, 48 GB RAM a 2×500 GB. V\u0161etky v\u00fdpo\u010dty sa robili v \u0161tandardnom HPC prostred\u00ed s pou\u017eit\u00edm syst\u00e9mu pl\u00e1novania \u00faloh Slurm. Tak\u00e9to rie\u0161enie je prijate\u013en\u00e9 pre typ v\u00fdpo\u010dtov\u00fdch \u00faloh, kde sa nevy\u017eaduje odozva v re\u00e1lnom \u010dase ani okam\u017eit\u00e9 spracovanie \u00fadajov. Pre CFD simul\u00e1cie sme pou\u017e\u00edvali softv\u00e9rov\u00e9 \u200b\u200bbal\u00edky OpenFOAM a ParaView verzie 9. Na sp\u00fa\u0161\u0165anie v\u00fdpo\u010dtov bol pou\u017eit\u00fd kontajnerov\u00fd softv\u00e9r Singularity s oh\u013eadom na mo\u017en\u00fd bud\u00faci prenos v\u00fdpo\u010dtov na in\u00fd HPC syst\u00e9m. Pod\u013ea o\u010dak\u00e1vania, zr\u00fdchlenie v\u00fdpo\u010dtov dosiahnut\u00e9 len samotn\u00fdm transferom do HPC prostredia bolo pribli\u017ene 1,5x v porovnan\u00ed so \u0161tandardn\u00fdm notebookom.<\/p>\n\n\n\n

PARALELIZ\u00c1CIA<\/p>\n\n\n\n

Paralelne vykon\u00e1van\u00e9 v\u00fdpo\u010dtov\u00e9 \u00falohy m\u00f4\u017eu zv\u00fd\u0161i\u0165 r\u00fdchlos\u0165 celkov\u00e9ho v\u00fdpo\u010dtu vyu\u017eit\u00edm viacer\u00fdch v\u00fdpo\u010dtov\u00fdch jednotiek s\u00fa\u010dasne. Pre paraleliz\u00e1ciu \u00falohy tak\u00e9hoto typu je potrebn\u00e9 rozdeli\u0165 p\u00f4vodn\u00fa sie\u0165 na dom\u00e9ny – \u010dasti, ktor\u00e9 sa bud\u00fa spracov\u00e1va\u0165 s\u00fabe\u017ene. Dom\u00e9ny v\u0161ak potrebuj\u00fa komunikova\u0165 cez procesorov\u00e9 okrajov\u00e9 podmienky, t.j. steny dom\u00e9ny alebo plochy v mieste rozdelenia p\u00f4vodnej siete. \u010c\u00edm v\u00e4\u010d\u0161ia je hrani\u010dn\u00e1 plocha procesora, t\u00fdm viac I\/O oper\u00e1ci\u00ed je potrebn\u00fdch na vyrie\u0161enie okrajov\u00fdch podmienok. D\u00e1tov\u00e1 komunik\u00e1cia procesorov\u00fdch okrajov\u00fdch podmienok je zabezpe\u010den\u00e1 protokolom MPI (distributed memory Message Passing Interface), tak\u017ee rozdiel medzi jadrami CPU a r\u00f4znymi v\u00fdpo\u010dtov\u00fdmi uzlami je od pou\u017e\u00edvate\u013ea abstrahovan\u00fd. To vedie k ur\u010dit\u00fdm obmedzeniam efekt\u00edvneho vyu\u017e\u00edvania mnoh\u00fdch paraleln\u00fdch procesov, preto\u017ee pr\u00edli\u0161 paralelizovan\u00e9 vykon\u00e1vanie \u00faloh m\u00f4\u017ee by\u0165 v skuto\u010dnosti pomal\u0161ie kv\u00f4li \u00fazkym miestam v komunik\u00e1cii a I\/O. Preto by mali by\u0165 dom\u00e9ny vytvoren\u00e9 sp\u00f4sobom, ktor\u00fd minimalizuje hranice procesora. Jednou z mo\u017en\u00fdch strat\u00e9gi\u00ed je rozdeli\u0165 p\u00f4vodn\u00fa sie\u0165 iba v koplan\u00e1rnom smere s \u010do najmen\u0161ou stranou p\u00f4vodnej siete. Pri paraleliz\u00e1cii a defin\u00edcii dom\u00e9n je potrebn\u00e9 dba\u0165 na mno\u017estvo pren\u00e1\u0161an\u00fdch \u00fadajov \u2013 napr\u00edklad pri delen\u00ed siete vo viacer\u00fdch osiach sa vytvor\u00ed aj viac procesorov\u00fdch okrajov\u00fdch podmienok.<\/p>\n\n\n

\n
\"\"<\/a>
Figure 1: Ilustr\u00e1cia segment\u00e1cie siete. Obklopuj\u00faci mesh je reprezentovan\u00fd priesvitn\u00fdmi kv\u00e1drami.<\/figcaption><\/figure><\/div>\n\n\n

V\u00fdpo\u010dty sa robili v \u0161tyroch krokoch: generovanie siete, segment\u00e1cia siete, vnorenie modelu a simul\u00e1cia CFD. Prv\u00fd krok \u2013 vytvorenie siete sme urobili pomocou utility blockMesh, nsledovala segment\u00e1cia siete pomocou utility decomposePar, vnorenie modelu pomocou programu snappyHexMesh a samotn\u00e1 CFD simul\u00e1cia bola roben\u00e1 programom SimpleFoam. V\u00fdpo\u010dtovo najn\u00e1ro\u010dnej\u0161\u00ed krok je snappyHexMesh. Je to pochopite\u013en\u00e9 z toho, \u017ee k\u00fdm pri CFD simul\u00e1cii je potrebn\u00e9 vykona\u0165 v\u00fdpo\u010det nieko\u013ekokr\u00e1t pre ka\u017ed\u00fa hranu siete a ka\u017ed\u00fa iter\u00e1ciu, v pr\u00edpade vnorenia modelu sa vytv\u00e1raj\u00fa nov\u00e9 vrcholy a star\u00e9 sa vymaz\u00e1vaj\u00fa na z\u00e1klade polohy vrcholov siete. To si vy\u017eaduje vytvorenie \u201eoktree\u201c (rozdelenie trojrozmern\u00e9ho priestoru jeho rekurz\u00edvnym rozdelen\u00edm na osem oktantov), \u200b\u200bopakovan\u00e9 inverzn\u00e9 vyh\u013ead\u00e1vanie a op\u00e4tovn\u00e9 zaradenie do oktantov. Ka\u017ed\u00fd z t\u00fdchto procesov je N*log(N) v najlep\u0161om pr\u00edpade a N2<\/sup> v najhor\u0161om pr\u00edpade, kde N je po\u010det vrcholov. Samotn\u00e9 CFD \u0161k\u00e1luje line\u00e1rne s po\u010dtom hr\u00e1n, t.j. \u201etakmer\u201c line\u00e1rne s N (prepojen\u00e9 s\u00fa len priestorovo bl\u00edzke uzly). Vyvinuli sme pracovn\u00fd postup, ktor\u00fd vytv\u00e1ra mno\u017estvo dom\u00e9n, ktor\u00e9 m\u00f4\u017eu by\u0165 priamo paraleln\u00e9 s rovinou yz (x je os nosa lietadla), \u010do pou\u017e\u00edvate\u013eovi zjednodu\u0161uje rozhodovanie. Po zahrnut\u00ed nov\u00e9ho modelu je mo\u017en\u00e9 jednoducho \u0161pecifikova\u0165 po\u010det dom\u00e9n a spusti\u0165 v\u00fdpo\u010det, \u010d\u00edm sa minimalizuje \u013eudsk\u00fd z\u00e1sah potrebn\u00fd na paraleliz\u00e1ciu v\u00fdpo\u010dtu.<\/p>\n\n\n\n

V\u00ddSLEDKY A Z\u00c1VER<\/p>\n\n\n\n

Relat\u00edvne zr\u00fdchlenie v\u00fdpo\u010dtov\u00fdch procesov je ur\u010den\u00e9 najm\u00e4 obmedzen\u00fdmi vstupmi\/v\u00fdstupmi. Ak s\u00fa v\u00fdpo\u010dtov\u00e9 \u00falohy hlboko pod hranicou I\/O oper\u00e1ci\u00ed, r\u00fdchlos\u0165 je nepriamo \u00famern\u00e1 po\u010dtu dom\u00e9n. Pri menej n\u00e1ro\u010dn\u00fdch v\u00fdpo\u010dtoch, t.j. pri mal\u00fdch modeloch sa m\u00f4\u017eu procesy \u013eahko sta\u0165 nadmerne paralelizovan\u00fdmi.<\/p>\n\n\n

\n
\"\"<\/a>
Figure 2: Z\u00e1vislos\u0165 re\u00e1lneho v\u00fdpo\u010dtov\u00e9ho \u010dasu od po\u010dtu v\u00fdpo\u010dtov\u00fdch jednotiek pre snappyHexMesh and simpleFoam. V pr\u00edpade simpleFoam-u \u010das za\u010d\u00edna divergova\u0165 pre 8 procesov a viac, nako\u013eko d\u00e1tov\u00fd transfer prekon\u00e1va paraleliza\u010dn\u00fa v\u00fdhodu. Ide\u00e1lne \u0161k\u00e1lovanie ukazuje teoretick\u00fd \u010das potrebn\u00fd na dokon\u010denie v\u00fdpo\u010dtu v pr\u00edpade, \u017ee by procesorov\u00e9 podmienky a d\u00e1tov\u00fd transfer neboli zahrnut\u00e9.<\/figcaption><\/figure><\/div>\n\n\n

Ke\u010f je hustota siete dostato\u010dne vysok\u00e1, \u010das na v\u00fdpo\u010det kroku CFD je tie\u017e nepriamo \u00famern\u00fd po\u010dtu paraleln\u00fdch procesov. Ako je zn\u00e1zornen\u00e9 na druhej dvojici obr\u00e1zkov s dvojn\u00e1sobn\u00fdm zv\u00fd\u0161en\u00edm hustoty siete, v\u00fdpo\u010dty s\u00fa pod hranicou I\/O dokonca aj v CFD kroku. Aj ke\u010f je krok CFD v tomto pr\u00edpade pomerne r\u00fdchly v porovnan\u00ed s procesom tvorby siete, v\u00fdpo\u010det dlh\u00fdch \u010dasov\u00fdch intervalov by z neho mohol urobi\u0165 \u010dasovo najn\u00e1ro\u010dnej\u0161\u00ed krok.<\/p>\n\n\n\n

N\u00e1vrh \u010dast\u00ed lietadla vy\u017eaduje viacn\u00e1sobn\u00e9 simul\u00e1cie relat\u00edvne mal\u00fdch modelov za meniacich sa podmienok. Hustota siete potrebn\u00e1 pre tieto simul\u00e1cie patr\u00ed do strednej kateg\u00f3rie. Pri prenose v\u00fdpo\u010dtov do HPC prostredia sme museli bra\u0165 do \u00favahy skuto\u010dn\u00e9 potreby koncov\u00e9ho u\u017e\u00edvate\u013ea z h\u013eadiska ve\u013ekosti modelu, hustoty siete a po\u017eadovanej presnosti v\u00fdsledku. Pou\u017e\u00edvanie HPC m\u00e1 nieko\u013eko v\u00fdhod:<\/p>\n\n\n\n