{"id":9083,"date":"2024-06-21T17:49:42","date_gmt":"2024-06-21T15:49:42","guid":{"rendered":"https:\/\/eurocc.nscc.sk\/?p=9083"},"modified":"2024-06-21T18:21:06","modified_gmt":"2024-06-21T16:21:06","slug":"implementacia-metody-ciastocne-riadeneho-ucenia-uni-match-do-metody-frame-field-learning-pre-ulohu-extrakcie-budov-z-leteckych-snimok","status":"publish","type":"post","link":"https:\/\/eurocc.nscc.sk\/en\/implementacia-metody-ciastocne-riadeneho-ucenia-uni-match-do-metody-frame-field-learning-pre-ulohu-extrakcie-budov-z-leteckych-snimok\/","title":{"rendered":"Semi-Supervised Learning in Aerial Imagery: Implementing Uni-Match with Frame Field learning for Building Extraction<\/strong>"},"content":{"rendered":"\n
\n
\n
\n
\n

Implement\u00e1cia met\u00f3dy \u010diasto\u010dne riaden\u00e9ho u\u010denia Uni-Match do met\u00f3dy Frame Field Learning pre \u00falohu extrakcie budov z leteck\u00fdch sn\u00edmok<\/strong><\/p>\n\n\n\n

<\/p>\n<\/div><\/div>\n\n\n\n

Extrakcia budov v Geografick\u00fdch informa\u010dn\u00fdch syst\u00e9moch (GIS) je k\u013e\u00fa\u010dov\u00e1 pre urbanistick\u00e9 pl\u00e1novanie, environment\u00e1lne \u0161t\u00fadie a riadenie infra\u0161trukt\u00fary, preto\u017ee umo\u017e\u0148uje presn\u00e9 mapovanie stavieb, vr\u00e1tane odha\u013eovania neleg\u00e1lnych stavieb za \u00fa\u010delom dodr\u017eiavania pr\u00e1vnych predpisov, alebo efekt\u00edvnej\u0161ieho vyberania dan\u00ed. Integr\u00e1cia extrahovan\u00fdch \u00fadajov o budov\u00e1ch s in\u00fdmi geopriestorov\u00fdmi vrstvami zlep\u0161uje pochopenie dynamiky miest a priestorov\u00fdch vz\u0165ahov. Vzh\u013eadom na rozsah a zlo\u017eitos\u0165 t\u00fdchto \u00faloh rastie potreba automatizova\u0165 extrakciu budov pomocou techn\u00edk hlbok\u00e9ho u\u010denia, ktor\u00e9 pon\u00fakaj\u00fa vy\u0161\u0161iu presnos\u0165 a efekt\u00edvnos\u0165 pri spracovan\u00ed ve\u013ek\u00fdch geopriestorov\u00fdch d\u00e1t.<\/p>\n\n\n\n

<\/p>\n<\/div>\n\n\n\n

\n
\"\"<\/a>
Ilustra\u010dn\u00fd obr\u00e1zok<\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n\n\n

V s\u00fa\u010dasnosti, v\u00e4\u010d\u0161ina najmodernej\u0161\u00edch segmenta\u010dn\u00fdch modelov hlbok\u00e9ho u\u010denia poskytuje v\u00fdstup iba v rastrovej forme. Av\u0161ak GIS \u010dasto potrebuj\u00fa d\u00e1ta vo vektorovej forme. Jednou z met\u00f3d, ktor\u00e1 dok\u00e1\u017ee generova\u0165 d\u00e1ta vo vektorovej forme, je Frame Field learning. T\u00e1to met\u00f3da generuje okrem segmenta\u010dnej masky aj frame field pole, ktor\u00e9 obsahuje \u0161truktur\u00e1lne inform\u00e1cie o objektoch, ktor\u00e9 sa n\u00e1sledne vyu\u017e\u00edvaj\u00fa v procese vektoriz\u00e1cie.<\/p>\n\n\n\n

Modely Frame Field learningu s\u00fa tr\u00e9novan\u00e9 met\u00f3dou \u201cs u\u010dite\u013eom\u201d (z angl. \u201csupervised learning\u201d), ktor\u00e1 potrebuje ve\u013ek\u00e9 mno\u017estvo anotovan\u00fdch d\u00e1t. Na z\u00edskanie tak\u00e9hoto mno\u017estva kvalitn\u00fdch d\u00e1t je potrebn\u00e1 manu\u00e1lna \u013eudsk\u00e1 pr\u00e1ca, ktor\u00e1 v\u0161ak m\u00f4\u017ee by\u0165 zd\u013ahav\u00e1 a n\u00e1kladn\u00e1. Jednou z met\u00f3d, ktor\u00e1 m\u00f4\u017ee zn\u00ed\u017ei\u0165 z\u00e1vislos\u0165 od anotovan\u00fdch d\u00e1t, je \u201cu\u010denie s \u010diasto\u010dn\u00fdm u\u010dite\u013eom\u201d, resp. \u201c\u010diasto\u010dne riaden\u00e9 u\u010denie\u201c (z angl. \u201csemi-supervised learning\u201d). Tento pr\u00edstup u\u010denia vyu\u017e\u00edva nielen anotovan\u00e9 d\u00e1ta, ale aj mno\u017einu neanotovan\u00fdch d\u00e1t.<\/p>\n\n\n\n

Cie\u013eom tejto spolupr\u00e1ce medzi N\u00e1rodn\u00fdm kompeten\u010dn\u00fdm centrom pre HPC a Geodeticca Vision s.r.o. bolo identifikova\u0165, implementova\u0165 a vyhodnoti\u0165 vhodn\u00fa met\u00f3du u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom pre Frame Field learning.<\/p>\n\n\n\n

Met\u00f3dy<\/h5>\n\n\n\n
Frame Field learning<\/h5>\n\n\n\n

Hlavnou my\u0161lienkou Frame Field learning [1] met\u00f3dy je pom\u00f4c\u0165 vektoriza\u010dn\u00e9mu algoritmu vyrie\u0161i\u0165 nejednozna\u010dn\u00e9 pr\u00edpady pri vektoriz\u00e1cii, ktor\u00e9 s\u00fa sp\u00f4soben\u00e9 diskr\u00e9tnou pravdepodobnostnou segmenta\u010dnou mapou (v\u00fdstup zo segmenta\u010dn\u00e9ho modelu), a to pridan\u00edm tzv. frame fields po\u013ea (vi\u010f. Obr\u00e1zok 1) ako \u010fal\u0161ieho v\u00fdstupu z neur\u00f3novej siete, reprezentuj\u00faceho geometrick\u00e9 charakteristiky budov.<\/p>\n\n\n\n

Frame field pole<\/p>\n\n\n\n

Frame field je vektorov\u00e9 pole r\u00e1du 4, \u010do znamen\u00e1, \u017ee ka\u017ed\u00e9mu bodu v rovine prirad\u00ed 4 smerov\u00e9 vektory. Proti\u013eahl\u00e9 vektory maj\u00fa rovnak\u00fa hodnotu, ale s opa\u010dn\u00fdm znamienkom, tak\u017ee ka\u017ed\u00e9mu bodu v rovine je priraden\u00fd vektor {u, \u2212u, v, \u2212v}. Tieto vektory posta\u010duj\u00fa na definovanie tvaru budov, ktor\u00e9 s\u00fa z ve\u013ekej \u010dasti pravideln\u00e9ho tvaru s pravouhl\u00fdmi rohmi.<\/p>\n\n\n

\n
\"\"<\/a>

Obr\u00e1zok 1: Uk\u00e1\u017eka frame field po\u013ea definovan\u00e9ho pre budovu z tr\u00e9novacej sady [1].<\/em><\/figcaption><\/figure><\/div>\n\n\n

Frame Field learning<\/p>\n\n\n

\n
\"\"<\/a>
Obr\u00e1zok 2: Diagram procesu Frame Field learning [1].<\/figcaption><\/figure><\/div>\n\n\n

Proces met\u00f3dy Frame Field learning m\u00f4\u017eeme zosumarizova\u0165 nasledovne:<\/p>\n\n\n\n

    \n
  1. Vstupom do neur\u00f3novej siete je RGB obraz o ve\u013ekosti 3 x V x \u0160.<\/li>\n\n\n\n
  2. Na generovanie mapy pr\u00edznakov (z angl. \u201cfeature map\u201d) je mo\u017en\u00e9 vyu\u017ei\u0165 r\u00f4zne segmenta\u010dn\u00e9 architekt\u00fary, napr. U-Net.<\/li>\n\n\n\n
  3. U\u010denie je supervizovan\u00e9 (patr\u00ed medzi met\u00f3dy u\u010denia s u\u010dite\u013eom), pri\u010dom pre u\u010denie segmenta\u010dn\u00fdch masiek sa vyu\u017e\u00edvaj\u00fa ozna\u010den\u00e9 rastrovan\u00e9 polyg\u00f3ny pre interi\u00e9r a hranice budov. Ako stratov\u00e1 funkcia sa vyu\u017e\u00edva line\u00e1rna kombin\u00e1cia funkci\u00ed cross-entropy a Dice loss.<\/li>\n\n\n\n
  4. Pre u\u010denie samotn\u00e9ho Frame Field po\u013ea sa vyu\u017e\u00edvaj\u00fa vektory polyg\u00f3nov ozna\u010den\u00fdch budov, kde konzistentnos\u0165 a presnos\u0165 Frame Field po\u013ea zabezpe\u010duj\u00fa tri stratov\u00e9 funkcie:
    1. Lalign<\/sub> stratov\u00e1 funkcia riadi spr\u00e1vne nato\u010denie Frame Field po\u013ea na smery doty\u010dnice vektoru polyg\u00f3nu.<\/li><\/ol>
      1. Lalign90<\/sub> stratov\u00e1 funkcia zabra\u0148uje, aby sa Frame Field pole degradovalo na priamkov\u00e9 pole.<\/li><\/ol>\n
          \n
        1. Lsmooth<\/sub> zabezpe\u010duje hladk\u00fd priebeh Frame Field po\u013ea.<\/li>\n<\/ol>\n<\/li>\n\n\n\n
        2. Pre zachovanie konzistentnosti medzi segmenta\u010dnou pravdepodobnostnou mapu a Frame Field v\u00fdstupom s\u00fa definovan\u00e9 regulariza\u010dn\u00e9 stratov\u00e9 funkcie, ktor\u00e9 zarovn\u00e1vaj\u00fa Frame Field pole s gradientmi segmenta\u010dnej mapy.<\/li>\n<\/ol>\n\n\n\n

          Vektoriz\u00e1cia<\/p>\n\n\n

          \n
          \"\"<\/a>
          Obr\u00e1zok 3: Vizualiz\u00e1cia procesu vektoriz\u00e1cie [1].<\/figcaption><\/figure><\/div>\n\n\n

          Proces vektoriz\u00e1cie transformuje v\u00fdstup z natr\u00e9novanej neur\u00f3novej siete do topologicky \u010dist\u00fdch vektorov pomocou algoritmu Active Skeleton Model (ASM). Princ\u00edp algoritmu spo\u010d\u00edva v iterat\u00edvnom pos\u00favan\u00ed vrcholov skeletov\u00e9ho grafu do ich ide\u00e1lnej poz\u00edcie. Skeletov\u00fd graf je vygenerovan\u00fd pomocou morfologickej oper\u00e1cie \u201cthinning\u201d z gradientu segmenta\u010dnej mapy. Iterat\u00edvny posun je riaden\u00fd gradientovou optimaliza\u010dnou met\u00f3dou, ktorej cie\u013eom je minimalizova\u0165 energetick\u00fa funkciu, ktor\u00e1 m\u00e1 nasleduj\u00face zlo\u017eky:<\/p>\n\n\n\n

            \n
          1. Eprobability \u2013<\/sub> riadi prisp\u00f4sobenie skeletov\u00e9ho grafu kont\u00faram pravdepodobnostnej mapy budovy na konkr\u00e9tnu hodnotu pravdepodobnosti (napr. 0.5)<\/li>\n\n\n\n
          2. Eframe field align <\/sub>– riadi zarovnanie ka\u017edej hrany skeletov\u00e9ho grafu na Frame Field pole.<\/li>\n\n\n\n
          3. Elength<\/sub> \u2013 zais\u0165uje homog\u00e9nnu distrib\u00faciu vrcholov skeletov\u00e9ho grafu.<\/li>\n<\/ol>\n\n\n\n

            UniMatch met\u00f3da \u010diasto\u010dne riaden\u00e9ho u\u010denia<\/strong><\/p>\n\n\n\n

            UniMatch [2], pokro\u010dil\u00e1 met\u00f3da u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom z kateg\u00f3rie regul\u00e1torov konzistentnosti, stavia na z\u00e1kladn\u00fdch princ\u00edpoch vytvoren\u00fdch met\u00f3dou FixMatch [3], ktor\u00e1 je z\u00e1kladnou met\u00f3dou v tejto kateg\u00f3ri\u00ed algoritmov. Funguje na princ\u00edpe pseudo-ozna\u010dovania (z angl. \u201cpseudo-labeling\u201c) v kombin\u00e1ci\u00ed s regul\u00e1ciou konzistentnosti.<\/p>\n\n\n\n

            Z\u00e1kladn\u00fd princ\u00edp met\u00f3dy FixMatch spo\u010d\u00edva v generovan\u00ed pseudo-ozna\u010den\u00ed (anot\u00e1ci\u00ed) pre neanotovan\u00e9 d\u00e1ta, pomocou predikci\u00ed neur\u00f3novej siete. To znamen\u00e1, \u017ee pre slabo perturbovan\u00fd neanotovan\u00fd vstup xw<\/sup><\/em> sa vygeneruje predikcia pw<\/sup><\/em>, ktor\u00e1 sl\u00fa\u017ei ako pseudo-ozna\u010denie pre predikciu silne perturbovan\u00e9ho vstupu xs<\/sup><\/em>. N\u00e1sledne sa vypo\u010d\u00edta hodnota chybovej funkcie, napr. cross-entropy(pw,  <\/sup>ps<\/sup><\/em>), pri\u010dom do \u00favahy sa ber\u00fa iba tie oblasti z pw<\/sup><\/em>, ktor\u00e9 maj\u00fa hodnotu pravdepodobnosti v\u00e4\u010d\u0161iu ako dan\u00fd prah, napr. >0.95. <\/p>\n\n\n\n

            Roz\u0161\u00edrenie met\u00f3dy UniMatch oproti met\u00f3de FixMatch spo\u010d\u00edva v dvoch princ\u00edpoch:<\/p>\n\n\n\n

              \n
            1. UniPerb (Unified Perturbations for Images and Features) – aplik\u00e1cia perturb\u00e1cie na \u00farovni pr\u00edznakov (z angl. \u201cfeature perturbation\u201c). V praxi to znamen\u00e1, \u017ee na v\u00fdstup (teda pr\u00edznak – feature) z encoder vrstvy neur\u00f3novej siete sa aplikuje dropout funkcia, ktor\u00e1 n\u00e1hodne vynuluje niektor\u00e9 pr\u00edznaky. Takto upraven\u00fd v\u00fdstup z encoder vrstvy n\u00e1sledne vstupuje do decoder \u010dasti siete, ktor\u00e1 vygeneruje pfp<\/sup><\/em>.<\/li>\n\n\n\n
            2. DusPerb (Dual-Stream Perturbations) \u2013 namiesto jednej silnej perturb\u00e1cie sa vyu\u017e\u00edvaj\u00fa dve siln\u00e9 perturb\u00e1cie xs1 <\/sup><\/em>a xs2<\/sup><\/em>.<\/li>\n<\/ol>\n\n\n
              \n
              \"\"<\/a>
              Obr\u00e1zok 4: (a) FixMatch z\u00e1kladn\u00e1 met\u00f3da, (b) pou\u017eit\u00e1 UniMatch met\u00f3da. FP je ozna\u010denie pre feature perturbation (perturb\u00e1cia pr\u00edznakov), w ako weak (slab\u00e1) a s ako strong (siln\u00e1) perturb\u00e1cia [2].<\/figcaption><\/figure><\/div>\n\n\n

              V kone\u010dnom d\u00f4sledku m\u00e1me tri stratov\u00e9 funkcie – cross-entropy(pw,  <\/sup>pfp<\/sup><\/em>), cross-entropy(pw,  <\/sup>ps1<\/sup><\/em>), cross-entropy(pw,  <\/sup>ps2<\/sup><\/em>). Tie sa nakoniec line\u00e1rne kombinuj\u00fa so supervizovanou stratovou funkciou.<\/p>\n\n\n\n

              T\u00e1to met\u00f3da v s\u00fa\u010dasnosti patr\u00ed medzi state-of-the-art met\u00f3dy u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom. Hlavnou v\u00fdhodou tejto met\u00f3dy je jej jednoduchos\u0165 pri implement\u00e1ci\u00ed a nev\u00fdhodou je jej citlivos\u0165 na v\u00fdber vhodnej slabej a silnej perturb\u00e1cie.<\/p>\n\n\n\n

              Integr\u00e1cia UniMatch met\u00f3dy do Frame Field u\u010denia<\/strong><\/h4>\n\n\n\n

              Implement\u00e1cia UniMatch do Frame Field learning frameworku<\/strong><\/h4>\n\n\n\n

              Aby sme mohli implementova\u0165 UniMatch met\u00f3du do Frame Field leagning \u0161trukt\u00fary, potrebovali sme najprv definova\u0165 slab\u00fa a siln\u00fa perturb\u00e1ciu v kontexte leteck\u00fdch sn\u00edmok. Ako slab\u00e9 perturb\u00e1cie sme zvolili z\u00e1kladn\u00e9 priestorov\u00e9 transform\u00e1cie obrazu, vr\u00e1tane rot\u00e1cie, zrkadlenia a vertik\u00e1lneho\/horizont\u00e1lneho prevr\u00e1tenia. V\u0161etky tieto transform\u00e1cie s\u00fa opr\u00e1vnen\u00e9 pre leteck\u00e9 sn\u00edmky.<\/p>\n\n\n\n

              V pr\u00edpade siln\u00fdch perturb\u00e1ci\u00ed sme pou\u017eili fotometrick\u00e9 transform\u00e1cie. Tie zah\u0155\u0148aj\u00fa \u00fapravy odtie\u0148a, farby, \u010di jasu obrazu. Poskytuj\u00fa v\u00fdraznej\u0161ie zmeny sn\u00edmok ne\u017e s pou\u017eit\u00edm priestorov\u00fdch transform\u00e1ci\u00ed. <\/p>\n\n\n\n

              D\u00f4le\u017eit\u00fdm krokom bola implement\u00e1cia perturb\u00e1cie na \u00farovni pr\u00edznakov (feature perturbation).   T\u00fato perturb\u00e1ciu sme implementovali ako dropout mechanizmus vo vrstve medzi encoder a decoder \u010das\u0165ami architekt\u00fary U-Net. Tento mechanizmus zahod\u00ed (nastav\u00ed na nulu) n\u00e1hodne vybran\u00e9 hodnoty pr\u00edznakov (v\u00fdstup z encoder vrstvy). Takto upraven\u00e9 hodnoty v\u00fdstupu z encoder \u010dasti siete vstupuj\u00fa \u010falej do decoder \u010dasti U-Net architekt\u00fary.<\/p>\n\n\n\n

              V pr\u00edpade dual-stream perturb\u00e1ci\u00ed sme prisp\u00f4sobili Frame Field framework tak, aby vyu\u017e\u00edval dve siln\u00e9 perturb\u00e1cie. Predikcia pre slab\u00fa perturb\u00e1ciu sa pou\u017eila ako pseudo-ozna\u010denie pre dve siln\u00e9 perturb\u00e1cie (preto ozna\u010denie dual-stream). Dve siln\u00e9 perturb\u00e1cie prispievaj\u00fa k celkovej robustnosti a efekt\u00edvnosti modelu.<\/p>\n\n\n\n

              Prostredn\u00edctvom t\u00fdchto \u00faprav bola UniMatch met\u00f3da \u00faspe\u0161ne integrovan\u00e1 do Frame Field learning algoritmu, \u010d\u00edm sa zv\u00fd\u0161ila jeho schopnos\u0165 efekt\u00edvne sprac\u00fava\u0165 a u\u010di\u0165 sa z anotovan\u00fdch a hlavne neanotovan\u00fdch d\u00e1t.<\/p>\n\n\n\n

              Experimenty
              D\u00e1ta
              Anotovan\u00e9 d\u00e1ta<\/strong><\/h4>\n\n\n\n

              Anotovan\u00e9 d\u00e1ta pou\u017eit\u00e9 v \u0161t\u00fadii poch\u00e1dzaj\u00fa z troch r\u00f4znych zdrojov, detaily s\u00fa uveden\u00e9 v Tabu\u013eke 1.<\/p>\n\n\n

              \n
              \"\"<\/a>
              Tabu\u013eka 1: Preh\u013ead troch zdrojov anotovan\u00fdch d\u00e1t pou\u017eit\u00fdch na tr\u00e9novanie modelov.<\/figcaption><\/figure><\/div>\n\n\n

              Neanotovan\u00e9 d\u00e1ta<\/strong><\/h4>\n\n\n\n

              Neanotovan\u00e9 d\u00e1ta (verejne dostupn\u00e9 vysoko kvalitn\u00e9 leteck\u00e9 sn\u00edmky) poch\u00e1dzaj\u00fa z Geodetick\u00e9ho a kartografick\u00e9ho \u00fastavu (GK\u00da) [6]. Pri v\u00fdbere sme sa zamerali na oblas\u0165 s rozlohou 7 000 km2<\/sup>, \u010d\u00edm bola zaisten\u00e1 diverzita r\u00f4znych povrchov kraj\u00edn a mestsk\u00fdch prostred\u00ed.<\/p>\n\n\n\n

              Spracovanie d\u00e1t: Patching<\/strong><\/h4>\n\n\n\n

              Anotovan\u00e9 aj neanotovan\u00e9 sn\u00edmky boli spracovan\u00e9 pomocou met\u00f3dy \u201cpatching\u201d,ktor\u00e1 obraz rozde\u013euje na mal\u00e9 \u010dasti ve\u013ekosti 320x320px. T\u00e1to ve\u013ekos\u0165 bola \u0161pecificky vybran\u00e1 tak, aby vyhovovala po\u017eiadavk\u00e1m pre vstup zvolenej neur\u00f3novej siete. Tak\u00fdmto sp\u00f4sobom vzniklo z anotovan\u00fdch d\u00e1t pribli\u017ene 55 000 mal\u00fdch \u010dast\u00ed a z neanotovan\u00fdch d\u00e1t okolo 244 000 \u010dast\u00ed.<\/p>\n\n\n\n

              Tr\u00e9novanie
              Architekt\u00fara modelu<\/strong><\/h4>\n\n\n\n

              Pou\u017eit\u00fd model sme navrhli s pomocou U-Net architekt\u00fary s EfficientNet-B4 z\u00e1kladom. T\u00e1to kombin\u00e1cia poskytuje  dobr\u00fa rovnov\u00e1hu presnosti a efekt\u00edvnosti, \u010do je ve\u013emi d\u00f4le\u017eit\u00e9 pri pr\u00e1ci s komplexn\u00fdmi segmenta\u010dn\u00fdmi \u00falohami. EfficientNet-B4 ako z\u00e1klad neur\u00f3novej siete bol vybran\u00fd pre optim\u00e1lnu rovnov\u00e1hu medzi spotrebou pam\u00e4te a v\u00fdkonom. V met\u00f3de Frame Field learning sa U-Net architekt\u00fara uk\u00e1zala by\u0165 vysoko efekt\u00edvna, o \u010dom sved\u010dia v\u00fdsledky pou\u017eitia tejto siete v r\u00f4znych \u0161t\u00fadi\u00e1ch.<\/p>\n\n\n\n

              Tr\u00e9novac\u00ed proces<\/strong><\/h4>\n\n\n\n

              Na tr\u00e9novanie sme pou\u017eili AdamW optimaliz\u00e1tor, ktor\u00fd kombinuje v\u00fdhody Adam optimaliz\u00e1cie s regulariza\u010dnou met\u00f3dou \u201cweight decay\u201d, \u010d\u00edm pom\u00e1ha modelu lep\u0161ie generalizova\u0165. Aby sme sa vyhli pretr\u00e9novaniu modelu, pou\u017eili sme L2 regulariz\u00e1ciu a taktie\u017e bola pou\u017eit\u00e1 met\u00f3da ReduceLROnPlateau na optimaliz\u00e1ciu parametra r\u00fdchlosti u\u010denia. T\u00e1to met\u00f3da upravuje parameter r\u00fdchlosti u\u010denia na z\u00e1klade valida\u010dnej straty.<\/p>\n\n\n\n

              \u00dapravy potrebn\u00e9 pre implement\u00e1ciu u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom<\/strong><\/h4>\n\n\n\n

              K\u013e\u00fa\u010dov\u00fdm aspektom n\u00e1\u0161ho tr\u00e9novania bolo nastavenia podielu anotovan\u00fdch a neanotovan\u00fdch obr\u00e1zkov. Experimentovali sme s pomermi od 1:1 do 1:5 (po\u010det anotovan\u00fdch : po\u010det neanotovan\u00fdch). Tak\u00fdmto sp\u00f4sobom sme zis\u0165ovali, ako r\u00f4zne mno\u017estv\u00e1 neanotovan\u00fdch d\u00e1t ovplyv\u0148uj\u00fa tr\u00e9novac\u00ed proces. Identifikovali sme optim\u00e1lny pomer pre tr\u00e9novanie n\u00e1\u0161ho modelu tak, aby bolo zachovan\u00e9 efekt\u00edvne u\u010denie s vyu\u017eit\u00edm met\u00f3dy u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom.<\/p>\n\n\n\n

              Vyhodnotenie modelu<\/strong><\/h4>\n\n\n\n

              Na vyhodnotenie n\u00e1\u0161ho modelu na extrakciu budov sme zvolili metriky, ktor\u00e9 prec\u00edzne meraj\u00fa ako presne sa predikcie zhoduj\u00fa so skuto\u010dn\u00fdmi \u0161trukt\u00farami.<\/p>\n\n\n\n

              Intersection over Union (IoU)<\/strong><\/h4>\n\n\n\n

              K\u013e\u00fa\u010dovou metrikou, ktor\u00fa sme vyu\u017e\u00edvali je metrika s n\u00e1zvom Intersection over Union (IoU). Po\u010d\u00edta zhodu medzi predikciami modelu a skuto\u010dn\u00fdm tvarom budov. Hodnota sk\u00f3re IoU bl\u00edzka 1 znamen\u00e1, \u017ee na\u0161e predikcie s\u00fa podobn\u00e9 skuto\u010dn\u00fdm budov\u00e1m. T\u00e1to metrika je nevyhnutn\u00e1 na pos\u00fadenie geometrickej presnosti pre segmentovan\u00e9 oblasti, preto\u017ee odr\u00e1\u017ea presnos\u0165 vyt\u00fd\u010denia hran\u00edc budov. Okrem toho, vyhodnoten\u00edm pomeru spr\u00e1vne predikovanej oblasti ku kombinovanej oblasti (zjednotenie oblasti predikcie a skuto\u010dnej oblasti), n\u00e1m IoU poskytuje jasn\u00fa mieru efektivity modelu v zachyt\u00e1van\u00ed skuto\u010dn\u00e9ho kontextu a tvaru budov v komplexnej mestskej krajine.<\/p>\n\n\n\n

              Precision, Recall (senzitivita) a F1 sk\u00f3re<\/strong><\/h4>\n\n\n\n

              Metrika naz\u00fdvan\u00e1 precision vyjadruje podiel spr\u00e1vne identifikovan\u00fdch budov zo v\u0161etk\u00fdch identifikovan\u00fdch budov. Senzitivita (angl. \u201crecall\u201c) ilustruje schopnos\u0165 modelu zachyti\u0165 v\u0161etky skuto\u010dn\u00e9 budovy. Vysok\u00e1 hodnota tejto metriky poukazuje na citlivos\u0165 modelu pri detekcii budov. F1 sk\u00f3re kombinuje precision a senzitivitu do jednej metriky, poskytuj\u00fac vyv\u00e1\u017een\u00fd obraz v\u00fdkonu modelu.<\/p>\n\n\n\n

              Complexity Aware IoU (cIoU)<\/strong><\/h4>\n\n\n\n

              \u010eal\u0161ou pou\u017eitou metrikou bola Complexity Aware IoU (cIoU) [7]. T\u00e1to metrika rie\u0161i nedostatky IoU t\u00fdm, \u017ee vyva\u017euje presnos\u0165 segment\u00e1cie a komplexnos\u0165 tvarov polyg\u00f3nov. Zatia\u013e \u010do IoU m\u00f4\u017ee vies\u0165 model k vytv\u00e1raniu ve\u013emi komplexn\u00fdch polyg\u00f3nov, cIoU zaru\u010duje, \u017ee komplexnos\u0165 polyg\u00f3nov (po\u010det ich vrcholov) je zachovan\u00e1 realistick\u00e1, \u010d\u00edm odr\u00e1\u017ea skuto\u010dn\u00fd tvar budov, ktor\u00e9 s\u00fa obvykle m\u00e1lo komplexn\u00e9.<\/p>\n\n\n\n

              N Ratio Metrika<\/strong><\/h4>\n\n\n\n

              Metrika N ratio je doplnkov\u00fdm komponentom v na\u0161ej vyhodnocovacej strat\u00e9gii. Porovn\u00e1va po\u010det vrcholov v na\u0161ich predpovedan\u00fdch tvaroch s t\u00fdmi v skuto\u010dn\u00fdch budov\u00e1ch [7]. T\u00fdm n\u00e1m metrika pom\u00e1ha porozumie\u0165, ako presne n\u00e1\u0161 model replikuje detailn\u00fa \u0161trukt\u00faru budov.<\/p>\n\n\n\n

              Max Tangent Angle Error (MTAE)<\/strong><\/h4>\n\n\n\n

              Na zaistenie \u010distej geometrie pri extrakcii budov, je d\u00f4le\u017eit\u00e9 presn\u00e9 meranie pravidelnosti kont\u00far. Chyba maxim\u00e1lneho uhla doty\u010dn\u00edc (resp. Max Tangent Angle Error (MTAE)) [1] je metrika navrhnut\u00e1 presne pre tieto potreby, a je doplnen\u00edm Intersection over Union (IoU) metriky. \u0160pecificky cieli na nedostatok IoU metriky, ktor\u00fdm je to, \u017ee segment\u00e1cia s okr\u00fahlymi rohmi m\u00f4\u017ee dosiahnu\u0165 vy\u0161\u0161ie sk\u00f3re ne\u017e segment\u00e1cia s presnej\u0161\u00edmi (ostrej\u0161\u00edmi) rohmi. Vyhodnocovan\u00edm zhody okrajov budov cez porovn\u00e1vanie uhlov doty\u010dn\u00edc vo vybran\u00fdch bodoch predikovan\u00fdch a skuto\u010dn\u00fdch kont\u00far, MTAE efekt\u00edvne penalizuje nepresnosti v orient\u00e1cii okrajov. Toto zameranie na presnos\u0165 okrajov je d\u00f4le\u017eit\u00e9 pre produkovanie \u010dist\u00fdch vektorov\u00fdch reprezent\u00e1ci\u00ed budov, zd\u00f4raz\u0148uj\u00fac d\u00f4le\u017eitos\u0165 presn\u00e9ho vymedzenia hran\u00edc v segmenta\u010dn\u00fdch \u00faloh\u00e1ch.<\/p>\n\n\n\n

              Vyhodnotenie<\/strong><\/h4>\n\n\n\n

              Natr\u00e9novan\u00e9 modely boli testovan\u00e9 na ve\u013ekej d\u00e1tovej mno\u017ene leteck\u00fdch sn\u00edmok v plnej ve\u013ekosti (namiesto mal\u00fdch \u010dast\u00ed, pomocou ktor\u00fdch bola sie\u0165 tr\u00e9novan\u00e1). Tak\u00e9to testovanie poskytuje presnej\u0161ie zobrazenie re\u00e1lnych pou\u017eit\u00ed tak\u00fdchto modelov. Na extrakciu budov zo sn\u00edmok v plnej ve\u013ekosti sme pou\u017eili techniku posuvn\u00e9ho okna, \u010d\u00edm boli vytvoren\u00e9 predikcie po jednotliv\u00fdch segmentoch obr\u00e1zku. Na okraje prekr\u00fdvaj\u00facich sa segmentov bola pou\u017eit\u00e1 pokro\u010dil\u00e1 priemerovacia technika, d\u00f4le\u017eit\u00e1 pre minimaliz\u00e1ciu ne\u017eiad\u00facich efektov a zachovanie konzistentnosti v r\u00e1mci predik\u010dnej mapy. V\u00fdstupn\u00e1 predik\u010dn\u00e1 mapa v plnej ve\u013ekosti bola n\u00e1sledne vektorizovan\u00e1 do presn\u00fdch vektorov\u00fdch polyg\u00f3nov s pou\u017eit\u00edm algoritmu Active Skeleton Model (ASM).<\/p>\n\n\n\n

              V\u00fdsledky<\/strong><\/p>\n\n\n

              \n
              \"\"<\/a>
              Tabu\u013eka 2: V\u00fdsledky tr\u00e9novania modelov pre z\u00e1kladn\u00fd pr\u00edstup (u\u010denie s u\u010dite\u013eom) a pr\u00edstupy u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom s r\u00f4znymi podielmi pou\u017eit\u00fdch anotovan\u00fdch a neanotovan\u00fdch obr\u00e1zkov.<\/figcaption><\/figure><\/div>\n\n\n

              V\u00fdsledky z experimentov, odr\u00e1\u017eaj\u00face v\u00fdkon segmenta\u010dn\u00e9ho modelu natr\u00e9novan\u00e9ho s r\u00f4znymi nastaveniami, odhalili zauj\u00edmav\u00e9 zistenia (vi\u010f. Tabu\u013eka 2). Vyhodnotili sme v\u00fdkon z\u00e1kladn\u00e9ho modelu (len supervizovan\u00fd pr\u00edstup) a v\u00fdkon modelov tr\u00e9novan\u00fdch met\u00f3dami u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom s pou\u017eit\u00edm r\u00f4znych podielov anotovan\u00fdch a neanotovan\u00fdch d\u00e1t (1:1, 1:3, a 1:5).<\/p>\n\n\n\n

                \n
              1. IoU: <\/strong>hodnota IoU metriky bola pre z\u00e1kladn\u00fd model na hodnote 80.50%. S pr\u00ednosom neanotovan\u00fdch d\u00e1t do tr\u00e9novacieho procesu pozorujeme stabiln\u00fd n\u00e1rast, dosahuj\u00fac a\u017e 85.77%, s pou\u017eit\u00edm pomeru 1:5 anotovan\u00fdch k neanotovan\u00fdm obr\u00e1zkom.<\/li>\n\n\n\n
              2. Precision, senzitivita a F1 sk\u00f3re: <\/strong>Hodnota metriky precision sa zlep\u0161ila z hodnoty 85.75% pre z\u00e1kladn\u00fd model na hodnotu 90.04% pre model s pou\u017eit\u00fdm podielom 1:5. Podobne senzitivita sa z\u013eahka zv\u00fd\u0161ila z hodnoty 94.27% na 94.76%. F1 sk\u00f3re taktie\u017e nar\u00e1stlo z hodnoty 89.81% na 92.34%. Tieto zlep\u0161enia nazna\u010duj\u00fa, \u017ee zakomponovan\u00edm met\u00f3dy s \u010diasto\u010dn\u00fdm u\u010dite\u013eom sa model stal presnej\u0161\u00edm a spo\u013eahlivej\u0161\u00edm v predikci\u00e1ch.<\/li>\n\n\n\n
              3. N Ratio a cIoU: <\/strong>V\u00fdsledky ukazuj\u00faznate\u013en\u00fdpokles v hodnote metriky N Ratio z hodnoty 2.33 pre z\u00e1kladn\u00fd model, na hodnotu 1.65 pre model s 1:5 podielom (anotovan\u00e9 : neanotovan\u00e9), \u010do indikuje, \u017ee u\u010denie s \u010diasto\u010dn\u00fdm u\u010dite\u013eom produkuje jednoduch\u0161ie, ale presnej\u0161ie vektorov\u00e9 tvary, ktor\u00e9 viac pripom\u00ednaj\u00fa skuto\u010dn\u00e9 \u0161trukt\u00fary budov. Toto zjednodu\u0161enie tvarov pravdepodobne prispieva k zv\u00fd\u0161enej pou\u017eite\u013enosti v\u00fdstupu v praktick\u00fdch GIS aplik\u00e1ci\u00e1ch. S\u00fabe\u017ene, hodnoty metriky (cIoU) sa signifikantne zlep\u0161ili z hodnoty 48.89% pre z\u00e1kladn\u00fd model, na hodnotu 64.75% pre model s 1:5 podielom. Preto sa zd\u00e1, \u017ee u\u010denie s \u010diasto\u010dn\u00fdm u\u010dite\u013eom nezlep\u0161uje len zhodu predikovan\u00fdch st\u00f4p budov a skuto\u010dn\u00fdch st\u00f4p budov, ale tie\u017e generuje jednoduch\u0161ie vektorov\u00e9 tvary, ktor\u00e9 s\u00fa bli\u017e\u0161ie re\u00e1lnym geometrick\u00fdm tvarom budov.<\/li>\n\n\n\n
              4. Priemern\u00e1<\/strong> MTAE: <\/strong>Redukcia metriky MTAE z 18.60\u00b0 na 17.45\u00b0 pri pou\u017eit\u00ed u\u010denia s \u010diasto\u010dn\u00fdm u\u010dite\u013eom predstavuje zlep\u0161enie v geometrickej presnosti predikci\u00ed modelu. To nazna\u010duje, \u017ee t\u00e1to met\u00f3da u\u010denia je lep\u0161ia pri zachyt\u00e1van\u00ed architektonick\u00fdch prvkov budov s presnej\u0161ie definovan\u00fdmi uhlami, \u010do prispieva k produkcii topologicky jednoduch\u0161\u00edch a \u010distej\u0161\u00edch vektorov\u00fdch polyg\u00f3nov.<\/li>\n<\/ol>\n\n\n\n

                Tr\u00e9novanie na HPC<\/strong><\/h4>\n\n\n\n

                HPC konfigur\u00e1cia<\/strong><\/h4>\n\n\n\n

                Tr\u00e9novanie bolo realizovan\u00e9 na HPC klastri Devana vybavenom dostato\u010dn\u00fdmi v\u00fdpo\u010dtov\u00fdmi zdrojmi. HPC klaster Devana disponuje 8 GPU uzlami. Ka\u017ed\u00fd GPU uzol obsahuje 4 GPU karty NVIDIA A100 s kapacitou VRAM  40GB, 64 jadier CPU a 256GB kapacity RAM. Pl\u00e1novanie \u00faloh zabezpe\u010duje syst\u00e9m Slurm.<\/p>\n\n\n\n

                PyTorch Lightning kni\u017enica<\/strong><\/h4>\n\n\n\n

                Na paraleliz\u00e1ciu sme pou\u017eili kni\u017enicu PyTorch Lightning, ktor\u00e9 poskytuje u\u017e\u00edvate\u013esky priate\u013esk\u00e9 prostredie pre pr\u00e1cu s viacer\u00fdmi GPU. T\u00e1to kni\u017enica umo\u017e\u0148uje u\u017e\u00edvate\u013eovi \u0161pecifikova\u0165 po\u010det GPU, po\u010det v\u00fdpo\u010dtov\u00fdch uzlov, poskytuje r\u00f4zne distribuovan\u00e9 strat\u00e9gie a mo\u017enos\u0165 mixed-precision tr\u00e9novania.<\/p>\n\n\n\n

                Slurm a PyTorch Lightning nastavenie<\/strong><\/h4>\n\n\n\n

                Pri tr\u00e9novan\u00ed pomocou 1 GPU vyzerala na\u0161a Slurm konfigur\u00e1cia nasledovne:
                #SBATCH –partition=ngpu
                #SBATCH –gres=gpu:1
                #SBATCH –cpus-per-task=16
                #SBATCH \u2013mem=64000<\/p>\n\n\n\n

                A nastavenie PyTorch Lightning pre Trainer<\/em>:<\/p>\n\n\n\n

                trainer = Trainer(accelerator=“gpu“, devices=1)<\/p>\n\n\n\n

                Takto sme alokovali jednu GPU kartu zo \u0161tyroch dostupn\u00fdch na danom uzle, a 16 CPU zo 64 dostupn\u00fdch, n\u00e1sledkom \u010doho m\u00e1me 16 workerov pre data loadery. Ke\u010f\u017ee u\u010denie s \u010diasto\u010dn\u00fdm u\u010dite\u013eom vyu\u017e\u00edva dva data loadery, (jeden pre anotovan\u00e9 a \u010fal\u0161\u00ed pre neanotovan\u00e9 d\u00e1ta), alokovali sme 8 workerov pre ka\u017ed\u00fd z nich. Je d\u00f4le\u017eit\u00e9 zaru\u010di\u0165, aby celkov\u00fd po\u010det jadier pre data loadery nepresiahol po\u010det dostupn\u00fdch jadier, preto\u017ee tr\u00e9novanie m\u00f4\u017ee zlyha\u0165.<\/p>\n\n\n\n

                Distribuovan\u00e9 d\u00e1tovo-paraleln\u00e9 (DDP) tr\u00e9novanie<\/strong><\/h4>\n\n\n\n

                S pou\u017eit\u00edm PyTorch Lightning distribuovan\u00e9ho d\u00e1tovo-paraleln\u00e9ho tr\u00e9novania (DDP) sme dosiahli, \u017ee ka\u017ed\u00e1 pou\u017eit\u00e1 GPU bola operovan\u00e1 nez\u00e1visle:<\/p>\n\n\n\n