Odkrivanje globokih ponaredkov z metodami zaznavanja anomalij (DeepFake DAD)
V okviru temeljnega raziskovalnega projekta DeepFake DAD izvajamo raziskave na področju odkrivanja globokih ponaredkov, pri čemer problem odkrivanja formuliramo kot problem zaznavanja anomalij. Na področju zaznavanja anomalij se tipično predpostavlja, da je učna množica izjemno neuravnovešena oz., v skrajnem primeru, da so na voljo zgolj učni primeri enega razreda. Metode za zaznavanje anomalij tako zgradijo model »normalnosti«, vse kar odstopa od tega modela, pa deklarirajo kot anomalijo. Takšen pristop k učenju je primeren tudi za odkrivanje globokih ponaredkov, saj ne zahteva poznavanja nepravilnosti in karakteristik ponarejenih slik, ampak zgolj razpoložljivost zadostnega števila pristnih podatkov. Rezultat učenja je model, ki posplošuje bolje kot modeli, učeni na diskriminatoren način. Projekt DeepFake DAD se torej osredotoča na razvoj postopkov za odkrivanje globokih ponaredkov, pri tem pa poskuša odgovoriti tudi na naslednja raziskovalna vprašanja: Kako zanesljive so metode zaznavanja, naučene na specifičnih metodah generiranja globokih ponaredkov? Lahko nove metode izpeljave značilk izboljšajo uspešnost zaznavanja? Ali se je mogoče naučiti diskriminatornih predstavitev slikovnih podatkov za odkrivanje globokih ponaredkov tudi z nenadzorovanimi metodami učenja? Lahko detektorji globokih ponaredkov posplošujejo na metode generiranja, ki jih niso videli med učenjem? Ali je možno zanesljive metode za odkrivanje naučiti brez dostopa do učnih primerov lažnih/ponarejenih podatkov? Glavni predvideni rezultat projekta so učinkoviti modeli za detekcijo globokih ponaredkov, ki jih bomo v obliki demonstracijske aplikacije predstavili zainteresirani javnosti.
Trajanje: 2023 – 2026, Vodja: Vitomir Štruc
Vrsta projekta: ARIS temeljni raziskovalni projekt
Domača stran projekta: DeepFake DAD
Globoki generativni modeli za lepotno in modno industrijo (DeepBeauty)
V okviru predlaganega temeljnega raziskovalnega projekta Deep Beauty (angl. Deep generative models for beauty and fashion) raziskujemo tehnologije ustvarjanja in editiranje slik s posebnim poudarkom na metodologijah globokega učenja, ki so se v zadnjem času izkazale kot izredno priročno in učinkovito orodje za generativne naloge računalniškega vida. Temeljni cilj je razviti nove (fleksibilne in robustne) mehanizme za editiranje slik (brez eksplicitnega 3D modeliranja), prilagojene potrebam lepotne in modne industrije, sposobne spremeniti določene dele vhodnih slik v skladu z vnaprej definiranim ciljnim izgledom (npr. določen makeup, izgled modela, ki nosi modni izdelek, oblačilo ali dodatek). Glavni oprijemljiv rezultat projekta bo nova in robustna tehnologija za virtualno pomerjanje, ki bo temeljila na izvirnih pristopih editiranja obraza in telesa. Razvita tehnologija bo zmožna editirati slike na fotorealističen način, hkrati pa bo ohranila celostni vizualni izgled oseb na slikah.
Trajanje: 2020 – 2024, Vodja: Vitomir Štruc
Vrsta projekta: ARRS temeljni raziskovalni projekt
Domača stran projekta: DeepBeauty
Razvoj slovenščine v digitalnem okolju (RSDO)
S projektom Razvoj slovenščine v digitalnem okolju (RSDO), ki ga financirata Ministrstvo za kulturo Republike Slovenije in Evropski sklad za regionalni razvoj, je Slovenija prepoznala pomen razvoja sodobnih jezikovnih tehnologij za slovenski jezik. Cilj projekta je zadovoljiti potrebe po računalniških izdelkih in storitvah s področja jezikovnih tehnologij za slovenski jezik za raziskovalne organizacije, za podjetja in za širšo javnost. Razvoj jezikovnih tehnologij je ključnega pomena za preživetje jezika v digitalni dobi, saj se sicer ne bodo mogli vključiti v nove načine komunikacije, metode dela in preživljanja prostega časa, ki bodo na voljo v prihodnosti. Vsa programska koda in zbirke podatkov, ki bodo nastale med projektom, bodo javno dostopne pod odprtokodno licenco, vse aplikacije pa bodo na voljo tudi na javnem portalu RSDO, kjer jih bo vsak lahko preizkusil in uporabljal. Operacijo Razvoj slovenščine v digitalnem okolju sofinancirata Republika Slovenija in Evropska unija iz Evropskega sklada za regionalni razvoj.
Trajanje: 2020 – 2023, Vodja na FE: Simon Dobrišek
Vrsta projekta: ESSR projekt
Raziskovalni program: Metrologija in biometrični sistemi, P2-0250 (C)
V okviru raziskovalnega progama sodelujoči raziskovalci z dveh univerz in enega razvojnega tehnološkega podjetja izvajajo temeljne in aplikativne raziskave izbranih vsebin na področjih, ki vključujejo probleme merjenja na eni strani ter na drugi strani probleme analize in modeliranja iz merilnih in senzorskih podatkov. Posebej se posvečamo problemom magnetnih merjenj, okoljskih in biometričnih merjenj in modeliranja ter akustičnega modeliranja govora.
Trajanje: 2018-2023, Vodja: Vitomir Štruc
Vrsta projekta: ARRS raziskovalni program
ARRS Deidentifikacija obrazov z globokimi generativnimi modeli (FaceGEN)
V okviru temeljnega raziskovalnega projekta FaceGEN (ang. Face deidentification with Generative Deep Models) izvajamo raziskave na področju obrazne deidentifikacije, s poudarkom na globokem učenju, ki se je v zadnjem času uveljavilo kot izredno učinkovito orodje za različne probleme s področja računalniškega vida in strojnega učenja. Cilj projekta je razviti globoke generativne modele in pristope k sintezi slik obrazov, ki jih je mogoče uporabiti s statičnimi slikami, a tudi z video sekvencami, kjer se lahko pojavi večje število obrazov v različnih, tipično nenadzorovanih okoljih. Glavni oprijemljivi rezultat projekta bodo novi generativni globoki modeli in pristopi k sintezi obraznih slik.
Trajanje: 2019 – 2022, Vodja: Vitomir Štruc
Vrsta projekta: ARRS temeljni raziskovalni projekt
Domača stran projekta: FaceGEN
ARRS Segmentacija in rekonstrukcija superkvadričnih modelov iz 3D podatkov s pomočjo nevronske mreže
Cilj predlaganih raziskav je razvoj rešitve, temelječe na CNN, ki bo v realnem času segmentirala in rekonstruirala superquadrične modele iz velikih množic 3D točk. Poleg razvoja CNN za segmentacijo in rekonstrukcijo modelov superkvadrikov iz oblakov 3D točk, bi radi ugotovili, ali bi se tak CNN dal prilagoditi tudi za segmentacijo in rekonstrukcijo modelov le na osnovi 2D intenzitetnih ali barvnih slik.
Obstaja že veliko dokazov na osnovi dosedanjih raziskav, da je združevanje 3D podatkov in modelov z CNN računskim pristopom možen in da se že dogaja. Naš cilj pa je, da razvijemo splošno metodo na osnovi CNN pristopa, ki bi znala za podano izbrano sceno, za katero bi imeli oblak 3D točk in/ali intenzitetne slike, rekonstruirati njen opis v obliki superkvadričnih modelov. Rezultat naše predlagane rešitve bi torej bile vrednosti parametrov vnaprej neznanega števila superkvadrikov, ki bi bili potrebni za ustrezen opis podane scene. Kolikor nam je znano, ne obstaja še nobena metoda za rekonstrukcijo volumetričnih modelov, kot so superkvadriki, iz oblakov 3D točk s pomočjo CNN pristopa. Predlagani raziskovalni projekt bi torej v veliki meri prispeval k vedno bolj obsežnim raziskavam uporabe CNN za 3D podatke in modele.
Trajanje: 2018 – 2021, Vodja na FE: Vitomir Štruc
Iskanje nekonsistentnosti v kompleksnih slikovnih podatkih z globokim učenjem
Projekt obravnava problematiko povezano z več raziskovalnimi področji. Glavni cilj je preseči obstoječe metode globokega učenja za specifični primer avtomatskega odkrivanja anomalij v vizualnih podatkih. Cilj nameravamo doseči z razvojem različnih komponent, povezanih s temeljnim razumevanjem globokega učenja, ki jih bomo v splošnem lahko uporabili za reševanje različnih izzivov računalniškega vida s pristopom globokega učenja.
Projekt bo osredotočen predvsem na razvoj osnovnih metod za delno nadzorovano in nenadzorovano učenje. Obravnavali bomo učenje generativnih globokih mrež in razvili nove metode, ki vsebujejo kompozicionalne lastnosti globokih modelov. Razumevanje globokih mrež bomo izboljšali z uporabo lastnosti kompozicionalnih hierarhij. Kljub nekaterim nedavnim raziskavam pristopov globokega učenja, ki ne zahtevajo veliko število označenih podatkov, se raziskovalno področje računalniškega vida še vedno v veliki meri opira na nadzorovano učenje, zato pričakujemo, da bodo rezultati predlaganega projekta znatno vplivali na prihodnji razvoj omenjenega raziskovalnega področja.
Trajanje: 2018 – 2021, Vodja na FE: Janez Perš
OptiLEX: Raziskave in optimizacija predstavitve leksikalnih jezikovnih virov za implementacijo govornih tehnologij na vgrajenih sistemih
V okviru aplikativnega projekta OptiLEX se bomo posvetili slovarjem izgovarjav ter raziskavam in implementaciji modula za učinkovito računalniško predstavitev leksikalnih jezikovnih virov, sposobnega delovanja v govornih aplikacijah v vgrajenih sistemih. Reševali bomo vrsto problemov: zahtevo po delovanju v realnem času; zahtevo po kompaktnem zapisu jezikovnih virov; ter zahtevo po majhnem odtisu zapisa jezikovnih virov v delovnem pomnilniku.
Cilj projekta OptiLEX je raziskati postopke optimizacije računalniške predstavitve leksikalnih jezikovnih virov za pregibno bogate jezike, ki jih bo možno uporabiti pri prepoznavanju in sintezi govora na vgrajenih platformah. Postopke bomo implementirali in validirali na strojni opremi vgrajenega prenosnega terminala.
V okviru projekta bomo poiskali učinkovite postopke za zmanjševanje odvečnosti pri predstavitvi in računalniškem zapisu jezikovnih virov za pregibno bogate jezikovne skupine, ki bodo omogočali hitro, pomnilniško čim manj zahtevno ter visokokakovostno pretvorbo grafemskega zapisa besed v fonetični prepis in obratno.
Trajanje: 2018 – 2021, Vodja na FE: Simon Dobrišek
Super-resolucija za razpoznavanje obrazov (SuperFACE)
V okviru tega bilateralnega ARRS sodelovanja z Univerzo v Notre Damu iz ZDA raziskujemo in razvijamo metode za super-resolucijo obrazov.
Trajanje: 2018 – 2019, Vodja na FE: Vitomir Štruc
Zaključeni projekti (izbrani, nedavni)
Projekt z razpisa “Spodbujanje zaposlovanja mladih doktorjev znanosti”
Cilj projekta je razviti nove postopke za procesiranje biometričnih podatkov.
Trajanje: 2015-2017, Vodja: Janez Križaj
EU FP 7 CP RESPECT: Rules, Expectations & Security through Privacy-Enhanced Convenient Technologies
Povzetek v angleščini: RESPECT seeks to investigate if the current and foreseeable implementation of ICTs in surveillance is indeed “in balance” and, where a lack of balance may exist or is perceived by citizens not to exist, the project explores options for redressing the balance through a combination of Privacy-Enhancing Technologies and operational approaches. Investigating at least five key sectors not yet tackled by other recent projects researching surveillance (CCTV, database mining and interconnection, on-line social network analysis, RFID& geo-location/sensor devices, financial tracking), RESPECT will also carry out quantitative and qualitative research on citizens’ awareness and attitudes to surveillance. RESPECT will produce tools that would enable policy makers to understand the socio-cultural as well as the operational and economic impact of surveillance systems. The project will also produce operational guidelines incorporating privacy by design approaches which would enable law enforcement agencies to deploy surveillance systems with lowest privacy risk possible and maximum security gain to citizens.
Trajanje: 2012-2015, Vodja na FE: Simon Dobrišek
EU FP7 CP SMART: Scalable Measures for Automated Recognition Technologies
Povzetek v angleščini: The SMART project addresses the questions of automated decision taking with respect to the “smart surveillance” technologies in a society where privacy and data protection are fundamental rights. The risks and opportunities inherent to the use of smart surveillance will be evaluated and a number of technical, procedural and legal options for safeguards will be developed. SMART aims to create a toolkit which would inform system designers, policy makers and legislative bodies across Europe and beyond.
Trajanje: 2011-2014 , Vodja na FE: Simon Dobrišek
EU Social fund and MIZS post-doctoral Project: 3D Face Recognition in Real World Settings (3D-For-Real)
Kljub številnim raziskavam in dosegljivi literaturi na temo razpoznavanja 3D slik obrazov, ostaja razvoj in implementacija robustnega sistema za razpoznavanje obrazov v nenadzorovanih razmerah zajema 3D slik specifičen problem, ki zahteva rešitev vrste težav. Cilj raziskovalnega projekta je zato predlagati sistem za razpoznavanje 3D slik obrazov, ki bo omogočal zanesljivo razpoznavanje obrazov tudi v najzahtevnejših okoljih, to je v prisotnosti večjega števila motečih dejavnikov, ki so lahko navzoči pri zajemu 3D slik in vplivajo na izgled obrazov na 3D slikah. Osredotočili se bomo na razvoj postopkov za učinkovito reševanje problemov, ki nastanejo ob prisotnosti motečih dejavnikov. Posebno pozornost bomo namenili reševanju problemov robustnega razpoznavanja obrazov pri interakciji dejavnikov kot so zorni kot oz. orientacija obrazov, delna prekrivanja obraznega področja, izrazne spremembe in oddaljenost obrazov od senzorja.
Trajanje: 2014-2015, Vodja: Janez Križaj