Doktorsvörn í reikniverkfræði - Marcel Aach

Doktorsefni:
Marcel Aach

Heiti ritgerðar:
Skalanleg samhliðabestun yfirstika í dreifðum djúplærdómsaðferðum á ofurtölvukerfum

Andmælendur:
Dr. Marco Aldinucci, prófessor við háskólann í Torino, Ítalíu Dr. Matthias Feurer, prófessor við Ludwig-Maximilians-Universität München, Þýskalandi

Leiðbeinandi:
Dr. Morris Riedel, prófessor í tölvunarfræði við Háskóla Íslands og forstöðumaður færniseturs ofurtölva og gervigreindar

Einnig í doktorsnefnd:
Dr. Helmut Wolfram Neukirchen, prófessor í tölvunarfræði og hugbúnaðarverkfræði við Háskóla Íslands
Dr. Andreas Lintermann, Leader Simulation and Data Lab Highly Scalable Fluids & Solids Engineering, Jülich Supercomputing Centre

Doktorsvörn stýrir:
Dr. Rúnar Unnþórsson, prófessor og deildarforseti Iðnaðarverkfræði-, vélaverkfræði- og tölvunarfræðideildar HÍ  

Ágrip:
Að hanna Deep Learning (DL) kerfi er flókið verkefni, sem felur í sér ákvarðanir um almennan arkitektúr kerfisins (t.d.\ fjölda laga) og fínstillingu á breytum (t.d.\ við innleiðingu kerfisins). Þessar svokölluðu ofurfæribreytur hafa veruleg áhrif á frammistöðu staðbundna DL líkansins og eru því mjög mikilvægar. Hins vegar getur fínstilling þessa færibreyta verið auðlindafrekt (resource-intensive) ferli vegna þess að það þarf að meta margar samsetningar til að finna þær sem standa sig best og skila besta árangri. Þessi Ph.D. ritgerð miðar að nýta kraftinn í ofurtölvu kerfum (High-Performance Computing/HPC) til að framkvæma skilvirka Hyperparameter Optimization (HPO) fyrir DL líkön sem eru þjálfuð á stórum vísinda-gagnasöfnum. Í nútíma HPC kerfum, búin fjölda grafískra vinnslueininga (GPU), verður ekki aðeins hægt að mæla margar gerðir með mismunandi samsetningar samhliða, heldur einnig að keyra þjálfun líkananna sjálfra á mörgum GPU einingum. Nýjustu HPO aðferðir, sem byggja á hugmyndinni um snemmbúna stöðvun, hafa sýnt verulega lækkun á keyrslutíma HPO ferlisins. Frammistaða þeirra í stærðargráðu, sérstaklega í tengslum við HPC umhverfi og þegar þau eru notuð í stórum vísindalegum gagnagrunnum, hefur hingað til verið órannsakað svið. Í þessari ritgerð er leitast við að brúa þetta bil með því að innleiða hliðstæðar og stigstærðar/skalanlegar HPO aðferðir sem nýta eðlislæga eiginleika HPC kerfisins og verkflæði sem fela í sér innlimun nýrra reikniviðmiða. HPO aðferðirnar og virkni þeirra hafa verið staðfest (validated) á mismunandi vísindalegum gagnasöfnum og sviðum, allt frá Computational Fluid Dynamics (CFD) til fjarkönnunar (Remote Sensing/RS), sem spannar nokkur hundruð gígabæt til nokkurra terabæta að stærð.

Um doktorsefnið:
Marcel Aach lauk M.Sc. í hagfræði frá háskólanum í Köln árið 2021. Síðan 2021 hefur hann unnið að doktorsgráðu við Jülich Supercomputing Center og Háskóla Íslands með áherslu á skilvirka Hyperparameter Optimization (HPO) fyrir mismunandi vísindalega notkun á High-Performance Computing (HPC) kerfum.