Orvosi 3D vizualizáció(AR) kutatás-fejlesztés
Az augmented reality, azaz a kiterjesztett valóság azt jelenti, hogy a tárgyi világ kontextusába a virtuális tárgyak valós időben épülnek be. Rendkívül gyorsan fejlődő terület, mind szélesebb körben használjuk. Tipikus példája a Terminátor 2 című film, amikor a robot szemén keresztül látja a néző a film világát. A hétköznapi életben ilyen rendszerrel működnek például az okostelefonok egyes szoftverei, vagy a személyautókban a digitális kijelzőre vetített sebességmérő.
A 3D és a CGI megjelenítés még természetesebb és széles körben használt technológia lett mára, és a mesterséges intelligenciát is mindannyian használjuk, hiszen alapvető például az okoseszközök működésében, az internetes keresések és vásárlások során vagy az ipari robotokban. E három világszínvonalú technológia ötvözetével valósult meg partnerünk nemzetközi szinten is egyedülálló projektje, amely először a filmipar számára készült technológia volt, és amelyet továbbfejlesztettek. Utófeldolgozási és megjelenítési lehetőséget biztosít a feldolgozott CT, MR és egyéb típusú orvosdiagnosztikai felvételek számára.
Filmipari technológia segíti az orvostudományt
Mi magyarok méltán vagyunk büszkék az eszünkre és találékonyságunkra, Nobel és Oscar díjak garmadája is bizonyítja ezt. Csak a filmiparban minden kontinensen minden szakmában sokszáz művész és technikai szakember alkotott és alkot ma is világszínvonalon. Olyannyira, hogy Hollywoodot is nagyjából magyar vállakozók, tehetséges rendezők és kiváló színészek, operatőrök, forgatókönyvírók, zeneszerzők tették naggyá. Gondoljunk csak Adolph Zukorra és William Foxra, akik többek között kitalálták a mozihálózatokat és a modern filmforgalmazást. Még a közelmúltban is tartotta magát az álomgyárban az a mítosz, hogy az angol movie szó a magyar mozi szavunkból ered. Néhány éve egy magyar vállalkozás a digitális mozgóképfeldolgozást forradalmasító fejlesztést hajtott végre és professzionális kamerákkal kompatibilis eszközt alkotott. Majd ezt a kamerára rögzíthető hardware és hozzá tartozó szoftvermegoldást továbbfejlesztették az orvostudomány számára. A filmipar részére kifejlesztett magyar találmány immár az orvosok munkáját is segíti.
Orvosi részletes 3D vizualizáció
A magyar társaság azzal a céllal jött létre 10 éve, hogy mélységi szenzorok adatait felhasználva technológiájával forradalmasítsa a virtuális stúdiók, a broadcasting és a filmipar világát. Sikerült. Több rangos hazai és nemzetközi elismerést, innovációs díjat kapott már fejlesztéseiért. Legutóbb a világon elsőként egy új filmkészítési technológiát fejlesztett ki. Egy olyan hardware-t és hozzá tartozó szoftvert, amelynek segítségével a kamera képes felvétel közben képkockánként kiegészíteni a valós teret virtuális objektumokkal. 3D modellt épít a helyszínről, a szereplőkről és pontos adatot rögzít a kamera mozgásáról, orientációjáról. Mivel minden filmes trükknek ez az alapja, így az utómunkálatok jelentősen lecsökkenthetőek és hasonló szabadságot ad a filmalkotók kezébe, mint ha 3D-animációt készítenének. Ugyanezt a megoldást ültették át az orvostudomány számára legutóbbi kutatás-fejlesztési projektjükben. Ne csodálkozzunk tehát, ha hamarosan a rendelőben az orvoson is virtuális szemüvegnek látszó tárgyat látunk.
Az orvosi alkalmazásokban elkészített 3D felvételek és 3D képfolyamok (röntgen, CT, MR stb.) egyik jelentős gyakorlati problémája az adatok vizualizációja. Az eddig alkalmazások nem tudnak túllépni a vizualizáció 2D megjelenítésének korlátain, valamint a forrásként használt képek részletezettségén. Az így kialakított adatállományok nem hoznak jelentős többletinformációt az orvosi diagnosztika és kommunikáció területén. Egyszerűen nem elég jól látható a beteg testrész. Főleg nem tudja értelmezni maga a páciens, még akkor sem, ha az doktor elmagyarázza.
A helyzet tovább bonyolódik, ha több forrásból származó orvosi adatokat szeretnénk megjeleníteni és fuzionálni, majd a rekonstruált 3D tartalmat szabad, azaz nem rögzített nézőpontból visszajátszani. Partnerünk új találmányával már ez is lehetséges. Az új eszköz innovatív és egyedülálló 3D vizualizációval segíti az orvos-beteg kommunikációt, az oktatást és a mozgásszervi rehabilitációt is. Ez utóbbi során fontos, hogy a páciensek a helyes mozgásminták lekövetésével, pontosan végezzék a gyakorlatokat. Ehhez a valós idejű, háromdimenziós mozgáskövető megoldások értékes többletinformációkat adnak és személyre szabott, specifikus rehabilitációs programban vehet részt az érintettek. Az újszerű műtéti tervezési lehetőségek, illetve a kiterjesztett valóság alapú rávetítés segítségével ez az eszköz rövidíti a műtéti időt. A rendszer a beavatkozások utáni rehabilitációt is végig kíséri, mivel a mozgáskövető eszközökkel nyomon követhető a visszamaradó vagy eredendő mozgási rendellenességgel rendelkező betegek állapotváltozása. Mindez egy a mesterséges intelligenciát és AR alapú 3D megjelenítést alkalmazó orvosi alkalmazás. A fő kihívást a térben és időben kiterjedt eseménysorok feldolgozása (szegmentáció, fúzió, regisztráció), felismerése és osztályozása jelentette. A kutatások során felhasználta partnerünk a gépi tanulás, az adatbányászat, az emberi érzékelés, az optimalizálási eljárások, a variációanalízis legújabb eredményeit.
Kutatás-fejlesztés konzorciumban
A projekt az MTA Számítástechnikai és Automatizálási Kutatóintézetével (MTA SZTAKI) és a Pécsi Tudományegyetemmel együttműködve három év alatt valósult meg. Az első kutatási évben a műszaki lehetőségek és megvalósíthatóság vizsgálata, hiányaiknak és előnyeiknek feltérképezése zajlott. A kapcsolódó rendelkezésre álló és a konzorciumi tagok által elérhető eredmények és technológiák, műszaki lehetőségek jelen projektre fókuszált kutatáselemzése, tanulmányainak vizsgálata folyt. Ennek eredményeképpen meghatározták a projekt kritikus és kockázatos pontjait. („Research - concept - proof of concept – solution”, vagyis kutatás - koncepció - koncepció bizonyítása - megoldás). Pontosították a kivitelezési tervét, valamint a résztvevő partnerek feladatait, kiválasztották a használandó eszközöket, számítógépes vágóprogramokat, meghatározták és pontosították azokat a feladatokat, eszközöket és technikákat, amelyek segítették a kutatási-, fejlesztési- és rendszertervben a további részfeladatok ütemezését, az egyes modulok közötti interfészek kialakítását.
A második évben a környezeti teret felépítő statikus tárgyak, objektumok térfelmérése és modell szintű 3D rekonstrukciója valósult meg. A felvételek (tartalmak) elkészítése nem valós időben, a megjelenítés valós időben történik, ezért össze kellett kalibrálni a különböző rendszereket. Ehhez ki kellett dolgozni a kalibrációs eljárást, a regisztrációs eljárást, az objektum-tér szegmentációt, az objektum textúrázást, a mélységfelvételek fúziós eljárását, mert egységben ezek korábban nem álltak rendelkezésre.
A harmadik évben a tesztrendszer kifejlesztése, tesztelése és kiértékelése történt, elvégezték a szükséges módosításokat és elkészítették a demonstrációs és oktatói segédanyagokat. Megvalósult a rendszer eredményeinek és működésének validációja, vizsgálata információ szerzés céljából a fejlesztői oldalon. Meg kellett teremteni a kész termék kibocsátásának technikai és jogi feltételét, szabályozni kellett a kibocsátási és támogatási folyamatot. Felkészültek a termék esetleges továbbfejlesztésére is a felhasználók javaslatait alapul véve, ezekből egy Termék és kutatás-fejlesztési stratégiát készítettek annak erőforrás és ütemtervével együtt.
Partnerünk a projekt K+F szempontú minősítése iránti kérelmét a Glósz és Társa Kft. segítségével nyújtotta be az SZTNH-hoz (Szellemi Termékek Nemzeti Hivatala). A jogerős határozat birtokában igénybe vehette az őt megillető anyagi előnyöket: a K+F támogatást és a K+F adókedvezményt, ezzel is csökkentve a megvalósítás kockázatát, és javítva a projekt megtérülését.
Glósz és Társa SYSTEM
Több mint 25 év értékteremtő tapasztalata a gyakorlatban – lépésről lépésre!