W ramach projektu wspieranego przez Narodowe Centrum Nauki, dr inż. Arkadiusz Tomczyk z Wydziału Fizyki Technicznej, Informatyki i Matematyki Stosowanej PŁ opracował innowacyjną metodę analizy obrazów. Znajdzie ona zastosowanie m. in. w diagnostyce medycznej.
Pracuje Pan nad systemami analizującymi obrazy. W jaki sposób dziś analizuje się obrazy?
Tworząc systemy komputerowe automatycznie analizujące zawartość obrazów, coraz częściej odchodzi się od klasycznych metod przetwarzania i rozpoznawania na rzecz rozwiązań powstających z wykorzystaniem tzw. uczenia maszynowego. Termin ten oznacza, że twórcy systemów nie skupiają się na wymyślaniu algorytmów realizujących postawione zadanie lecz starają się zaprogramować tak komputer, aby znalazł takie algorytmy samodzielnie. Systemy tego typu osiągają zdumiewającą skuteczność w różnego rodzaju zadaniach analizy obrazów. Przykładem mogą być splotowe sieci neuronowe, które postały w wyniku próby naśladowania mechanizmów występujących w systemie wzrokowym człowieka.
Mechanizm uczenia maszynowego przypomina sytuację, w której nauczyciel stara się tak zmodyfikować umysł ucznia, aby ten posiadł pożądaną umiejętność. W języku komputera oznacza to znalezienie odpowiednich parametrów wybranych modeli przetwarzania danych. Oczywiście, aby nauka miała sens, nauczyciel sam musi dysponować wiedzą potrzebną do właściwego ukształtowania ucznia. Z komputerami jest podobnie. Aby uczenie maszynowe mogło mieć miejsce, należy dostarczyć im pewnej wiedzy dziedzinowej o problemie, który mają rozwiązać. Niestety pozyskiwanie takiej wiedzy w formie przydatnej dla maszyn nie zawsze jest proste.
Jakie są problemy z pozyskiwaniem wiedzy eksperckiej?
Najbardziej typowym rodzajem wiedzy wykorzystywanej w uczeniu maszynowym są zbiory przykładów. Im większa liczba takich przykładów tym większa szansa, że uczeń będzie w stanie zachować się właściwie przy nowych, wcześniej niewidzianych danych (powinien umieć uogólnić przekazana mu wiedzę). Trudność w ich zebraniu, dla systemów analizujących obrazy, zależy między innymi od rodzaju obrazów i zadania, które jest stawiane systemowi. Jeśli są to obrazy specjalistyczne, dla których istnieje tylko wąska grupa ekspertów potrafiących je zinterpretować, a zadanie polega na precyzyjnym wskazaniu, gdzie coś jest na zdjęciu, to zdobycie zbioru przykładów jest niezmiernie trudne. Typowym przykładem takiej sytuacji jest medyczna diagnostyka obrazowa.
W ramach grantu badawczego przyznanego przez NCN, pracowałem nad stworzeniem warsztatu naukowego, którego elementy choć częściowo pozwolą rozwiązać powyższe problemy. Należą do nich system PLANTATION oraz metoda aktywnych podziałów.
- System PLANTATION to narzędzie ułatwiające proces gromadzenia danych i wiedzy. Zostało ono przygotowane w postaci aplikacji sieciowej, do której dostęp uzyskuje się za pomocą przeglądarki internetowej. Daje to liczne korzyści. Przede wszystkim eksperci nie muszą instalować żadnego dedykowanego oprogramowania lokalnie na swoich komputerach, a przekazywanie danych i wiedzy może dokonywać się w dowolnym, dogodnym dla eksperta miejscu pod warunkiem, że ma dostęp do internetu (wszystkie wprowadzone informacje zapisywane na serwerze). Dzięki temu, można współpracować z ludźmi na całym świecie, którzy równolegle mogą edytować dziesiątki lub setki przykładów.
- Aktywne podziały to oryginalne podejście do analizy obrazów zaproponowane przeze mnie. Metoda ta zakłada między innymi zmianę sposobu reprezentacji zawartości obrazów. Z punktu widzenia komputera obrazy są postrzegane jako regularna siatka tysięcy lub milionów punktów (pikseli), z którymi to punktami związana jest informacja o wizualizowanej wielkości fizycznej. Taka reprezentacja nie jest jednak intuicyjna dla człowieka. Ludzie analizując obrazy świadomie grupują punkty w mniej liczne obszary o podobnej charakterystyce i identyfikują granice między takimi obszarami. To spostrzeżenie jest również istotne z punktu widzenia akwizycji wiedzy eksperckiej. Ekspertowi łatwiej jest wyrazić swoje myśli i przekazać doświadczenie gdy operuje czymś co jest dla niego znajome.
Na czym polega innowacyjność technologii aktywnych podziałów?
Metoda ta stanowi swego rodzaju uogólnienie klasycznych technik aktywnych konturów stosowanych od dawna w analizie obrazu. Ich zasada jest w gruncie rzeczy dość prosta. Mając obraz, można na nim wskazać różnego rodzaju kontury (o różnym położeniu, rozmiarze, orientacji i kształcie), jednak tylko jeden z nich dokładnie wskazuje miejsce gdzie znajduje się poszukiwana struktura (Rys. 1). Reszta jest w mniejszym lub większym stopniu gorzej dopasowana. Należy zatem znaleźć optymalny, z punktu widzenia danego zadania, kontur. Zaletą takiego podejścia jest relatywna łatwość wykorzystania dostępnej wiedzy eksperckiej. Jednym z ciekawszych sposobów jest wykorzystywanie zbioru przykładów do maszynowego wyuczenia funkcji oceniającej dopasowanie konturu do obrazu.
W aktywnych podziałach, jak już wcześniej wspominałem, zmieniany jest sposób reprezentacji zawartości obrazu ze zbioru pikseli na zbiór mniejszej liczby bardziej złożonych elementów. W swoich badaniach rozważałem między innymi: odcinki, elipsy i tak zwane super-piksele (małe jednolite obszary) (Rys. 2). Ta zmiana powoduje, że pojęcie konturu, intuicyjnie oczywiste w przypadku reprezentacji opartej o piksele, nie może być zastosowane. Dlatego zamiast optymalnego konturu poszukiwany jest optymalny podział zbioru elementów na te, które identyfikują poszukiwaną strukturę i te, które stanowią tło.
W jakich obszarach stosuje Pan swoje rozwiązania?
Metodę aktywnych podziałów stosowałem do różnego rodzaju obrazów. Były to zarówno obrazy świata rzeczywistego, jak i obrazy związanej z medyczną diagnostyką obrazową. W tym pierwszym przypadku przykładowym zadaniem była lokalizacja znaków drogowych na obrazach pozyskiwanych z poruszających się pojazdów. Rozważane tu były zarówno reprezentacje oparte o odcinki, jak i super-piksele. W tym zadaniu nie było problemu z pozyskaniem danych i wiedzy eksperckiej gdyż odpowiedni zbiór przykładów opracowaliśmy razem ze studentami na jednych z zajęć. Większe wyzwanie stanowiła druga grupa obrazów.
W celu pozyskania danych i wiedzy medycznej nawiązana została współpraca z lekarzami radiologami: z dr. Michałem Podgórskim, obecnie zatrudnionym w Instytucie Centrum Zdrowia Matki Polki w Łodzi oraz z dr Izabelą Michalską pracującą w Uniwersyteckim Szpitalu Klinicznym im. N. Barlickiego w Łodzi. Dzięki tej współpracy udało się stworzyć cztery bazy obrazowań medycznych: obrazy RTG ręki dzieci (wykonywane pod kątem diagnostyki wieku kostnego), obrazy MR ośrodkowego układu nerwowego (diagnostyka stwardnienia rozsianego), obrazy MR kolan (diagnostyka zmian chrząstki stawowej) oraz obrazy CT brzucha (wykrywanie zmian w trzustce). Każda z tych baz zawiera 100 reprezentatywnych obrazowań. Na każdym z nich, z wykorzystaniem systemu PLANTATION, radiolodzy zaznaczyli, wykonując ogromną pracę, od jednej do kilkunastu struktur istotnych z punktu widzenia diagnostycznego. Za przykład ilustrujący ilość tej pracy może posłużyć oznaczenie samej trzustki, które zajmowało 2 godziny dla jednego pacjenta (oznaczane były wszystkie przekroje trójwymiarowego badania CT).
Warto być naukowcem, ponieważ...
Dla mnie bycie naukowcem kojarzy się z wolnością. Badania naukowe nie są prowadzone jedynie na uczelniach. Wiele firm posiada własne działy badawczo-rozwojowe. W samej Łodzi jest kilka takich działów, które zajmują się analizą obrazów. W firmach jednak badania nastawione są, co samo w sobie nie jest złe, na tworzenie czegoś co prędzej lub później przyniesie zysk finansowy. Na uczelni, w szczególności na uczelni technicznej, ten praktyczny aspekt również jest bardzo ważny. Będąc jednak naukowcem na uczelni można pozwolić sobie na poznawanie tajemnic świata tylko dlatego, że są jeszcze nieodkryte. I właśnie to jest dla mnie wolność, dla której warto być naukowcem.
* Prezentowany projekt został sfinansowany ze środków Narodowego Centrum Nauki przyznanych na podstawie decyzji numer DEC-2012/05/D/ST6/03091.
