HearAI, czyli usłysz sztuczną inteligencję

Osoby głuche i słabosłyszące należą do najbardziej wykluczonych grup społecznych. Komunikacja poza swoją społecznością, chociażby wizyta u lekarza czy w banku, często stanowi dla nich ogromne wyzwanie. Women in AI Polska, poprzez swój projekt edukacyjny pn. HearAI, chce to zmienić i sprawić, aby świat, dzięki wykorzystaniu nowoczesnych technologii, stał się bardziej dostępny dla społeczności Głuchych w Polsce.

HearAI (HAI) to edukacyjny projekt non-profit, którego celem jest zbadanie możliwości automatyzacji tłumaczenia języka migowego z wykorzystaniem technik uczenia maszynowego (ang. Machine Learning). Projekt ten zrzesza grupę około 30 wolontariuszy, reprezentujących różne dziedziny wiedzy niezbędne do przeprowadzenia badań. Specjaliści z wielu obszarów, takich jak ML, psychologia czy Polski Język Migowy wspólnie badają możliwość rozwiązania realnego problemu na skalę światową, jednocześnie nawiązując kontakty i zdobywając doświadczenie.

HAI, powstał z kilku powodów, przede wszystkim, aby pomóc Głuchym, którzy należą do najbardziej wykluczonych grup społecznych. Komunikacja poza ich społecznością jest dla nich codziennym wyzwaniem. Często potrzebują, a nie mogą skorzystać z usług tłumacza w kontaktach z lekarzem (również w szpitalu), z pracownikami socjalnymi czy w bankach.

"Warto zaznaczyć, że niezależnie od kraju i języka oficjalnie używanego w danym kraju, język migowy bardzo różni się od mówionego. Dla przykładu, osoby niesłyszące posługujące się Polskim Językiem Migowym (PJM) uczą się języka Polskiego jako języka obcego. Z tego powodu mają utrudniony dostęp do informacji i rozrywki w swoim ojczystym języku"

- mówi Marta Plantykow, współtwórczyni Projektu HearAI.

Na cały projekt składają się 3 fazy. W pierwszej fazie, która trwała od maja 2021 r. do września 2021 r., przeprowadzono wstępne badania oraz pozyskano partnerów, którzy zapewnili narzędzia niezbędne do ich ich realizacji, takie jak między innymi infrastruktura obliczeniowa. Głównym celem tego etapu było zapoznanie się z aktualnymi badaniami i rozwiązaniami, zbadanie możliwych źródeł danych oraz ocena wielkości projektu. Było to niezbędne do stworzenia szczegółowego planu fazy drugiej, która rozpoczęła się we wrześniu 2021 r. Wówczas ogłoszono rekrutację, w trakcie której do projektu zaaplikowało prawie 100 osób. Jej efektem był udział w Programie aż 8 wolontariuszy technicznych.

Po skompletowaniu zespołu, rozpoczął się 3 etap, czyli realizacja planu badań. Ta faza wciąż trwa i powinna zakończyć się pod koniec kwietnia 2022 r. Następnie w planach jest opisanie wyników badań w postaci artykułu naukowego, który zostanie opublikowany – co istotne – w formie otwartej dla wszystkich zainteresowanych.

"Kod, który jest tworzony w trakcie badań od samego początku jest dostępny publicznie w formie otwartej. Oznacza to, że każdy na całym świecie może wykorzystać stworzony kod do własnych celów. Na obecnym etapie (luty 2022) testujemy różne architektury rozwiązania oraz pracujemy nad zwiększeniem ilości danych wykorzystywanych przez model"

- mówi Marta Plantykow i dodaje 

"Warto podkreślić, że nasze badania są nowatorskie – nasze podejście (według zdobytej wiedzy) nie zostało jeszcze wykorzystane w badaniach."

Brak podobnych projektów badawczych prawdopodobnie wynika głównie z trudności związanych z uzyskaniem dostępu do odpowiednich danych oraz ich przetwarzaniem. Do realizacji projektu wymagana jest specjalistyczna wiedza z zakresu notacji Hamburskiej (HamNoSys, ang. Hamburg Notyfication System). To podejście wymusza podzielenie problem badawczego (dla przypomnienia: automatyzacji tłumaczenia języka migowego) na dwa etapy: w pierwszym etapie wideo opisywane jest w HamNoSys z użyciem ML (obecnie realizowane badanie), w drugim etapie (projekt realizujący to badanie planowany jest na rok 2023, jego realizacja zależna jest od wyników pierwszego badania) HamNoSys przetwarzany jest do języka mówionego. Użycie omawianej notacji umożliwia jednak realizację projektu na poziomie międzynarodowym – z użyciem wielu języków migowych. Oznacza to, że rezultaty pierwszej części badań są użyteczne dla wszystkich języków świata.

Zespół HAI podzielony jest na kilka podzespołów. Oprócz organizatorów istnieje grupa badaczy ML, która jest techniczną stroną zespołu oraz zespół ekspertów dziedzinowych. Wszelkie wątpliwości związane z realizacją projektu omawiane są z ekspertami - z psychologiem, z ekspertem w zakresie języka migowego lub z natywnym użytkownikiem Polskiego Języka Migowego. Z perspektywy projektu niezwykle ważne jest przeprowadzenie badania, które przyniesie przydatne informacje i może doprowadzić do użytecznego rozwiązania tak dużego problemu. Jest też grupa mentorów - bardzo doświadczonych profesjonalistów, którzy z zaangażowaniem pomagają w rozwiązywaniu wielu problemów, dzielą się wskazówkami, wiedzą, czy pomysłami i przemyśleniami.

Projekt HAI realizuje kilka celów. Po pierwsze przeprowadzenie badań nad rozpoznawaniem znaków języka migowego oraz rozpoznawaniem znaków z notacji HamNoSys. Ponadto, zwiększenie świadomości społeczeństwa na temat świata Głuchych. I wreszcie, stworzenie środowiska, które pozwoli każdemu się rozwijać, uczyć, dzielić się wiedzą i poznawać nowe osoby.

"Aspekt edukacyjny, innowacyjność i nowatorskie naukowe podejście do bardzo ważnego problemu społecznego, jakim jest wykluczenie Głuchych z wielu obszarów życia społecznego, zadecydowało o tym, że postanowiliśmy wesprzeć realizację tego Projektu, ale też aktywnie włączyć się w prace zespołu, aby informacja o efektach projektu dotarła do jak najszerszego grona odbiorców"

- mówi Dominika Wiśniewska, menedżer ds. partnerstw w Fundacji Polskiego Funduszu Rozwoju.

Poza samymi badaniami, w celu realizacji naszych celi, między innymi w listopadzie 2021 roku zorganizowano małą otwartą konferencję, na której profesjonaliści dzielili się swoją wiedzą z pokrewnych dziedzin. Upowszechnianie Projektu i jego celów jest możliwe także dzięki blogowi, który obecnie skupia się głównie na aspektach technicznych, ale w przyszłości planowane jest szersze opisanie procesów i efektów prac zespołu HAI.

Projekt jest realizowany dzięki pracy wielu osób − Wolontariuszy, Mentorów i Partnerów − którzy udostępniają organizatorkom swoją infrastrukturę, zasoby techniczne, wspierają merytorycznie i finansowo. Więcej informacji o HAI znajdziecie na www.hearai.pl.

Organizacja Women in AI Polska jest Partnerem Programu “Akademia Rozwoju” realizowanego przez Fundację PFR. Już wkrótce uczestniczki Akademii będą miały szansę udziału w warsztatach prowadzonych przez przedstawicielki tej organizacji i, z ich ekspercką pomocą, nauczyć się podstaw programowania i dowiedzieć więcej na temat działania i zastosowań sztucznej inteligencji w projektach społecznych i biznesowych.