Silesia4Invest

 
 

   ZAŁOŻENIA METODOLOGII    


ZAŁOŻENIA METODOLOGICZNE BADAŃ
Geneza i istota badań

Podjęcie zamierzonych badań wymagało opracowania odpowiedniej metodologii i właściwej organizacji pracy badawczej. Szukając stosownych wzorów sięgnęliśmy do koncepcji „web usability” Jacoba Nielsena  odnoszącej się do ogólnie rozumianej funkcjonalności serwisów internetowych oraz prac nielicznych teoretyków komunikacji społecznej poprzez Internet. Nie znaleźliśmy jednak gotowego wzorca, w pełni zdatnego do natychmiastowego wykorzystania, zbieżnego z celami naszych badań. Wypracowaliśmy zatem wspólną autorską koncepcję i metodologię, niejako z konieczności, w dużej mierze bazując na własnych przemyśleniach i doświadczeniu w realizacji rożnych projektów internetowych, a także wynikających z osobistego obcowania z Internetem od najwcześniejszych jego początków.

Należy zdać sobie sprawę, że przeprowadzone badanie ma charakter postulatywny: bazuje na modelu idealnego serwisu gminnego, który stworzyliśmy, jako swoisty konstrukt teoretyczny. Z pewnością w kolejnych działaniach zasadne byłoby pełne sformalizowane takiego modelu, który z jednej strony stanowiłby istotny wzorzec oceny jakościowej, a z drugiej znalazłby zastosowanie jako pomoc dla projektantów serwisów internetowych, w budowie coraz lepszych gminnych serwisów. W trakcie badań te wcześniej przyjęte założenia okazały się trafne, co potwierdza ich użyteczność i sensowność, jako nieformalnego modelu internetowego serwisu gminy.

Przeprowadzenie badania nie było łatwym zadaniem z uwagi na pionierski charakter tego przedsięwzięcia oraz jego duży zakres. Dla zobiektywizowania wyników porównywanie 169 gminnych serwisów internetowych musiało być przeprowadzone kilkukrotnie przez różnych oceniających. Każdy z nich musiał bardzo dokładnie obejrzeć oceniany serwis i odpowiedzieć aż na 72 pytania wskazując najwłaściwszy swoim zdaniem wariant odpowiedzi. Tych możliwych odpowiedzi było łącznie aż 195 w całym zestawie pytań. Czas konieczny do odpowiedniego poznania każdego z badanych serwisów to, co najmniej 3 godziny. A w przypadku serwisów rozbudowanych pochłaniało to znacznie więcej czasu. Każdy z serwisów był oceniany przez co najmniej 3 osoby. Uogólniając możemy zatem powiedzieć, że przebadanie 169 serwisów przez 3 oceniających pochłonęło co najmniej 1521 godzin pracy, a wymagało dokonania 98 865 wyborów wariantów odpowiedzi! Wcześniej wiele godzin poświęcono na prace koncepcyjne, dyskusje, kolejne redakcje kwestionariusza badań i stworzenie oprogramowania działającego on-line, które było platformą komunikacji zespołu badawczego i interfejsem do bazy danych.
Oceniający pracowali anonimowo. Każda z osób biorących bezpośredni udział w badaniu otrzymywała losowo przydzielone nazwy gmin, których serwisy miała ocenić oraz własny login i hasło dostępu do aplikacji badawczej, przygotowanej przez firmę 3CUBE. Aplikacja ta służyła podziałowi pracy i monitorowaniu ich postępów, ewidencji wyników badań, szczegółowemu obliczeniu wyników, ustaleniu rankingów oraz prezentacji całego zgromadzonego materiału badawczego.

Bezpośrednimi oceniającymi serwisy byli studenci starszych lat studiów Wyższej Szkoły Handlowej we Wrocławiu w liczbie blisko 150 osób. Taki wybór realizatorów badania wynikał z faktu, iż to właśnie młodzież najaktywniej korzysta z Internetu, porusza się w tym środowisku z dużą swobodą, a ponadto jako odbiorcy treści internetowych jest i będzie w przyszłości jedną z większych grup użytkowników serwisów internetowych gmin. Ta grupa internautów ma najczęściej już dobrze określone poczucie użyteczności Internetu, jako medium komunikacji i dostępu do różnorodnych informacji, a także rozwinięte umiejętności oceny pewnych rozwiązań, na zasadzie odniesienia do innych, znanych sobie serwisów czy aplikacji użytkowych. Można zatem uznać ich za rzetelne środowisko opiniotwórcze w zakresie Internetu. Studenci brali udział w badaniu na zasadzie dobrowolności, ale sumienne wykonanie przez nich tej pracy było nagradzane dodatkowymi pozytywnymi ocenami z wybranych przedmiotów realizowanych w toku studiów, w ramach których prezentowano badania. Zainteresowanie udziałem w badaniach wśród studentów było znaczne, częstokroć obok oceny serwisów przydzielonych do badania, studenci zaglądali z własnej inicjatywy do serwisów gmin, w których mieszkają, aby stwierdzić jak one wypadłyby w tej ocenie lub też przekazywali sobie wzajemnie informacje o ciekawych serwisach. Z tego punktu widzenia można uznać, iż badania spełniły dodatkowo rolę promocji gmin wśród studentów.

Za podstawę działania przyjęliśmy zestaw pytań/kryteriów, uzgodniony na drodze wielu konsultacji i dyskusji. Początkowo była to obszerna lista dotycząca wielu różnych spraw, o różnym poziomie ważności i szczegółowości. Planowaliśmy oceniać serwisy zarówno pod względem ich zawartości informacyjnej, jak i realizacji. Prowadziliśmy w zespole autorów badania gorące dyskusje, w których spieraliśmy się o to, jakie kryteria są istotniejsze, a czasem nawet o to czy ważniejsza jest „forma czy treść”. Efektem tych dyskusji było opracowanie dwóch kwestionariuszy. Pierwszy pozwalał na przeprowadzenie badania ilościowego, a drugi - jakościowego. Badanie ilościowe miało pomóc w dokładnym zinwentaryzowaniu pożądanej zawartości serwisów, a zatem jego konstrukcja wymagała możliwie jednoznacznych odpowiedzi na postawione pytania, czyli rozróżnienia dwóch stanów logicznych – obecności bądź braku jakiejś informacji. Sporym problemem było tu diagnozowanie poziomu kompletności informacji. Wprowadziliśmy do oceny także możliwość stwierdzenia faktu, że pewne informacje wprawdzie znajdują się w serwisie, ale nie stanowią kompletu informacji w danym obszarze. Jak się później okazało było to bardzo trafne rozwiązanie, bowiem powszechnym problemem wielu serwisów jest właśnie niekompletność prezentowanych w nich informacji (por. rozdz. 2).

W badaniu jakościowym zróżnicowanie możliwych odpowiedzi było większe. Tu każdemu wariantowi odpowiedzi przypisane zostały zróżnicowane wagi (wartości punktowe), ustalone metodą sędziów kompetentnych , zapożyczonej z metodologii konstruowania testów psychologicznych.

W procedurze badania przyjęto także zasadę, że w ramach oceny jakościowej każdy serwis będzie oceniany aż przez siedem osób. Mając odpowiedzi kilku oceniających uśredniliśmy odpowiedź i to tę średnią użyliśmy do sumowania punktów.

W efekcie tych złożonych koncepcji badawczych powstał duży (kompleksowy) kwestionariusz, złożony z ośmiu obszarów badawczych, wszechstronnie opisujący te aspekty gminnych serwisów internetowych, które uznaliśmy za pożądane, będących jednocześnie cechami tego, uprzednio założonego, idealnego konstruktu czy niesformalizowanego do końca modelu. Przygotowany został także drugi kwestionariusz uproszczony, który zawierał wyłącznie pytania dotyczące oceny jakościowej.

 Dla każdego z serwisów przeprowadzone zostały dwie oceny kompleksowe (pełne) oraz pięć dodatkowych ocen jakościowych. Taka metoda oceny powinna naszym zdaniem zapewnić z jednej strony kompleksowość, a z drugiej obiektywność oceny.