Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», icon

Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень»,




НазваОпрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень»,
Сторінка2/4
Дата14.09.2012
Розмір0.74 Mb.
ТипМетодичні вказівки
1   2   3   4

Структуроване

Неструктуроване

Польове

Лабораторне

^ Участь спостерігача в досліджуваній групі, ситуації


4.За регулярністю та тривалістю виділяють систематичні та несистематичні спостереження.

Систематичні проводять регулярно за заздалегідь розробленим планом протягом визначеного періоду. Вони можуть бути тривалими, безперервними або циклічними, відбуватись у встановлені терміни, наприклад, два рази на тиждень чи один раз в місяць тощо.

Несистематичні (випадкові, короткотермінові) спостереження проводять стосовно соціальної ситуації, дослідження якої не планувалось.

5.^ За метою, характером об’єкта спостереження поділяють на монографічні, пошукові та самоспостереження.

Монографічні спостереження охоплюють велику кількість різноманітних взаємопов’язаних явищ, які стосуються одного соціального об’єкта (наприклад, спостереження націлене на дослідження задоволеності клієнтів магазину обслуговуванням).

Пошукові спостереження використовують з метою пошуку певних фактів, необхідних для вирішення поставлених цілей і завдань дослідження (наприклад, спостереження націлене на дослідження причин конфліктів у робочому колективі)

Самоспостереження здійснює сам об’єкт дослідження, здатний до контролю за своїми емоціями, психомоторними діями, соціальною поведінкою тощо. Це цінний метод, оскільки дає змогу заглянути у приховану сферу досліджуваного соціального процесу (наприклад, самоспостереження за зміною власної працездатності залежно від інтенсивності соціальних контактів в організації).

Обираючи конкретний вид спостереження, враховують як загальні його особливості, так і обмеження.


^ Переваги та обмеження соціологічного спостереження як методу збору інформації:

Переваги

  • здійснення спостереження одночасно з розгортанням і розвитком явищ, що їх досліджують;

  • можливість безпосереднього сприйняття поведінки людей у конкретних умовах і реальному часі;

  • можливість широкого охоплення події і опису взаємодії усіх її учасників (спостереження наводить характеристику об’єкта спостереження, описує місце проведення, типову поведінку членів групи, відхилення у ній, встановлює мету діяльності групи, описує соціально-психологічний клімат в групі, соціальну поведінку, мотиви і стимули діяльності її учасників тощо);

  • можливість встановлення частоти і тривалості елементів досліджуваної ситуації, її повторюваності, унікальності, типовості, і на цій підставі складання висновків щодо випадковості чи закономірності соціальної ситуації, яка підлягає дослідженню;

  • незалежність дій об’єктів спостереження від соціолога-спостерігача.


Обмеження

  • обмеженість і частковий характер кожної ситуації, яку спостерігають. Це означає, що отримані висновки можуть бути узагальнені і поширені на масштабніші ситуації лише з великою обережністю;

  • складність, а інколи й просто неможливість повторення спостережень. Соціальні процеси є незворотними; їх неможливо змусити повторити ще раз для потреб соціолога;

  • вплив на якість отриманої інформації суб’єктивних оцінок спостерігача, його установок, стереотипів тощо.


Загалом соціологічне дослідження, в якому застосовують спостереження, планують і проводять у такій же послідовності, як і інші дослідження, включаючи етапи, процедури щодо програмного забезпечення й розробки інструментарію. Конкретні зміст і спрямованість кожного етапу підготовки та проведення дослідження залежить від особливостей досліджуваної проблеми та самого методу спостереження.


2. Метод соціологічного експерименту.


Соціологічний експеримент – це метод отримання інформації про зміну соціального об’єкта в результаті цілеспрямованого впливу на нього контрольованими чинниками (змінними). Соціологічний експеримент передбачає активне втручання у функціонування об’єкта та пошук причинно-наслідкових відносин між досліджуваними явищами.

В соціологічному дослідженні експеримент спрямований, головним чином, на доведення або спростування гіпотез дослідження. Проведення соціологічного експерименту припускає використання ряду інших методів (спостереження, опитування, аналізу документів), тобто в ході прикладного соціологічного дослідження експеримент може поєднуватися з усіма іншими методами.

^ Застосування методу соціологічного експерименту передбачає дотримання таких вимог:

  1. Чітка орієнтація на гіпотези дослідження про наявність причинно-наслідкового зв'язку між досліджуваними явищами або про характер якого-небудь механізму колективної чи індивідуальної діяльності.

  2. Високий рівень пізнання та повнота опису об'єкту.

  3. Строгий контроль за перебігом експерименту, забезпечення його чистоти.

  4. Відтворюваність, можливість повторення як чинник підвищення надійності результатів експерименту.

  5. Застосування методів, засобів спостереження і вимірювання, адекватних соціальному об'єкту.

Структура соціологічного експерименту може бути представлена наступним чином:

1.Експериментатор. Це зазвичай дослідник або група дослідників, які розробляють та проводять експеримент.

2.^ Експериментальний фактор (або незалежна змінна) – умова чи система умов, які вводяться соціологом. Незалежна змінна буде керованою, якщо її спрямованість та інтенсивність дії перебувають у відповідності з програмними установками. Така змінна буде контрольованою, якщо її якісні та кількісні характеристики розкриваються в межах програми експерименту (у випадку дослідження задоволеності учнів школи процесом навчання незалежною змінною може бути, наприклад, система оцінювання знань. Ця змінна є керованою, оскільки дослідник може змінювати систему оцінювання знань і робити після цього заміри задоволеності учнів процесом навчання)

3.^ Експериментальна ситуація – ситуація, яка створюється у відповідності з програмою дослідження для проведення експерименту. В умови експериментальної ситуації не включається експериментальний фактор (наприклад, сукупність інших факторів, які теоретично впливатимуть на рівень задоволеності учнів процесом навчання: стиль ведення уроку, структура викладу матеріалу, особистий інтерес до предмету і т.п.)

4.^ Експериментальний об’єкт – це група осіб, які беруть участь в експериментальному дослідженні (наприклад, учнівський клас).

Характерною ознакою соціологічного експерименту є виділення у ньому, як-правило, двох видів об'єктів (одиниць): контрольних та експериментальних груп.

Експериментальна група — це група, на яку здійснюють вплив за допомогою експериментального фактора (незалежної змінної). Крім загальної вимоги вибору об'єкту (репрезентативність у класі досліджуваних об'єктів), до експериментальної групи пред'являються вимоги відносної стабільності складу на період експерименту, можливості вести систематичне контрольоване спостереження; у ряді випадків потрібна згода групи на участь в експерименті.

Контрольна групаідентична експериментальній за заданими параметрами, але не зазнає впливу експериментального фактора (незалежної змінної). За наявності контрольної групи підвищується чистота соціологічного експерименту внаслідок того, що дія побічних параметрів однаковою мірою вірогідна як в експериментальній, так і в контрольній групі.

Структура експерименту безпосередньо пов’язана з етапами його організації та проведення.

Перший етап має теоретичний характер. Під час нього соціолог формулює проблему дослідження, визначає об’єкт та предмет, експериментальні завдання та гіпотези дослідження.

На другому етапі здійснюється розробка програми проведення експерименту. Програма експерименту – це документ, в якому розроблені всі його процедури та елементи.

Третій етап являє собою реалізацію програми експерименту. Під час нього відбувається безпосереднє проведення запланованого експерименту, його етапів та усіх процедур, тобто реалізується експериментальна ситуація.

На четвертому етапі відбувається аналіз та оцінювання отриманих в ході експерименту результатів. В процесі такого аналізу з’ясовується, чи досягнута поставлена мета та чи підтвердилась дослідницька гіпотеза. Окрім основних результатів можна отримати і супутні результати, котрі можуть бути використані в подальших наукових дослідженнях.

В методології соціологічних досліджень виділяють різні види соціологічних експериментів в залежності від критеріїв класифікації.

Основи класифікації

Вид експерименту

Область розташування експериментального об’єкта

Виробничий

Економічний

Власне соціальний

Політичний

Управлінський

Педагогічний

Специфіка дослідницького завдання

Науковий

Практичний

Ступінь представленості соціальної натури

Натурний

Модельний

Уявний

Характер експериментальної ситуації

Польовий

Лабораторний

Структура експериментальної діяльності

Проективний (активний і пасивний)

Експеримент «екс-пост-факто»

Характер логічної структури доведення гіпотез

Паралельний

Послідовний

Тип суб’єкта

Самоексперимент

Експеримент, де суб’єктом виступає орган управління

Експеримент зі спеціально створеним суб’єктом


3. Метод аналізу документів.


Документи відображають духовне і матеріальне життя суспільства, передають не тільки ситуативну, фактологічну сторону соціальної дійсності, але й фіксують розвиток чітких засобів існування суспільства, і перш за все структуру мови. В них міститься інформація про результати діяльності окремих індивідів, колективів, великих груп населення і суспільства в цілому. У зв’язку з цим, документальна інформація становить великий інтерес для соціологів.

Соціологи в процесі дослідження вивчають велику кількість різного роду документів, які класифікуються за різними ознаками.


^ Класифікація видів документів

Основа класифікації документів

Види документів

^ Складаються з матеріалів

Засіб фіксації

Письмові

Друкована та рукописна продукція


Іконографічні

Фото-, відео -, кіно документи, картини


Фонетичні

Магнітофонні записи


Комп’ютерні

Диски для ЕОМ, лазерні диски

Авторство

Офіційні

Закони, укази.


Неофіційні

Листи, щоденники.

^ Ступінь персоніфікації

Особові

Автобіографії, характеристики, анкети.


Безособові

Звіти, архіви, справи.

^ Функціональні особливості

Інформативні

Документообіг, статистичні звіти, протоколи, збірники ЦСУ.


Регулятивні

Накази, постанови, телефонограми.

Зміст

Історичні

Описи подій.


Правові

Оцінка подій.


Економічні

Фіксація станів.

^ Ступінь наближеності до інформації

Первинні

Стенограми, протоколи.


Вторинні

Довідки, узагальнення, відгуки.


^ Застосування методу аналізу документів передбачає дотримання таких вимог:

  • визначення виду, форми документа, який підлягає аналізу під час дослідження;

  • з'ясування загальної ситуації на момент створення документа, обставин його виникнення, історичного та соціального контексту;

  • відмежування описів, певних подій від їх оцінок;

  • встановлення надійності документа, його зв'язку з предметом дослідження;

  • добір найбільш адекватного методу отримання первинних даних та їх аналізу;

  • визнання того, що офіційні документи надійніші за неофіційні, особисті — за безособові, первинні — за вторинні.


Методи аналізу документальних джерел поділяють на неформалізовані (традиційні), які належать до якісних методів, та формалізовані, які належать до якісно-кількісних методів аналізу документів. Вони принципово відрізняються один від одного, але в процесі дослідження доповнюють один одного.

Неформалізований (традиційний) метод аналізу документів передбачає тлумачення документів (найчастіше унікальних, кількість яких незначна), з'ясування основних думок та ідей конкретного тексту через усвідомлення, інтерпретацію, узагальнення змісту та логічне обґрунтування певних висновків.

Він передбачає зовнішній і внутрішній аналіз документа.

^ Зовнішній аналіз — це відновлення обставин створення документа в історичному і соціальному планах.

Внутрішній аналіз — безпосередній аналіз змісту документа, спрямований на виявлення розбіжностей між фактичним і літературним змістом, встановлення рівня компетентності автора, систематизацію відомостей, які містяться у документах.

Під час неформалізованого методу аналізу документів дослідник повинен з'ясувати такі питання:

  1. Що являє собою документ, який його історичний, соціально-політичний контекст?

  2. Які чинники сприяли його появі?

  3. Хто його автор, і з якою метою він створив документ? ( за текстом завжди стоять конкретні люди зі своїми інтересами, потребами, що знаходить відображення у змісті документа)

  4. Наскільки надійний документ?

  5. Яка достовірність зафіксованих у ньому даних, правдивість висвітлення фактів, змісту події, явища, процесу тощо?

  6. Яка суспільна дія, громадський резонанс документа?

  7. Яку оцінку можна дати логічним, мовним і стильовим особливостям документа?

Методи неформалізованого аналізу значною мірою засновані на інтуїції дослідника і містять потенційну можливість суб'єктивних зміщень у сприйнятті та інтерпретації змісту документів. Такі зміщення можуть спричинити, наприклад, психологічні особливості дослідника (стійкість уваги, пам'яті, стомлюваність), неусвідомлені захисні психічні реакції на зміст документів (виділення «приємних» і пропуск «неприємних» аспектів) тощо. Ймовірність і небезпека таких зміщень зростає із збільшенням кількості проаналізованих документів і обсягу їх змісту.

Цей метод аналізу документів має й певні недоліки, які передусім пов'язані з потенційною можливістю появи суб'єктивних зміщень у сприйнятті та інтерпретації тексту, що виникають через різноманітні причини — психологічні особливості дослідника, його вікові, статеві та національні ознаки, стан його фізичного та психічного здоров'я тощо. Суттєвими є й кількісні обмеження цього методу, оскільки його застосування можливе лише за аналізу незначного числа документів.

Тому в соціології поряд з неформалізованим (традиційним) методом аналізу документів широко використовують формалізований метод.

Формалізований метод аналізу документів, або контент-аналіз.

Формалізований метод покликаний подолати суб’єктивність традиційного методу. Його сутність полягає в знаходженні таких властивостей, ознак, характеристик документа, які відображають суттєві сторони його змісту. Завдяки цьому, по-перше, вдається уникнути суб'єктивізму у вивченні соціальної реальності, а по-друге, аналізувати, систематизувати і узагальнювати значні масиви документів.

Він розрахований на вивчення соціологічної інформації у великих масивах документальних джерел, які неможливі при традиційному аналізі.

Контент-аналіз — це якісно-кількісний метод вивчення документів, який характеризується об'єктивністю висновків і строгістю процедури та полягає у квантифікаційній обробці тексту з подальшою інтерпретацією результатів.

Потенційними об'єктами контент-аналізу можуть бути різноманітні документальні джерела, які містять текст: книги, періодичні видання, промови, урядові постанови, матеріали нарад, програми, листи тощо.

Його використання є доцільним, якщо потрібен високий ступінь точності, об'єктивності аналізу матеріалу або якщо цей матеріал значний за обсягом і не систематизований.

В практиці використання контент-аналізу сформувались загальні принципи його застосування:

  1. Застосування контент-аналізу доцільне у всіх випадках, коли потрібна висока ступінь точності та об’єктивності інформації.

  2. Методика контент-аналізу передбачає насамперед визначення категорій аналізу, які повинні бути адекватно відображеними у змісті.

  3. Застосування контент-аналізу потребує поряд з традиційними процедурами для всіх методів дослідження використання спеціальних прийомів, техніки.

Контент-аналіз — точне дослідження змісту текстових масивів з метою виявлення чи виміру соціальних тенденцій, репрезентованих цими масивами.

Застосування методу контент-аналізу на практиці, як уже зазначалось, вимагає спеціальних процедур і техніки. Як і при застосуванні будь-якого іншого методу збору соціологічної інформації, визначають проблеми, мету завдання, об'єкт, предмет дослідження, формулюють гіпотези, виробляють програму. Важливим є формування репрезентативної вибірки, відбір необхідних документів.

Обсяг вибірки залежить від мети дослідження і характеру одержаної інформації. Він повинен бути обґрунтованим у програмі дослідження. Необхідно також брати до уваги надійність і достовірність інформації, що міститься у документах.

У дослідженнях масових комунікацій для формалізованого аналізу тексту виділяють смислові одиниці:

  1. поняття у різних його виявах (слово, термін, сполучення слів);

  2. тема, висловлена у смислових образах, статтях, частинах тексту;

  3. імена людей, географічні назви, суспільні події, факти тощо.

Обравши одиницю спостереження, необхідно визначити і одиницю підрахунку. Практика конкретних соціологічних досліджень дає змогу визначити деякі загальні одиниці підрахунку, які застосовують при проведенні досліджень:

1. ^ Система підрахунку «час — простір». У такому разі за одиницю підрахунку беруть кількість зображень (знаків, квадратних сантиметрів площі). Для аналізу інформації, одержаної по радіо, телебаченню, за одиницю підрахунку беруть час, протягом якого висвітлювали подію.


2. ^ Наявність ознак у тексті. За такої системи підрахунку визначають наявність ознак (видів) певної характеристики змісту у кожній частині, на які розбитий текст (наприклад, ознаки оптимістичних поглядів на життя при аналізі особистих документів (листів, щоденників і т.п.))


3. ^ Частота появи одиниць аналізу (кількість згадувань)

Цей підхід використовують найчастіше. Одиницями аналізу можуть бути:

  1. Окремі слова, словосполучення, терміни. Наприклад, економічні поняття: ринок, зайнятість, приватизація, управління тощо; політичні: демократія, референдум, вибори, влада тощо;

  2. ^ Теми, повідомлення, висловлені у смислових образах, статтях, частинах тексту, які забезпечують повнішу характеристику змісту документа, ніж попередні одиниці аналізу. Так, теми, в яких розглядаються міжнародне становище України, перехід до ринкових відносин, боротьба зі злочинністю, спосіб життя та здоров'я нації тощо.

  3. ^ Прізвища історичних діячів, політиків, видатних учених і діячів мистецтва, представників різноманітних соціальних спільнот, що є певним узагальненим типом діяча, якому притаманні певні соціальні риси. Їх аналіз дає досліднику важливу інформацію про досліджувану історичну епоху, домінування конкретних політичних, соціально-економічних ідей, впливу певних діячів на формування громадської думки тощо. До цієї групи можна також віднести згадування організацій, закладів, інших соціальних інститутів.

  4. ^ Судження, закінчена думка, логічний ланцюг. Це найбільш складні одиниці аналізу, оскільки мають великий ступінь конструктивності. Їх структура є більш диференційованою, ніж в інших одиницях аналізу, і містить кілька елементів.

Проведення контент-аналізу потребує попередньої підготовки дослідницьких документів. Обов'язковими серед них є:

    • класифікатор контент-аналізу,

    • кодувальна картка,

    • бланк контент-аналізу

    • інструкція кодувальнику, каталог (список) проаналізованих документів.

Класифікатор контент-аналізу — загальна таблиця, яка містить список категорій і підкатегорій, присвоєні їм коди та одиниці аналізу.

^ Кодувальна картка — документ, який містить спеціальні таблиці для реєстрації одиниць аналізу.

Бланк контент-аналізу — методичний документ, в якому зафіксовані результати збору документальної інформації у змістовій або закодованій формі.

Інструкція кодувальнику — документ, який містить загальну характеристику документів, використаних як джерело інформації, принципи їх відбору для аналізу, опис одиниць аналізу і підрахунку.

Позитивна якість формалізованого методу полягає у тому, що він дає змогу уникнути впливу суб'єктивних зміщень дослідника у сприйнятті та інтерпретації змісту документів. Цей метод забезпечує досить високий ступінь надійності одержуваної інформації. З його допомогою можна досліджувати не тільки проблеми сьогодення, а й минулого, а також їх генезис. Один з основних його недоліків — складність та громіздкість процедур і техніки проведення дослідження, хоча здійснення контент-аналізу з допомогою ЕОМ певною мірою компенсовує його.


4. Метод соціологічного опитування.


Опитування – метод збору соціальної вербальної (переданої у словесній формі) інформації про досліджуваний об’єкт під час безпосереднього чи опосередкованого спілкування дослідника з респондентом (особою, яку опитують) шляхом реєстрації його відповідей на сформульовані запитання.

За допомогою опитування можна одержати інформацію, яка не завжди відображена в документальних джерелах чи доступна прямому спостереженню.

^ Особливості застосування соціологічного опитування:

До опитування вдаються, коли необхідним, а часто і єдиним джерелом інформації є людина – безпосередній учасник, представник, носій досліджуваних явищ чи процесу. Вербальна інформація, одержана завдяки цьому методу, значно багатша, ніж невербальна, вона легше піддається кількісному опрацюванню та аналізу, що дає змогу широко використовувати обчислювальну техніку.

Часто опитування застосовується в комплексі з іншими методами збору інформації, такими як аналіз документів, спостереження або у дослідженні використовують різні види опитувань, наприклад анкетування і вільне інтерв’ю, завдяки чому зростає вірогідність отриманої інформації.

^ Види опитувань. Опитування класифікують за різними критеріями.

За характером взаємозв’язків соціолога і респондента їх поділяють на заочні (анкетні) та очні (інтерв’ю), кожен з яких має свої різновиди.

Ці два види опитування за ступенем формалізацію можуть бути стандартизовані (мають чітку процедуру проведення, націлені на одержання статистичної інформації) і нестандартизовані (вільні) не мають чіткої процедури проведення) та напівстандартизовані, які поєднують в собі особливості двох попередніх видів;

за частотою проведенняодноразові (проводяться лише один раз) і багаторазові (одне і те ж опитування проводиться два і більше разів);

за охопленням об’єктасуцільні (не передбачають жорстких вимог щодо якісного складу вибірки респондентів) й вибіркові (стосуються лише певної специфічної групи як носія досліджуваної проблеми).

Зупинимось на докладнішому аналізі анкетування та інтерв’ю як методів збору соціологічної інформації.

Анкетування опосередкований (заочний) вид опитування, який передбачає збір первинної вербальної інформації за допомогою анкети (питальника), яку респондент заповнює самостійно.

Анкета – тиражований документ, який містить певну сукупність запитань, сформульованих і пов’язаних між собою за встановленими правилами. У сучасних соціологічних дослідженнях використовують кілька видів анкетування залежно від способу розповсюдження анкет:

  • роздаткове (респондент отримує анкету безпосередньо з рук дослідника),

  • поштове (розсилання анкет та отримання на них відповідей поштою),

  • надруковане у пресі (анкету пропонують заповнити читачеві газети чи журналу і надіслати в редакцію),

  • інтернет-анкетування або телетайпне (за цим способом розповсюдження і збір анкети здійснюється через електронний зв’язок – Інтернет, ТБ) тощо.


Інтерв’юбезпосередній (очний) вид опитування, який передбачає збір первинної вербальної інформації під час безпосереднього цілеспрямованого спілкування інтерв’юера (дослідника) з респондентом, в процесі якого дослідник сам ставить запитання, передбачені дослідженням, організовує і спрямовує бесіду з кожною окремою людиною, фіксує одержані відповіді згідно з інструкцією.

^ За типом респондентів виділяють:

Інтерв’ю з рядовим респондентом (звичайне face-to-face інтерв’ю) – передбачає отримання інформації від випадкових респондентів, які не обов’язково повинні бути спеціалістами із заданої теми;

Інтерв’ю з відповідальною особою (спеціалізоване опитування) – передбачає отримання інформації від особи, яка має відношення до проблеми, що досліджується. Переважно використовуються в промислових дослідженнях, коли респондентами виступають менеджери організацій, керівники, тощо.

Інтерв’ю з експертами (експертне опитування, метод експертних оцінок) – передбачає отримання інформації від компетентних осіб-експертів, які мають глибокі знання про предмет чи об’єкт дослідження.


Особливим видом опитування є соціометричний метод, який використовують для вивчення міжособистісних відносин в малій групі, її складу шляхом фіксації взаємних почуттів симпатії і неприязні серед членів групи. Це специфічний вид опитування, оскільки передбачає особливу анкету-питальник, особливу процедуру проведення, обробки та аналізу отриманої інформації. Цінним цей метод є тому, що дозволяє вивчити неофіційні, неформальні стосунки в малій групі, неформальне лідерство, що досить важко дослідити за допомогою інших методів.


^ Переваги та обмеження соціологічного опитування як методу збору інформації:

Переваги:

  1. Опитування можна виконувати на великих масивах, а отже, вивчати поведінку великих соціальних суб'єктів;

  2. Цей метод дає змогу зробити порівняльний аналіз відповідей респондентів;

  3. При повторних дослідженнях можна встановити динаміку змін об'єкта дослідження;

  4. Дослідник сам формує банк інформації, свідомо ставить лише ті питання, які стосуються проблеми дослідження;

  5. Опитування забезпечує оперативність збору інформації.


Обмеження:

  1. Суцільні опитування є занадто громіздкими, а результати вибіркових завжди містять певну похибку і тому не можуть повною мірою відображати реальний стан досліджуваного об'єкта;

  2. Матеріал може бути поверховим, не відображати глибинних процесів життєдіяльності об'єкта, що вивчається, особливо коли опитування виконується "по гарячих слідах";

  3. "Закриті" запитання звужують обсяг одержаної інформації;

  4. "Відкриті" запитання часто залишаються респондентами без відповіді;

  5. Опитування потребує значних матеріальних затрат.


Важливим компонентом застосування методу опитування є конструювання запитальника. Кожне емпіричне дослідження потребує створення особливого запитальника, але всі вони мають спільну структуру. Будь-який запитальник складається з трьох основних частин:

  • вступної: вказується, хто виконує дослідження, його мета і завдання (коротко), спосіб заповнення запитальника, підкреслюється анонімний характер його заповнення1, а також висловлюється подяка респондентові за участь в опитуванні;

  • змістовної (основна частина) – містить основний блок запитань, що стосуються теми, мети та завдань дослідження;

  • завершальної (паспортичка, соціально-демографічний портрет респондента): - містить відомості про респондентів (вік, стать, освіта, соціальне становище тощо2)


^ Питання запитальника розрізняють:

1. За конструкцією та способом відповідей: дихотомічні, закриті, напівзакриті, відкриті.

Закриті питання - питання, на які наведено повний (в міру можливого) набір варіантів відповідей (див. питання 5 додатка А). Такі питання досить легко опрацювати, що часто призводить до їх використання навіть без достатніх на це підстав. Головна ж підстава вибору міри стандартизації відповідей на питання - впевненість дослідника в тому, що пропонований ним набір відповідей максимально повно відповідає потенційній різнорідності думок респондентів. Основні вимоги до закритих запитань:

1. Максимально передбачити можливі варіанти відповідей (для цього найчастіше використовують т. зв. напівзакритий варіант, в якому залишається місце для додаткових коментарів та зауважень (наприклад, в кінці списку відповідей значиться: «Додаткові зауваження (вкажіть, які саме,)»..., тобто поєднуються ознаки закритості і відкритості (див. питання 2 додатка А).

2. Формулюючи питання відповідей (підказки), слід пам'ятати три важливі правила:

а) респондент частіше вибирає перші підказки, рідше - останні; звідси - правило № 1: першими повинні бути найменш вірогідні варіанти відповідей;

б) чим довша підказка, тим менша вірогідність її вибору, оскільки для засвоєння її змісту потрібно більше часу, а респондент не хоче його витрачати; звідси правило № 2 – підказки повинні бути приблизно однакового розміру;

в.) чим абстрактніший характер має підказка, тим менша вірогідність її вибору; звідси правило № 3 - всі варіанти відповідей слід витримати на одному рівні конкретності.

  1. Не можна комбінувати декілька ідей в одній фразі (наприклад, «робота цікава і добре оплачується», «робота нецікава, але добре оплачується»); слід перерахувати обидві ознаки і визначити їх значимість за шкалою інтенсивності.

  2. Всі можливі варіанти відповідей до одного запитання повинні бути видрукувані на одній сторінці, щоб респондент міг візуально охопити рамки співвідношення оцінок.

  3. Не можна друкувати серію позитивних підказок підряд, а слідом - серію негативних або ж навпаки. В цих випадках думка нав'язується самою послідовністю пропонованих варіантів.

6.Список пропонованих відповідей не повинен бути занадто обширним, щоб респондент не втомився у міру просування до його кінця і не почав давати відповіді «за інерцією».

7. Важливу роль виконує варіант відповіді, який дає змогу респондентові ухилитись від відповіді. Формула такого ухилення (наприклад, «важко сказати», «не пам'ятаю», «не знаю») підкреслює свободу респондента, що спонукає його добросовісно ставитись до опитування.

Відкриті питання - питання, в яких дослідник ставить перед респондентам, запитання і залишає місце для того, щоб він власноруч записав відповідь (наприклад: «Які, на Вашу думку, основні причини того, що випускники прагнуть знайти місце роботи саме у Львові ? ____________________________________________________________________(місце для відповіді)»). Не маючи підказки, респонденти дають відповідь, яка носить природний характер і дає максимум інформації, хоча зумовлює певні труднощі при їх обробці (див. питання 3 в додатку А).

^ 2. За обмеженням кількості вибору альтернатив: альтернативні та неальтернативні.

Альтернативні респондент може обрати лише одну, найзначущішу альтернативу.

Неальтернативні респондент може обрати декілька альтернатив із запропонованого списку.

^ 3. За предметним змістом: про факти, про знання, про думки з приводу чогось, про мотиви.

Питання про факти, скеровані на пригадування респондентом факту, події. Якщо факт або подію треба оцінити (оцінчне запитання) потрібно здійснити перевірку компетентності опитуваного, яка зводиться до з'ясування того, чи відомі йому оцінювані події.

^ Питання про думки з приводу (опінії), скеровані на фіксацію фактів, побажань, очікувань, планів на майбутнє. Відповіддю в цьому випадку найчастіше є оціночні судження.

Питання про мотиви, метою яких є виявити суб'єктивні уявлення людини про мотиви своєї діяльності (див. питання 2 додатка А).

^ 4. За логічною природою: основні, фільтри, контрольні, контактні.

Основні питання, на основі відповідей на які будуються висновки про досліджуване явище, становлять більшу частину анкети.

Питання-фільтри. Соціолог адресує свої питання групам людей, які можуть різнитися між собою за рівнем інформованості щодо досліджуваної проблеми. Тому в процесі опитування виникає необхідність звернутися з питанням не до всієї групи людей, а тільки до окремої її частини (див. питання 1 додатка А).

Питання-фільтри виконують функцію уточнення адресата, від якого очікується відповідь, їх відсутність призводить до «засмічення» маси відповідей, викликаного тим, що до групи опитування включаються респонденти, які не володіють необхідною інформацією. Такі свідчення можуть слугувати джерелами систематичних помилок і в будь-якому випадку звужують можливості інтерпретації отриманих відповідей.

^ Контрольні питання – схожі за змістом, але різні за формою. Розміщуються в різних частинах запитальника, з метою перевірки щирості відповідей респондента.

В анкетних дослідженнях, як правило, комбінують всі види питань, чим підвищують об'єктивність і повноту інформації.

Послідовність питань в запитальнику найчастіше формується методом «лійки»-, тобто питання компонуються від найпростіших до найскладніших, а до кінця анкети знову до простіших. Кожне запитання повинно бути сформульоване нейтрально з боку дослідника (тобто запитання не повинно містити підказки, наприклад: «Як Ви ставитесь до таких негативних явищ нашого життя, як безробіття?»).

Всі питання анкети повинні бути пронумеровані по порядку, варіанти відповідей також нумеруються по порядку. Бажано використовувати різний шрифт для друкування запитань і відповідей. Анкета повинна бути виконана чітким шрифтом, передбачати достатньо місця для записів відповідей на відкриті питання і чіткі стрілки-вказівники переходів від одних питань до інших при фільтрації респондентів.


5. Вибірковий метод у соціологічному дослідженні.

Об'єктом соціологічних досліджень звичайно є великі сукупності людей, які за своїми соціально-демографічними характеристиками є носіями певної проблеми і утворюють генеральну сукупність. Якщо вивчаються всі індивіди генеральної сукупності, то говорять про суцільне дослідження (наприклад, перепис населення). Однак такі дослідження виконуються рідко, частіше досліджується лише частина генеральної сукупності, яка називається вибірковою. Це пов'язано передусім з економічними і часовими обмеженнями на суцільне дослідження.

Для того щоб суцільне дослідження можна було замінити вибірковим, потрібно, щоби властивості генеральної сукупності були адекватно представлені у вибірковій. У статистиці здатність вибіркової сукупності (вибірки) відображати характеристики генеральної називають репрезентативністю вибірки. Різниця характеристик вибіркової та генеральної сукупності називають помилкою репрезентативності. Можна виділити два види таких помилок:

■ випадкові - ті, які при повторних вимірюваннях змінюються за законами ймовірності.

Приклад. Якщо ми визначаємо певну характеристику вибірки, наприклад, середнє арифметичне, то отримуючи нові випадкові вибірки того самого розміру, будемо одержувати відхилення цієї характеристики то в один, то в інший бік від істинного значення (тобто від значення в генеральній сукупності) приблизно з однаковою частотою. При збільшенні кількості вибірок середня похибка наближається до нуля. Але це лише за умови, що вибірки дійсно є випадковими, тобто всі елементи досліджуваної сукупності мають однакову імовірність потрапити у вибірку;

систематичні, які являють собою деяке постійне зміщення, яке не зменшується зі збільшенням кількості опитаних і викликане вадами та прорахунками в системі відбору респондентів.

Приклад. Для вивчення моделей працевлаштування випускників було відібрано випадковим методом жителів 40 кімнат в гуртожитку, в яких проживають випускники, а потім опитано всіх, хто виявився на місці в момент опитування (від 18 до 19 години). Одержані таким способом дані не будуть репрезентативними, бо не враховано таких моментів:

а) можна допустити, що мобільніші студенти, тобто ті, які проводять значну частину часу в пошуках роботи, працюють або навчаються, проводять менше часу в гуртожитку, а отже, з меншою вірогідністю стануть респондентами;

б) з вибірки повністю "випали" ті студенти, які не проживають в гуртожитку.

Випадкова помилка буде присутньою завжди при будь-якому вибірковому опитуванні, а систематичну помилку можна усунути, змінюючи процедуру формування вибірки. Випадкова помилка підкоряється певним закономірностям і придатна для оцінювання. Систематична ж помилка значно небезпечніша.


Технологічна схема переходу від визначення об’єкта дослідження до визначення вибіркової сукупності має наступний алгоритм:


  1. Об’єкт дослідження





  1. Генеральна сукупність





  1. Основа вибірки





  1. Одиниці відбору





  1. Одиниця спостереження


Об’єкт дослідження – сукупність людей, що володіють характеристиками, чи якостями, є носіями інформації, що цікавлять дослідника.

^ Генеральна сукупність - та частина об’єкта дослідження, на яку соціолог з певною мірою точності зможе переносити висновки, отримані в результаті дослідження деякої її частини.

^ Основа вибірки – перелік всіх елементів генеральної сукупності, з якого буде здійснюватись відбір одиниць спостереження.

Є два типи основи вибірки:

  • Список одиниць відбору з вказанням адрес та основних характеристик.

  • Повний перелік всіх характеристик, на основі яких можна визначати, підходить той чи інший об’єкт під визначення генеральної сукупності.

^ Одиниці відбору – елементи генеральної сукупності які відбираються для пошуку одиниць спостереження (регіони, міста, райони, вулиці, будинки).

Одиниці спостереження – конкретна людина, яка буде відповідати на запитання анкети.


Загалом в соціології виділяють два основні класи методів формування вибіркової сукупності: детерміновані та недетерміновані. Перші – націлені на відтворення заданих характеристик генеральної сукупності, відповідно, на забезпечення репрезентативності вибіркової сукупності. Другі, забезпечують дотримання законів ймовірності, відповідно, забезпечують статистичну обґрунтованість вибіркової сукупності.


Детерміновані методи вибірки

Ймовірнісні методи вибірки

  • Нерепрезентативна вибірка

  • Поверхнева вибірка

  • Квотна вибірка

  • Вибірка по принципу «Сніжного кому»

  • Проста випадкова вибірка

  • Систематична вибірка

  • Стратифікаційна вибірка

  • Кластерна вибірка


При нерепрезентативній (стихійній) вибірці дослідник намагається сформувати вибірку із зручних, доступних для відбору елементів.

^ Поверхнева вибірка (використовується принцип типовості) – це різновид не репрезентативної, у відповідності до якої елементи сукупності відбираються на основі розмірковувань дослідника. Вона є суб’єктивною та залежить від компетентності та винахідливості дослідника.

^ Квотна вибірка (пропорційна) – детермінований метод вибірки, який представляє собою двоетапну обмежену поверхневу вибірку. Перший етап включає створення контрольних груп, або квот з елементів сукупності. На другому етапі вибір елементів заснований на зручності відбору чи судженнях дослідника. При квотній вибірці переносяться процентні співвідношення, по найбільш важливих для дослідження характеристиках генеральної сукупності, на вибіркову.

^ Вибірка за принципом «снігової кулі» - метод згідно якого випадковим чином підбирається початкова група респондентів. Подальший відбір здійснюється з числа кандидатів, що вказані першими респондентами, або на основі наданої ними інформації. Даний процес проходить хвилеподібно, коли респонденти, що пройшли опитування називають наступних кандидатів.

При простій випадковій вибірці кожен елемент сукупності має відому рівну ймовірність відбору. Крім цього, кожна можлива вибірка певного об’єму (n) має рівну ймовірність того, що вона стане вибірковою сукупністю. Кожен елемент вибирається незалежно від кожного іншого елементу, і вибірка формується випадковим відбором елементів з основи вибірки. Для їх відбору всі елементи основи вибірки нумеруються, а потім відбираються за допомогою таблиць випадкових чисел (або спеціальної програми).

^ Систематична (механічна) вибірка – імовірнісний метод вибірки, для якого спочатку задають довільну відправну точку, а потім з основи вибірки відбирають кожен і-й елемент. Проте тут зберігається рівна ймовірність кожного елемента сукупності потрапити у вибірку. Відрізняється від простої випадкової тим, що лише допустимі вибірки об’єму n, які можна отримати з генеральної сукупності, мають рівну ймовірність стати вибірковою (це пов’язано з кроком відбору), а інші вибірки мають нульову ймовірність вибору.

^ Стратифікаційна (районована) вибірка – двох етапний метод формування вибірки, згідно якого генеральна сукупність спочатку ділиться на підгрупи або страти, а потім елементи вибірки вибираються з кожної страти випадковим чином. Змінні, що використовуються для поділу генеральної сукупності називаються стратифікаційними змінними. Елементи, що відносяться до однієї страти повинні бути якомога однорідніші, а ті що відносяться до різних страт – якомога різнорідніші.

При кластерній (гніздовій) вибірці генеральна сукупність розбивається на однорідні (однотипні) групи (кластери, гнізда), які складаються з різнорідних одиниць спостереження. Далі будується випадкова вибірка кластерів. Якщо ми будемо досліджувати кожен відібраний кластер повністю, то отримаємо однощаблеву кластерну вибірку, якщо будемо проводити ще випадковий відбір елементів кластера, то - двохщаблеву кластерну вибірку.

Важливим є питання якого обсягу має бути вибіркова сукупність. Загалом, обсяг вибіркової сукупності залежить від наступних факторів: обсяг генеральної сукупності, рівень однорідності генеральної сукупності за певною ознакою (найчастіше це важливі характеристики респондентів, такі як стать, вік, освіта, дохід, тощо), величина заданої похибки вибірки, рівень довірчої ймовірності. Загалом, чим більша генеральна сукупність, тим більшою буде і вибіркова. Проте, зі збільшеням генеральної сукупності частка вибіркової по відношенню до неї постійно зменшується. Чим однорідніша генеральна сукупність, за певною ознакою, тим тим меншим буде обсяг вибіркової. Чим нижчий поріг похибки задається (прийняті в соціології межі 1-5%), тим більшою буде вибіркова сукупність. Рівень довірчої ймовірності, пов’язаний з тим, що з кожної генеральної сукупності можна побудувати певну скінчену кількість можливих вибіркових сукупностей, які мають різний рівень точності даних (визначається як відхилення середнього вибіркового за певною ознакою від середнього генерального за тією ж ознакою). Але ми отримуємо якусь одну вибірку із всієї множини теоретично можливих вибірок. Рівень довірчої ймовірності показує з якою ймовірністю наша вибірка потрапляє у певний інтервал точності даних. В соціології найчастіше використовують 95% довірчий інтервал.

Для різних методів формування вибіркової сукупності існують свої формули для розрахунку її обсягу, які враховують всі вищезгадані показники. Для опитувань громадської думки зручно користуватись спрощеною формулою розрахунку простої імовірнісної вибірки:


n= 1/(Δ2+ 1/N)


де, n – обсяг вибіркової сукупності, Δ – частка заданої похибки вибірки, N – обсяг генеральної сукупності.

Наприклад. Потрібно розрахувати обсяг простої імовірнісної вибірки, коли обсяг генеральної становить 100000 осіб, задана похибка вибірки 5%.

Відповідно, N = 100000, Δ = 0,05;


n = 1/ (0,052 + 1 / 100000) = 398

Зазначимо, що формула спрощена за рахунок того, що в ній уже враховано максимальний рівень різнорідності генеральної сукупності за дихотомічною ознакою (наприклад, що за статтю генеральна містить 50% чоловіків та 50% жінок), та 95% довірчий інтервал. За цією формулою можна досліджувати, як об'єм вибірки залежить від об'єму генеральної сукупності при сталій величині заданої помилки:


Об'єм генеральної сукупності

500

1000

2000

3000

4000

5000

10000

100000

оо

Об'єм вибірки

222

286

333

350

360

370

385

398

400

Δ = 0,05; P =0,954

Як бачимо, починаючи від певного моменту збільшення об'єму генеральної сукупності істотно не впливає на збільшення об'єму вибірки, тому при великих генеральних сукупностях (скажімо, при N> 5000) величиною 1/N у формулі можна знехтувати. Тоді ця формула набирає вигляд: n = 1 / Δ 2. Цією формулою можна користуватись при прийнятті рішення відносно об'єму вибірки у разі, якщо генеральна сукупність більша від 5000 одиниць, тобто можна вважати, що вона нескінченна. Об'єм вибірки отримаємо з певним запасом):


Помилка вибірки %

20

15

10

9

8

7

6

5

4

3

2

1

0,5

Об'єм вибірки

25

45

100

123

156

204

278

400

625

1111

2500

104

4x104

P =0,954, N> 5000

Під час планування вибірки слід мати на увазі, що формула n = 1 / Δ 2 і ця таблиця дає змогу отримати обсяг вибірки для заданої точності при аналізі вибірки загалом, тобто якщо ми не будемо розчленовувати її на частини.

Приклад. Якщо вимагається визначити частку осіб, що здійснюють пошук роботи через кадрові агенства, то опитавши 625 випадково відібраних людей, ми визначимо частку, яку шукаємо, з помилкою, котра не перевищує 4 % (із ймовірністю 0,954). Але якщо вимагається визначити цю частку з такою самою точністю (4% задана середня похибка) не для всього масиву загалом, а для жінок і для чоловіків, то необхідно, щоб у вибірці було 625 чоловіків і 625 жінок, тобто 1250 осіб. Тобто чим більше дробиться масив (виділяються підвибірки) під час аналізу інформації, тим більший вимагається об'єм вибірки.


^ ДОДАТОК А

ПРОГРАМА ЕМПІРИЧНОГО СОЦІОЛОГІЧНОГО ДОСЛІДЖЕННЯ

(анкетне опитування)

Загальна характеристика проблеми.

У наші дні, коли країна лише починає виходити з кризового стану, коли залишається складною ситуація в соціальній, економічній, культурно-освітній та інших сферах життя, багато наших співвітчизників, насамперед - молодих, звертають свої погляди на певні професії, передусім – економіста, менеджера, маркетолога, внаслідок чого зростають конкурси до вищих навчальних закладів на вказані спеціальності. Це зумовлено іміджем в суспільстві зазначених економічних професій як таких, що є інтелектуальними, і які, автоматично забезпечуючи високий рівень матеріального доходу їх представникам, надають їм високий соціальний статус.

Однак очевидно, що не кожен із тих, хто отримає відповідну спеціальність, зможе реалізувати себе як професіонал повною мірою. Це може статись з ряду причин: відсутності вміння відповідно «подати себе», небажання роботодавців приймати на роботу молодих спеціалістів; нарешті, непоодинокими є випадки, коли на престижну роботу влаштовуються «по знайомству». Внаслідок цього талановиті молоді спеціалісти часто не отримують тієї посади, на яку заслуговують, а відтак - втрачають можливість самореалізуватися у вибраній професійній сфері; натомість на вершині соціальної піраміди опиняються далеко не найкращі. Зрозуміло, що за таких умов страждають не лише ті, у кого не склалась професійна кар'єра, а й не меншою мірою страждає держава.

Існує ще один бік цієї справи. Так, якщо кількість випускників економічних спеціальностей буде збільшуватись, то незабаром ринок праці буде значно перенасичений спеціалістами певного профілю: їх виявиться така кількість, яка перевищить попит на них, що створить додаткове напруження на ринку праці. У виграшному становищі виявляться ті, хто матиме певні переваги: досвід роботи, досконале знання комп'ютера та іноземних мов, поглиблені знання у певній галузі, яка потребуватиме спеціалістів, наявність другої спеціальності тощо. В результаті вже в зовсім недалекому майбутньому може виникнути другий «професійний бум», коли почнеться масова перекваліфікація спеціалістів з вищою освітою, але тепер вже на інші спеціальності, наприклад, прикладного характеру.

Отже, маємо проблемну ситуацію, коли виникає протиріччя між престижем окремих економічних спеціальностей і зменшенням в недалекому майбутньому можливостей для багатьох їх представників належно самореалізуватись у відповідній сфері. Проблемна ситуація тут розглядається в межах соціальної проблеми самореалізації молоді в умовах нестабільного суспільства.


1   2   3   4

Схожі:

Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання контрольної роботи з дисципліни «Соціологія» на тему: «опрацювання програми емпіричного соціологічного дослідження»
«Соціологія» на тему: «Опрацювання програми емпіричного соціологічного дослідження» (для студентів всіх спеціальностей) /Упор. Іванкова-Стецюк...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconХарківська національна академія міського господарства саприка О. В., Сухаревський О.І. Методичні вказівки до виконання контрольних робіт з курсу „Основи наукових досліджень”
Методичні вказівки до виконання контрольних робіт з курсу „Основи наукових досліджень” (для студентів 5 курсу заочної форми навчання...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки щодо виконання контрольних робіт з дисципліни
Методичні вказівки щодо виконання контрольних робіт з навчальної дисципліни „Моделі І методи прийняття рішень в аналізі І аудиті...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання контрольних робіт з фінансового менеджменту
Методичні вказівки до виконання контрольних робіт з фінансового менеджменту (для студентів заочної форми навчання економічних спеціальностей...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання контрольних робіт з економічного аналізу
Методичні вказівки до виконання контрольних робіт з економічного аналізу (для студентів заочної форми навчання економічних спеціальностей...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconТ. В. Блажко методичні вказівки до виконання контрольних робіт з дисципліни
Методичні вказівки до виконання контрольних робіт з дисципліни «Основи психології та педагогіки» (для студентів 1 курсу заочної форми...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання контрольних робіт з дисципліни „Дискретна математика для студентів заочної форми навчання напряму «Інформатика»
Методичні вказівки до виконання контрольних робіт з дисципліни „Дискретна математика” /Укладачі: Л. Д. Назаренко, З.І. Маслова. –...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання контрольних робіт з дисципліни "Цивільний процес" для студентів спеціальності 030402 "Правознавство"
Методичні вказівки до виконання контрольних робіт з дисципліни “Цивільний процес” / укладач А. В. Солонар. – Суми: Сумський державний...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconМетодичні вказівки до виконання практичних завдань та контрольних робіт з курсу
Методичні вказівки до виконання практичних завдань і контрольних робіт з курсу “Комп’ютерні інформаційні технології у маркетингу”...
Опрацювання програми емпіричного соціологічного дослідження методичні вказівки до виконання контрольних робіт з дисциплін «Методологія соціологічних досліджень», iconН. В. Острянська методичні вказівки до виконання контрольних робіт з дисципліни «психологія»
Методичні вказівки до виконання контрольних робіт з дисципліни «психологія» для студентів 3 курсу заочної форми навчання напряму...
Додайте кнопку на своєму сайті:
Документи


База даних захищена авторським правом ©zavantag.com 2000-2013
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації
Документи