Вциом ошибка выборки

Авторы статьи — А.М. Степанов, социолог отдела аналитических и социологических исследований, М.В. Иванов, начальник отдела аналитических и социологических исследований МАУ «ИРСИ».

Параметры расчета выборочной совокупности

Вне
зависимости от метода расчета выборки нужно помнить о ключевых параметрах,
влияющих на объем выборочной совокупности. Таких параметров мы выделим три –
это общий объём, однородность и абсолютная
ошибка.

Общий
объем генеральной совокупности. Чем больше изучаемая генеральная
совокупность, тем больший объем выборки нам может понадобиться для
репрезентативного исследования. Однако это утверждение касается лишь определенного
числового диапазона! Увеличение выборки идет не пропорционально увеличению
генеральной совокупности. Ведь если речь пойдет о генеральной совокупности как о
малочисленной величине, исчисляемой десятками и сотнями единиц, то
целесообразно предположить, что чем больше будет объем выборки, тем точнее
данные. В идеале можно и нужно стремиться, чтобы в таком случае выборка
составляла не менее 50%, а то и 2/3 изучаемой генеральной совокупности. Если же
(а чаще всего это так и есть) мы имеем дело с генеральными совокупностями,
исчисляемыми десятками, сотнями тысяч и миллионами (например, население
крупного города, региона, страны), то, конечно же, мы не будем опрашивать ни
50%, ни 25%, ни 10%. Нам понадобится значительно меньшее число участников
опроса (респондентов). Стоит отметить, что при сравнении выборки при объеме
генеральной совокупности в 100 тысяч и 1 миллион человек, разница в объеме
выборки может составить всего несколько десятков респондентов (см. таблицу).

+ В этих случаях достаточным
будет более 50% от объема выборки.

Источник: Мангейм
Дж.Б., Рич Р.К. Политология:
Методы исследования. – М., 1997. С.517.

Однородность генеральной совокупности.
В данном случае речь идёт об однородности признаков у единиц генеральной
совокупности. То есть чем более схожи между собой единицы генеральной
совокупности, тем меньше потребуется объем выборки для представления
репрезентативных результатов исследования. Причем под однородностью
рассматриваемых признаков мы можем понимать и социально-демографические
характеристики (пол, возраст, уровень образования, район проживания, социальное
положение), ценностные и социально-политические ориентации, культурно-языковые
различия, материальный достаток и т.д.

Размер ошибки (погрешности) выборки. Задачи
и характер исследования определяют допустимый размер погрешности полученных
данных. Самым оптимальным и часто используемым вариантом при расчете выборки
является ошибка в 5%, она позволяет получить данные с высокой степенью
репрезентативности и при этом не затратить много ресурсов на опрос излишнего
числа респондентов. Для прикладного
исследования нормальной будет выборка с ошибкой 4–5%. Ошибка выборки,
рассчитываемой ВЦИОМ, ФОМ (для федеральных исследований),
находится на уровне не ниже 2,5%. Стандартные
выборки МАУ ИРСИ по г. Ярославлю
обеспечивает ошибку выборки в диапазоне от 3,6
до 4,8%. Если говорить простым языком о том, что собой представляет ошибка
выборки в 5%, то можно представить, что в случае проведения 100 одинаковых
исследований по одной и той же теме и с одинаковым объемом выборки в 95 случаях
из 100 результаты исследования будут совпадать с мнением всей генеральной
совокупности. Однако в определенных случаях требуется снижение ошибки выборки,
которое чаще всего производится посредством наращивания объема выборочной
совокупности.

В
зависимости от имеющихся ресурсов и задач исследования для формирования выборки
существует несколько способов. В первую очередь нужно понимать, что отбор единиц
в выборочную совокупность может происходить как случайным образом, так и
неслучайным. Случайной или вероятностной выборкой можно назвать
только ту выборочную совокупность, в которой соблюдается принцип равной
вероятности для каждой единицы генеральной совокупности попасть в выборку.
Такой способ формирования выборки наиболее актуален для небольшого объема
генеральной совокупности, поскольку при изучении больших групп принцип равной
вероятности для всех элементов генеральной совокупности соблюсти крайне
затруднительно или нецелесообразно, с точки зрения высоких затрат ресурсов.
Для  соблюдения принципа равной
вероятности случайной выборки зачастую используют механический отбор, такой
отбор возможен только при наличии полного списка единиц генеральной
совокупности, которые можно упорядочить по определенному признаку. В рамках
механического отбора из списка выбирается случайным образом первый элемент,
который служит отправной точкой, и каждый последующий выбирается через
определенный шаг. Размер шага определяется частным размера генеральной
совокупности и размера предполагаемой выборки K(шаг) = N(генеральная совокупность)/n(выборочная совокупность).

Другим
способом для соблюдения принципа случайности в выборке может быть стратифицированный (районированный) отбор.
Данный метод полезен в случае неоднородной генеральной совокупности и
подразумевает разделение единиц генеральной совокупности, на более мелкие
группы по определенным признакам. Внутри каждой выделенной группы производится
отбор единиц в выборочную совокупность случайным образом или при помощи
механического отбора. Наиболее корректно использовать этот метод в том случае,
когда в результате разделения на группы по выбранным признакам внутри каждой
группы образуется небольшое количество единиц, или когда существует полный
список единиц каждой выделенной группы, что позволяет в дальнейшем отборе соблюсти
принцип равной возможности для каждой единицы попасть в выборку.

Кластерный (гнездовой) отбор
является еще одним методом при формировании случайной выборки, в рамках данного
метода производиться случайным образом отбор целых групп (кластеров) из генеральной
совокупности. Впоследствии производится отбор единиц из кластеров в выборочную
совокупность, в зависимости от объема кластера это могут быть как и все единицы
кластера, так и часть из них, отобранная случайным образом. Например, в случае
отбора по территориальному признаку кластером могут служить населенные пункты,
отобранные в случайном порядке. В зависимости от количества населения
производится опрос всех жителей или только жителей, отобранных случайным
образом. При наличии полного списка единиц в каждом кластере возможен отбор
единиц с применением механического отбора. 

В
исследованиях, где в качестве генеральной совокупности выступают тысячи или
даже миллионы людей, наиболее удобно использовать выборки с неслучайным
отбором, где отбор производится по заранее заготовленной схеме или стихийным
образом. Стихийная выборка подразумевает опрос по принципу «всех подряд» из
наиболее доступных респондентов. Здесь, как правило, производится опрос
наиболее удобных для интервьюера респондентов. Зачастую стихийная выборка
страдает слабой репрезентативностью по причине несоответствия некоторых
признаков выборочной совокупности признакам генеральной. Происходит это
вследствие упущения в ходе исследования некоторых значимых категорий
респондентов, которые являются труднодоступными для интервьюера. Поэтому данный
способ формирования выборки может использоваться в условиях ограниченности
ресурсов.

Наиболее
предпочтительным выглядит вариант с использованием квотной выборки. Суть данного метода сводится к тому, чтобы
выделить несколько интересующих социальных групп по признакам, обусловленным
задачами исследования. Далее необходимо рассчитать объем респондентов для
опроса в каждой группе, то есть объем квоты для каждой группы, руководствуясь
сохранением пропорций признаков  генеральной
совокупности в выборке. На примере гендерной характеристики можем представить,
что если в генеральной совокупности соотношение женщин и мужчин 55% на 45%, то именно
такое же соотношение женщин и мужчин должно быть в рамках выборочной
совокупности.

Аналогичным
образом  составляются квоты и по другим
признакам. Целью данного подхода является максимальное повторение в рамках
выборки свойств и особенностей генеральной совокупности. Иногда для упрощения
поиска респондентов, подходящих под критерии отбора, может использоваться метод
«снежного кома». Особенность
«снежного кома» во многом объясняется названием метода и подразумевает поиск
контактов подходящих для опроса людей у респондентов, уже участвовавших в
опросе. Как правило, это выглядит следующим образом: по завершении опроса
интервьюер интересуется у респондента, нет ли среди его друзей и знакомых,
подходящих под параметры исследования, и просит дать контакты подходящих людей.
Данная процедура повторяется до тех пор, пока не будет опрошено необходимое
количество респондентов. Основной минус данного метода отбора респондентов заключается
в предъявлении высоких требований к коммуникативным навыкам интервьюеров,
поскольку контакты родственников и друзей являются персональными данными, и многие
респонденты отказываются их давать, особенно если интервьюеру не удается
расположить собеседника к себе.

Еще
одним методом отбора для построения неслучайной выборки является метод основного массива, который
подразумевает отбор единиц, имеющих наибольшую удельную значимость, по мнению
исследователя; и если существует возможность, то отбирается абсолютное
большинство единиц из генеральной совокупности. Данный метод может быть
полезен, когда объектом для изучения являются узкая категория людей, специалисты
той или иной отрасли. В случае необходимости проведения опроса, например среди
медработников в регионе, отбирается несколько наиболее крупных медицинских
учреждений как имеющих наибольший вес, и проводится опрос медработников данных
учреждений. Но если количество медучреждений не столь велико, и возможен охват
абсолютного большинства медработников, то проводится опрос более 50%
медицинских работников региона.

Существует
еще несколько вариантов составления выборочной совокупности, некоторые методы являются
комбинированием уже перечисленных, но хотелось бы рассмотреть применение
наиболее оптимальных методов построения выборки на примере населения г.
Ярославля. Золотым стандартом, на наш взгляд, при проведении исследования, где
в качестве генеральной совокупности выступают все жители Ярославля, является
применение квотной выборки.  Мы используем при расчете квот трехмерное распределение,
а именно распределение по половому признаку, возрасту и району проживания, что
позволяет в рамках выборочной совокупности повторить пропорции генеральной
совокупности по указанным признакам. Такой подход позволяет учесть мнение всех
категорий жителей Ярославля: мужчин и женщин, молодежи, работающего населения,
пенсионеров, жителей всех районов города. При этом сохраняется удельная
значимость каждой из указанных категорий так же, как в генеральной
совокупности.  Как это выглядит? Например,
если в Ярославле в Дзержинском районе проживает гораздо больше жителей города,
чем в Кировском районе города, то мнение жителей Дзержинского района имеют
гораздо большее влияние на формирование мнения всего населения города, чем мнение
жителей Кировского района. Наша задача состоит в том, чтобы сохранить подобную пропорциональность
генеральной совокупности в рамках выборки. Если говорить о конкретных цифрах,
то для репрезентативных результатов мнения жителей города с населением более
чем 600 тыс. при использовании квотной выборки и соблюдением ошибки не более 5%
достаточно опросить 400 человек. В случае, когда проблема исследования носит
более дифференцированный характер, и предполагается, что данная проблема может
затрагивать различные категории жителей по-разному, целесообразно расширить объем
выборки до 500-600 человек.

В
случае, когда проблема исследования носит общий или даже глобальный характер, и
предполагается, что дифференциация по полу и возрасту, району проживания вряд
ли может серьезно оказывать влияние на мнение респондента, может использоваться
метод стихийной выборки. Метод
стихийного отбора позволяет существенно сократить время и ресурсы на проведение
исследования, однако в таком случае рекомендуется расширить объем выборки до
600, а в некоторых случаях до 750 или даже 1000 человек, чтобы минимизировать вероятность
потери какой-либо категории респондентов в процессе проведения опроса.

Использование
случайных методов формирования выборки для проведения опроса среди населения
достаточно крупного города выглядит нерационально и порой даже нереалистично. Ведь
жители Ярославля в качестве генеральной совокупности есть  величина непостоянная, поскольку ежедневно
жители города как приезжают, так и покидают город, и в таких условия обеспечить
принцип равного шанса попадания в выборку для всех жителей Ярославля
проблематично. Использование механического отбора требует полного списка всех
жителей Ярославля с контактными данными, получение которого не представляется
возможным в силу федерального закона «О персональных данных», а также выглядит
нецелесообразным ввиду высокой трудоемкости процесса и больших временных затрат
на построение выборки.

Подводя
итог, хочется сказать о том, что грамотно составленная выборка на сегодняшний
день — это ключ к оперативному получению достоверной и актуальной информации,
которая поможет в принятии правильных управленческих решений. Главное достоинство
использования выборки — это, конечно же, экономия времени и трудовых ресурсов.
Получаемая информация с течением времени 
и в зависимости от происходящих процессов в обществе может быстро терять
актуальность и уже не отражать полной картины социальной реальности, что в свою
очередь может повлечь принятие ошибочных решений. Отсюда можно сделать вывод о
том, что исследование, задачей которого является получение объективной
информации о текущем положении дел, проведенное в кротчайшие сроки с
использованием грамотно составленной выборки, даст более актуальную информацию
и объективную картину, чем исследование с большим охватом опроса в 6,  10, 15 и более тысяч человек. Исследование с
бОльшим охватом респондентов требует бОльшего времени для проведения опроса, за
этот период положение дел может значительно измениться, и ответы, полученные в
начале исследования, могут к его окончанию стать устаревшими и неактуальными; как
итог — будет потерян весь смысл такого исследования.

Желаете получить достоверную,
актуальную и надежную информацию по вашей проблеме в результате проведения
социологического исследования? Специалисты МАУ ИРСИ помогут вам в этом!

Как мы уже знаем, репрезентативность — свойство выборочной совокупности представлять характеристику генеральной. Если совпадения нет, говорят об ошибке репрезентативности — мере отклонения статистической структуры выборки от структуры соответствующей генеральной совокупности. Предположим, что средний ежемесячный семейный доход пенсионеров в генеральной совокупности составляет 2 тыс. руб., а в выборочной — 6 тыс. руб. Это означает, что социолог опрашивал только зажиточную часть пенсионеров, а в его исследование вкралась ошибка репрезентативности. Иными словами, ошибкой репрезентативности называется расхождение между двумя совокупностями — генеральной, на которую направлен теоретический интерес социолога и представление о свойствах которой он хочет получить в конечном итоге, и выборочной, на которую направлен практический интерес социолога, которая выступает одновременно как объект обследования и средство получения информации о генеральной совокупности.

Наряду с термином «ошибка репрезентативности» в отечественной литературе можно встретить другой — «ошибка выборки». Иногда они употребляются как синонимы, а иногда «ошибка выборки» используется вместо «ошибки репрезентативности» как количественно более точное понятие.

Ошибка выборки — отклонение средних характеристик выборочной совокупности от средних характеристик генеральной совокупности.

На практике ошибка выборки определяется путем сравнения известных характеристик генеральной совокупности с выборочными средними. В социологии при обследованиях взрослого населения чаще всего используют данные переписей населения, текущего статистического учета, результаты предшествующих опросов. В качестве контрольных параметров обычно применяются социально-демографические признаки. Сравнение средних генеральной и выборочной совокупностей, на основе этого определение ошибки выборки и ее уменьшение называется контролированием репрезентативности. Поскольку сравнение своих и чужих данных можно сделать по завершении исследования, такой способ контроля называется апостериорным, т.е. осуществляемым после опыта.

В опросах Института Дж. Гэллапа репрезентативность контролируется по имеющимся в национальных переписях данным о распределении населения по полу, возрасту, образованию, доходу, профессии, расовой принадлежности, месту проживания, величине населенного пункта. Всероссийский центр изучения общественного мнения (ВЦИОМ) использует для подобных целей такие показатели, как пол, возраст, образование, тип поселения, семейное положение, сфера занятости, должностной статус респондента, которые заимствуются в Государственном комитете по статистике РФ. В том и другом случае генеральная совокупность известна. Ошибку выборки невозможно установить, если неизвестны значения переменной в выборочной и генеральной совокупностях.

Специалисты ВЦИОМ обеспечивают при анализе данных тщательный ремонт выборки, чтобы минимизировать отклонения, возникшие на этапе полевых работ. Особенно сильные смещения наблюдаются по параметрам пола и возраста. Объясняется это тем, что женщины и люди с высшим образованием больше времени проводят дома и легче идут на контакт с интервьюером, т.е. являются легко достижимой группой по сравнению с мужчинами и людьми «необразованными»35.

Ошибка выборки обусловливается двумя факторами: методом формирования выборки и размером выборки.

Ошибки выборки подразделяются на два типа — случайные и систематические. Случайная ошибка — это вероятность того, что выборочная средняя выйдет (или не выйдет) за пределы заданного интервала. К случайным ошибкам относят статистические погрешности, присущие самому выборочному методу. Они уменьшаются при возрастании объема выборочной совокупности.

Второй тип ошибок выборки — систематические ошибки. Если социолог решил узнать мнение всех жителей города о проводимой местными органами власти социальной политике, а опросил только тех, у кого есть телефон, то возникает предумышленное смещение выборки в пользу зажиточных слоев, т.е. систематическая ошибка.

Таким образом, систематические ошибки — результат деятельности самого исследователя. Они наиболее опасны, поскольку приводят к довольно значительным смещениям результатов исследования. Систематические ошибки считаются страшнее случайных еще и потому, что они не поддаются контролю и измерению.

Они возникают, когда, например:

1. выборка не соответствует задачам исследования (социолог решил изучить только работающих пенсионеров, а опросил всех подряд);
2. налицо незнание характера генеральной совокупности (социолог думал, что 70% всех пенсионеров не работает, а оказалось, что не работает только 10%);
3. отбираются только «выигрышные» элементы генеральной совокупности (например, только обеспеченные пенсионеры).

Внимание! В отличие от случайных ошибок систематические ошибки при возрастании объема выборки не уменьшаются.

Обобщив все случаи, когда происходят систематические ошибки, методисты составили их реестр. Они полагают, что источником неконтролируемых перекосов в распределении выборочных наблюдений могут быть следующие факторы:

• нарушены методические и методологические правила проведения социологического исследования;
• выбраны неадекватные способы формирования выборочной совокупности, методы сбора и расчета данных;
• произошла замена требуемых единиц наблюдения другими, более доступными;
• отмечен неполный охват выборочной совокупности (недополучение анкет, неполное их заполнение, труднодоступность единиц наблюдения).

Намеренные ошибки социолог допускает редко. Чаще ошибки возникают из-за того, что социологу плохо известна структура генеральной совокупности: распределение людей по возрасту, профессии, доходам и т.д.

Систематические ошибки легче предупредить (по сравнению со случайными), но их очень трудно устранить. Предупреждать систематические ошибки, точно предвидя их источники, лучше всего заранее — в самом начале исследования.

Вот некоторые способы избежать ошибок выборки:

• каждая единица генеральной совокупности должна иметь равную вероятность попасть в выборку;
• отбор желательно производить из однородных совокупностей;
• надо знать характеристики генеральной совокупности;
• при составлении выборочной совокупности надо учитывать случайные и систематические ошибки.

Если выборочная совокупность (или просто выборка) составлена правильно, то социолог получает надежные результаты, харастеризующие всю генеральную совокупность. Если она составлена неправильно, то ошибка, возникшая на этапе составления выборки, на каждом следующем этапе проведения социологического исследования приумножается и достигает в конечном счете такой величины, которая перевешивает ценность проведенного исследования. Говорят, что от такого исследования больше вреда, нежели пользы.

Подобные ошибки могут произойти только с выборочной совокупностыо. Чтобы избежать или уменьшить вероятность ошибки, самый простой способ — увеличивать размеры выборки (в идеале до объема генеральной: когда обе совокупности совпадут, ошибка выборки вообще исчезнет). Экономически такой метод невозможен. Остается другой путь — совершенствовать математические методы составления выборки. Они то и применяются на практике. Таков первый канал проникновения в социологию математики. Второй канал — математическая обработка данных.

Особенно важной проблема ошибок становится в маркетинговых исследованиях, где используются не очень большие выборки. Обычно они составляют несколько сотен, реже — тысячу респондентов. Здесь исходным пунктом расчета выборки выступает вопрос об определении размеров выборочной совокупности. Численность выборочной совокупности зависит от двух факторов:

1. стоимости сбора информации,
2. стремления к определенной степени статистической достоверности результатов, которую надеется получить исследователь.

Конечно, даже не искушенные в статистике и социологии люди интуитивно понимают, что чем больше размеры выборки, т.е. чем ближе они к размерам генеральной совокупности в целом, тем более надежны и достоверны полученные данные. Однако выше мы уже говорили о практической невозможности сплошных опросов в тех случаях, когда они проводятся на объектах, численность которых превышает десятки, сотни тысяч и даже миллионы. Понятно, что стоимость сбора информации (включающая оплату тиражирования инструментария, труда анкетеров, полевых менеджеров и операторов по компьютерному вводу) зависит от той суммы, которую готов выделить заказчик, и слабо зависит от исследователей. Что же касается второго фактора, то мы остановимся на нем чуть подробнее.

Итак, чем больше величина выборки, тем меньше возможная ошибка. Хотя необходимо отметить, что при желании увеличить точность вдвое вам придется увеличить выборку не в два, а в четыре раза. Например, чтобы сделать в два раза более точной оценку данных, полученных путем опроса 400 человек, вам потребуется опросить не 800, а 1600 человек. Впрочем, вряд ли маркетинговое исследование испытывает нужду в стопроцентной точности. Если пивовару необходимо узнать, какая часть потребителей пива предпочитает именно его марку, а не сорт его конкурента, — 60% или 40%, то на его планы никак не повлияет разница между 57%, 60 или 63%.

Ошибка выборки может зависеть не только от ее величины, но и от степени различий между отдельными единицами внутри генеральной совокупности, которую мы исследуем. Например, если нам нужно узнать, какое количество пива потребляется, то мы обнаружим, что внутри нашей генеральной совокупности нормы потребления у различных людей существенно различаются (гетерогенная генеральная совокупность). В другом случае мы будем изучать потребление хлеба и установим, что у разных людей оно различается гораздо менее существенно {гомогенная генеральная совокупность). Чем больше различия (или гетерогенность) внутри генеральной совокупности, тем больше величина возможной ошибки выборки. Указанная закономерность лишь подтверждает то, что нам подсказывает простой здравый смысл. Таким образом, как справедливо утверждает В. Ядов, «численность (объем) выборки зависит от уровня однородности или разнородности изучаемых объектов. Чем более они однородны, тем меньшая численность может обеспечить статистически достоверные выводы».

Определение объема выборки зависит также от уровня доверительного интервала допустимой статистической ошибки. Здесь имеются в виду так называемые случайные ошибки, которые связаны с природой любых статистических погрешностей. В.И. Паниотто приводит следующие расчеты репрезентативной выборки с допущением 5%-ной ошибки:
Это означает,что если вы, опросив, предположим, 400 человек в районном городе, где численность взрослого платежеспособного населения составляет 100 тыс. человек, выявили, что 33% опрошенных покупателей предпочитают продукцию местного мясокомбината, то с 95%-ной вероятностью можете утверждать, что постоянными покупателями этой продукции являются 33+5% (т.е. от 28 до 38%) жителей этого города.

Можно также воспользоваться расчетами института Гэллапа для оценки соотношения размеров выборки и ошибки выборки.

Ежедневный всероссийский опрос «СПУТНИК»

ЧТО ТАКОЕ «ВЦИОМ-СПУТНИК»? Общие сведения

«ВЦИОМ-СПУТНИК» — ежедневный всероссийский телефонный опрос ВЦИОМ. Каждый день мы опрашиваем 1600 респондентов не менее чем в 80 регионах РФ и получаем надёжные данные.

Новая технология позволяет оперативно измерить общественное мнение по любому вопросу – всего за 2 дня объём выборки составит 3200 респондентов. Каждую неделю мы опрашиваем 11200 респондентов во всех регионах страны, это составляет 48000 респондентов каждый месяц, а за год мы опросим более 550 тысяч россиян.

«ВЦИОМ-СПУТНИК» — опрос омнибусного типа. Это значит, что анкета каждого опроса включает в себя разные темы (от политики и экономики до маркетинга). В том числе есть блоки вопросов, которые включаются в опрос регулярно (еженедельно или раз в месяц, квартал, год) и позволяют проследить динамику изменения показателей.

В «ВЦИОМ-СПУТНИК» реализована классическая методология построения случайной (вероятностной) выборки. Это позволяет генерализовать полученные данные на всё население страны и оценить размер статистической погрешности.

«ВЦИОМ-СПУТНИК» проводят профессиональные интервьюеры – – сотрудники колл-центров, которые проходят обучение и инструктажи. В результате объем брака минимален — даже самый строгий контроль выявляет нарушения менее, чем в 1% анкет.

«ВЦИОМ-СПУТНИК» сопровождается многоуровневым контролем качества данных: наблюдение супервайзеров, прослушивание записей, логический контроль. Это позволяет нам гарантировать 100% соблюдение технологии опроса, предусмотренной инструкцией.

Этот инструмент поможет Вам, если:

1. У Вас короткий список вопросов (до 5-7 вопросов)
   Для того, чтобы их задать, организовывать отдельный опрос – слишком дорого, каждая анкета получается «золотой». Мы добавим их к нашей анкете и обеспечим Вам качественный сбор данных.
2. У Вас короткие сроки исследования
   «ВЦИОМ-СПУТНИК» работает как часы – он запускается КАЖДЫЙ ДЕНЬ. С момента начала поля до выдачи данных проходит всего несколько дней в зависимости от необходимого вам объема выборки. Наши объёмы работ и длительный опыт позволили нам простроить такую технологическую цепочку, которая за минимальный срок обеспечивает соблюдение всех этапов опроса (пилотаж и доработка анкеты, инструктаж, постоянный контроль качества).
3. Вам важен мониторинг динамики показателей
   «ВЦИОМ-СПУТНИК» гарантирует точное воспроизводство технологии опроса, у Вас не будет необъяснимых скачков данных и вопросов к их качеству.

ЧЕМ УДОБЕН «ВЦИОМ-СПУТНИК»

1. Он работает для опросов по любым темам.
   «ВЦИОМ-СПУТНИК» показал свою надёжность в исследованиях политической и социальной проблематики, в изучении экономических процессов и в проведении маркетинговых исследований по самому широкому спектру тем от потребления рыбы и йогуртов до страховых услуг и ритэйла. В телефонных опросах люди часто бывают откровеннее – например, когда речь идёт об их доходах.
2. ВЫСОКАЯ СКОРОСТЬ в сочетании с соблюдением классической методологии построения вероятностной выборки. Это позволяет генерализовать полученные данные на всё население страны и оценить размер статистической погрешности.
3. Профессиональные интервьюеры – опрос проводят сотрудники колл-центров, которые проходят обучение и инструктажи. В результате объем брака минимален — даже самый строгий контроль выявляет нарушения менее, чем в 1% анкет.
4. Многоуровневый контроль качества данных: наблюдение супервайзеров, прослушивание записей, логический контроль позволяет нам гарантировать 100% соблюдение технологии опроса, предусмотренной инструкцией.
5. В цену включен полный цикл исследования: мы поможем Вам доработать анкету, возьмём на себя сбор и контроль качества данных, проведём их базовую обработку – на выходе Вы получите массив данных и готовые таблицы распределений ответов.

БОНУС!  При заказе вопросов Вы получаете бесплатно:

Социально-демографические данные по респондентам:

• Пол
• Возраст (в виде возрастных групп 18-24 года, 25-34 года, 35-44 года, 45-59 лет, 60 лет и старше)
• Образование (начальное, неполное среднее, среднее, среднее-специальное, незаконченное высшее и высшее)
• Доход
• Занятость
• Пользование интернетом
• Размер семьи
• Субъективная оценка материального положения
• Тип населенного пункта, где проживает респондент
• Федеральный округ, где проживает респондент

Методический отчёт, в котором описаны основные параметры достижимости

ВЫБОРКА ИССЛЕДОВАНИЯ

Как мы выбираем номера телефонов

Для построения выборки мы берём все диапазоны стационарных и мобильных телефонных номеров с сайта Россвязи. Совокупная ёмкость этих диапазонов составляет более 650 млн. телефонных номеров – в неё попадают АБСОЛЮТНО ВСЕ телефонные номера, которые уже используются операторами или которые могут быть введены по действующим правилам.

Для опроса мы случайно (датчиком случайных чисел) отбираем из этой базы 40-45 тысяч номеров в зависимости от сезона (летом и в новогодние каникулы больше, а осенью и весной меньше) – это наша основа выборки. Телефонные номера для прозвона выбираются из нее также датчиком случайных чисел.

Почему именно такой объём основы выборки? Он рассчитан нами по результатам длительных экспериментов таким образом, чтобы обеспечить возможность попадания в выборку в том числе тех респондентов, которым не дозвонились с первого раза. При большой основе выборке велика вероятность, что мы наберем нужное число респондентов, прозвонив все номера только по одному разу. При слишком маленькой основе выборки возникает обратный риск – мы можем многократно прозвонить все номера и не набрать нужное число респондентов. В «ВЦИОМ-СПУТНИК» по каждому телефонному номеру мы делаем не менее 5 попыток дозвониться до нужного нам респондента (если номер не отвечает, если звонок «сорвался», если респонденту в это время неудобно говорить).

При формировании основы выборки мы учитываем два важных правила.

Во-первых, 40% номеров мы отбираем из стационарных диапазонов, 60% — из мобильных диапазонов. Такое соотношение номеров рассчитано на основе экспериментов – соблюдая его, мы получаем распределение основных социально-демографических характеристик, близкое к данным Росстата. Однако доли стационарных и мобильных телефонов не квотированы; в итоговом массиве доля мобильных телефонов составляет около 70% (сохраняя соотношение социально-демографических характеристик, близкое к данным Росстата).

Более высокая доля мобильных телефонов в итоговом массиве по сравнению с долей в основе выборки рассматривается нами как допустимая. С учетом расширения в РФ зоны покрытия мобильной связью, доля мобильных телефонов будет в выборке постепенно увеличиваться, а некоторые исследователи уже сегодня выступают за проведение всероссийских репрезентативных опросов полностью на основе мобильных телефонов.

Во-вторых, мы сохраняем пропорцию номеров по федеральным округам. Это важно, поскольку уровень достижимости респондентов заметно отличается между федеральными округами (например, москвичи гораздо реже соглашаются на интервью, а вот жители Крыма, наоборот, делают это охотнее остальных россиян). Кроме того, необходимо учитывать значительную разницу в часовых поясах. Если ее не учитывать, при опросе возникнет систематическое смещение в пользу тех регионов, где время на момент начала опроса будет дневным или вечерним.

Какие регионы и населённые пункты попадают в выборку?

Как показано в предыдущем разделе, телефонные номера для дозвона выбираются случайно из всего массива телефонных номеров России.

Поэтому у нас нет и не может быть фиксированного списка точек опроса (конкретных населенных пунктов) заранее, мы можем его получить только по завершении опроса.

Однако часть точек опроса попадает практически в каждый опрос – например, крупные города. Это связано с тем, что там большая численность населения, это повышает вероятность попадания их жителей в выборку.

В каждом опросе представлены все федеральные округа, не менее 80 регионов. Доля сельских жителей среди опрошенных составляет 18-20%.

В связи с тем, что в России 11 часовых зон, выборку необходимо стратифицировать с учетом разницы во времени. Выборка разделена на 5 страт (Центр, Урал, Сибирь, Восток, Столицы), в рамках которых можно организовать общее время дозвона. 

Как мы выбираем респондентов?

Для высокой репрезентативности данных нам необходимо обеспечить всем респондентам равные шансы попадания в выборку. Для этого мы соблюдаем несколько условий:

Мы делаем не менее 5 попыток дозвониться до каждого респондента. Если телефон у респондента занят — система автоматически перезванивает респонденту через 30 минут. Если номер не отвечает, мы перезваниваем ему каждые 2 часа. Если респонденту неудобно сейчас отвечать, мы перезвоним ему в назначенное им время в другой день. Если респондент отказался отвечать в момент первого контакта, мы перезвоним ему на следующий день.

У нас единое местное время звонков — в каждой часовой зоне обзвон идет с 16 до 21 часа.

Если мы звоним на мобильный номер, мы опрашиваем того, кто взял трубку.

Если мы звоним на стационарный номер, респондента отбирает датчик случайных чисел. Если респондент дома один или если дома 4 человека и больше, то мы проводим интервью с тем, кто взял трубку. Если дома 2 или 3 человека, респондента случайно отбирает компьютер: это или сам ответивший на звонок, или старший по возрасту из находящихся дома, или младший по возрасту из находящихся дома.

Если отобранному респонденту неудобно разговаривать, мы перезваниваем ему в удобное время. Интервьюерам запрещено соглашаться на интервью с другим человеком.

Мы проводим конвертацию отказов – если респондент отказался от участия в опросе, на следующий день мы ему перезваниваем и повторно просим принять участие в опросе. Около 10% соглашаются.

Репрезентативность данных и статистическая погрешность

Репрезентативность данных обеспечивается равной вероятностью попадания в нашу выборку всех россиян старше 18 лет вне зависимости от места их проживания.

В теории из нашей выборки исключены только те россияне, у которых нет ни мобильного, ни стационарного телефона. По данным исследований, их число менее 1%.

Описанными выше процедурами мы реализуем случайный отбор телефонных номеров и случайный отбор респондента в домохозяйстве.

Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) достаточно большой конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения.

Используемая нами в опросе выборка достаточно велика, чтобы закон больших чисел начал действовать, и распределения различных признаков (например, доля мужчин) в опросе и среди совершеннолетнего населения России совпадали. Наши данные получаются близкими к данным Росстата — это обеспечено технологией случайного отбора.

Мы снижаем систематическую ошибку повторными звонками и конвертацией отказов (см. предыдущий раздел).

Для данной случайной (вероятностной) выборки максимальный размер ошибки с вероятностью 95% не превышает следующих величин:

• Для данных, собранных в течение одного дня (1600 респондентов) – 2,5%
• Для данных, собранных в течение 2 дней (3200 респондентов) – 1,8%
• Для данных, собранных в течение недели (11200 респондентов) – 1,0%

Помимо ошибки выборки смещение в данные опросов могут вносить формулировки вопросов и различные обстоятельства, возникающие в ходе полевых работ.

Контроль качества данных

Данные – наш основной продукт, и мы уделяем огромное внимание их качеству. Мы реализуем многоуровневый контроль, который начинается на этапе подготовки к опросу, продолжается в ходе всего опроса, а на завершающем этапе включает в себя разные методы проверки качества собранных данных.

Как мы обеспечиваем качество данных:

1. Для каждой анкеты составляется инструкция по проведению исследования и каждый интервьюер проходит инструктаж, на котором разбираются все сложные вопросы.
2. Опрос проходит под контролем специально подготовленных супервайзеров, которые следят за соблюдением инструкций и консультируют интервьюеров при необходимости.
3. Электронное программирование анкеты защищает от ошибок ввода: интервьюер не может ввести в текстовое поле цифры или отметить несколько вариантов там, где предусмотрен только один.
4. 100% интервью записываются. Далее проводится прослушивание 20% случайно отобранных интервью. Если у интервьюера обнаружены нарушения хотя бы в одной отобранной анкете, прослушиваются все его анкеты.
5. По собранному массиву проводится логический контроль данных. Выявляются и отправляются на прослушивание все анкеты, по которым зафиксировано слишком короткое время интервью. Выявляются интервьюеры, анкеты которых показывают распределение данных, существенно отличное от среднего – такие анкеты также отправляются на прослушивание. Все отбракованные анкеты удаляются из массива, по ним проводится доопрос.

Взвешивание

Соблюдение технологии случайного отбора теоретически даёт распределение основных признаков, близкое к их распределению в генеральной совокупности.

Однако для измерения ряда социально-политических или экономических показателей важно убедиться не только в том, что распределения отдельных показателей являются достаточно точными, но и в том, что соблюден комплексный баланс основных социально-демографических переменных. Поэтому при расчёте социально-политических индикаторов мы используем взвешивание по социально-демографическим показателям. Социальные группы, оказавшиеся в массиве ответов респондентов слишком малочисленными, получают таким образом строго рассчитанный бонус к «весу» своей точки зрения.

Переменные, на которые мы взвешиваем:

• Тип населенного пункта. Массив поделен на 5 типов населенных пунктов, отражающих генеральную совокупность: (1) Город с численностью жителей миллион и более человек, (2) Город с численностью от 500 тысяч до 1 млн человек, (3) Город с численностью от 100 тысяч до 500 тысяч человек, (4) Город с численностью менее 100 тысяч человек и поселки городского типа,  (5) Село;
• Пол. Массив отражает половую структуру генеральной совокупности: Мужской пол, Женский пол;
• Возраст. Массив поделен на четыре возрастных групп, отражающих генеральную совокупность: 18-24 года, 25-39 лет, 40-54 года, 55 лет и старше;
• Уровень образования. Массив поделен на две группы согласно уровню образования и отражает генеральную совокупность: Есть высшее образование и Нет высшего образования. Данные об уровне образования получены на основе слитого массива ежедневных опросов по случайной выборке с июня по декабрь 2017 года (общий объем – 108 тыс. респондентов).  

Показатели достижимости телефонного опроса

Для «ВЦИОМ-СПУТНИК» мы рассчитываем показатели достижимости по технологии AAPOR (Standard definitions, revised 2016).

Основными показателями достижимости являются

• Коэффициент кооперации – доля респондентов, которые согласились дать нам интервью, из числа тех, до кого нам удалось дозвониться. Этот показатель (COOP1) в среднем для «ВЦИОМ-СПУТНИК» составляет 0,2 (при максимальном значении 1).
• Response rate – доля результативных интервью в общем числе попыток провести интервью. Этот показатель (RR5) для «ВЦИОМ-СПУТНИК» в среднем близок к значению 0,04 (при максимальном значении 1).

Было бы неверно предполагать, что повышение response rate напрямую ведет к улучшению качества данных. Например, мы могли бы повысить response rate, используя не случайный отбор номеров, а готовую базу телефонных номеров. Но за повышение достижимости мы бы заплатили качеством выборки – случайным отбором и покрытием территории (никто не знает, какая часть номеров не попала в эту базу).

В настоящее время исследованиями не было найдено каких-либо значимых свидетельств того, что исследования с разным уровнем достижимости дают разные результаты. Смещение выборки возникает в том случае, если опрошенные отличаются по каким-либо параметрам от тех, кого опросить не удалось – технология случайной выборки минимизирует эту вероятность.

Однако теоретически высокий процент неответов (по сравнению со средним показателем недостижимости для данного исследования) может показывать низкое качество опроса в целом и наличие серьезных смещений в результатах опроса. Смещение выборки возникает в том случае, если опрошенные отличаются по каким-либо параметрам от тех, кого опросить не удалось. Поэтому фиксация и анализ недостижимости является стандартной нормой проведения наших опросов, направленной на минимизацию риска ошибки неответов.

Статистика — самая точная из всех неточных наук.
— Г. Флобер

Наткнулся в Интернете на вот такое видео, которое захотелось разобрать. Эту запись можно рассмотреть как ликбез в области статистики или как продолжение серии «научных анекдотов»:
scinquisitor.livejournal.com/9724.html 
scinquisitor.livejournal.com/14730.html
scinquisitor.livejournal.com/10323.html

На сайте ВЦИОМ  wciom.ru/index.php сделано утверждение: «Опрошено 1600 человек в 138 населенных пунктах в 46 областях, краях и республиках России. Статистическая погрешность не превышает 3,4%«. Далее приведена таблица, из которой видно, что 32% Россиян считают, что Солнце вращается вокруг Земли, а не наоборот, а так же ряд других не очень приятных для патриота РФ статистических данных.

В обсуждаемом ролике говорится, что фраза на сайте ВЦИОМ: «статистическая погрешность не превышает 3,4%»  — является «артефактом» и «ни о чем не говорит«. На основании чего ВЦИОМ обвиняется в подтасовке и выдумывании фактов. В конце ролика нам сообщают, что «время, когда все верят в социологические опросы, должно кануть в лету» — настораживающее заявление для тех кто хоть немного понимает как работает статистика.

Если набрать в гугле www.google.ru/ словосочетание «Статистическая погрешность» мы увидим, что не только ВЦИОМ пользуется данным термином в обсуждаемом контексте. Приведу лишь пару примеров:

«Статистическая погрешность при такой выборке не превышает 2,3%» — Фонд «Общественное Мнение» www.fom.ru/about/18.html«Для данного объема выборочной совокупности максимальная статистическая погрешность выборки при доверительном уровне 0,95 равна 2,36 %» — Центр Социологических и Маркетинговых Исследвоаний «Аналитик» www.socio-research.ru/svd/cnt/ru/fldr_mainmenu/fldr_publications/fldr_thesis/fldr_dnv_citymodification/fldr_dnv_abstract/cnt_basis

Это должно было послужить неким сигналом, что дело все-таки не во ВЦИОМе. Автор ролика мог  предположить, что он просто не понимает значения термина «статистическая погрешность» в контексте социологических исследований. Но не предположил.

Из приведенных выше контекстов понятно, что максимальная статистическая погрешность в социологическом исследовании — это некая величина не зависящая от того, какими были ответы респондентов (ведь приводится одна величина на множество вопросов, с разным распределением ответов), но зависящая от размера выборки, а так же от доверительного уровня.

Попробую объяснить не вдаваясь в математические детали, что такое статистическая погрешность и доверительный уровень.

Предположим, что в действительности у 50% людей в некотором городе с населением в 100000 человек есть машина. Мы хотели бы узнать это число, но всех опросить не можем. Давайте много раз возьмем случайную выборку из 383 человек и спросим их «есть ли у Вас машина?» (предполагая честность ответов). При таких условиях в 95% случаев опрос покажет, что машина имеется у 45-55% из взятых 383 человек. То есть в 95% случаев полученные данные каждого из небольших опросов будут не больше, чем на 5% отличаться от реального значения — доли людей, у которых в действительности есть машина (50%).

В данном случае 5% — это статистическая погрешность. 95% — это доверительный уровень при котором эта погрешность посчитана. 383 человека — это взятая выборка. 100 000 — общий размер изучаемой популяции.

Чтобы получить меньшую статистическую погрешность при том же доверительном уровне, нам необходимо иметь большую выборку. В моем примере, если мы возьмем случайным образом не 383 человек, а 1056 человек, то в 95% случаев опрос покажет, что машина имеется у 47-53% и в 99% случаев, что у 46-54% людей. То есть в среднем результаты опроса будут ближе к действительности .

Когда делается социальный опрос мы не знаем удалось ли нам установить точную долю людей, дающих некий ответ на заданный вопрос. Но мы знаем с заданной вероятностью (доверительный уровень), что находимся где-то в рамках статистической погрешности .

Здесь сразу хочу отметить еще одну деталь. Полученные погрешности посчитаны уже исходя из предположения, что у 50% людей в данной популяции в действительности имеется автомобиль. Но на практике мы именно это и пытаемся узнать — у какой доли населения есть машина?! Нет ли здесь порочного круга или парадокса? Нисколько. Дело в том, что мы ищем максимальную погрешность.

Предположим, что у нас есть вопрос с двумя вариантами ответа, как в примере с автомобилем. Он либо есть у человека, либо его нет. Если у абсолютно всех людей из популяции есть автомобиль (или его нет ни у кого) то какой бы не была наша выборка, доля людей с автомобилем в этой выборке будет точно равна доли людей с автомобилем во всей популяции — 100% (или 0%). То есть  погрешность измерений будет равна нулю.

Если в действительности в популяции один из вариантов ответа преобладает над другим, то погрешность измерений падает (это так же видно из формулы, которая приведена в конце статьи). Если ровно половина людей имеет машину, а половина людей машины не имеет, погрешность опросов будет максимальной. Предполагая, что 50% людей имеют машину мы добиваемся максимального значения погрешности т.е. работаем против себя, переоцениваем неточность наших методов. В действительности погрешность будет не больше, чем посчитанная, но может быть меньше.

Автор ролика утверждает, что «ВЦИОМ показывает погрешность, которая совсем ни о чем не говорит» и, на этом основании, заявляется, что «можно однозначно утверждать: в Рамках страны ценность исследования ВЦИОМа равна нулю«.

В случае с опросом ВЦИОМа мы имеем следующие показатели.

Размер популяции — это максимальная оценка населения России, примерно 145 000 000 человек.  Можно отметить, что с точки зрения конечных чисел, разницы между 145 000 000 и, скажем 1 000 000 в этой графе не будет практически никакой, поэтому точность данной оценки не принципиальна (она играет роль лишь при малых значениях размера популяции). Размер нашей выборки — 1600 человек. Доверительный уровень (как у меня получилось обратным расчетом) — 99%.

Поскольку мы хотим максимизировать погрешность будем исходить из того, что 50% людей выберут некий вариант ответа на вопрос, например, вариант ответа «да», а 50% не выберут.

Итак, мы теперь можем расшифровать популярно значение того, что написано на сайте ВЦИОМ — то, чего не понял автор ролика, но взялся критиковать. «Статистическая погрешность не превышает 3,4%»

С вероятностью 99% доля ответов из рассмотренной подвыборки в 1600 человек по любому взятому в опросе вопросу не отличается более, чем на 3.4% от реальной доли Россиян, которые дали бы аналогичной ответ на данный вопрос. Это справедливо при допущении, что выборка репрезентативная (что опрашивались люди, действительно, случайно, а не специально выискивались особо одаренные) и предположении о нормальном распределении.

С уверенностью в 99% мы можем сказать, что в России на вопрос «Солнце вращается вокруг Земли» ответят 32% плюс минус 3.4% людей.

Таким образом, опровергнуты следующие утверждения:
«ВЦИОМ показывает погрешность, которая совсем ни о чем не говорит»
«Можно однозначно утверждать: в Рамках страны ценность исследования ВЦИОМа равна нулю»

Я не берусь давать оценку деятельности ВЦИОМа — я не знаю, подделывают ли они сырые данные (это отдельный вопрос) и т.д. но могу сказать лишь то, что вся критика деятельности ВЦИОМа и статистики, использованной данной организацией в социальных опросах, приведенная в данном конкретном ролике не обоснована и связана с тем, что автор ролика не потрудился разобраться в той терминологии которая используется в формулах расчета.

Кстати, для математически подкованных любителей формул, вот они:

Здесь c — доверительный уровень (например, 99%),  n -размер выборки (например, 1600), N — размер популяции (например, 145 000 000), E — статистическая ошибка, r — доля интересующих нас ответов (например, 50% для оценки максимальной ошибки).  Вторая формула позволяет посчитать необходимый размер выборки при заданной статистической ошибке. Третья формула позволяет посчитать значение статистической ошибки при данном размере выборки. Отмечу, что при r = 0, как я и говорил, E = 0 при любых n не равных нулю.

Формула взята с сайта, где имеется калькулятор, позволяющий посчитать эту самую статистическую ошибку для некой выборки и ряд других пояснений на английском для тех, кто хочет подробно разобраться в математике, а не только в самой идее www.raosoft.com/samplesize.html Профилактика ФГМ (фимоза головного мозга — lurkmore.ru/ФГМ ) — это очень полезная деятельности, однако, не стоит выдавать за борьбу с ФГМ борьбу со статистикой или социологией, а так же пропаганду очередной теории заговора, что все социологические опросы куплены и так далее.