Как выбрать контрольную группу


Контрольная группа — Википедия

Материал из Википедии — свободной энциклопедии

Эта статья — о группе участников эксперимента. Об изоляции группы процессов в Linux (механизм cgroups) см. Контрольная группа (Linux).

Контрольная группа — группа участвующих в определённом эксперименте людей (в психологическом эксперименте или клиническом исследовании) или иных организмов (в биологическом эксперименте), которая не подвергается воздействию, эффект которого предполагается изучить в эксперименте. Остальные участники эксперимента, которые подвергаются этому воздействию, называются экспериментальной группой.

Наличие контрольной группы позволяет при анализе результатов эксперимента сравнивать экспериментальную и контрольную группу и таким образом отличать эффект исследуемого фактора от эффектов иных воздействий, которым подвергаются все участники эксперимента. Поэтому важно, чтобы контрольная группа была во всех отношениях подобна экспериментальной. В частности, для этой цели используют двойной слепой метод, который предполагает, что участники эксперимента распределяются по экспериментальной и контрольной группам случайным образом, так что в момент проведения эксперимента ни участники, ни сам исследователь не знают, кто к какой группе относится.

Например, в медицинском исследовании пациенты из экспериментальной группы получают экспериментальное лекарство, а пациенты из контрольной группы получают плацебо либо обычное лекарство с доказанной эффективностью. В результате, если здоровье пациентов из экспериментальной группы окажется лучше здоровья пациентов из контрольной группы, то это можно будет приписать именно эффекту экспериментального лекарства.

  • М. Кордуэлл. Психология. А-Я. Словарь-справочник / Пер. с англ. К. С. Ткаченко. — М. : ФАИР-ПРЕСС, 2000. — С. 144. — ISBN 5-8183-0105-2.

ru.wikipedia.org

Экспериментальные и контрольные группы

Если в одних исследованиях группы испытуемых подвергаются воздействию одной независимой переменной, имеющей разные уровни выраженности, то в других экспериментах используются экспериментальные и контрольные группы.

Хотя такие эксперименты можно описать с помощью определения независимой переменной, мы обсудим здесь относящиеся к ним основные понятия потому, что они занимают особое место при разработке экспериментального плана.

Экспериментальная группа – это группа, непосредственно подвергающаяся экспериментальному воздействию в процессе исследования, то есть группа, с которой непосредственно работает экспериментатор.

Контрольная группа помещается в те же условия, что и экспериментальная, за исключением того, что испытуемые в ней не подвергаются экспериментальному воздействию. Хорошим примером такого подхода является эксперимент Спалланцани. Те собаки, которым вводили для оплодотворения профильтрованную сперму, составляли экспериментальную группу, а те, которым вводилась нормальная сперма – контрольную. В следующем примере мы увидим контрольную и экспериментальную группы, воздействия на которые различаются в соответствии с их назначением.

Слепые люди успешно избегают столкновений с различными препятствиями, однако очень малоизвестно, как им это удается. В одной из гипотез предполагалось, что у них развивается способность «видеть лицом», то есть они реагируют на ничтожные изменения давления воздуха на открытые участки кожи. Согласно другой теории, это происходит потому, что слепые могут улавливать самые слабые звуковые сигналы.

Супа, Котцин и Далленбах решили проверить эти теории. В их эксперименте слепые люди ходили по комнате с установленными в ней различными препятствиями (экранами). Экспериментальные условия были представлены в двух вариантах. В первом случае слепым людям надевали войлочную маску на лицо и перчатки на руки (чтобы исключить восприятие кожей). Во втором случае им в уши вставлялись звукопоглощающие пробки. Третий вариант условий – контрольный: слепые просто ходили по той же комнате, как в обычных условиях.

Результаты показали, что испытуемые из контрольной группы и испытуемые в войлочных масках каждый раз обходили препятствия, в то время как испытуемые с пробками в ушах каждый раз на них натыкались. На основании этих результатов авторы эксперимента пришли к заключению, что умение слепых людей обходить препятствия объясняется в первую очередь их тонкой чувствительностью к звуковым сигналам, а не «лицевым зрением».

Приведенный эксперимент – это сокращенный вариант целого ряда исследований, в которых изучались способности к восприятию внешних воздействий у зрячих и слепых людей, В данном примере довольно трудно определить независимую переменную.

Проще представить этот эксперимент как два способа воздействия на группы – один, в котором исключалась возможность восприятия кожей, и другой, в котором исключалась возможность слухового восприятия. На контрольную группу воздействовали так же, как и на две другие, за исключением воздействий на слуховую или кожную чувствительность.

Контрольная группа обеспечивает исходный уровень, помогающий определить, улучшают или ухудшают экспериментальные воздействия способность слепых обходить препятствия. Зависимая переменная в этом исследовании – способность реагировать на раздражители в условиях ограничения чувствительности – оценивалась по количеству случаев, когда испытуемые натыкались на препятствия.

Иногда требуется более одной контрольной группы. Например, в фармакологии часто используется контрольная группа плацебо. Группу плацебо лучше всего представить как группу, членам которой внушают, что оказанное на них воздействие улучшит их работоспособность или избавит от тех или иных симптомов, в то время как в действительности никаких воздействий не оказывается. Такой тип контрольной группы применяется также для определения эффективности различных методов лечения. Рассмотрим следующий пример из психологической литературы.

Пол провел эксперимент с целью проверки эффективности двух методов лечения речевой фобии. Его испытуемыми были студенты крупного университета, посещающие занятия по риторике. Пол выбрал 67 студентов, у которых были серьезные проблемы в процессе обучения, и распределил их по четырем группам. Первой группе из 15 человек предлагался курс поведенческой терапии.

Другой группе из 15 человек предлагался курс рациональной терапии. Третья группа из 15 человек получала плацебо в виде безвредных, но и бесполезных таблеток, хотя испытуемым говорили, что это поможет им избавиться от проблем. Испытуемым из четвертой группы из 22 человек сообщали, что к ним не будут применяться какие-либо специальные меры, и они просто отвечали на те же вопросы, которые задавались членам других групп.

Каждый испытуемый должен был произнести одну речь до начала предписанного курса и одну – после его завершения. Зависимой переменной было количество улучшений, выявляемых в речах испытуемых от первого ко второму разу по оценкам четырех психологов-клиницистов. Эти четыре специалиста не знали, какой курс проходил тот или иной испытуемый и в какой группе.

Результаты эксперимента показали, что улучшили свои показатели 100% испытуемых из группы поведенческой терапии, 6о% испытуемых из группы рациональной терапии, 73% испытуемых из группы плацебо и 32% испытуемых из контрольной группы, к которым не применялись никакие методы.

Эксперимент Пола показывает, что иногда необходимо иметь различные типы контрольных групп. Интерпретация результатов эксперимента была бы совсем другой, если бы Пол не использовал контрольную группу плацебо. Без нее рациональная терапия представлялась бы достаточно эффективной для лечения трудностей речи.

А благодаря включению в эксперимент группы плацебо стало очевидным, что рациональная терапия оказалась неэффективной и могла воздействовать положительно только в качестве плацебо. В самом деле, показатели в группе плацебо оказались выше, чем в группе рациональной терапии.

Эксперимент Пола также показывает необходимость в привлечении группы, к членам которой не применялись никакие методы воздействия, поскольку даже в ней более 30% испытуемых улучшили свои показатели. Это позволяет получить исходный уровень для оценки эффективности воздействия по сравнению со случаем его отсутствия.

В различных областях исследований используются разные типы контрольных групп. Исследователи, удаляющие часть мозга у животных, входящих в состав экспериментальной группы, иногда используют контрольные группы, подопытные животные в которых подвергаются подобным хирургическим операциям, за исключением удаления части мозга.

Это позволяет контролировать такой фактор, как послеоперационный шок (справиться с которым помогают ветеринарные услуги цены на которые являются весьма приемлемыми), вызывающий определенные последствия у подопытных животных из экспериментальной группы. Следует помнить, что с контрольной группой следует обращаться точно так же, как и с экспериментальной группой, исключая только экспериментальное воздействие.

Эксперимент Пола также показывает важную контрольную процедуру, использованную для того, чтобы избежать влияния фактора предвзятости экспериментатора. Психологи, оценивавшие речевые способности испытуемых, не участвовали в проведении терапевтических процедур и не знали, к какой группе принадлежал тот или иной испытуемый.

Вполне естественно предполагать, что врач может предвзято относиться к результатам своих пациентов. Более того, оценивающие результаты эксперты могут питать пристрастие к той или иной методике лечения, и если бы они знали, что испытуемый проходил именно этот курс, то были бы склонны замечать улучшения в первую очередь у данного пациента.

Или же эксперты могут предполагать, что у испытуемых из контрольной группы, к которым не применялись какие-либо методы лечения, не может быть улучшений, и соответственно давать им заниженные оценки. Пол контролировал влияние возможной предвзятости, используя независимых экспертов и не сообщая им, к какой группе принадлежал тот или иной испытуемый.

Термин слепой используется в экспериментальных исследованиях в специальном смысле. Просто слепой эксперимент обычно означает, что испытуемым не говорят, к какой они группе принадлежат, и, возможно, даже о том, в чем заключается эксперимент. Термин двойной слепой часто используется при испытаниях действия лекарств или в исследованиях, в которых участвуют эксперты, оценивающие какие-либо качества испытуемых или изменение каких-либо показателей в ходе эксперимента.

Как экспертов, так и испытуемых держат в неведении («слепыми») относительно применяющихся в ходе эксперимента воздействий и ожидаемых результатов. Выбранный нами конкретный пример показывает влияние предвзятости экспериментатора в экспериментальной психологии и серьезные последствия, которые это может иметь для психологии и других наук.

Очевидное проявление предвзятости при проведении эксперимента было показано Розенталем и Фоудом. Студентам, обладавшим некоторыми знаниями в сфере экспериментальной психологии, предложили оценить способность проходить лабиринт у крыс, разделенных на две группы. «Экспериментаторам» было сказано, что одну группу сформировали из крыс, обладавших хорошей наследственной способностью прохождения лабиринта, тогда как другую группу – из крыс, такой способностью не обладавших.

Как и ожидалось, «способные» показали значительно более высокие результаты. Однако странность заключалась в том, что крысы отбирались из стандартной выборки, в которой не было деления на способных и неспособных. Действительно ли крысы из группы «способных» проходили лабиринты лучше «неспособных»? Вряд ли, но «экспериментаторы» ожидали такого результата, и это ожидание повлияло на объективность их оценок.

www.psyworld.info

Контрольная группа - это... Что такое Контрольная группа?


Контрольная группа

При проведении эксперимента это группа участников, по возможности точно копирующая эксперименталъную группу, но не имеющая независимой переменной. Если результат, полученный в экспериментальной группе, значительно отличается от контрольной группы, экспериментатор может отнести разницу за счет независимой переменной. Для проверки лечебных свойств нового препарата психологи пользуются контрольной группой, получаюшсй не сам препарат, а тацебо. Если в экспериментальной группе наблюдается значительное улучшение по сравнению с контрольной, то положительный результат приписывается непосредственному воздействию лекарства.


Психология. А-Я. Словарь-справочник / Пер. с англ. К. С. Ткаченко. — М.: ФАИР-ПРЕСС. Майк Кордуэлл. 2000.

  • Контентанализ
  • Контрперенос

Смотреть что такое "Контрольная группа" в других словарях:

  • КОНТРОЛЬНАЯ ГРУППА — см. ГРУППА КОНТРОЛЬНАЯ. Antinazi. Энциклопедия социологии, 2009 …   Энциклопедия социологии

  • КОНТРОЛЬНАЯ ГРУППА — КОНТРОЛЬНАЯ ГРУППА. Группа учащихся, которая не участвует в экспериментальном обучении, а ее результаты обучения сравниваются с результатами, полученными в экспериментальной группе. Результаты сравнения позволяют судить об эффективности… …   Новый словарь методических терминов и понятий (теория и практика обучения языкам)

  • контрольная группа — В исследовании случай контроль группа лиц, у которых исследуемое состояние отсутствует или которая не подвергалась воздействию какого либо фактора. [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация… …   Справочник технического переводчика

  • Контрольная группа — (в рекламе) выделенная группа при проведении исследований. К. г. служит базой при оценке полученных данных …   Реклама и полиграфия

  • КОНТРОЛЬНАЯ ГРУППА — (CONTROL GROUP) Группа людей, подобранных так, чтобы между ней и экспериментальной группой наблюдалось максимально возможное тесное сходство в отношении ряда переменных. Экспериментальная группа подвергается воздействию изучаемой независимой… …   Социологический словарь

  • Контрольная группа — (control group) в экспериментальной практике группа испытуемых (или условие), сходная с экспериментальной группой (условием) во всем, за исключением того, что в ней отсутствует изучаемая независимая переменная …   Энциклопедический словарь по психологии и педагогике

  • Контрольная группа — (control group) в эксперименте это группа испытуемых, не подвергающихся воздействию независимой переменной …   Общая психология: глоссарий

  • Контрольная группа — (Control group). Применительно к эксперименту группа субъектов, не подвергающихся никакому экспериментальному воздействию, но сравниваемая с экспериментальной группой. Ответы испытуемых из контрольной группы могут сравниваться с ответами… …   Теории личности: глоссарий

  • Контрольная группа — лица, участвующие в эксперименте и находящиеся вне сферы действия независимой переменной (опытного события) …   Социологический словарь Socium

  • контрольная группа (для сравнения) — — [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация здравоохранения, 2009 г.] Тематики вакцинология, иммунизация EN reference group …   Справочник технического переводчика


psychology.academic.ru

КОНТРОЛЬНАЯ ГРУППА - это... Что такое КОНТРОЛЬНАЯ ГРУППА?


КОНТРОЛЬНАЯ ГРУППА

Antinazi. Энциклопедия социологии, 2009

  • КОНТРОЛЬ СОЦИАЛЬНЫЙ ВНУТРЕННИЙ
  • КОНТРОЛЯ ИНФОРМАЦИОННОГО ИЕРАРХИЯ

Смотреть что такое "КОНТРОЛЬНАЯ ГРУППА" в других словарях:

  • КОНТРОЛЬНАЯ ГРУППА — КОНТРОЛЬНАЯ ГРУППА. Группа учащихся, которая не участвует в экспериментальном обучении, а ее результаты обучения сравниваются с результатами, полученными в экспериментальной группе. Результаты сравнения позволяют судить об эффективности… …   Новый словарь методических терминов и понятий (теория и практика обучения языкам)

  • Контрольная группа — При проведении эксперимента это группа участников, по возможности точно копирующая эксперименталъную группу, но не имеющая независимой переменной. Если результат, полученный в экспериментальной группе, значительно отличается от контрольной группы …   Большая психологическая энциклопедия

  • контрольная группа — В исследовании случай контроль группа лиц, у которых исследуемое состояние отсутствует или которая не подвергалась воздействию какого либо фактора. [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация… …   Справочник технического переводчика

  • Контрольная группа — (в рекламе) выделенная группа при проведении исследований. К. г. служит базой при оценке полученных данных …   Реклама и полиграфия

  • КОНТРОЛЬНАЯ ГРУППА — (CONTROL GROUP) Группа людей, подобранных так, чтобы между ней и экспериментальной группой наблюдалось максимально возможное тесное сходство в отношении ряда переменных. Экспериментальная группа подвергается воздействию изучаемой независимой… …   Социологический словарь

  • Контрольная группа — (control group) в экспериментальной практике группа испытуемых (или условие), сходная с экспериментальной группой (условием) во всем, за исключением того, что в ней отсутствует изучаемая независимая переменная …   Энциклопедический словарь по психологии и педагогике

  • Контрольная группа — (control group) в эксперименте это группа испытуемых, не подвергающихся воздействию независимой переменной …   Общая психология: глоссарий

  • Контрольная группа — (Control group). Применительно к эксперименту группа субъектов, не подвергающихся никакому экспериментальному воздействию, но сравниваемая с экспериментальной группой. Ответы испытуемых из контрольной группы могут сравниваться с ответами… …   Теории личности: глоссарий

  • Контрольная группа — лица, участвующие в эксперименте и находящиеся вне сферы действия независимой переменной (опытного события) …   Социологический словарь Socium

  • контрольная группа (для сравнения) — — [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация здравоохранения, 2009 г.] Тематики вакцинология, иммунизация EN reference group …   Справочник технического переводчика


dic.academic.ru

Что такое Глобальная контрольная группа?

Глобальная контрольная группа – это клиенты, которые временно не получают никаких коммуникаций. 

Как работает?

Каждый месяц из всей базы (основная база) в глобальную контрольную группу случайным образом выделяется около 5% клиентов. Попадание в контрольную группу автоматически ограничивает возможность слать рекламные рассылки (триггерные и ручные) клиентам, которые в нее попали. Ограничение по отправке не затрагивает транзакционные рассылки, они отправляются в штатном режиме всем клиентам без исключения.
Время нахождения клиента в контрольной группе регулируется настройками, обычно составляет один месяц. Система ежемесячно будет перемещать часть клиентов из контрольной группы в основную и обратно. Таким образом ни один клиент не останется без коммуникаций надолго.

В итоге мы получаем две группы: основная (отправляем рассылки), глобальная контрольная группа (не отправляем рассылки). 

Как включить?

Глобальная контрольная группа по умолчанию включена на всех проектах.

Как настроить?

Настроить контрольную группу можете самостоятельно (если у вас есть доступ) или попросить помощи у менеджера проекта.

Настройки глобальной контрольной группы находятся по адресу:

Администрирование => Настройки => Настройки рассылок => Настройки ограничений отправки рассылок

В настройках можете задать значения:

  1. Для кого считать эффект от глобальной контрольной группы ( указываете сегмент клиентов из которых можно выбирать людей для перемещения в глобальную контрольной группы)
  2. Размер контрольной группы (обычно 5%)
  3. Максимальный размер контрольной группы 
  4. Длительность нахождения клиента в контрольной группе
Зачем это нужно?

Разделение базы на основную и контрольную группу позволяет нам сравнить поведение и заказы клиентов из каждой группы по отдельности. 

Глобальная контрольная группа отражает естественное поведение клиентов. Таким образом мы знаем, сколько было бы совершено покупок, если бы рассылок вообще не было.
Основная группа получает все запланированные рассылки в полном объеме.

Каждый месяц вы можете сравнить выручку в Основной группе с выручкой в Глобальной контрольной группе – прирост выручки в Основной группе и будет эффектом от ваших рассылок.

Как найти людей, которые входят в Глобальную контрольную группу?

Найти людей можно по фильтру:

Клиенты => Сегмент => Измерение эффективности рассылок => Контрольная группа

Как измерить эффект от Глобальной контрольной группы?

Мы создали специальный отчет — “Эффективность CRM” в разделе отчеты “Контрольные группы”:

Отчет показывает:
1. Долю выручки от всех рассылок, запускаемых через Mindbox (по всем каналам, online и offline) и среднемесячную выручку от рассылок за выбранный период;

2. Долю повторных покупок;

3. Качество контрольной группы (чтобы убедиться, что клиенты в контрольной группе не получали писем).


Важно!  Глобальная контрольная группа  ≠ контрольная группа в рассылках

В отличие от обычной контрольной группы, глобальная контрольная группа проверяет результаты всей коммуникации с клиентом, а не только отдельной рассылки.

Готово!

help.mindbox.ru

Как отсутствие контрольной группы делает любое исследование бессмысленным

Помогает ли прослушивание Моцарта стать умнее? Зачем в исследованиях используют плацебо? Сильно ли генетика определяет наше поведение, и как можно это проверить?

Публикуем отрывок из главы «Пропущенные, недооцененные, альтернативные объяснения» книги Дэниела Левитина «Путеводитель по лжи. Критическое мышление в эпоху постправды» про то, как отсутствие контрольной группы делает любое исследование бессмысленным. 

Книга вышла в издательстве «Манн, Иванов и Фербер»при поддержке «Эволюции».

Отсутствие контрольной группы

Так называемый эффект Моцарта был дискредитирован, потому что во время экспериментов, показывающих, что прослушивание Моцарта в течение 20 минут в день временно увеличивает IQ, не хватало контрольной группы. Это значит, что одной группе давали слушать Моцарта, а второй не давали никакого задания. Ничегонеделанье не есть форма адекватного контроля, и оказалось, что если давать испытуемым задание — какое угодно, — то эффект исчезает. Эффект Моцарта возникал не от музыки Моцарта, повышающей IQ. Такой эффект наблюдался скорее на контрасте с той скукой, которую испытывала вторая группа, чей IQ временно снижался из-за ничегонеделания.

Если вы приведете в лабораторию 20 человек, страдающих головной болью, дадите им свое новое лекарство, способное творить чудеса, и десяти из них и правда станет лучше, это будет означать, что ничего-то вы не узнали. Некоторые виды головной боли проходят сами собой, с течением времени. Сколько их? Никому не известно. Вам нужно было бы иметь контрольную группу, состоящую из людей приблизительно одного возраста и происхождения, страдающих схожей формой головной боли. А так как даже сама вера в то, что вам может стать лучше, порой приводит к улучшению самочувствия, вам придется дать контрольной группе что-нибудь такое, что подкрепит эту веру, да так же сильно, как и изучаемое фармакологическое средство. Следовательно, потребуется хорошо всем известное плацебо — вещество, которое выглядит так же, как волшебная пилюля, устраняющая головную боль. Но предложить его нужно так, чтобы никто из испытуемых ничего не заподозрил, пока эксперимент не подойдет к завершению.

Малкольм Гладуэлл в своей книге David and Goliath: Underdogs, Misfits, and the Art of Battling Giants* распространил неверное заключение, заявив, что те, кто страдает дислексией, могут на самом деле считать себя счастливчиками. Он заставил многих родителей верить, что их дети-дислексики не должны получать то специальное образование, в котором так нуждаются. Гладуэлл допустил ошибку из-за отсутствия условий контроля, и мы не знаем, насколько успешнее могли бы стать отобранные им дислексики, будь у них возможность улучшить условия своего обучения.

Отсутствие контрольной группы сложнее обнаружить в повседневных разговорах, нежели в научных заявлениях, — просто потому, что там мы не ищем. Вот вы читаете — и признаете разумным — новое исследование, в котором говорится, что если ложиться спать и просыпаться в одно и то же время, повысятся продуктивность и креативность. Ваша подруга, художница, успешная во всех отношениях, возражает. Она говорит, что всегда ложилась спать тогда, когда хотела, частенько засиживаясь до утра, а иногда и проводила в постели по 20 часов кряду, — при этом все у нее хорошо. Видите, в этом примере нет контрольной группы. Насколько более продуктивной и креативной могла бы стать девушка, придерживайся она всегда четкого режима? Нам неизвестно.

Братья-близнецы были разлучены после рождения и выросли отдельно друг от друга — один из них в нацистской Германии, а второй в Тринидаде и Венесуэле. Одного воспитали в католической церкви (позже он стал членом гитлерюгенда), второго как иудея. Они воссоединились 21 год спустя и выяснили, что у них было поразительно много общего в поведении. Многие восхищенные свидетели приписывали эти совпадения генетике: оба чесали голову безымянным пальцем, оба подкрадывались к незнакомцам и громко чихали, находя это забавным. Оба были небольшого роста, носили аккуратно подстриженные усики и прямоугольные очки в округлой проволочной оправе. Оба ходили в голубых рубашках с эполетами и карманами на военный манер. У них была одинаковая походка, и они в одинаковых позах сидели в кресле. Оба любили масло и острую еду, спускали воду в туалете до и после использования и заглядывали в конец книги, прежде чем ее прочесть. Оба обматывали свои ручки и карандаши изолентой, чтобы те меньше скользили в руке.

Подобные истории могут заставить вас задуматься о том, какое влияние оказывают гены на наше поведение. А может, мы всего лишь автоматы и наши действия предопределены? А как иначе объяснить такие совпадения?

Итак, существует два способа, но обоим недостает контрольной группы. Социальный психолог, возможно, скажет, что обычно к людям, которые похожи внешне, относятся схожим образом. С красавчиками обращаются иначе, нежели с теми, кто некрасив, к людям высоким отношение не такое же, как к низкорослым. Если по вашему лицу видно, что вы человек честный и не своекорыстный, то к вам будут относиться не так, как относились бы, будь выражение лица иным. Поведение братьев-близнецов сформировалось под влиянием того мира, в котором они жили. Нам нужно было бы иметь контрольную группу людей, не имеющих никаких родственных взаимоотношений, но которые все же выглядели бы поразительно похожими и были воспитаны отдельно друг от друга. При соблюдении этих условий в «естественном эксперименте» с близнецами, разлученными в детстве, мы бы получили четкий результат.

Есть тысячи вещей, которые мы регулярно делаем в течение жизни. Статистик или генетик-бихевиорист сказал бы, что у двоих произвольно выбранных незнакомцев может обнаружиться поразительное сходство, например в выборе одежды, уходе за собой, склонности к розыгрышам и т. д. Нужно просто долго за ними наблюдать и хорошенько к ним присматриваться. Не имея контрольной группы, объединяющей незнакомцев и тех, кто проводит эксперимент и изучает их привычки, мы не знаем наверняка, что стало движущей силой в истории с близнецами: генетика или чистой воды случайность. Возможно, все же огромную роль играет генетика, но есть вероятность, что не такую большую, как нам кажется.

* Издана на русском языке: Гладуэлл М. Давид и Голиаф. Как аутсайдеры побеждают фаворитов. М. : Альпина Паблишер, 2014.

evolutionfund.ru

6 простых шагов — Академия Яндекса

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.

Кому нужно A/B-тестирование

  • Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.
  • Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик.
  • Продуктовые дизайнеры могут тестировать дизайнерские решения (например, цвет кнопки оформления заказа) или использовать результаты тестирования для того, чтобы перед внедрением определить, будет ли удобно пользоваться новой функцией.


Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.

1. Определите цели 

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

2. Определите метрику 

Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.

3. Разработайте гипотезу 

Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.

Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.

Общая гипотеза заключается в следующем: «Если изменить главную страницу регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что новое изображение лучше передает его ценности».

Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.

  • Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.
  • Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.

Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).  

4. Подготовьте эксперимент 

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

  • Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.
  • Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.
  • Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.
  • Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.
  • Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
  • Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.

Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.

5. Проведите эксперимент 

Помните о важных шагах, которые необходимо выполнить:

  • Обсудите параметры эксперимента с исполнителями.
  • Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.
  • В самом начале проведения тестирования проверьте, действительно ли оно работает.
  • И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость. Почему? Читайте здесь. 

6. Анализируйте результаты. Наконец-то самое интересное 

Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Если не было никакой разницы в целом, вы также можете сегментировать выборку по платформам, типам источников, географическим параметрам и т. п., если это применимо. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.

Проверьте статистическую значимость. Статистическая теория, лежащая в основе этого подхода, объясняется здесь, но основная идея в том, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.

Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.

Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.

A/B-тестирование может дать следующие результаты:

  • Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом.

    В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.

  • Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.

Заключение

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.

academy.yandex.ru

ГРУППА КОНТРОЛЬНАЯ это что такое ГРУППА КОНТРОЛЬНАЯ: определение — Социология.НЭС

Контрольная группа

лица, участвующие в эксперименте и находящиеся вне сферы действия независимой переменной (опытного события).

Оцените определение:

Источник: Социологический словарь проекта Socium

Группа контрольная

в эксперименте испытуемые, с которыми обращаются, как с испытуемыми из экспериментальной группы, но на них не оказывает влияние независимая переменная.

Оцените определение:

Источник: Социология: Учебник для вузов: глоссарий к книге

ГРУППА КОНТРОЛЬНАЯ

англ. group, control; нем. KontroMgruppe. Группа индивидов, использующихся для сравнения при проведении эксперимента, в к-рую не вводятся экспериментальные стимулы. См. ЭКСПЕРИМЕНТ СОЦИАЛЬНЫЙ. 3 Социологический

Оцените определение:

Источник: Большой словарь по социологии, проект www.rusword.com.ua

ГРУППА КОНТРОЛЬНАЯ

группа, не подвергающаяся экспериментальному воздействию. Переменная независимая в Г.К. принимает нулевое значение, которое, как полагает исследователь, не должно вызвать эффект (изменение) переменной зависимой .

А.П. Репеко

Оцените определение:

Источник: Социология: энциклопедия

Группа контрольная

группа испытуемых в эксперименте, деятельность которых проходит без воздействия экспериментального фактора. По условиям деятельности группа контрольная не отличается от экспериментальной группы, подверженной воздействию экспериментального фактора гипотетической причины определенных изменений в социальной деятельности. Если в экспериментальной группе наблюдаются изменения в деятельности, а в группе контрольной нет, то гипотеза считается доказанной.

Оцените определение:

Источник: Основные социологические термины. Учебное пособие

КОНТРОЛЬНАЯ ГРУППА

CONTROL GROUP) Группа людей, подобранных так, чтобы между ней и экспериментальной группой наблюдалось максимально возможное тесное сходство в отношении ряда переменных. Экспериментальная группа подвергается воздействию изучаемой независимой переменной, тогда как группа контрольная такому воздействию не подвергается. Все различия между двумя этими группами, обнаруживаемые после эксперимента, приписываются действию независимой переменной. Например, при исследовании влияния телевидения на детей помимо подвергаемой его воздействию экспериментальной группы необходимо создать группу, схожую с ней по основным характеристикам (наприме

voluntary.ru

Как настроить Контрольную Группу и АБ-тестирование в рассылке

Инструкция применима ко всем видам рассылок и каналов. На примере рассмотрим создание email-рассылки.

  1. Заходим в email рассылки.

Кампании - Список кампаний - Email-рассылки

2. Редактируем существующую рассылку или добавляем новую.

3. Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе "Письмо":

В втором варианте выбираем тему, отправителя и шаблон.
Шаблон можно скорпировать из первого варианта:

Можем тестировать по теме:

Можем тестировать по отправителю:

Можем тестировать по шаблону:

Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом. 

4. Если рассылка массовая, выбираем получателей.

5. Выбираем настройки тестирования.

Существуют 2 варианта тестирования:

  • Варианты писем + контрольная группа.
  • Только варианты писем.

Если нужно измерить чистый эффект и доход от рассылки - выбираем “Варианты писем + контрольная группа”. В таком случае критерием оценки может быть только целевое действие.
Количество человек в контрольной группе равно размеру варианта рассылки.

При проведении тестирования без контрольной группы критерий оценки могут также "Показатель открытия" и "Показатель кликов".

Критерий оценки: выбираем исходя из того, что тестируем.

  • Для темы и имени: показатель открытия.
  • Для шаблона: показатель кликов или целевое действие - оформление заказов.

Минимальная разница в отклике: на сколько % один вариант должен превосходить другой, чтобы считаться успешным.

Время тестирования: время, в которое будет проводиться тест и собираться данные. По истечении этого времени оставшимся подписчикам будет отправлен более успешный вариант.
Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.

Как работает: части подписчиков отправляется один вариант письма, части другой. В течение установленного времени собираются данные. Далее оставшейся части подписчиков отправляется выигрышный вариант.

Как проходит тестирование с контрольной группой:


Как проходит тестирование без контрольной группы:

Настройки тестирования в массовой рассылке с контрольной группой:

И без:


Настройки тестирования в триггерной рассылке с контрольной группой: 

И без:

В массовых рассылках пишется, какой процент от всей рассылки составляет тестовая часть и размер итоговой части.

Можно также посмотреть дополнительные параметры:

Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.

Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.

help.mindbox.ru

КОНТРОЛЬНАЯ ГРУППА - это... Что такое КОНТРОЛЬНАЯ ГРУППА?


КОНТРОЛЬНАЯ ГРУППА
(CONTROL GROUP) Группа людей, подобранных так, чтобы между ней и экспериментальной группой наблюдалось максимально возможное тесное сходство в отношении ряда переменных. Экспериментальная группа подвергается воздействию изучаемой независимой переменной, тогда как группа контрольная  такому воздействию не подвергается. Все различия между двумя этими группами, обнаруживаемые после эксперимента, приписываются действию независимой переменной. Например, при исследовании влияния телевидения на детей помимо подвергаемой его воздействию экспериментальной группы необходимо создать группу, схожую с ней по основным характеристикам (например, по возрасту, полу, образованию, классу), но не подвергающуюся воздействию телевидения. Без такого контроля исследователь не может быть уверен в том, чем вызван какой-либо наблюдаемый эффект: воздействием телевидения или некоторым другим внешним фактором. Контрольные группы могут использоваться и тогда, когда осуществление эксперимента невозможно. Сравнение двух групп, подобранных в максимально тесном соответствии друг с другом, из которых в прошлом лишь одна подвергалась воздействию какой-либо независимой переменной, позволяет проверить гипотезу о влиянии последней. Данный метод работает по принципу «от прошлого к настоящему» и известен как метод «от-причины-к-следствию».В другом случае две группы, отобранные на основании известного различия между ними в некотором значимом аспекте, выравниваются до максимального соответствия; затем исследуется их прошлое с тем, чтобы найти объяснение этому различию. Такой метод называется методом «от-следствияк-причине». См. также: Статистический контроль; Экспериментальный метод.

Социологический словарь. — М.: Экономика. Н. Аберкромби, С. Хилл, Б.С. Тернер. 2004.

  • КОНТРКУЛЬТУРА
  • КОНФЛИКТА ТЕОРИЯ

Смотреть что такое "КОНТРОЛЬНАЯ ГРУППА" в других словарях:

  • КОНТРОЛЬНАЯ ГРУППА — см. ГРУППА КОНТРОЛЬНАЯ. Antinazi. Энциклопедия социологии, 2009 …   Энциклопедия социологии

  • КОНТРОЛЬНАЯ ГРУППА — КОНТРОЛЬНАЯ ГРУППА. Группа учащихся, которая не участвует в экспериментальном обучении, а ее результаты обучения сравниваются с результатами, полученными в экспериментальной группе. Результаты сравнения позволяют судить об эффективности… …   Новый словарь методических терминов и понятий (теория и практика обучения языкам)

  • Контрольная группа — При проведении эксперимента это группа участников, по возможности точно копирующая эксперименталъную группу, но не имеющая независимой переменной. Если результат, полученный в экспериментальной группе, значительно отличается от контрольной группы …   Большая психологическая энциклопедия

  • контрольная группа — В исследовании случай контроль группа лиц, у которых исследуемое состояние отсутствует или которая не подвергалась воздействию какого либо фактора. [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация… …   Справочник технического переводчика

  • Контрольная группа — (в рекламе) выделенная группа при проведении исследований. К. г. служит базой при оценке полученных данных …   Реклама и полиграфия

  • Контрольная группа — (control group) в экспериментальной практике группа испытуемых (или условие), сходная с экспериментальной группой (условием) во всем, за исключением того, что в ней отсутствует изучаемая независимая переменная …   Энциклопедический словарь по психологии и педагогике

  • Контрольная группа — (control group) в эксперименте это группа испытуемых, не подвергающихся воздействию независимой переменной …   Общая психология: глоссарий

  • Контрольная группа — (Control group). Применительно к эксперименту группа субъектов, не подвергающихся никакому экспериментальному воздействию, но сравниваемая с экспериментальной группой. Ответы испытуемых из контрольной группы могут сравниваться с ответами… …   Теории личности: глоссарий

  • Контрольная группа — лица, участвующие в эксперименте и находящиеся вне сферы действия независимой переменной (опытного события) …   Социологический словарь Socium

  • контрольная группа (для сравнения) — — [Англо русский глоссарий основных терминов по вакцинологии и иммунизации. Всемирная организация здравоохранения, 2009 г.] Тематики вакцинология, иммунизация EN reference group …   Справочник технического переводчика


sociological_dictionary.academic.ru

Ответы Mail.ru: Разъясните

При проведении какого-либо исследования выбирают две группы. В экспериментальную входят дети, с которыми проводится работа по формированию чего-либо какими -то определенными методами. В контрольную - дети, с которыми такая специальная работа не проводится. В начале и в конце исследования проводится тестирование, чтобы доказать наличие или отсутствие положительной динамики у детей, с которыми проводится специальная работа. Так же экспериментальная деятельность состоит из этапов: констатирующего (проводится первичная диагностика, определяются цели, выбираются методы ит. д.) , формирующего - непостредственная работа (занятия, игры и т. п. ) и контрольного - проводится диагностика, делаются выводы, анализируются результаты

По правилам проведения психолого-педагогических исследований на констатирующем етате (когда определяется уровень развития чего либо, или свормированости, в вашем случае - уровень тревожности) контрольная и экспериментальная группы должны быть приблезительно одинаковыми по своим характеристикам (количество, уровень подготовки и т. д.) . Виходя из результатов констатирующего эксперимента, вы разрабатываете программу формирующего (тоесть, какую работу вы планируете проводить с детьми - игры, занятия, на снижение уровня тревожности) . Эту работу вы проводите только с детьми экспериментальной групы, с детьми контрольной групи работа проводится за традиционной програмой работы воспитателя или психолога. На контрольном (заключительном) этапе, вы проводите повторную диагностику и сравниваете уровень тревожности у детей контрольной и экспериментальной группы. Если вами правильно была разработана программа формирующего эксперимента, уровень тревожности детей ЕГ должен снизиться, что свидетельствует об эффективности проведенной вами работы с детьми. Уровень тревожности у детей КГ тоже может снизиться, но не значительно.

Экспериментальная группа - группа индивидов, в которую вводятся определенные стимулы при проведении эксперимента. # Группа контрольная * Группа контрольная Энциклопедия социологии ГРУППА КОНТРОЛЬНАЯ - группа, не подвергающаяся экспериментальному воздействию. Переменная независимая (см) в Г. К. принимает нулевое значение, которое, как полагает исследователь, не должно вызвать эффект … * Контрольная группа Реклама и полиграфия КОНТРОЛЬНАЯ ГРУППА (в рекламе) — выделенная группа при проведении исследований. К. г. служит базой при оценке полученных данных… * Контрольная группа . Общественные науки Контрольная группа - группа индивидов, в которую не вводятся экспериментальные стимулы. При проведении эксперимента контрольная группа используется для сравнения. Социальные эксперименты… # Формирующий эксперимент Психология развития Формирующий эксперимент [лат. formare — придавать форму, вид] — особый метод психологического исследования, состоящий в том, что исследователь определенным образом строит обучение (воспитание) испытуемого … «констатирующий эксперимент» 1. Эксперимент психофизиологический Психофизиология Эксперимент психофизиологический — создание экспериментальной ситуации, при которой изучается функциональное состояние организма, особенности и механизмы организации деятельности на нейрофизиологическом …

touch.otvet.mail.ru


Смотрите также