Как посчитать доверительный интервал в excel
Перейти к содержимому

Как посчитать доверительный интервал в excel

  • автор:

Как рассчитать доверительные интервалы в Excel

Как рассчитать доверительные интервалы в Excel

Доверительный интервал — это диапазон значений, который может содержать параметр генеральной совокупности с определенным уровнем достоверности. Он рассчитывается по следующей общей формуле:

Доверительный интервал = (точечная оценка) +/- (критическое значение) * (стандартная ошибка)

Эта формула создает интервал с нижней границей и верхней границей, который, вероятно, содержит параметр совокупности с определенным уровнем достоверности:

Доверительный интервал = [нижняя граница, верхняя граница]

В этом руководстве объясняется, как рассчитать следующие доверительные интервалы в Excel:

1. Доверительный интервал для среднего

2. Доверительный интервал для разницы в средних значениях

3. Доверительный интервал для пропорции

4. Доверительный интервал для разницы в пропорциях

Пример 1: Доверительный интервал для среднего

Доверительный интервал = x +/- z*(s/√n)

  • x : выборочное среднее
  • z: выбранное значение z
  • s: стандартное отклонение выборки
  • n: размер выборки

Пример: Предположим, мы собираем случайную выборку черепах со следующей информацией:

  • Размер выборки n = 25
  • Средний вес выборки x = 300
  • Стандартное отклонение выборки s = 18,5

На следующем снимке экрана показано, как рассчитать 95% доверительный интервал для истинного среднего веса популяции черепах:

Доверительный интервал для среднего значения в Excel

95% доверительный интервал для истинного среднего веса популяции черепах составляет [292,75, 307,25] .

Пример 2: Доверительный интервал для разницы в средних значениях

Мы используем следующую формулу для расчета доверительного интервала для разницы в средних значениях генеральной совокупности :

Доверительный интервал = ( x 1 – x 2 ) +/- t * √ ((s p 2 /n 1 ) + (s p 2 /n 2 ))

  • x 1 , x 2 : среднее значение для образца 1, среднее значение для образца 2
  • t: t-критическое значение, основанное на доверительном уровне и (n 1 +n 2 -2) степенях свободы
  • s p 2 : объединенная дисперсия, рассчитанная как ((n 1 -1)s 1 2 + (n 2 -1)s 2 2 ) / (n 1 +n 2 -2)
  • t: t-критическое значение
  • n 1 , n 2 : размер выборки 1, размер выборки 2

Пример: Предположим, мы хотим оценить разницу в среднем весе между двумя разными видами черепах, поэтому мы собираем случайную выборку из 15 черепах из каждой популяции. Вот сводные данные для каждого образца:

Образец 1:

  • х 1 = 310
  • с 1 = 18,5
  • п 1 = 15

Образец 2:

  • х 2 = 300
  • с 2 = 16,4
  • п 2 = 15

На следующем снимке экрана показано, как рассчитать 95% доверительный интервал для истинной разницы в средних значениях населения:

Доверительный интервал для разницы средних в Excel

95% доверительный интервал для истинной разницы в средних значениях населения составляет [-3,08, 23,08] .

Пример 3: Доверительный интервал для пропорции

Мы используем следующую формулу для расчета доверительного интервала для пропорции :

Доверительный интервал = p +/- z * √ p (1-p) / n

  • p: доля выборки
  • z: выбранное значение z
  • n: размер выборки

Пример: Предположим, мы хотим оценить долю жителей округа, поддерживающих определенный закон. Мы выбираем случайную выборку из 100 жителей и спрашиваем их об их отношении к закону. Вот результаты:

  • Размер выборки n = 100
  • Доля в пользу закона p = 0,56

На следующем снимке экрана показано, как рассчитать 95-процентный доверительный интервал для истинной доли жителей всего округа, поддерживающих закон:

Доверительный интервал для пропорции в Excel

95-процентный доверительный интервал для истинной доли жителей всего округа, поддерживающих закон, составляет [0,463, 0,657] .

Пример 4: Доверительный интервал для разницы в пропорциях

Доверительный интервал = (p 1 –p 2 ) +/- z*√(p 1 (1-p 1 )/n 1 + p 2 (1-p 2 )/n 2 )

  • p 1 , p 2 : доля образца 1, доля образца 2
  • z: z-критическое значение, основанное на доверительном уровне
  • n 1 , n 2 : размер выборки 1, размер выборки 2

Пример. Предположим, мы хотим оценить разницу в доле жителей, поддерживающих определенный закон в округе А, по сравнению с долей жителей, поддерживающих закон в округе Б. Вот сводные данные для каждой выборки:

Образец 1:

  • п 1 = 100
  • p 1 = 0,62 (т.е. 62 из 100 жителей поддерживают закон)

Образец 2:

  • п 2 = 100
  • p 2 = 0,46 (т.е. 46 из 100 жителей поддерживают закон) На следующем снимке экрана показано, как рассчитать 95% доверительный интервал для истинной разницы в доле жителей, поддерживающих закон, между округами:

Доверительный интервал 9,5% для истинной разницы доли жителей, поддерживающих закон, между округами составляет [0,024, 0,296] .

Как посчитать доверительный интервал в excel

Возвращает доверительный интервал для среднего генеральной совокупности с нормальным распределением.

Описание

Доверительный интервал — это диапазон значений. Выборка «x» находится в центре этого диапазона, а диапазон — x ± ДОВЕРИТ.НОРМ. Например, если x — это пример времени доставки продуктов, заказаных по почте, x ± ДОВЕРИТ. НОРМ — это диапазон способов численностью населения. Для любого средней численности населения (μ0) в этом диапазоне вероятность получения выборки от μ0 больше, чем x, больше, чем альфа; для любого средней численности населения (μ0, не в этом диапазоне), вероятность получения выборки от μ0 больше, чем x, меньше, чем альфа. Другими словами, предположим, что для построения двунамерного теста на уровне значимости альфа гипотезы о том, что это μ0, используются значения x, standard_dev и размер. Тогда мы не отклонить эту гипотезу, если μ0 находится через доверительный интервал, и отклонить ее, если μ0 не находится в доверительный интервал. Доверительный интервал не позволяет нам сделать вывод о том, что вероятность 1 — альфа, что следующий пакет займет время доставки через доверительный интервал.

Синтаксис

Аргументы функции ДОВЕРИТ.НОРМ описаны ниже.

Альфа — обязательный аргумент. Уровень значимости, используемый для вычисления доверительного уровня. Доверительный уровень равен 100*(1 — альфа) процентам или, иными словами, значение аргумента «альфа», равное 0,05, означает 95-процентный доверительный уровень.

Стандартное_откл — обязательный аргумент. Стандартное отклонение генеральной совокупности для диапазона данных, предполагается известным.

Размер — обязательный аргумент. Размер выборки.

Замечания

Если какой-либо из аргументов не является числом, доверит. Норм возвращает #VALUE! значение ошибки #ЗНАЧ!.

Если альфа ≤ 0 или альфа ≥ 1, доверит. Норм возвращает #NUM! значение ошибки #ЗНАЧ!.

Если standard_dev ≤ 0, доверит. Норм возвращает #NUM! значение ошибки #ЗНАЧ!.

Если значение аргумента «размер» не является целым числом, оно усекается.

Если размер < 1, доверит. Норм возвращает #NUM! значение ошибки #ЗНАЧ!.

Если предположить, что альфа = 0,05, то нужно вычислить область под стандартной нормальной кривой, которая равна (1 — альфа), или 95 процентам. Это значение равно ± 1,96. Следовательно, доверительный интервал определяется по формуле:

Пример

Скопируйте образец данных из следующей таблицы и вставьте их в ячейку A1 нового листа Excel. Чтобы отобразить результаты формул, выделите их и нажмите клавишу F2, а затем — клавишу ВВОД. При необходимости измените ширину столбцов, чтобы видеть все данные.

Доверительный интервал для оценки среднего (дисперсия известна) в EXCEL

В статье Статистики, выборочное распределение и точечные оценки в MS EXCEL дано определение точечной оценки параметра распределения (point estimator). Однако, в силу случайности выборки, точечная оценка не совпадает с оцениваемым параметром и более разумно было бы указывать интервал, в котором может находиться неизвестный параметр при наблюденной выборке х 1 , x 2 , . х n . Поэтому цель использования доверительных интервалов состоит в том, чтобы по возможности избавиться от неопределенности и сделать как можно более полезный статистический вывод .

Примечание : Процесс обобщения данных выборки , который приводит к вероятностным утверждениям обо всей генеральной совокупности , называют статистическим выводом (statistical inference).

СОВЕТ : Для построения Доверительного интервала нам потребуется знание следующих понятий:

  • дисперсия и стандартное отклонение ,
  • выборочное распределение статистики ,
  • уровень доверия/ уровень значимости ,
  • стандартное нормальное распределение и его квантили .

К сожалению, интервал, в котором может находиться неизвестный параметр, совпадает со всей возможной областью изменения этого параметра, поскольку соответствующую выборку , а значит и оценку параметра , можно получить с ненулевой вероятностью. Поэтому приходится ограничиваться нахождением границ изменения неизвестного параметра с некоторой заданной наперед вероятностью.

Определение : Доверительным интервалом называют такой интервал изменения случайной величины , которыйс заданной вероятностью , накроет истинное значение оцениваемого параметра распределения.

Эту заданную вероятность называют уровнем доверия (или доверительной вероятностью ).

Обычно используют значения уровня доверия 90%; 95%; 99%, реже 99,9% и т.д. Например, уровень доверия 95% означает, что дополнительное событие, вероятность которого 1-0,95=5%, исследователь считает маловероятным или невозможным.

Примечание : Вероятность этого дополнительного события называется уровень значимости или ошибка первого рода . Подробнее см. статью Уровень значимости и уровень надежности в MS EXCEL .

Разумеется, выбор уровня доверия полностью зависит от решаемой задачи. Так, степень доверия авиапассажира к надежности самолета, несомненно, должна быть выше степени доверия покупателя к надежности электрической лампочки.

Примечание : Построение доверительного интервала в случае, когда стандартное отклонение неизвестно, приведено в статье Доверительный интервал для оценки среднего (дисперсия неизвестна) в MS EXCEL . О построении других доверительных интервалов см. статью Доверительные интервалы в MS EXCEL .

Формулировка задачи

Предположим, что из генеральной совокупности имеющей нормальное распределение взята выборка размера n. Предполагается, что стандартное отклонение этого распределения известно. Необходимо на основании этой выборки оценить неизвестное среднее значение распределения (μ, математическое ожидание ) и построить соответствующий двухсторонний доверительный интервал .

Точечная оценка

Как известно из Центральной предельной теоремы , статистика (обозначим ее Х ср ) является несмещенной оценкой среднего этой генеральной совокупности и имеет распределение N(μ;σ 2 /n).

Примечание : Что делать, если требуется построить доверительный интервал в случае распределения, которое не является нормальным? В этом случае на помощь приходит Центральная предельная теорема , которая гласит, что при достаточно большом размере выборки n из распределения не являющемся нормальным , выборочное распределение статистики Х ср будет приблизительно соответствовать нормальному распределению с параметрами N(μ;σ 2 /n).

Итак, точечная оценка среднего значения распределения у нас есть – это среднее значение выборки , т.е. Х ср . Теперь займемся доверительным интервалом.

Построение доверительного интервала

Обычно, зная распределение и его параметры, мы можем вычислить вероятность того, что случайная величина примет значение из заданного нами интервала. Сейчас поступим наоборот: найдем интервал, в который случайная величина попадет с заданной вероятностью. Например, из свойств нормального распределения известно, что с вероятностью 95%, случайная величина, распределенная по нормальному закону , попадет в интервал примерно +/- 2 стандартных отклонения от среднего значения (см. статью про нормальное распределение ). Этот интервал, послужит нам прототипом для доверительного интервала .

Теперь разберемся,знаем ли мы распределение , чтобы вычислить этот интервал? Для ответа на вопрос мы должны указать форму распределения и его параметры.

Форму распределения мы знаем – это нормальное распределение (напомним, что речь идет о выборочном распределении статистики Х ср ).

Параметр μ нам неизвестен (его как раз нужно оценить с помощью доверительного интервала ), но у нас есть его оценка Х ср , вычисленная на основе выборки, которую можно использовать.

Второй параметр – стандартное отклонение выборочного среднего будем считать известным , он равен σ/√n.

Т.к. мы не знаем μ, то будем строить интервал +/- 2 стандартных отклонения не от среднего значения , а от известной его оценки Х ср . Т.е. при расчете доверительного интервала мы НЕ будем считать, что Х ср попадет в интервал +/- 2 стандартных отклонения от μ с вероятностью 95%, а будем считать, что интервал +/- 2 стандартных отклонения от Х ср с вероятностью 95% накроет μ – среднее генеральной совокупности, из которого взята выборка . Эти два утверждения эквивалентны, но второе утверждение нам позволяет построить доверительный интервал .

Кроме того, уточним интервал: случайная величина, распределенная по нормальному закону , с вероятностью 95% попадает в интервал +/- 1,960 стандартных отклонений, а не+/- 2 стандартных отклонения . Это можно рассчитать с помощью формулы =НОРМ.СТ.ОБР((1+0,95)/2) , см. файл примера Лист Интервал .

Теперь мы можем сформулировать вероятностное утверждение, которое послужит нам для формирования доверительного интервала : «Вероятность того, что среднее генеральной совокупности находится от среднего выборки в пределах 1,960 « стандартных отклонений выборочного среднего» , равна 95%».

Значение вероятности, упомянутое в утверждении, имеет специальное название уровень доверия , который связан с уровнем значимости α (альфа) простым выражением уровень доверия = 1. В нашем случае уровень значимости α =1-0,95=0,05 .

Теперь на основе этого вероятностного утверждения запишем выражение для вычисления доверительного интервала :

Примечание : Верхний α/2-квантиль определяет ширину доверительного интервала в стандартных отклонениях выборочного среднего. Верхний α/2-квантиль стандартного нормального распределения всегда больше 0, что очень удобно.

В нашем случае при α=0,05, верхний α/2-квантиль равен 1,960. Для других уровней значимости α (10%; 1%) верхний α/2-квантиль Z α/2 можно вычислить с помощью формулы =НОРМ.СТ.ОБР(1-α/2) или, если известен уровень доверия , =НОРМ.СТ.ОБР((1+ур.доверия)/2) .

Обычно при построении доверительных интервалов для оценки среднего используют только верхний α /2- квантиль и не используют нижний α /2- квантиль . Это возможно потому, что стандартное нормальное распределение симметрично относительно оси х ( плотность его распределения симметрична относительно среднего, т.е. 0 ) . Поэтому, нет нужды вычислять нижний α/2-квантиль (его называют просто α /2-квантиль ), т.к. он равен верхнему α /2- квантилю со знаком минус.

Напомним, что, не смотря на форму распределения величины х, соответствующая случайная величина Х ср распределена приблизительно нормально N(μ;σ 2 /n) (см. статью про ЦПТ ). Следовательно, в общем случае, вышеуказанное выражение для доверительного интервала является лишь приближенным. Если величина х распределена по нормальному закону N(μ;σ 2 /n), то выражение для доверительного интервала является точным.

Расчет доверительного интервала в MS EXCEL

Решим задачу. Время отклика электронного компонента на входной сигнал является важной характеристикой устройства. Инженер хочет построить доверительный интервал для среднего времени отклика при уровне доверия 95%. Из предыдущего опыта инженер знает, что стандартное отклонение время отклика составляет 8 мсек. Известно, что для оценки времени отклика инженер сделал 25 измерений, среднее значение составило 78 мсек.

Решение : Инженер хочет знать время отклика электронного устройства, но он понимает, что время отклика является не фиксированной, а случайной величиной, которая имеет свое распределение. Так что, лучшее, на что он может рассчитывать, это определить параметры и форму этого распределения.

К сожалению, из условия задачи форма распределения времени отклика нам не известна (оно не обязательно должно быть нормальным ). Среднее, т.е. математическое ожидание , этого распределения также неизвестно. Известно только его стандартное отклонение σ=8. Поэтому, пока мы не можем посчитать вероятности и построить доверительный интервал .

Однако, не смотря на то, что мы не знаем распределение времени отдельного отклика , мы знаем, что согласно ЦПТ , выборочное распределение среднего времени отклика является приблизительно нормальным (будем считать, что условия ЦПТ выполняются, т.к. размер выборки достаточно велик (n=25)) .

Более того, среднее этого распределения равно среднему значению распределения единичного отклика, т.е. μ. А стандартное отклонение этого распределения (σ/√n) можно вычислить по формуле =8/КОРЕНЬ(25) .

Также известно, что инженером была получена точечная оценка параметра μ равная 78 мсек (Х ср ). Поэтому, теперь мы можем вычислять вероятности, т.к. нам известна форма распределения ( нормальное ) и его параметры (Х ср и σ/√n).

Инженер хочет знать математическое ожидание μ распределения времени отклика. Как было сказано выше, это μ равно математическому ожиданию выборочного распределения среднего времени отклика . Если мы воспользуемся нормальным распределением N(Х ср ; σ/√n), то искомое μ будет находиться в интервале +/-2*σ/√n с вероятностью примерно 95%.

Уровень значимости равен 1-0,95=0,05.

Наконец, найдем левую и правую границу доверительного интервала . Левая граница: =78-НОРМ.СТ.ОБР(1-0,05/2)*8/КОРЕНЬ(25) = 74,864 Правая граница: =78+НОРМ.СТ.ОБР(1-0,05/2)*8/КОРЕНЬ(25)=81,136

Левая граница: =НОРМ.ОБР(0,05/2; 78; 8/КОРЕНЬ(25)) Правая граница: =НОРМ.ОБР(1-0,05/2; 78; 8/КОРЕНЬ(25))

Ответ : доверительный интервал при уровне доверия 95% и σ =8 мсек равен 78+/-3,136 мсек.

В файле примера на листе Сигма известна создана форма для расчета и построения двухстороннего доверительного интервала для произвольных выборок с заданным σ и уровнем значимости .

Функция ДОВЕРИТ.НОРМ()

Если значения выборки находятся в диапазоне B20:B79 , а уровень значимости равен 0,05; то формула MS EXCEL: =СРЗНАЧ(B20:B79)-ДОВЕРИТ.НОРМ(0,05;σ; СЧЁТ(B20:B79)) вернет левую границу доверительного интервала .

Эту же границу можно вычислить с помощью формулы: =СРЗНАЧ(B20:B79)-НОРМ.СТ.ОБР(1-0,05/2)*σ/КОРЕНЬ(СЧЁТ(B20:B79))

Примечание : Функция ДОВЕРИТ.НОРМ() появилась в MS EXCEL 2010. В более ранних версиях MS EXCEL использовалась функция ДОВЕРИТ() .

Вычисление доверительного интервала в Microsoft Excel

Доверительный интервал в Microsoft Excel

Одним из методов решения статистических задач является вычисление доверительного интервала. Он используется, как более предпочтительная альтернатива точечной оценке при небольшом объеме выборки. Нужно отметить, что сам процесс вычисления доверительного интервала довольно сложный. Но инструменты программы Эксель позволяют несколько упростить его. Давайте узнаем, как это выполняется на практике.

Процедура вычисления

Этот метод используется при интервальной оценке различных статистических величин. Главная задача данного расчета – избавится от неопределенностей точечной оценки.

В Экселе существуют два основных варианта произвести вычисления с помощью данного метода: когда дисперсия известна, и когда она неизвестна. В первом случае для вычислений применяется функция ДОВЕРИТ.НОРМ, а во втором — ДОВЕРИТ.СТЮДЕНТ.

Способ 1: функция ДОВЕРИТ.НОРМ

Оператор ДОВЕРИТ.НОРМ, относящийся к статистической группе функций, впервые появился в Excel 2010. В более ранних версиях этой программы используется его аналог ДОВЕРИТ. Задачей этого оператора является расчет доверительного интервала с нормальным распределением для средней генеральной совокупности.

Его синтаксис выглядит следующим образом:

«Альфа» — аргумент, указывающий на уровень значимости, который применяется для расчета доверительного уровня. Доверительный уровень равняется следующему выражению:

«Стандартное отклонение» — это аргумент, суть которого понятна из наименования. Это стандартное отклонение предлагаемой выборки.

«Размер» — аргумент, определяющий величину выборки.

Все аргументы данного оператора являются обязательными.

Функция ДОВЕРИТ имеет точно такие же аргументы и возможности, что и предыдущая. Её синтаксис таков:

Как видим, различия только в наименовании оператора. Указанная функция в целях совместимости оставлена в Excel 2010 и в более новых версиях в специальной категории «Совместимость». В версиях же Excel 2007 и ранее она присутствует в основной группе статистических операторов.

Граница доверительного интервала определяется при помощи формулы следующего вида:

Где X – это среднее выборочное значение, которое расположено посередине выбранного диапазона.

Теперь давайте рассмотрим, как рассчитать доверительный интервал на конкретном примере. Было проведено 12 испытаний, вследствие которых были получены различные результаты, занесенные в таблицу. Это и есть наша совокупность. Стандартное отклонение равно 8. Нам нужно рассчитать доверительный интервал при уровне доверия 97%.

  1. Выделяем ячейку, куда будет выводиться результат обработки данных. Щелкаем по кнопке «Вставить функцию». Переход в Мастер функций в Microsoft Excel
  2. Появляется Мастер функций. Переходим в категорию «Статистические» и выделяем наименование «ДОВЕРИТ.НОРМ». После этого клацаем по кнопке «OK». Переход в окно аргументов функции ДОВЕРИТ.НОРМ в Microsoft Excel
  3. Открывается окошко аргументов. Его поля закономерно соответствуют наименованиям аргументов.
    Устанавливаем курсор в первое поле – «Альфа». Тут нам следует указать уровень значимости. Как мы помним, уровень доверия у нас равен 97%. В то же время мы говорили, что он рассчитывается таким путем:

Значит, чтобы посчитать уровень значимости, то есть, определить значение «Альфа» следует применить формулу такого вида:

То есть, подставив значение, получаем:

Путем нехитрых расчетов узнаем, что аргумент «Альфа» равен 0,03. Вводим данное значение в поле.

Как известно, по условию стандартное отклонение равно 8. Поэтому в поле «Стандартное отклонение» просто записываем это число.

В поле «Размер» нужно ввести количество элементов проведенных испытаний. Как мы помним, их 12. Но чтобы автоматизировать формулу и не редактировать её каждый раз при проведении нового испытания, давайте зададим данное значение не обычным числом, а при помощи оператора СЧЁТ. Итак, устанавливаем курсор в поле «Размер», а затем кликаем по треугольнику, который размещен слева от строки формул.

Группа аргументов «Значения» представляет собой ссылку на диапазон, в котором нужно рассчитать количество заполненных числовыми данными ячеек. Всего может насчитываться до 255 подобных аргументов, но в нашем случае понадобится лишь один.

Данный оператор предназначен для расчета среднего арифметического значения выбранного диапазона чисел. Он имеет следующий довольно простой синтаксис:

Аргумент «Число» может быть как отдельным числовым значением, так и ссылкой на ячейки или даже целые диапазоны, которые их содержат.

Способ 2: функция ДОВЕРИТ.СТЮДЕНТ

Кроме того, в Экселе есть ещё одна функция, которая связана с вычислением доверительного интервала – ДОВЕРИТ.СТЮДЕНТ. Она появилась, только начиная с Excel 2010. Данный оператор выполняет вычисление доверительного интервала генеральной совокупности с использованием распределения Стьюдента. Его очень удобно использовать в том случае, когда дисперсия и, соответственно, стандартное отклонение неизвестны. Синтаксис оператора такой:

Как видим, наименования операторов и в этом случае остались неизменными.

Посмотрим, как рассчитать границы доверительного интервала с неизвестным стандартным отклонением на примере всё той же совокупности, что мы рассматривали в предыдущем способе. Уровень доверия, как и в прошлый раз, возьмем 97%.

  1. Выделяем ячейку, в которую будет производиться расчет. Клацаем по кнопке «Вставить функцию». Вставить функцию в Microsoft Excel
  2. В открывшемся Мастере функций переходим в категорию «Статистические». Выбираем наименование «ДОВЕРИТ.СТЮДЕНТ». Клацаем по кнопке «OK». Переход в окно аргументов функции ДОВЕРИТ.СТЮДЕНТ в Microsoft Excel
  3. Производится запуск окна аргументов указанного оператора.

В поле «Альфа», учитывая, что уровень доверия составляет 97%, записываем число 0,03. Второй раз на принципах расчета данного параметра останавливаться не будем.

Нетрудно догадаться, что аргумент «Число» — это адрес элемента выборки. Если выборка размещена единым массивом, то можно, использовав только один аргумент, дать ссылку на данный диапазон.

Как видим, инструменты программы Excel позволяют существенно облегчить вычисление доверительного интервала и его границ. Для этих целей используются отдельные операторы для выборок, у которых дисперсия известна и неизвестна.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *