8.11. Множественное уравнение регрессии

Проблемы множественного корреляционно-регрессионного анализа и моделирования подробно изучаются в специальном курсе того же названия. В курсе «Общая теория статистики» рассматриваются только самые общие вопросы этой сложной проблемы и дается начальное представление о методике построения уравнения множественной регрессии и показателей связи. Рассмотрим линейную форму многофакторных связей не только как наиболее простую, но и как форму, предусмотренную пакетами прикладных программ для ПЭВМ. Если же связь отдельного фактора с результативным признаком не является линейной, то производят линеаризацию уравнения путем замены или преобразования величины факторного признака.

Общий вид многофакторного уравнения регрессии имеет вид:

где k - число факторных признаков.

Чтобы упростить систему уравнений МНК, необходимую для вычисления параметров уравнения (8.32), обычно вводят величины отклонений индивидуальных значений всех признаков от средних величин этих признаков.

Получаем систему k уравнений МНК:

Решая эту систему, получаем значения коэффициентов условно-чистой регрессии b. Свободный член уравнения вычисляется по формуле

Термин «коэффициент условно-чистой регресии» означает, что каждая из величин b_j измеряет среднее по совокупности отклонение результативного признака от его средней величины при отклонении данного фактора х_j от своей средней величины на единицу его измерения и при условии, что все прочие факторы, входящие в уравнение регрессии, закреплены на средних значениях, не изменяются, не варьируют.

Таким образом, в отличие от коэффициента парной регрессии коэффициент условно-чистой регрессии измеряет влияние фактора, абстрагируясь от связи вариации этого фактора с вариацией остальных факторов. Если было бы возможным включить в уравнение регрессии все факторы, влияющие на вариацию результативного признака, то величины b_j. можно было бы считать мерами чистого влияния факторов. Но так как реально невозможно включить все факторы в уравнение, то коэффициенты b_j. не свободны от примеси влияния факторов, не входящих в уравнение.

Включить все факторы в уравнение регрессии невозможно по одной из трех причин или сразу по ним всем, так как: 1) часть факторов может быть неизвестна современной науке, познание любого процесса всегда неполное; 2) по части известных теоретических факторов нет информации либо таковая ненадежна; 3) численность изучаемой совокупности (выборки) ограничена, что позволяет включить в уравнение регрессии ограниченное число факторов.

Коэффициенты условно-чистой регрессии b_j. являются именованными числами, выраженными в разных единицах измерения, и поэтому несравнимы друг с другом. Для преобразования их в сравнимые относительные показатели применяется то же преобразование, что и для получения коэффициента парной корреляции. Полученную величину называют стандартизованным коэффициентом регрессии или β-коэффициентом.

β-коэффициент при факторе х_j, определяет меру влияния вариации фактора х_j на вариацию результативного признака у при отвлечении от сопутствующей вариации других факторов, входящих в уравнение регрессии.

Коэффициенты условно-чистой регрессии полезно выразить в виде относительных сравнимых показателей связи, коэффициентов эластичности:

Коэффициент эластичности фактора х_j говорит о том, что при отклонении величины данного фактора от его средней величины на 1% и при отвлечении от сопутствующего отклонения других факторов, входящих в уравнение, результативный признак отклонится от своего среднего значения на e_j процентов от у̅. Чаще интерпретируют и применяют коэффициенты эластичности в терминах динамики: при увеличении фактора х.на 1% его средней величины результативный признак увеличится на е. процентов его средней величины.

Рассмотрим расчет и интерпретацию уравнения многофакторной регрессии на примере тех же 16 хозяйств (табл. 8.1). Результативный признак - уровень валового дохода и три фактора, влияющих на него, представлены в табл. 8.7.

Напомним еще раз, что для получения надежных и достаточно точных показателей корреляционной связи необходима более многочисленная совокупность.

Таблица 8.7

Уровень валового дохода и его факторы

Таблица 8.8 Показатели уравнения регрессии

Решение проведено по программе «Microstat» для ПЭВМ. Приведем таблицы из распечатки: табл. 8.7 дает средние величины и средние квадратические отклонения всех признаков. Табл. 8.8 содержит коэффициенты регрессии и их вероятностную оценку:

первая графа «var» - переменные, т. е. факторы; вторая графа «regression coefficient» - коэффициенты условно-чистой регрессии bj; третья графа «std. errror» - средние ошибки оценок коэффициентов регрессии; четвертая графа - значения t-критерия Стьюдента при 12 степенях свободы вариации; пятая графа «prob» - вероятности нулевой гипотезы относительно коэффициентов регрессии;

шестая графа «partial r²» — частные коэффициенты детерминации. Содержание и методика расчета показателей в графах 3-6 рассматриваются далее в главе 8. «Constant» - свободный член уравнения регрессии a; «Std. error of est.» - средняя квадратическая ошибка оценки результативного признака по уравнению регрессии. Было получено уравнение множественной регрессии:

у̂ = 2,26x₁ - 4,31х₂ + 0,166х₃ - 240.

Это означает, что величина валового дохода на 1 га сельхозугодий в среднем по совокупности возрастала на 2,26 руб. при увеличении затрат труда на 1 ч/га; уменьшалась в среднем на 4,31 руб. при возрастании доли пашни в сельхозугодиях на 1% и увеличивалась на 0,166 руб. при росте надоя молока на корову на 1 кг. Отрицательная величина свободного члена вполне закономерна, и, как уже отмечено в п. 8.2, результативный признак - валовой доход становится нулевым задолго до достижения нулевых значений факторов, которое в производстве невозможно.

Отрицательное значение коэффициента при х^ - сигнал о существенном неблагополучии в экономике изучаемых хозяйств, где растениеводство убыточно, а прибыльно только животноводство. При рациональных методах ведения сельского хозяйства и нормальных ценах (равновесных или близких к ним) на продукцию всех отраслей, доход должен не уменьшаться, а возрастать с увеличением наиболее плодородной доли в сельхозугодиях - пашни.

На основе данных предпоследних двух строк табл. 8.7 и табл. 8.8 рассчитаем р-коэффициенты и коэффициенты эластичности согласно формулам (8.34) и (8.35).

Как на вариацию уровня дохода, так и на его возможное изменение в динамике самое сильное влияние оказывает фактор х³ - продуктивность коров, а самое слабое - х² - доля пашни. Значения Р²/ будут использоваться в дальнейшем (табл. 8.9);

Таблица 8.9 Сравнительное влияние факторов на уровень дохода

Итак, мы получили, что β-коэффициент фактора х_j относится к коэффициенту эластичности этого фактора, как коэффициент вариации фактора к коэффициенту вариации результативного признака. Поскольку, как видно по последней строке табл. 8.7, коэффициенты вариации всех факторов меньше коэффициента вариации результативного признака; все β-коэффициенты меньше коэффициентов эластичности.

Рассмотрим соотношение между парным и условно-чистым коэффициентом регрессии на примере фактора -с,. Парное линейное уравнение связи у с х, имеет вид:

 ŷ = 3,886x₁ – 243,2

Условно-чистый коэффициент регрессии при x₁, составляет только 58% парного. Остальные 42% связаны с тем, что вариации x₁ сопутствует вариация факторов x₂ x₃, которая, в свою очередь, влияет на результативный признака. Связи всех признаков и их коэффициенты парных регрессий представлены на графе связей (рис. 8.2).

Если сложить оценки прямого и опосредованного влияния вариации х₁ на у, т. е. произведения коэффициентов парных регрессий по всем «путям» (рис. 8.2), получим: 2,26 + 12,55·0,166 + (-0,00128)·(-4,31) + (-0,00128)·17,00·0,166 = 4,344.

Эта величина даже больше парного коэффициента связи x₁ с у. Следовательно, косвенное влияние вариации x₁ через не входящие в уравнение признаки-факторы - обратное, дающее в сумме:

3,886 - 4,344 = - 0,458.

8.12. Меры тесноты связей в многофакторной системе

Многофакторная система требует уже не одного, а множества показателей тесноты связей, имеющих разный смысл и применение. Основой измерения связей является матрица парных коэффициентов корреляции (табл. 8.10).

Таблица 8.10

Матрица парных коэффициентов корреляции

По этой матрице можно судить о тесноте связи факторов с результативным признаком и между собой. Хотя все эти показатели относятся к парным связям, все же матрицу можно использовать для предварительного отбора факторов для включения в уравнение регрессии. Не рекомендуется включать в уравнение факторы слабо связанные с результативными признаками, но тесно связанные с другими факторами. Если, например, имеем: r_xy1 = 0,8; r_xy2 = 0,65;

r_x1x2 = 0,88, то в регрессионное уравнение следует включить фактор x1, а фактор х2 не включать, так как он тесно связан с х1 (коллинеарен с x1), и его корреляция с у слабее, чем корреляция фактора x1. Совершенно недопустимо включать в анализ факторы, функционально связанные друг с другом, т. е. с коэффициентом корреляции, равным единице. Включение таких пар признаков приводит к вырожденной матрице коэффициентов и неопределенности решения. В этом случае решение задачи на ПЭВМ прекращается.

Матрица парных коэффициентов для нашего примера (табл. 8.11) говорит об отсутствии коллинеарных (т. е. линейно связанных) факторов, что позволяет включить все эти факторы в уравнении регрессии.

На основе этой матрицы вычисляется наиболее общий показатель тесноты связи всех входящих в уравнение регрессии факторов

Таблица 8.11

 Матрица парных коэффициентов корреляции

Этим способом можно определить величину R² не вычисляя расчетных значений результативного признака у̂_i для всех единиц совокупности. Если полученная величина R² не удовлетворяет исследоветеля, то можно прекратить дальнейшие вычисления и не рассчитывать у̂_i (это имеет значение, если совокупность состоит из сотен и тысяч единиц).

Принципиальное содержание множественного коэффициента детерминации, как и парного, раскрывается формулой (8.2). Jmo отношение части вариации результативного признака, объясняемой за счет вариации входящих в уравнение факторов, к общей вариации результативного признака за счет всех факторов, здесь под «вариацией» понимается сумма квадратов отклонении индивидуальных расчетных по уравнению величин от средней («объясненная вариация») и первичных индивидуальных величин от средней («общая вариация»).

В нашем примере значение сумм квадратов отклонений и коэффициенты детерминации и корреляции приведены по распечатке программы «Microstat» в табл. 8.12.

Таблица 8.12

Показатели множественной корреляционной связи

Верхняя строка: корректированный R-квадрат = 0,872390; вторая строка: R-квадрат = 0,897912; третья строка: множественный R = 0,947582. Затем приводится таблица дисперсионного анализа, в которой указываются источники вариации: объясненная сумма квадратов отклонений значений, рассчитанных по уравнению регрессии, от среднего значения D_ост = S(ŷ_i - y̅)² = 662 772,98 при числе степеней свободы, равном числу объясняющих переменных dfk = 3; остаточная - отклонения фактических значений от расчетных D_ост = S(ŷ_i - y̅)²  = 75353,96 при числе степеней свободы, равном df=n-k-1, df=12; общая - S(ŷ_i - y̅)²  =738 126,94, при числе степеней свободы df = п –k - 1, df = 15. Затем приводится средний квадрат отклонений: s²₁ = D_объясн : df_объясн = 662772,98 : 3 = 220924,3;

Ы²₂ =D_ост : df_ост = 75353,96 : 12 = 6279,5. Далее указано их отношение, т. е.

s²₁/s²₂ = F-критерию. Наконец, указывается вероятность ошибочного решения, т. е. нулевого R², равная 0,000003171.

Три фактора, включенные в уравнение регрессии, объясняют 89,8% вариации уровня валового дохода, если рассматривать 16 хозяйств как генеральную совокупность, не считаясь с ее ограниченной численностью (некорректированный коэффициент детерминации равен 0,8979). Если же учесть конечность объема совокупности п, число факторов k, а также свойство метода, по которому по мере приближения числа k к числу п коэффициент детерминации автоматически приближается к единице и достигает ее при k = п - 1 независимо от реальной роли факторов, то необходимо корректировать коэффициент множественной детерминации на потерю степеней свободы вариации:

Корректированный коэффициент детерминации всегда ниже, чем некорректированный, причем разность их значений тем меньше, чем меньше факторов входит в уравнение регрессии. Если из числа факторов исключить факторы, слабо связанные с результативным признаком (т. е. с низким значением β_j, например, β < 0,1), то некорректированный коэффициент детерминации немного уменьшится (он всегда уменьшается при исключении части факторов), но корректированный коэффициент может даже возрасти за счет уменьшения разности между R² и корректированным R₂. Что касается множественного коэффициента корреляции R, то программа «Microstat» рассчитывает его, как корень квадратный из некорректированного R₂, а другие программы, например «Statgraphics», - как корень квадратный из R²_корр.

Для случая двух факторов коэффициент множественной детерминации легко вычисляется по рекуррентной формуле из парных коэффициентов детерминации:

Используя матрицу парных коэффициентов корреляции (табл. 8.11), получим:

Таким образом, за счет вариации факторов x₁ и х₂ объясняется 57,65% общей вариации валового дохода с 1 га сельхозугодий.

Вернемся к табл. 8.12. Дисперсионный анализ системы связей предназначен для оценки того, насколько надежно доказывают исходные данные наличие связи результативного признака со всеми факторами, входящими в уравнение. Для этого сравниваются дисперсии у - объясненная и остаточная: суммы соответствующих квадратов отклонений, приходящиеся на одну степень свободы вариации. Отношение дисперсии за счет факторов к остаточной дисперсии есть критерий Фишера F; в нашем примере он равен 35,18. Табличное критическое значение для 3 и 12 степеней свободы при вероятности нулевой гипотезы 0,01 составляет 5,95. Следовательно, вероятность нулевой гипотезы много меньше 0,01. Программа «Microstat» дает значение вероятности нулевой гипотезы, т. е. вероятность случайного отклонения от нуля коэффициента детерминации при отсутствии связи в генеральной совокупности; она равна 3,17·10^-6, т. е. три миллионных! Ясно, что эту ничтожную вероятность можно игнорировать и сделать вывод, что имеющаяся информация надежно свидетельствует о наличии связи.

Кроме показателя общей тесноты связи вариации результативного признака со всеми факторами, входящими в регрессионное уравнение, необходимы и показатели, измеряющие тесноту связи с каждым фактором. К таким показателям относятся коэффициенты раздельной детерминации.

Коэффициентом раздельной детерминации, обозначаемым далее как d²_j, называется произведение парного коэффициента корреляции фактора х_j на его β-коэффициент.

Формула (8.39) дает еще один метод вычисления коэффициента множественной детерминации, используемый в некоторых программах для ЭВМ. В нашем примере получаем следующие значения коэффициентов раздельной детерминации:

Таким образом, за счет вариации x₁ объясняется 24,2% вариации, за счет вариации х₂ - всего 7,3%; за счет вариации x₃ - более половины - 583% вариации уровня дохода. Сумма коэффициентов раздельной детерминации равна некорректированному коэффициенту R².

Недостатком коэффициентов раздельной детерминации является их гетерогенный характер: то, что они объединяют коэффициент парной корреляции, измеряющий нечистое влияние фактора, с β-коэффициентом, измеряющим условно чистое влияние фактора, абстрагированное от влияния других факторов, входящих в уравнение связи. Из-за этого могут возникнуть неинтерпретируемые отрицательные величины коэффициентов d²_j, если знаки парного коэффициента корреляции и β-коэффициента не совпадают при существенной взаимосвязи между факторами. Кроме того, сама идея о том, что совокупное влияние всех факторов равно сумме влияния каждого из них, противоречит системному подходу к исследованию.

Рассмотрим разложение R² с учетом системного эффекта. Система факторов - это не простая их сумма, так как система предполагает внутренние связи, взаимодействие составляющих ее элементов. Действие системы не равно сумме воздействий составляющих ее элементов. К последним добавляется «системный эффект» «Emergency». Методом, полностью отвечающим системному подходу, является метод разложения коэффициента множественной детерминации на сумму чистых влияний каждого фактора, выражаемых величинами β²₁, и показатель влияния системного эффекта факторов η_x.

Так как расчетные значения результативного признака у̂_j можно представить как   , то вариацию у̃_j1 только за счет влияния фактора x_m можно представить при условии, что все остальные факторы, входящие в уравнение, закреплены на своих средних уровнях:

 .                            (8.40)

Подставим в (8.40) значение фактора  x_m-1 = x_m +Dx_m1 :

Теперь измерим сумму квадратов отклонений у только за счет вариации признака х_m.

(8.41)

Мерой вариации результативного признака за счет изолированного влияния вариации фактора x_m является доля объясняемой этим влиянием вариации у. Соответственно получаем:

Сумма изолированных долей влияния каждого фактора в отдельности на вариацию у есть  ,  a системный эффект

                                                                   (8.42)

Проведем разложение коэффициента множественной детерминации по данным нашего примера:

за счет вариации  x₁ : β²₁, = 0,3522² = 0,1239, или 12,39%;

за счет вариации x₂ : β²₂ = (-0.206)² = 0,0424, или 4,24%;

за счет вариации x₃ : β²₃, = 0,664² = 0,4409, или 44,09%.

Суммарное влияние трех факторов составило  =60,72% системный эффект:

= 0,8979 - 0,6072 = 0,2907, или 29,07%.

Как видим, роль системного эффекта связей между факторами довольно велика: он на втором месте после влияния третьего фактора.

Системный эффект может, в свою очередь, быть разложен на влияние ковариации каждой пары факторов или на влияние совместной вариации отдельных групп факторов, если число последних велико. Если исследователь все же желает отказаться от выделения системного эффекта, свести коэффициент множественной детерминации к сумме по отдельным факторам, можно разделить величину П, пропорционально величине β²_j.

Программы анализа связей на ЭВМ обычно предусматривают вычисление коэффициентов частной детерминации. Они приведены выше в последней графе табл. 8.8. Коэффициент  частной детерминации фактора x_m - это доля вариации у, дополнительно объясняемой при включении фактора x_m после остальных факторов в уравнение регрессии, в величине вариации у, не объясненной ранее включенными факторами. Наиболее ясно суть частных коэффициентов детерминации выражается формулой их расчета через коэффициенты множественной детерминации. Частный коэффициент детерминации для фактора х_m  обозначим как

 .

Тогда

 .                         (8.43)

Здесь R²_y - коэффициент детерминации для уравнения со всеми k факторами. Числитель (8.43) и есть дополнительно объясняемая часть вариации у при включении фактора х_m в уравнение после всех остальных факторов. В нашем примере, используя ранее рассчитанную величину R_yx1x2 = 0,5765, при включении в анализ фактора x₃ получаем:

Некоторое расхождение в четвертой значащей цифре с табл. 8.8 объясняется округлением промежуточных расчетных показателей.

Следует усвоить, что коэффициенты частной детерминации - это доли от разных величин, поэтому они несравнимы; по этим долям нельзя судить о роли факторов. Их главное практическое значение - определить, имеет ли смысл добавить в уравнение регрессии новый фактор или нет. Если при его включении ранее необъясненная вариация уменьшится на три четверти, как в примере при введении фактора х₃, его включение оправдано; если же коэффициент частной детерминации мал, то дополнительный фактор включать не следует. Сумма частных коэффициентов детерминации смысла не имеет и растет с ростом числа факторов и ростом R² без ограничения.

При последовательном вводе факторов в уравнение регрессии объясняемая часть вариации результативного признака возрастает с каждым новым фактором, вводимым в уравнение. При вводе последнего фактора эта часть достигает величины R². Доли вариации у, объясняемые вводом каждого следующего фактора, и называют коэффициентами последовательной детерминации. Обозначим их как р²_j. Для первого фактора этот коэффициент равен коэффициенту парной детерминации первого фактора, для второго - разности между коэффициентом детерминации при двух факторах и парным коэффициентом детерминации первого фактора и так далее. По данным нашего примера имеем:

= 0,687² = 0,4720;

= 0,5765 - 0,4720 = 0,1045;

= 0,8979 - 0,5765 = 0,3214;

Однако крупнейшим недостатком такого способа разложения R² является зависимость величин р²_j от принятого порядка включения факторов в уравнение регрессии. Первый включаемый фактор «забирает в свою пользу» львиную часть системного эффекта, а на долю последнего фактора остается ничтожная часть. Например, если переставить местами факторы х₁ и х₃, а также вычислить по рекуррентной формуле двухфакторный коэффициент детерминации  = 0,8035, то получим результаты, отличные от предыдущих:

p²₁ (для фактора х₁) =  = 0,8782 = 0,7709;

р²₂ (для фактора x₂) =  = 0,8035 - 0,7709 = 0,0326;

р²₃ (для фактора x₃) =  = 0,8979 - 0,8035 = 0,0944.

Доля фактора x₃ возросла более чем вдвое, а доля фактора x₁ уменьшилась более чем втрое.

8.13. Вероятностные оценки параметров множественной регрессии и корреляции

Если показатели многофакторной системы связи используются как оценки генеральных параметров, экстраполируются на другие значения факторов, как при прогнозировании, то значения параметров необходимо сопроводить вероятностными оценками, указать среднюю ошибку и доверительные границы параметра с заданной. вероятностью. Для парной корреляции эта проблема изложена в п. 8.5. В этом параграфе приводятся формулы средних ошибок репрезентативности для специфических параметров многофакторной системы.

Средняя ошибка условно чистого коэффициента регрессии b_p для фактора x_p, обозначаемая m_bp, имеет вид:

 .                                          (8.44)

где  - оценка остаточного (не объясненного факторами) среднего квадратического отклонения результативного признака с учетом степеней свободы вариации:

,

где   - оценка среднего квадратического отклонения при-знака x_p.

 - коэффициент множественной детерминации для фактора x_p, доля вариации фактора x_p, связанная с вариацией других факторов.

Например, для фактора x₁, имеем:

 =79,24.

 ⁼ 34,6.

 = 0,2433 - вычислен по рекуррентной формуле по данным табл. 8.11. Отсюда:

Отношение величины коэффициента регрессии к его средней ошибке есть t-критерий Стьюдента. В данном случае имеем: b₁/m_b1 = 2,26/0,6582 = 3,43. Критическое значение t для вероятности нулевой гипотезы 0,01 при 12 степенях свободы равно 3,05. Следовательно, надежно установлено, что генеральное значение коэффициента b₁, не является нулевым, влияние (условно чистое) фактора x₁, на вариацию у существенно.

Доверительные границы коэффициента регрессии b₁, с вероятностью 0,95, для которой значение критерия Стьюдента равно 2,18, составляют 2,26 ± 2,18·0,658 или от 0,826 до 3,694.

Очень широкие границы объясняются малой численностью единиц совокупности. Из (8.44) следует, что при росте объема совокупности в q раз ошибка коэффициента регрессии, как и ошибка выборочной оценки средней величины, уменьшится в √q̅ раз. При 400 единицах совокупности ошибка была бы меньше в 5 раз.

Если значение критерия t оказывается ниже критического для вероятности нулевой гипотезы 0,05, влияние фактора считается не доказанным надежно, и при работе программ ЭВМ с отсевом несущественных факторов по t-критерию данный фактор автоматически исключается из уравнения регрессии.

Средняя ошибка оценки коэффициента множественной корреляции m_R определяется по формуле

  .                                                     (8.45)

Оценка существенности и расчет доверительных границ генерального коэффициента корреляции осуществляются так же, как и для коэффициента регрессии. Если значение R близко к единице, необходимо использовать преобразование Фишера, рассмотренное ранее в п. 8.2. Существуют также специальные таблицы критических значений коэффициента корреляции для заданного числа степеней свободы и вероятности нулевой гипотезы (см. приложение, табл. 5).