26 Анализ главных компонент
26.1 Проклятие размерности (curse of dimensionality)
С данными могут случиться две проблемы: либо их слишком мало, либо их слищком много. С первой проблемой многие так или иначе сталкивались — во-первых, не достигается требуемая статистическая мощность анализа (мало наблюдений), во-вторых, упускаем какие-либо закономерности (мало переменных). А в чем может быть проблема, если данных много?
26.1.1 Геометрическая вероятность
В единичный квадрат кидают точку. Какова вероятность, что она попадет во вписанный круг?
![](img/geom_prob.png)
\[ p = \frac{S_{\text{circ}}}{S_{\text{sq}}} \\ p = \frac{\pi R^2}{1} = \pi \Big( \frac{1}{2} \Big)^2 = \frac{\pi}{4} \approx 0.79 \]
Окей, это для \(\mathbb{R}^2\), то есть для пространства размерности два (оно же — плоскость). Теперь рассмотрим ситуацию для \(\mathbb{R}^3\), то есть для пространства размерности три.
\[ p = \frac{V_{\text{ball}}}{V_{\text{cube}}} \\ p = \frac{\frac{4}{3}\pi R^3}{1} = \frac{4}{3}\pi \Big( \frac{1}{2} \Big)^3 = \frac{4\pi}{24} \approx 0.52 \]
Хм, как-то маловато…
В общем случае, для \(\mathbb{R}^k\) объем шара равен:
\[ k = 2n, \quad V = \frac{\pi^2}{n!}R^{2n} \\ k = 2n+1, \quad V = \frac{2\cdot(2\pi)^n}{(2n+1)!!} R^{2n+1} \]
Можно аналитически доказать, что при \(k \rightarrow \infty : V \rightarrow 0\).
То есть, говоря более осязаемо, места вне шара становится больше. Набирая переменных, мы делаем расстояния между точками больше, из-за объем выборки должен расти экспоненциально, чтобы сохранялась адекватная точность оценки параметров. Это и называется проклятием размерности.
Что делать? Снижать размерность.
26.2 Факторный анализ vs анализ главных компонент
Так сложилось, что под термином «факторный анализ» часто смешиваются две вещи: анализ главных компонент и собственно факторный анализ. Кроме того, собственно факторный анализ также подразделяется на эксплораторный — когда мы ищем факторы — и конфирматорный — когда у нас есть гипотеза о структуре факторов, и нам необходимо ее подтвердить..
Анализ главных компонент и факторный анализ различаются в своей математической модели, своей изначальной идеологии, но дают сходные результаты и решают сходные задачи.
26.3 Задачи факторного анализа и анализа главных компонент
- Сокращение числа переменных
- Измерение неизмеримого (построение новых обобзеных показателей)
- Наглядное представление многомерных наблюдений
- Описание структуры взаимных связей между переменными
- Преодоление мультиколлинеарности (в регрессионном анализе)
- Заполнение пропущенных значений (при работе с разряженными матрицами)
и т.д.
26.4 Математическая модель анализа главных компонент
Рассмотрим случайный вектор (матрицу) \((\boldsymbol{X}_1, \boldsymbol{X}_2, \dots, \boldsymbol{X}_k)\) (\(\boldsymbol{X}_i\) — некоторый столбец [числовых] данных). Мы хотим найти такую линейную комбинацию наших данных, у которой дисперсия максимальна. При это мы хотим домножать матрицу данных на вектор коэффициентов единичной длины, чтобы искусственно не раздувать дисперсию.
Формально,
\[ \boldsymbol{Y}_1 = a_{11} \boldsymbol{X}_1+ a_{12} \boldsymbol{X}_2 + \dots + a_{1k} \boldsymbol{X}_k \\ \mathrm{var}(\boldsymbol{Y}1) \rightarrow \max \\ \boldsymbol{a}_1 \boldsymbol{a}^\mathrm{T}_1=1, \quad \boldsymbol{a}_1 = (a_{11}, a_{12}, \dots, a_{1k}) \]
Далее, находим вторую линейную комбинацию наших данных с максимальной дисперсией, независимую (некоррелированную) с первой. Требования к вектору коэффициентов оставляем те же.
\[ \boldsymbol{Y}_2 = a_{21} \boldsymbol{X}_1 + a_{22} \boldsymbol{X}_2 + \dots + a_{2k} \boldsymbol{X}_{k} \\ \mathrm{var}(\boldsymbol{Y}_2) \rightarrow \max \\ \boldsymbol{a}_2 \boldsymbol{a}^T_2 = 1, \quad \boldsymbol{a}_2 = (a_{21}, a_{22}, \dots, a_{2k}) \\ \mathrm{corr}(\boldsymbol{Y}_2, \boldsymbol{Y}_1) = 0 \]
Далее, находим третью линейную комбинацию, аналогичную предыдущим и некоррелированную с ними.
\[ \boldsymbol{Y}_3 = a_{31} \boldsymbol{X}_1 + a_{32} \boldsymbol{X}_2 + \dots + a_{3k} \boldsymbol{X}_k \\ \mathrm{var}(\boldsymbol{Y}_3) \rightarrow \max \\ \boldsymbol{a}_3 \boldsymbol{a}^\mathrm{T}_3 = 1, \quad \boldsymbol{a}_3 = (a_{31}, a_{32}, \dots, a_{3k}) \\ \mathrm{corr}(\boldsymbol{Y}_3, \boldsymbol{Y}_1) = 0, \; \mathrm{corr}(\boldsymbol{Y}_3, \boldsymbol{Y}_2) = 0 \]
Так как у нас всего \(k\) переменных, то мы можем найти \(k\) таких линейных комбинаций.
В общем виде, они будут выглядеть следующим образом:
\[ \boldsymbol{Y}_k = a_{k1} \boldsymbol{X}_1 + a_{k2} \boldsymbol{X}_2 + \dots + a_{kk} X_k \\ \mathrm{var}(\boldsymbol{Y}_k) \rightarrow \max \\ \boldsymbol{a}_k \boldsymbol{a}^\mathrm{T}_k = 1, \quad \boldsymbol{a}_k=(a_{k1}, a_{k2}, \dots, a_{kk}) \\ ∀0<i≤k \; \mathrm{corr}(\boldsymbol{Y}_k,\boldsymbol{Y}_i)=0 \]
Полученные \(\boldsymbol{Y}_i\) и будут искомые главные компоненты — наши новые оси, с помощью которых мы будем смотреть на данные и описывать их.
Если мы в качестве информативности компоненты используем её дисперсию, то можно сказать, что мы ищем наиболее информативные линейные комбинации. То есть, мы ищем некоторую «правильную систему координат».
Чтобы лучше понять, что все это значит, посмотрим на картинку.
![](img/pca1.png)
Рассмотрим самый простой случай. Пусть у нас есть две переменные \((\boldsymbol{X}_1,\boldsymbol{X}_2)\) и мы подбираем их линейную комбинацию с наибольшей дисперсией. Графически это то же самое, что провести прямую \(\boldsymbol{Y}_1\), то есть такую прямую, по которой наши данные будут максимально «растянуты».
![](img/pca2.png)
Далее ищем вторую линейную комбинацию. Прицнип тот же: необходима прямая, по которой данные макисмально растянуты. Однако эта прямая должна быть перпендикулярная \(\boldsymbol{Y}_1\), чтобы выполнялось условие \(\mathrm{corr}(\boldsymbol{Y}_1,\boldsymbol{Y}_2) = 0\) (в двумерном пространстве отсутствие корреляции эквивалентно ортогональности).
![](img/pca3.png)
Получаем что-то такое. Красные оси и есть наши главные компоненты. Их столько же, сколько изначально было переменных. Теперь мы можем рассматривать наши наблюдения относительно новой системы координат \(\boldsymbol{Y}_1 O' \boldsymbol{Y}_2\).
26.5 Сокращение размерности признакового пространства
Нуок, новые координаты мы нашли, но чё-то переменных, собственно, меньше не стало. А мы вообще-то хотели, чтобы осей стало поменьше.
Идея состоит в следующем. Представим лаваш в трехмерном пространстве. Координатные оси пройдут через оси эллипсоида. Если мы посмотрим на лаваш как на признаковое пространство, то обнаружим, что большая часть вариативности данных распределена по осям \(x\) и \(y\), а вариативность по оси \(z\) можно отбросить, поскольку она мала и, по сути, примерно ошибка.
![](img/pca_lavash.png)
Короче, чтобы снизить размерность, мы собственными руками выбрасываем малоинформативные главные компоненты, то есть те, дисперсия которых мала.
26.6 Реализация PCA в R
Грузим нужные пакеты:
## ── Attaching packages ─────────────────────────────────────── tidyverse 1.3.0 ──
## ✓ ggplot2 3.3.2 ✓ purrr 0.3.4
## ✓ tibble 3.0.4 ✓ dplyr 1.0.2
## ✓ tidyr 1.1.2 ✓ stringr 1.4.0
## ✓ readr 1.4.0 ✓ forcats 0.5.0
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## x dplyr::filter() masks stats::filter()
## x dplyr::lag() masks stats::lag()
## corrplot 0.84 loaded
Грузим данные:
##
## ── Column specification ────────────────────────────────────────────────────────
## cols(
## brand = col_character(),
## id = col_double(),
## mois = col_double(),
## prot = col_double(),
## fat = col_double(),
## ash = col_double(),
## sodium = col_double(),
## carb = col_double(),
## cal = col_double()
## )
## tibble [300 × 9] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
## $ brand : chr [1:300] "A" "A" "A" "A" ...
## $ id : num [1:300] 14069 14053 14025 14016 14005 ...
## $ mois : num [1:300] 27.8 28.5 28.4 30.6 30.5 ...
## $ prot : num [1:300] 21.4 21.3 20 20.1 21.3 ...
## $ fat : num [1:300] 44.9 43.9 45.8 43.1 41.6 ...
## $ ash : num [1:300] 5.11 5.34 5.08 4.79 4.82 4.92 4.71 5.28 5.02 5.16 ...
## $ sodium: num [1:300] 1.77 1.79 1.63 1.61 1.64 1.65 1.58 1.75 1.71 1.66 ...
## $ carb : num [1:300] 0.77 1.02 0.8 1.38 1.76 1.4 1.77 2.95 1.18 0.64 ...
## $ cal : num [1:300] 4.93 4.84 4.95 4.74 4.67 4.67 4.63 4.72 4.93 4.95 ...
## - attr(*, "spec")=
## .. cols(
## .. brand = col_character(),
## .. id = col_double(),
## .. mois = col_double(),
## .. prot = col_double(),
## .. fat = col_double(),
## .. ash = col_double(),
## .. sodium = col_double(),
## .. carb = col_double(),
## .. cal = col_double()
## .. )
Данные содержат следующие переменные:
brand
— Pizza brand (class label)id
— Sample analysedmois
— Amount of water per 100 grams in the sampleprot
— Amount of protein per 100 grams in the samplefat
— Amount of fat per 100 grams in the sampleash
— Amount of ash per 100 grams in the samplesodium
— Amount of sodium per 100 grams in the samplecarb
— Amount of carbohydrates per 100 grams in the samplecal
— Amount of calories per 100 grams in the sample
Поправляем данные:
pizza %>% mutate(brand = as_factor(brand),
id = as_factor(id)) %>%
select(-brand, -id) -> pizza2 # убираем номинативные переменные
Смотрим описательные статистики:
## mois prot fat ash
## Min. :25.00 Min. : 6.98 Min. : 4.38 Min. :1.170
## 1st Qu.:30.90 1st Qu.: 8.06 1st Qu.:14.77 1st Qu.:1.450
## Median :43.30 Median :10.44 Median :17.14 Median :2.225
## Mean :40.90 Mean :13.37 Mean :20.23 Mean :2.633
## 3rd Qu.:49.12 3rd Qu.:20.02 3rd Qu.:21.43 3rd Qu.:3.592
## Max. :57.22 Max. :28.48 Max. :47.20 Max. :5.430
## sodium carb cal
## Min. :0.2500 Min. : 0.510 Min. :2.180
## 1st Qu.:0.4500 1st Qu.: 3.467 1st Qu.:2.910
## Median :0.4900 Median :23.245 Median :3.215
## Mean :0.6694 Mean :22.865 Mean :3.271
## 3rd Qu.:0.7025 3rd Qu.:41.337 3rd Qu.:3.520
## Max. :1.7900 Max. :48.640 Max. :5.080
Отмечаем разницу единиц измерения переменных — необходима стандартизация.
Смотрим разброс по переменным:
## mois prot fat ash sodium carb cal
## 9.5529866 6.4343924 8.9756583 1.2697235 0.3703577 18.0297225 0.6200343
Разброс, ожидаемо, тоже различается — точно необходимо стандартизация.
Смотрим корреляции:
## mois prot fat ash sodium carb cal
## mois 1.00 0.36 -0.17 0.27 -0.10 -0.59 -0.76
## prot 0.36 1.00 0.50 0.82 0.43 -0.85 0.07
## fat -0.17 0.50 1.00 0.79 0.93 -0.64 0.76
## ash 0.27 0.82 0.79 1.00 0.81 -0.90 0.33
## sodium -0.10 0.43 0.93 0.81 1.00 -0.62 0.67
## carb -0.59 -0.85 -0.64 -0.90 -0.62 1.00 -0.02
## cal -0.76 0.07 0.76 0.33 0.67 -0.02 1.00
Суперсильных корреляций нет, но есть достаточно высокие (по модулю) значения, что хорошо, поскольку нас интересует как раз дублирование информации.
Смотрим корреляции [2]:
И еще разок:
## Registered S3 method overwritten by 'GGally':
## method from
## +.gg ggplot2
Приступим собственно к PCA. Для этого есть команда prcomp
:
## Standard deviations (1, .., p=7):
## [1] 2.042494038 1.513425713 0.643865158 0.308503205 0.166364113 0.018374149
## [7] 0.003085252
##
## Rotation (n x k) = (7 x 7):
## PC1 PC2 PC3 PC4 PC5 PC6
## mois 0.06470937 -0.6282759 0.42166894 0.2207216 0.006470293 -0.4464499018
## prot 0.37876090 -0.2697067 -0.74602744 0.0105932 0.387982788 0.0001715203
## fat 0.44666592 0.2343791 0.19930871 0.5070422 -0.173367634 0.5254028685
## ash 0.47188953 -0.1109904 -0.05627269 -0.5523985 -0.670885701 -0.0588609281
## sodium 0.43570289 0.2016617 0.45516887 -0.4462769 0.602614079 -0.0031309852
## carb -0.42491371 0.3203121 -0.05223651 -0.3343395 -0.007436899 0.0005088535
## cal 0.24448730 0.5674576 -0.11331559 0.2792632 -0.078003175 -0.7219138527
## PC7
## mois -0.4185690354
## prot -0.2767646428
## fat -0.3776715255
## ash -0.0560214003
## sodium 0.0005243238
## carb -0.7760679112
## cal -0.0120598098
Собственно в аутпуте есть все, что нам нужно — корелляционная матрица главных компонент и переменных и дисперсии главных компонент. Но можно дисперсии представить в более удобоваримом варианте:
## Importance of components:
## PC1 PC2 PC3 PC4 PC5 PC6 PC7
## Standard deviation 2.042 1.5134 0.64387 0.3085 0.16636 0.01837 0.003085
## Proportion of Variance 0.596 0.3272 0.05922 0.0136 0.00395 0.00005 0.000000
## Cumulative Proportion 0.596 0.9232 0.98240 0.9960 0.99995 1.00000 1.000000
Итак, нам будут нужны стандартные отклонения и cumulative proportion [of variance]. Как теперь отбросить компоненты?
Логический вариант следующий. Так как мы сдантартизовали переменные, то их дисперсии (стандартные отклонения) равны единице. Если дисперсия (стандартное отклонение) главной компоненты меньше единицы, значит она содержит информации меньше, чем исходная переменная, и её можно отбросить. То есть, в данно случае мы отбрасываем все компоненты, кроме \(\text{PC1}\) и \(\text{PC2}\).
Более аккуратный вариант, основанный на численных экспериментах, диктует нам правило, что нужно оставить все главные компоненты, дисперсия которых больше 0.8 (то есть стандартное отклонение больше 0.89).
Можно сделать визуализации:
ggplot(NULL, aes(names(summary(pca)$importance[2,]), summary(pca)$importance[2,])) +
geom_point(size = 2) +
geom_line(aes(group = 1)) +
xlab('Principal components') + ylab('Variance Proportion')
ggplot(NULL, aes(names(summary(pca)$importance[3,]), summary(pca)$importance[3,])) +
geom_point(size = 2) +
geom_line(aes(group = 1)) +
xlab('Principal components') + ylab('Cumulative Proportion')
Окей, мы сократили размерность. Как это использовать дальше? Нам нужны значения главных компонент. Их можно вытащить следующим образом:
## PC1 PC2 PC3 PC4 PC5
## [1,] 5.0019853 2.6747462 3.926121e-02 -0.1438651878 0.283541584
## [2,] 5.0153755 2.5250755 9.689453e-02 -0.3533598630 0.214909803
## [3,] 4.7974235 2.6692404 7.534917e-02 0.1076180749 -0.034979111
## [4,] 4.4620879 2.2812177 1.200328e-01 0.0539379991 0.174209451
## [5,] 4.4644332 2.1555508 7.362777e-04 -0.1169702238 0.312504371
## [6,] 4.4972855 2.1643567 1.747249e-01 -0.1152762515 0.200465801
## [7,] 4.3081595 2.0536120 -7.545342e-06 -0.0164032892 0.265809424
## [8,] 4.7499153 2.3491608 1.040862e-02 -0.4917731815 0.249287698
## [9,] 4.8465215 2.6767466 1.012320e-01 -0.0193430903 0.171844126
## [10,] 4.9082055 2.6540786 -6.868420e-02 -0.0006299387 0.053026307
## [11,] 4.8329208 2.7320436 -8.834757e-02 0.1238664559 0.143665050
## [12,] 4.8832096 2.7379271 -1.020999e-01 -0.0496339202 0.076776342
## [13,] 4.6030631 2.5749513 1.607627e-03 0.2016839982 -0.051186621
## [14,] 4.4141572 2.2878758 2.265809e-01 -0.0694073743 0.213881910
## [15,] 4.4593259 2.1293271 4.750100e-02 -0.0784327295 0.183766393
## [16,] 4.7455057 2.4630211 5.793408e-01 -0.2531866344 0.006169928
## [17,] 4.4377161 1.8253153 2.766745e-01 -0.5168887260 0.161756594
## [18,] 4.1950087 1.7984783 5.894449e-01 -0.2350983578 -0.039784548
## [19,] 4.4893709 1.8829041 1.005629e-01 -0.4529566363 -0.072912335
## [20,] 4.5998760 2.2313444 3.630431e-01 -0.3681811124 0.043173595
## [21,] 4.8491661 2.9613955 1.032518e-01 0.2386910947 -0.004553835
## [22,] 4.8146080 2.7820639 1.284386e-01 0.0405004270 0.138662806
## [23,] 4.5108046 2.1588240 9.360943e-02 -0.1108467627 0.167457688
## [24,] 4.2468605 2.1208991 1.858281e-01 0.3115869348 0.031688823
## [25,] 4.4822615 2.0146307 5.759251e-01 -0.3409221361 0.015285109
## [26,] 4.5340226 2.3761157 1.716958e-01 0.1446156869 0.118561799
## [27,] 4.6263878 2.6054504 9.551799e-02 0.2072413215 0.123765355
## [28,] 4.4613476 2.4298758 2.980755e-01 0.0648774943 0.043400727
## [29,] 4.7424245 2.3570308 5.515856e-02 -0.1342822474 0.214202048
## [30,] 1.8580800 -0.4850685 1.070249e+00 0.1276829184 0.034395245
## [31,] 1.3101550 -1.1243616 9.127230e-01 0.2482539430 0.091073518
## [32,] 1.7627285 -0.3056980 9.651271e-01 0.3826054752 -0.181362730
## [33,] 1.6686052 -0.6503616 9.638492e-01 0.2225623629 -0.070703834
## [34,] 1.5906089 -0.7258585 1.040190e+00 0.1159253359 -0.125675245
## [35,] 1.7492185 -0.5240380 1.077354e+00 0.2452598341 -0.016154908
## [36,] 1.7946998 -0.5735792 1.148347e+00 0.3089860545 -0.128490798
## [37,] 1.2839956 -0.5866064 9.455694e-01 0.8431973574 -0.191863017
## [38,] 0.9837179 -1.2976022 9.507788e-01 0.4408490449 -0.083543278
## [39,] 1.5930404 -1.0780442 1.009201e+00 -0.2623823485 0.002470653
## [40,] 1.6641408 -0.6360677 9.210032e-01 0.4210841573 -0.072082228
## [41,] 1.6817448 -0.5023713 9.525960e-01 0.4158632671 -0.067709575
## [42,] 1.7950103 -0.7891348 1.100283e+00 -0.0459552093 0.075272188
## [43,] 1.7476960 -0.5125858 1.083379e+00 0.1664065441 -0.037018972
## [44,] 1.0155957 -1.5499123 9.730668e-01 0.0976593721 0.154956456
## [45,] 0.9593045 -1.6951569 8.414654e-01 0.0139594922 0.102425411
## [46,] 1.0586805 -1.3616208 8.835314e-01 0.3859847407 -0.016534442
## [47,] 1.6910284 -0.5107555 8.761171e-01 0.3933494419 -0.164888117
## [48,] 1.8282608 -0.6252785 1.173273e+00 0.0750532084 -0.058673320
## [49,] 1.5272432 -1.0874582 1.128503e+00 -0.2340756145 0.252895338
## [50,] 1.6199850 -0.5797333 9.805356e-01 0.3100090549 -0.096610537
## [51,] 1.7868292 -0.4510867 1.086624e+00 0.2106960693 -0.055592226
## [52,] 1.7247135 -0.4180485 1.066904e+00 0.2660729588 -0.055407855
## [53,] 1.7893329 -0.7429928 1.098574e+00 -0.0184825066 0.040787921
## [54,] 1.7728750 -0.7821557 1.074858e+00 -0.0055463931 0.003666647
## [55,] 1.2183717 -1.3339514 9.916531e-01 0.1589656669 0.057059326
## [56,] 1.5412395 -0.9729048 1.044162e+00 0.1557772762 -0.070412522
## [57,] 1.7061501 -0.8692735 1.067252e+00 0.1326282275 0.009950617
## [58,] 1.7548225 -0.7927958 1.100360e+00 0.1562259906 -0.013591341
## [59,] 1.2090193 -0.8094737 9.102128e-01 0.8014833039 -0.112046133
## [60,] 1.2797590 -0.8030935 9.615940e-01 0.6419378690 -0.053466223
## [61,] 1.3710443 -1.7982189 -1.243080e+00 0.4021198737 0.088162837
## [62,] 1.1510979 -2.2500358 -1.654857e+00 0.1086459815 0.178447193
## [63,] 1.1426014 -1.8234364 -1.161053e+00 0.4770536958 0.120913314
## [64,] 1.2216241 -1.9344203 -1.138455e+00 0.1228446757 0.179951414
## [65,] 1.2433447 -1.5554508 -9.125675e-01 0.7261706778 0.179254305
## [66,] 0.8947850 -1.8709599 -1.091397e+00 0.6656064966 0.627036520
## [67,] 1.0102166 -2.4878734 -1.551434e+00 -0.0136513204 0.280841967
## [68,] 1.3020091 -2.0579575 -1.547957e+00 0.1327128719 0.166145653
## [69,] 0.6413830 -2.3666940 -1.679636e+00 0.4737128211 0.068602792
## [70,] 1.1486187 -2.4380403 -1.052639e+00 -0.2025685176 0.319521549
## [71,] 0.8931504 -2.6309922 -1.133818e+00 -0.2153469785 0.306980519
## [72,] 0.9597449 -1.9109350 -1.179982e+00 0.5290306276 0.200750574
## [73,] 1.5930898 -1.7197211 -1.150464e+00 0.1633603334 0.102672605
## [74,] 1.2896989 -1.7177719 -1.203659e+00 0.3210778342 0.209526987
## [75,] 1.0601077 -1.7068550 -1.290722e+00 0.6086513959 0.157702975
## [76,] 0.8102744 -1.8109639 -1.214487e+00 0.8102703778 0.061647569
## [77,] 1.0189620 -1.9274434 -9.306160e-01 0.3164933985 0.176160585
## [78,] 1.3851612 -2.5528279 -9.969352e-01 -0.4239746217 0.025645423
## [79,] 1.2982993 -1.6552566 -1.350489e+00 0.4225025449 0.099525834
## [80,] 1.3250985 -1.9842294 -1.395971e+00 0.2383494947 -0.001346272
## [81,] 1.0233621 -2.6707818 -1.300869e+00 -0.0506592000 -0.197799011
## [82,] 0.5690813 -2.0508793 -1.399208e+00 0.7572836660 0.730254901
## [83,] 0.5869826 -2.3898224 -1.190377e+00 0.4264943703 0.114401141
## [84,] 0.7776370 -2.2387693 -1.609509e+00 0.4355763184 0.204489690
## [85,] 1.5364888 -1.3534210 -9.365923e-01 0.5091501588 -0.018852710
## [86,] 0.8004368 -2.3962347 -1.292215e+00 0.1766841360 0.257357348
## [87,] 0.9784944 -1.9494583 -1.268897e+00 0.6893943726 0.072356386
## [88,] 2.0486946 -1.1347197 -4.613436e-01 -0.2167658268 -0.462841227
## [89,] 2.0609374 -1.0200433 -5.568194e-01 -0.0518956951 -0.495092784
## [90,] 1.5027492 -1.4517344 -5.914508e-01 -0.2638182862 -0.122625201
## [91,] 1.2454190 -1.6248447 -8.034087e-01 -0.2572522574 -0.251328679
## [92,] 1.5166008 -1.3267635 -5.471580e-01 -0.3257302533 -0.074542288
## [93,] 1.9244223 -1.2688693 -5.310449e-01 -0.3099215179 -0.434035587
## [94,] 1.3645560 -1.4560181 -6.251179e-01 -0.2166348120 -0.184921760
## [95,] 1.4332766 -1.5162627 -5.820915e-01 -0.2354755698 -0.126479251
## [96,] 0.9918570 -2.2555878 -1.613563e+00 0.2754939353 0.208568399
## [97,] 1.5596143 -1.3902318 -6.135966e-01 -0.2792824398 -0.089462382
## [98,] 1.4269160 -1.3723623 -5.923807e-01 -0.1516963784 -0.234637468
## [99,] 1.4200960 -1.3633450 -5.039183e-01 -0.1969147642 -0.198652435
## [100,] 1.3137432 -1.5985442 -6.712030e-01 -0.3492518398 -0.119092744
## [101,] 2.2849363 -1.5666596 -4.046573e-01 -0.9472347549 -0.356001094
## [102,] 2.3037245 -1.4884207 -3.219346e-01 -1.0508207887 -0.266098356
## [103,] 2.3056006 -1.6145610 -3.420332e-01 -1.0498265728 -0.254167419
## [104,] 1.5016417 -1.4442199 -6.100707e-01 -0.2870215301 -0.127458659
## [105,] 1.4048626 -1.4913675 -5.833225e-01 -0.3179546343 -0.129606928
## [106,] 1.4185876 -1.5463000 -5.962801e-01 -0.2734244071 -0.123176696
## [107,] 1.4268391 -1.4478407 -4.698280e-01 -0.2641568126 -0.116341572
## [108,] 1.4837139 -1.4682829 -6.606025e-01 -0.2477492203 -0.128813668
## [109,] 1.4193955 -1.5341650 -6.486014e-01 -0.2782496839 -0.091925164
## [110,] 1.3240381 -1.7161573 -7.530511e-01 -0.3206843827 -0.273056735
## [111,] 2.1063472 -1.0464733 -4.266070e-01 -0.2704645881 -0.465663571
## [112,] 1.3342987 -1.7534853 -6.069081e-01 -0.4790528229 -0.047590734
## [113,] 2.2726790 -1.7146245 -4.887280e-01 -0.8116162403 -0.492114347
## [114,] 1.2630421 -1.6255564 -7.996530e-01 -0.1323756898 -0.353429615
## [115,] 1.8915609 -1.1622540 -6.963353e-01 0.0380762068 -0.735496810
## [116,] 2.0914790 -1.1000042 -5.711938e-01 -0.0746904832 -0.675638905
## [117,] 1.9509668 -1.1459015 -4.625413e-01 -0.0186726467 -0.599258512
## [118,] 1.9056501 -1.1391890 -4.573904e-01 -0.1081517422 -0.594096569
## [119,] 1.3851612 -2.5528279 -9.969352e-01 -0.4239746217 0.025645423
## [120,] -1.7821061 0.9357388 -3.527896e-02 0.2544845538 -0.061422205
## [121,] -1.6097056 0.6875606 7.349768e-02 0.3579917640 -0.063730262
## [122,] -1.7178189 0.8063983 -5.887644e-02 0.1790821102 -0.013018660
## [123,] -2.4837683 -0.3081262 3.145661e-02 -1.0078017509 0.414603441
## [124,] -1.8079753 0.8523505 -6.290015e-02 0.0415369064 -0.017237037
## [125,] -2.5498135 -0.3418270 4.702462e-02 -0.9636759654 0.360102595
## [126,] -1.9567671 0.7250382 -8.705428e-02 -0.0163257978 0.018757254
## [127,] -1.5287712 0.3373404 2.103437e-01 0.2777613118 0.011419799
## [128,] -1.6855350 0.7068882 6.869857e-02 0.0849181309 0.010110292
## [129,] -1.6799522 0.6535337 8.597124e-02 0.1353267481 0.003405874
## [130,] -1.7182793 0.3356592 1.020004e-01 -0.2273033831 0.080802662
## [131,] -1.8879987 0.6702338 -8.035208e-02 -0.0317601305 -0.029112603
## [132,] -1.3976740 1.0994870 4.071836e-02 0.4145454815 -0.109000799
## [133,] -1.4333008 1.2914902 -1.773336e-02 0.4965323277 -0.087440909
## [134,] -1.2593338 0.7786579 2.459925e-01 0.4450095104 -0.189308605
## [135,] -1.8299585 0.4149523 1.004233e-01 -0.0492359498 0.088868786
## [136,] -1.9316993 0.5052964 9.230805e-02 -0.2533784207 0.076782322
## [137,] -1.2593338 0.7786579 2.459925e-01 0.4450095104 -0.189308605
## [138,] -1.7250673 0.8773319 -2.039163e-02 -0.0924241557 0.096784046
## [139,] -1.7216083 0.5924819 9.725722e-02 0.0159373681 0.046611160
## [140,] -1.4335765 1.0295516 -9.708944e-03 0.2245546541 -0.162214502
## [141,] -1.4922623 0.9138837 1.316622e-01 0.2608351056 -0.026567419
## [142,] -1.3624677 1.1224589 1.963760e-01 0.5261209127 -0.087464446
## [143,] -1.3857731 1.2490095 7.209095e-02 0.3961710681 -0.160122584
## [144,] -1.4063105 1.0460328 7.614225e-02 0.3397387687 -0.211837228
## [145,] -2.2111365 0.1994839 1.514631e-01 -0.7776777846 0.217017659
## [146,] -1.7182793 0.3356592 1.020004e-01 -0.2273033831 0.080802662
## [147,] -1.8794584 0.8215182 -3.169290e-02 -0.0936000726 0.010743403
## [148,] -1.4593233 1.8490788 -2.651474e-01 0.0972620651 -0.095181423
## [149,] -1.7397189 1.4120162 -2.532970e-01 -0.1193288439 0.039640443
## [150,] -1.8208267 1.3689187 -3.266021e-01 -0.1953787987 0.022203883
## [151,] -1.2910528 1.6782206 -2.103145e-01 0.4302934905 -0.133664854
## [152,] -1.5242436 1.8044204 -3.084560e-01 0.2838971686 -0.131189851
## [153,] -1.7031635 1.3690717 -2.238618e-01 -0.2091441101 0.073266443
## [154,] -1.7782382 1.6281342 -3.379413e-01 0.0128006873 -0.067030299
## [155,] -1.9127667 1.1563632 -3.311623e-01 -0.2179915875 0.012067083
## [156,] -1.7519713 1.3991796 -2.795293e-01 -0.2310447026 0.079536758
## [157,] -1.7708516 1.4183137 -2.730061e-01 0.0607730724 -0.060473873
## [158,] -1.3379023 1.6308089 -2.113134e-01 0.2506588925 -0.081752927
## [159,] -1.8259271 1.4764561 -2.970204e-01 -0.0862932946 0.003479588
## [160,] -1.2634364 1.8231629 -1.440486e-01 0.1718464207 0.138925797
## [161,] -1.7706674 1.4260491 -2.720666e-01 -0.1182539818 0.027514737
## [162,] -1.7550485 1.8266947 -4.228753e-01 0.1966691954 -0.084424390
## [163,] -1.5740527 1.7736688 -3.197549e-01 0.1655929520 -0.074360762
## [164,] -1.3334085 1.7717299 -2.737830e-01 0.3743999106 -0.127775538
## [165,] -1.8621680 1.4065277 -3.433491e-01 -0.1690710738 0.026605966
## [166,] -1.4817457 2.0361137 -3.795028e-01 0.1908833912 -0.077017356
## [167,] -1.8240038 1.2925430 -2.615833e-01 -0.2066553255 0.037351493
## [168,] -1.9036350 1.1927811 -2.861868e-01 -0.3530678431 0.038456663
## [169,] -2.0020922 1.2314371 -3.184723e-01 -0.4074384473 0.080822078
## [170,] -1.6863456 1.5552550 -3.163020e-01 0.0260960867 -0.026001557
## [171,] -1.6857115 1.4701915 -2.547130e-01 -0.1351827805 -0.119117340
## [172,] -1.5645926 1.6693219 -2.820254e-01 0.1090094869 -0.206311546
## [173,] -1.6431149 1.6369257 -2.698690e-01 -0.0003442544 -0.049645484
## [174,] -1.6165737 1.6707067 -2.985345e-01 0.0885303224 -0.037445380
## [175,] -1.5160929 1.8100963 -2.736298e-01 0.1831343281 -0.105466106
## [176,] -1.4291019 1.8557958 -2.503902e-01 0.2488641895 -0.107735354
## [177,] -1.7623546 1.2124241 -2.232618e-01 -0.3032582183 -0.170488901
## [178,] -1.7770965 1.6334597 -4.156476e-01 -0.0760106644 0.012877149
## [179,] -1.8539682 1.5772551 -4.342079e-01 -0.0950046531 -0.002425308
## [180,] -1.9563477 1.2056229 -3.110391e-01 -0.1550888312 0.013671978
## [181,] -1.8339199 1.5913197 -4.529597e-01 -0.0907722155 -0.004327614
## [182,] -1.3812960 1.7937448 -3.439181e-01 0.4492210801 -0.126572656
## [183,] -1.7339470 1.6976485 -3.882368e-01 0.1142546685 -0.009199461
## [184,] -1.7058367 1.5993365 -3.848950e-01 -0.0014980557 0.004726687
## [185,] -1.6597247 1.7015571 -3.849047e-01 -0.1817934288 0.027704203
## [186,] -1.7509256 1.6772132 -4.586073e-01 0.0784618988 -0.053039296
## [187,] -1.6946457 1.6702985 -4.181720e-01 -0.0052462430 -0.004766333
## [188,] -1.8690746 1.5451549 -4.645338e-01 -0.2354901517 0.027750525
## [189,] -1.7709664 1.4726949 -5.213314e-01 -0.3099356435 -0.165587633
## [190,] -1.7897240 1.5398215 -4.397458e-01 -0.0656828124 -0.010422426
## [191,] -2.0742731 0.8833671 -1.722746e-01 -0.2645846386 0.110433276
## [192,] -1.3904139 2.1076960 -4.205864e-01 0.3108469297 -0.135178806
## [193,] -1.7377423 1.6980129 -4.950300e-01 -0.1707365346 -0.002580614
## [194,] -1.8323276 1.6578070 -4.514545e-01 -0.1979256139 0.026239523
## [195,] -1.8672861 1.6777345 -4.556293e-01 -0.0399614874 -0.014226888
## [196,] -1.6088333 1.4289516 -2.855827e-01 0.2124194163 -0.059425946
## [197,] -1.8241903 1.4365231 -3.900331e-01 -0.2318969126 0.067676333
## [198,] -1.5488523 1.6818865 -3.437662e-01 0.0581391259 -0.033664143
## [199,] -1.7022993 1.6636683 -4.876881e-01 -0.3490398234 -0.154313366
## [200,] -1.9094050 1.5220593 -4.046353e-01 -0.2913380635 0.067649162
## [201,] -1.6406553 1.9871102 -4.740963e-01 0.0825407704 -0.087342860
## [202,] -1.7071054 1.9787327 -4.996512e-01 0.2436043361 -0.121964525
## [203,] -1.7908242 1.6611027 -4.463550e-01 -0.1363032910 -0.007900480
## [204,] -1.6289080 2.0826485 -5.711895e-01 -0.0460860241 -0.015349914
## [205,] -1.9903369 1.3222111 -4.307109e-01 -0.4140262008 0.077044732
## [206,] -1.7267181 1.6174648 -3.560766e-01 -0.0211010840 -0.022537063
## [207,] -2.0511518 0.4407758 -1.239556e-01 -0.1654892867 0.054734780
## [208,] -1.4187340 0.9955696 -7.028759e-03 0.5097265693 -0.086876308
## [209,] -1.7244772 0.7989221 5.901215e-02 0.0872590764 0.061267151
## [210,] -2.4572491 0.1595509 -2.868641e-01 -0.7815829395 0.243614030
## [211,] -1.6751303 0.7614038 -4.316831e-02 0.2262013713 -0.050605850
## [212,] -1.7126692 0.7752786 -3.723766e-02 0.3069598594 -0.017574873
## [213,] -2.5816073 -0.4652796 6.309360e-02 -0.7813544450 0.323301541
## [214,] -1.6279961 0.7537831 -1.844262e-02 0.1306665917 -0.350779579
## [215,] -1.8115248 1.1063091 -7.734399e-02 0.1190940094 -0.031264854
## [216,] -1.8554293 0.9253740 -1.588235e-01 0.1042746592 0.021987080
## [217,] -2.6481066 -0.2787996 -7.235941e-02 -0.8722492036 0.343955004
## [218,] -1.5483463 1.1834618 -5.198809e-02 0.3982239133 -0.149425102
## [219,] -1.7630072 0.5600795 -1.055403e-01 0.1994110174 0.017985654
## [220,] -1.9151299 0.6613004 -1.338789e-02 0.0717021199 0.109138646
## [221,] -1.9732553 0.4364541 -6.488793e-02 -0.0815661887 0.106986872
## [222,] -1.9271485 0.6438785 -6.922989e-02 -0.0325491686 0.088619098
## [223,] -1.8582907 0.5475690 3.258020e-02 0.1356881583 0.029158570
## [224,] -1.7459325 0.7811679 3.170352e-02 0.1304458635 -0.043836837
## [225,] -1.7743513 0.9874912 -7.619610e-02 0.1706258319 0.018918311
## [226,] -1.8564759 0.6412486 -1.210501e-02 -0.0118052550 0.010652649
## [227,] -1.8215076 0.6778087 7.487880e-03 -0.0018364731 0.055289102
## [228,] -1.4726670 0.9459139 8.328993e-02 0.5369939397 -0.124044993
## [229,] -1.5613641 0.7512569 2.992360e-02 0.2238667572 0.037671605
## [230,] -1.8342202 0.6924831 6.625196e-03 -0.0768086714 0.094293955
## [231,] -1.5384088 0.7392862 7.866684e-02 0.0590355141 -0.223418689
## [232,] -1.7328789 0.7193759 5.147681e-02 0.1530394693 0.014006260
## [233,] -1.6291117 0.7972391 1.202807e-01 0.5505075044 -0.023930604
## [234,] -1.7573656 0.6446385 8.172953e-03 -0.0352054622 -0.184397063
## [235,] -1.9891863 0.5021243 -2.138313e-02 -0.1201205572 0.124730551
## [236,] -1.6477838 1.0438009 3.632101e-02 0.4056517096 -0.092016115
## [237,] -2.1823786 0.2621524 -2.198562e-02 -0.5691155558 0.057489251
## [238,] -1.8863207 0.5862007 -3.238206e-02 -0.0683081684 0.024090434
## [239,] -1.8215076 0.6778087 7.487880e-03 -0.0018364731 0.055289102
## [240,] -1.0562819 -1.8849586 8.134634e-01 -0.1009130167 0.080734261
## [241,] -1.1718574 -1.8078398 8.061754e-01 0.0987556257 0.022996995
## [242,] -1.1747986 -1.7751811 7.308878e-01 0.0160277466 0.054606827
## [243,] -1.0788743 -1.8125005 7.001711e-01 0.1734592492 0.047930806
## [244,] -1.0790264 -1.5817939 7.187831e-01 0.1276327602 0.057276047
## [245,] -1.2694406 -2.0712740 6.550343e-01 -0.0916768440 0.154884201
## [246,] -1.4343620 -2.0603104 9.726186e-01 -0.0427461898 0.111587294
## [247,] -1.1775638 -2.0507147 8.706037e-01 0.1158017679 0.027574258
## [248,] -1.2277190 -1.8525166 8.516937e-01 -0.1421591246 0.044765119
## [249,] -0.7622691 -1.6803033 7.506781e-01 0.0748230386 0.066874442
## [250,] -1.0602926 -1.8637091 7.761526e-01 0.0696483051 0.007015509
## [251,] -1.0045531 -1.7306684 5.832766e-01 0.0586719111 0.014901884
## [252,] -1.0657651 -2.0106009 7.477518e-01 -0.0866299169 0.100240658
## [253,] -1.0337915 -1.8980999 7.589126e-01 0.0779803537 0.108164405
## [254,] -1.1251976 -2.0228537 8.143071e-01 -0.0912732448 0.093620108
## [255,] -1.1469355 -1.9025984 9.034707e-01 0.1614667314 0.054480627
## [256,] -1.1678685 -1.8356307 8.559839e-01 -0.0739556183 0.132748873
## [257,] -1.2113990 -1.9055903 7.778266e-01 -0.0039203987 0.074493345
## [258,] -1.1994321 -1.8873848 6.965410e-01 -0.0696616621 0.117271583
## [259,] -1.1234870 -1.6904939 6.192902e-01 -0.0426787868 0.074839230
## [260,] -1.0009875 -1.9358364 6.180061e-01 -0.0192021957 0.041898530
## [261,] -1.0653296 -1.8722276 6.888437e-01 0.0966835108 0.010058996
## [262,] -1.1340498 -1.8698826 7.378555e-01 0.0521185808 0.033490320
## [263,] -1.1264476 -1.8155883 6.761190e-01 0.1115936289 0.055738624
## [264,] -1.3906598 -2.2635686 9.332784e-01 -0.0956292166 0.093748967
## [265,] -1.0700924 -1.8816391 7.735862e-01 0.0535670529 0.099686512
## [266,] -1.1850105 -1.8157484 7.388524e-01 0.0625574291 0.014437698
## [267,] -1.1291235 -1.8039368 6.518559e-01 -0.0471697274 0.044120573
## [268,] -1.1607513 -1.9235745 8.877838e-01 -0.0136013556 0.088103463
## [269,] -0.6162255 -0.6509414 5.701714e-01 -0.2669313379 0.037726747
## [270,] -0.5943386 -0.3976471 3.524611e-01 -0.2484317278 0.025685452
## [271,] -0.8636353 -0.9202528 4.929314e-01 -0.1271878424 -0.024301448
## [272,] -0.8943741 -0.7665976 5.292233e-01 -0.1140331007 -0.026369333
## [273,] -0.9406739 -0.6569263 4.539243e-01 -0.0018501865 -0.068884633
## [274,] -0.9831377 -0.9716010 5.039806e-01 -0.1422556128 -0.029824184
## [275,] -0.6422548 -0.5815489 4.805844e-01 -0.0442746257 -0.002984974
## [276,] -0.6816623 -0.6933229 4.888584e-01 -0.0217855876 0.073367199
## [277,] -0.5963722 -0.6275245 4.743971e-01 -0.0330329530 -0.007735678
## [278,] -0.7851692 -0.9221646 6.837651e-01 -0.0729860579 -0.005213343
## [279,] -0.5995188 -0.6837602 1.253924e-01 -0.1769133862 0.170425062
## [280,] -0.8438760 -0.7946118 4.433999e-01 -0.3908144821 0.119973888
## [281,] -0.6720668 -0.8080937 5.632240e-01 -0.0760354377 0.008486348
## [282,] -0.6049674 -0.7435461 4.163869e-01 -0.2179192006 0.033789134
## [283,] -0.6750422 -0.5776411 3.998099e-01 -0.1628786172 -0.052170982
## [284,] -0.7694110 -0.8165060 5.570037e-01 -0.2467109699 0.094392357
## [285,] -0.2760655 -0.1671596 4.331238e-01 -0.0215426784 -0.040089519
## [286,] -0.5727469 -0.8238554 6.690880e-01 -0.2256065927 0.020008405
## [287,] -0.6444701 -0.4916469 4.545389e-01 -0.0555261120 -0.020104884
## [288,] -0.6449905 -0.4931173 4.619264e-01 -0.2711204336 0.039537296
## [289,] -0.6301577 -0.8957997 5.814457e-01 -0.1624954468 0.064121728
## [290,] -0.7547400 -0.5820306 4.691199e-01 -0.0719888815 -0.022974937
## [291,] -0.7132627 -0.6449542 5.064120e-01 -0.1201080302 -0.006069777
## [292,] -0.7749361 -0.8410832 5.707717e-01 -0.1913850493 0.047588587
## [293,] -0.9646953 -0.4898548 4.903633e-01 -0.0098541434 -0.051260454
## [294,] -0.6440462 -0.5869810 5.502600e-01 0.0479134289 -0.073813852
## [295,] -0.3648100 -0.3356016 4.075140e-01 -0.1124916820 -0.057131928
## [296,] -0.5346165 -0.5299572 4.257782e-01 -0.2288754481 0.030964030
## [297,] -0.3390696 -0.2428245 2.807053e-01 -0.0641818802 0.069547775
## [298,] -0.6453544 -0.5145738 3.697604e-01 -0.2488782344 0.043484390
## [299,] -0.8636353 -0.9202528 4.929314e-01 -0.1271878424 -0.024301448
## [300,] -0.8943741 -0.7665976 5.292233e-01 -0.1140331007 -0.026369333
## PC6 PC7
## [1,] -2.334931e-03 9.586381e-04
## [2,] 2.946986e-03 1.020335e-03
## [3,] 5.414628e-03 8.303696e-04
## [4,] 5.617206e-03 9.448638e-04
## [5,] 1.685765e-03 9.668578e-04
## [6,] 5.184239e-03 9.775808e-04
## [7,] 2.062019e-03 9.137155e-04
## [8,] -8.239978e-04 9.452848e-04
## [9,] -2.899542e-03 8.552953e-04
## [10,] 2.239517e-03 8.358339e-04
## [11,] 1.245397e-02 1.050927e-03
## [12,] -1.275477e-03 7.918359e-04
## [13,] 4.554520e-03 7.631647e-04
## [14,] -2.896384e-02 -2.669892e-02
## [15,] 8.222939e-04 8.658250e-04
## [16,] 4.738489e-03 9.420006e-04
## [17,] -1.852536e-03 8.634677e-04
## [18,] -1.111859e-03 7.367465e-04
## [19,] 4.595972e-03 7.816179e-04
## [20,] 4.528364e-03 9.173402e-04
## [21,] 5.191144e-03 8.558793e-04
## [22,] 2.176916e-03 9.157980e-04
## [23,] 1.087007e-03 8.746648e-04
## [24,] 8.161999e-04 7.297943e-04
## [25,] -2.097494e-03 8.007140e-04
## [26,] 3.510400e-03 8.825632e-04
## [27,] 4.930453e-03 9.092009e-04
## [28,] 9.360605e-04 8.064522e-04
## [29,] 3.837552e-03 9.786595e-04
## [30,] -6.152930e-03 4.444485e-04
## [31,] -3.443607e-03 4.205435e-04
## [32,] -4.771035e-03 2.762183e-04
## [33,] -1.443949e-03 4.012768e-04
## [34,] -4.520045e-04 3.887818e-04
## [35,] -1.482102e-03 4.667390e-04
## [36,] 6.258954e-04 4.333274e-04
## [37,] -4.260919e-03 1.823387e-04
## [38,] -6.385345e-03 2.021854e-04
## [39,] -7.312478e-03 3.779628e-04
## [40,] 2.585708e-03 4.460757e-04
## [41,] -5.513992e-03 3.250956e-04
## [42,] -7.711213e-03 4.497519e-04
## [43,] 1.500017e-04 4.861367e-04
## [44,] 1.503757e-03 5.253248e-04
## [45,] -3.727092e-03 3.773450e-04
## [46,] -4.547758e-03 2.793730e-04
## [47,] 4.833608e-03 4.197832e-04
## [48,] 3.446416e-03 5.521904e-04
## [49,] -4.811751e-03 6.038312e-04
## [50,] 4.591192e-03 4.764630e-04
## [51,] -8.986013e-03 3.242563e-04
## [52,] -1.898150e-03 4.294056e-04
## [53,] -3.424880e-03 4.952911e-04
## [54,] -4.703082e-03 4.406668e-04
## [55,] 3.218648e-03 5.111696e-04
## [56,] -1.472706e-03 3.963982e-04
## [57,] 2.866702e-03 5.503168e-04
## [58,] -3.420656e-03 4.399337e-04
## [59,] -6.413719e-04 2.819940e-04
## [60,] -3.100733e-03 3.093796e-04
## [61,] -2.573234e-03 7.370832e-05
## [62,] 6.397883e-04 1.119815e-04
## [63,] 2.173916e-03 1.578885e-04
## [64,] -4.181896e-03 1.282820e-04
## [65,] 7.568126e-03 3.268089e-04
## [66,] -9.049039e-05 4.432851e-04
## [67,] 4.139167e-03 2.455538e-04
## [68,] -4.404285e-03 -4.248726e-03
## [69,] 5.003361e-03 1.993531e-05
## [70,] 1.649970e-03 3.389591e-04
## [71,] -3.972698e-03 1.926221e-04
## [72,] -2.375043e-03 1.094616e-04
## [73,] 3.518857e-03 2.427891e-04
## [74,] 4.799009e-03 2.866220e-04
## [75,] -8.840448e-04 9.712172e-05
## [76,] -1.556887e-03 -1.332355e-05
## [77,] -2.295512e-03 1.539510e-04
## [78,] -4.081178e-03 8.538354e-05
## [79,] -3.021695e-03 5.189815e-05
## [80,] 7.037333e-03 1.493088e-04
## [81,] -3.060211e-03 -1.701159e-04
## [82,] -4.661064e-04 4.149171e-04
## [83,] 2.432497e-03 8.266767e-05
## [84,] -4.448334e-04 5.586236e-05
## [85,] 5.810299e-03 2.077777e-04
## [86,] -4.075116e-03 9.917964e-05
## [87,] -3.462200e-03 -2.291334e-05
## [88,] -9.274447e-04 -2.695051e-05
## [89,] -3.116284e-03 -1.085219e-04
## [90,] -3.939881e-04 1.361835e-04
## [91,] 4.828714e-03 6.756417e-05
## [92,] -5.909315e-04 1.826814e-04
## [93,] 2.055909e-03 2.193078e-05
## [94,] 2.046863e-03 1.097123e-04
## [95,] 2.289092e-03 1.684205e-04
## [96,] -2.846058e-03 5.220853e-05
## [97,] -5.902476e-03 7.306429e-05
## [98,] 2.573437e-03 9.296179e-05
## [99,] -5.571797e-03 -7.546973e-07
## [100,] 3.523064e-04 1.208292e-04
## [101,] -4.940791e-03 5.691995e-05
## [102,] 1.490353e-04 2.289201e-04
## [103,] -6.752324e-03 1.161451e-04
## [104,] -3.931862e-04 1.316796e-04
## [105,] 3.200727e-03 1.848394e-04
## [106,] 5.574712e-03 2.235759e-04
## [107,] 1.738856e-03 1.870901e-04
## [108,] -2.108492e-03 8.889964e-05
## [109,] -3.982094e-03 7.902103e-05
## [110,] -3.391575e-03 -6.586225e-05
## [111,] -4.978449e-03 -7.850592e-05
## [112,] -3.780373e-03 1.196860e-04
## [113,] -3.511529e-04 9.969070e-06
## [114,] 1.966761e-03 -5.802430e-05
## [115,] -2.169249e-04 -2.783924e-04
## [116,] 2.002938e-03 -1.489240e-04
## [117,] 4.062906e-03 -6.458508e-05
## [118,] 2.693853e-03 -8.108225e-05
## [119,] -4.081178e-03 8.538354e-05
## [120,] -8.993698e-04 -6.815043e-05
## [121,] -2.672885e-03 -7.791517e-05
## [122,] 2.135213e-04 -1.054438e-05
## [123,] -1.553842e-03 2.485740e-04
## [124,] -1.636843e-03 -4.328676e-05
## [125,] -7.553487e-03 1.019936e-04
## [126,] 4.142685e-03 5.923808e-05
## [127,] 1.580272e-03 7.203382e-05
## [128,] 8.019282e-03 1.630935e-04
## [129,] 7.824975e-03 1.534025e-04
## [130,] -4.039928e-03 2.664346e-05
## [131,] 4.844142e-03 4.553493e-05
## [132,] 3.657735e-04 -3.485138e-05
## [133,] -9.417009e-04 -5.542300e-05
## [134,] 6.677950e-03 5.025862e-05
## [135,] -6.385729e-04 6.579714e-05
## [136,] 4.210125e-03 1.431292e-04
## [137,] 6.677950e-03 5.025862e-05
## [138,] -2.396517e-03 4.963667e-05
## [139,] 4.808178e-03 1.378310e-04
## [140,] 7.447497e-03 4.607483e-05
## [141,] 7.882814e-03 1.582472e-04
## [142,] 2.064825e-03 2.900754e-05
## [143,] 3.714569e-03 -3.438925e-06
## [144,] -9.396063e-04 -1.197403e-04
## [145,] 4.548882e-04 1.882905e-04
## [146,] -4.039928e-03 2.664346e-05
## [147,] 1.423652e-03 3.346475e-05
## [148,] 9.830711e-04 -2.656776e-05
## [149,] -1.562628e-03 1.575088e-06
## [150,] 1.042417e-02 1.730880e-04
## [151,] 3.366550e-03 -1.603440e-05
## [152,] 4.438447e-03 -2.271053e-05
## [153,] 1.084609e-03 8.302135e-05
## [154,] 7.786497e-03 6.125300e-05
## [155,] 6.341227e-03 8.365973e-05
## [156,] 7.807913e-03 1.877148e-04
## [157,] 9.401088e-03 9.463983e-05
## [158,] 9.333272e-03 1.261805e-04
## [159,] -1.237076e-03 -3.502092e-05
## [160,] 9.154033e-03 3.066016e-04
## [161,] 3.657631e-03 7.399152e-05
## [162,] -9.834140e-03 -1.188457e-02
## [163,] 2.629399e-03 -1.236017e-05
## [164,] 5.546849e-03 1.643078e-05
## [165,] -2.914883e-02 2.662694e-02
## [166,] -2.988035e-01 -5.022662e-03
## [167,] 1.336811e-04 2.114655e-05
## [168,] -1.761130e-03 -1.387666e-05
## [169,] -2.921433e-03 -1.415106e-05
## [170,] 1.276226e-03 -8.068291e-06
## [171,] 6.676515e-03 3.592754e-05
## [172,] -3.762652e-04 -1.462409e-04
## [173,] -1.869376e-03 -6.097852e-05
## [174,] 4.209770e-03 4.142128e-05
## [175,] 9.115410e-03 8.686062e-05
## [176,] 7.159470e-03 6.205511e-05
## [177,] 4.131011e-03 -4.005715e-05
## [178,] 3.907947e-03 4.715226e-05
## [179,] -2.061634e-03 -7.402033e-05
## [180,] 6.621688e-03 8.464812e-05
## [181,] -1.771250e-03 -7.125222e-05
## [182,] 1.775980e-03 -6.639778e-05
## [183,] 6.615772e-03 7.346921e-05
## [184,] 3.755776e-03 4.500923e-05
## [185,] 5.154454e-03 1.050580e-04
## [186,] 9.080078e-03 7.309759e-05
## [187,] 1.102714e-03 -7.630574e-06
## [188,] 4.105769e-03 5.269659e-05
## [189,] 3.725076e-03 -8.359096e-05
## [190,] 3.345786e-03 1.320786e-05
## [191,] -3.762297e-03 -1.181886e-05
## [192,] 3.836173e-03 -3.279601e-05
## [193,] 7.840782e-04 -1.522551e-05
## [194,] 6.037409e-03 8.994462e-05
## [195,] 8.973716e-03 9.514429e-05
## [196,] -8.857651e-04 -7.119852e-05
## [197,] 8.660213e-03 1.696731e-04
## [198,] 8.525194e-03 1.185052e-04
## [199,] -9.166599e-04 -1.324960e-04
## [200,] 3.997787e-03 8.730080e-05
## [201,] 7.303820e-03 3.673733e-05
## [202,] 3.592087e-03 -7.222833e-05
## [203,] 4.729065e-03 4.514915e-05
## [204,] -5.966879e-04 -4.642964e-05
## [205,] -1.473814e-03 -6.143030e-06
## [206,] 1.773602e-03 -2.828798e-06
## [207,] 5.708078e-03 9.801102e-05
## [208,] -1.844410e-03 -7.552275e-05
## [209,] -2.947616e-03 1.298256e-05
## [210,] -5.181870e-03 1.759866e-05
## [211,] -8.372866e-04 -2.204029e-03
## [212,] 1.718573e-03 5.104281e-06
## [213,] 1.302333e-03 2.061922e-04
## [214,] 6.984948e-04 -2.203949e-04
## [215,] 7.158750e-03 9.157450e-05
## [216,] 7.754585e-03 1.176175e-04
## [217,] -2.471434e-03 1.410919e-04
## [218,] 5.610749e-03 -3.019019e-06
## [219,] 4.196640e-03 5.733116e-05
## [220,] 3.206380e-03 1.146765e-04
## [221,] 1.557680e-03 7.678795e-05
## [222,] 7.712656e-04 4.873970e-04
## [223,] 3.918714e-03 7.625577e-05
## [224,] 8.178222e-03 1.144514e-04
## [225,] 7.705444e-03 1.330061e-04
## [226,] 7.785653e-03 1.340595e-04
## [227,] -3.558864e-04 3.684021e-05
## [228,] 8.265827e-03 7.175954e-05
## [229,] 7.761227e-03 1.762725e-04
## [230,] -3.866410e-03 1.005393e-05
## [231,] 7.607348e-03 1.307489e-05
## [232,] 8.094905e-03 1.546949e-04
## [233,] 5.748314e-03 8.404796e-05
## [234,] 8.176009e-03 1.981917e-05
## [235,] 1.780728e-03 1.025228e-04
## [236,] 1.349763e-03 -3.478689e-05
## [237,] 5.871209e-03 1.293331e-04
## [238,] 1.305622e-03 3.198549e-05
## [239,] -3.558864e-04 3.684021e-05
## [240,] -1.932413e-03 1.761227e-04
## [241,] -7.527321e-03 -4.137051e-04
## [242,] -6.460027e-03 5.136341e-05
## [243,] -3.888390e-03 8.245441e-05
## [244,] -6.393284e-04 1.552970e-04
## [245,] 9.210361e-04 2.223481e-04
## [246,] -5.533328e-03 1.135069e-04
## [247,] -3.325396e-03 9.167809e-05
## [248,] -7.877363e-03 4.365390e-05
## [249,] 2.728503e-03 2.580585e-04
## [250,] 3.850058e-03 2.026722e-04
## [251,] -3.903406e-03 5.929364e-05
## [252,] -8.097221e-04 1.928150e-04
## [253,] 3.132178e-03 2.600207e-04
## [254,] 2.584233e-03 2.487256e-04
## [255,] -9.737166e-04 1.585437e-04
## [256,] -2.815556e-03 1.918429e-04
## [257,] -4.552084e-03 9.846701e-05
## [258,] -3.484038e-03 1.399584e-04
## [259,] 3.081216e-03 2.187307e-04
## [260,] -1.394134e-03 1.260076e-04
## [261,] 4.161266e-02 8.165585e-04
## [262,] -7.268287e-03 2.349265e-05
## [263,] 1.252997e-03 1.690255e-04
## [264,] -6.471700e-03 8.248337e-05
## [265,] -7.051018e-03 8.534456e-05
## [266,] 1.622405e-03 1.534450e-04
## [267,] -2.163787e-03 1.118729e-04
## [268,] -1.671471e-03 1.787121e-04
## [269,] 1.006368e-03 2.482562e-04
## [270,] 4.400769e-03 2.698942e-04
## [271,] 1.819712e-03 1.627628e-04
## [272,] 1.015797e-04 1.381950e-04
## [273,] -3.605187e-03 2.482330e-05
## [274,] 3.382974e-03 1.736446e-04
## [275,] -5.053270e-03 8.783070e-05
## [276,] 4.592830e-03 2.941501e-04
## [277,] 2.518540e-03 2.123635e-04
## [278,] -6.498058e-03 7.193468e-05
## [279,] 4.142761e-03 3.179813e-04
## [280,] -2.524562e-03 2.081619e-04
## [281,] 3.683922e-03 2.473004e-04
## [282,] -2.106245e-03 1.649015e-04
## [283,] 3.707313e-03 1.918155e-04
## [284,] 1.478476e-03 2.714968e-04
## [285,] -4.213680e-03 1.166953e-04
## [286,] -6.107405e-03 1.301084e-04
## [287,] -5.743411e-04 1.492376e-04
## [288,] -3.547164e-03 1.582288e-04
## [289,] -4.016922e-03 1.693975e-04
## [290,] -5.606027e-03 5.289041e-05
## [291,] -2.938718e-04 1.651740e-04
## [292,] 4.586480e-03 2.873838e-04
## [293,] -2.839315e-03 5.796378e-05
## [294,] 1.068278e-04 1.280177e-04
## [295,] 5.072415e-03 2.480063e-04
## [296,] 5.073974e-02 -3.466824e-02
## [297,] -8.207324e-05 2.326022e-04
## [298,] 2.106968e-03 2.384104e-04
## [299,] 1.819712e-03 1.627628e-04
## [300,] 1.015797e-04 1.381950e-04
Так мы вытаскиваем сами значения главных компонент для всех наблюдений. Их далее можем использовать, например, в регрессии.
А что еще можно сделать с самими результатами PCA? Можем посмотреть, как соотносятся категориальные переменные с главными компонентами.
Вау! У нас тут даже явные кластеры нарисовались! А вот как бы это интерпретировать?
Здесь нам понадобиться матрица нагрузок (собственно, корреляционная матрица, которую мы видели в аутпуте PCA):
## PC1 PC2
## mois 0.06470937 -0.6282759
## prot 0.37876090 -0.2697067
## fat 0.44666592 0.2343791
## ash 0.47188953 -0.1109904
## sodium 0.43570289 0.2016617
## carb -0.42491371 0.3203121
## cal 0.24448730 0.5674576
И поставим рядом описание переменных, чтобы было удобнее интерпретировать:
brand
— Pizza brand (class label)id
— Sample analysedmois
— Amount of water per 100 grams in the sampleprot
— Amount of protein per 100 grams in the samplefat
— Amount of fat per 100 grams in the sampleash
— Amount of ash per 100 grams in the samplesodium
— Amount of sodium per 100 grams in the samplecarb
— Amount of carbohydrates per 100 grams in the samplecal
— Amount of calories per 100 grams in the sample
Компоненту мы интерпретируем исходя из того, с какими исходными переменными она коррелирует. Здесь нет никакой математики (ну, практически) — только прошаренность в тематической области и немного воображения.
Один из вариантов интерпретации: \(\text{PC1}\) — пищевая ценность, \(\text{PC2}\) — энергетическая ценность. Можно придумать и другие, но хорошо бы чтобы они были осмысленные.
Ну, а теперь, понимая содержания компонент, можно и на предыдущую диаграмму рассеяния осмысленно посмотреть.