Привет! Меня зовут Любовь Волкова, я системный архитектор отдела разработки бизнес-решений.
Моя основная специализация — внедрение, разработка решений, техническая поддержка корпоративных порталов SharePoint. Многолетний опыт позволяет выявить основные закономерности, влияющие на производительность серверов, входящих в состав типовой фермы.
Цель этой статьи — помочь администраторам корпоративного портала SharePoint создать эффективные планы обслуживания серверов.
Текст ниже содержит счетчики производительности, которые мы рекомендуем включить в ежедневные планы обслуживания серверов фермы SharePoint 2013/2016, а также практические примеры.
Вы можете использовать данные счетчиков для ручной настройки и анализа показателей экспресс-панели, а также автоматизировать получение уведомлений при превышении счетчиками пороговых значений за период времени, продолжительность которого зависит от требований и стандартов, принятых в организации.
Системные счетчики
Существует несколько общих счетчиков производительности, которые следует отслеживать для любой серверной системы, входящей в состав фермы SharePoint.Процессор
% загрузки ЦП (_Total)\% времени процессора
Процент времени, который процессор тратит на обработку всех потоков инструкций, кроме бездействующего.Это значение равно разнице между 100 % и процентом времени, которое процессор тратит на выполнение бездействующего потока.
(Простой поток команд занимает процессорное время, когда другие потоки команд отсутствуют.) Этот счетчик является основным индикатором использования процессора.
Он показывает среднюю загрузку ЦП в течение интервала измерения.
Необходимо следить за производительностью и поддерживать загрузку всех процессоров на уровне, не превышающем 75%.
При более высоких уровнях нагрузки система не сможет справиться с внезапными всплесками активности.
Это также позволит избежать «эффекта домино», когда отказ одного компонента приводит к выходу из строя других компонентов.
Например, если у вас три веб-сервера, вам необходимо убедиться, что средняя загрузка ЦП на всех серверах составляет менее 60%, чтобы в случае сбоя одного из них два других процессора могли справиться с дополнительной нагрузкой.
Прерывания/сек
Средняя скорость (в событиях в секунду), с которой процессор получает и обслуживает аппаратные прерывания.Это значение не включает отложенные вызовы процедур, которые рассчитываются отдельно.
Это значение является косвенным показателем активности устройств, генерирующих аппаратные прерывания, таких как системный таймер, мышь, драйверы дисков, линии передачи данных, сетевые адаптеры и другие периферийные устройства.
Эти устройства обычно прерывают работу процессора, когда завершают свою работу или когда возникает необходимость обработать запрос.
Это останавливает нормальное выполнение потока команд. Системный таймер обычно прерывает работу процессора каждые 10 миллисекунд, создавая «фон» аппаратных прерываний.
Следовательно, это значение представляет собой разницу между значениями двух последних выборок, деленную на длительность интервала выборки.
Показания счетчика зависят от процессора; подходящее начальное значение — 1000 прерываний в секунду.
Значительное увеличение значения этого счетчика без соответствующего увеличения активности системы указывает на проблемы и может быть связано с работой сетевого адаптера, диска или другого оборудования, вызывающего перебои.
Система
Длина очереди процессора
Текущая длина очереди процессора, измеряемая количеством ожидающих потоков.Все процессоры используют одну общую очередь, в которой потоки ожидают получения циклов процессора.
Этот счетчик не включает потоки, которые выполняются в данный момент. Очередь на процессорное время одна, даже на компьютерах с несколькими процессорами.
Поэтому, если в компьютере несколько процессоров, нужно это значение разделить на количество процессоров, обслуживающих нагрузку.
Этот счетчик отражает текущее значение и не является средним значением за определенный интервал времени.
Непрерывная очередь процессора с количеством потоков менее пяти на процессор обычно приемлема, что также зависит от рабочей нагрузки.
Значения, превышающие пороговое значение, обычно указывают на то, что процессор перегружен.
Процесс
Рабочий набор для экземпляра _Total
Показывает текущий размер кэша рабочего набора процесса (в байтах).Рабочий набор — это совокупность страниц памяти, которые недавно использовались потоками процесса.
Если объем свободной памяти на компьютере превышает пороговое значение, неиспользуемые страницы сохраняются в рабочем наборе событий процесса.
Когда свободная память падает ниже порогового значения, страницы удаляются из рабочих наборов.
Если они необходимы, они будут перенесены в рабочий набор после устранения ошибки ОЗУ, прежде чем выгружаться из ОЗУ.
Этот счетчик может указывать на общесистемные проблемы или проблемы, характерные для конкретного процесса.
Значительное увеличение или уменьшение значения размера рабочих наборов приводит к пейджингу.
Рекомендуемая настройка файла подкачки — «RAM + 10».
Если происходит удаление из рабочих наборов, необходимо добавить счетчик «Процесс(*)\Рабочий набор», чтобы увидеть, какие процессы затронуты проблемой.
Рекомендуется дополнительно сравнить этот счетчик со счетчиком Резидентные байты памяти\системного кэша, чтобы определить, происходит ли общесистемное удаление страниц из рабочих наборов.
% процессорного времени для процессов SharePoint
Показания этого счетчика необходимо анализировать совместно с данными системного счетчика «Процессор\% загрузки процессора» для объекта _Total. Если все процессоры превышают пороговые значения, данные загрузки процесса ASP.Net помогут определить, является ли этот процесс причиной проблемы.Процессы SharePoint, которые рекомендуется включить в мониторинг:
- w3wp;
- мспоиск;
- бегун по узлам;
- скупец.
Частные байты для процессов SharePoint
Показывает текущее количество байтов, выделенных процессу, которые нельзя использовать совместно с другими процессами.Этот счетчик можно использовать для выявления утечек памяти в процессах.
Для процессов SharePoint сравните значение этого счетчика с размером кэша тех же процессов, чтобы определить, есть ли утечка памяти.
Увеличение количества частных байтов процесса, сопровождающееся аналогичным увеличением размера его кэша, указывает на правильное поведение (утечки памяти не происходит).
Виртуальные байты для процессов SharePoint
Показывает объем виртуального адресного пространства (в байтах), который в данный момент использует процесс.Используется для определения того, используют ли процессы большой объем виртуальной памяти.
Обработка количества процессов w3wp
Количество потоков в этом процессе, которые активны в данный момент. Значения выше 2000 требуют повышенного внимания со стороны системного администратора, а 10000 является пороговым значением, при котором может наблюдаться заметное снижение производительности IIS и, как следствие, работы корпоративного портала.
Сетевой адаптер
Всего байт/сек.
Скорость отправки и получения данных через сетевой адаптер.
Если эта скорость превышает 40–50 процентов пропускной способности сети, может потребоваться дальнейшее расследование.
Логический диск (Диск)
Средняя длина дисковой очереди (Avg. Disk Queue length)
Средняя длина очереди запросов к диску.Отображает количество запросов к диску, ожидающих обработки в течение указанного интервала времени.
Очередь не более 2-х на один диск считается нормальной.
Если в очереди больше двух запросов, то диск может быть перегружен и не может обрабатывать входящие запросы.
Узнать, какие именно операции диск не может обработать, можно с помощью счетчиков «Среднее количество запросов на чтение» и «Средняя длина очереди записи на диск».
Средняя длина очереди чтения с диска (Avg. Disk Read Queue length)
Среднее количество запросов на чтение, поставленных в очередь для соответствующего диска в течение интервала измерения.
Средняя длина очереди записи на диск (Avg. Disk Write Queue length)
Среднее количество запросов на запись, поставленных в очередь для соответствующего диска в течение интервала измерения.
Скорость чтения с диска (байт/сек) (Disk Reads/sec)
Скорость, с которой данные передаются с этого диска во время операций чтения.
Записей на диск/сек
Скорость, с которой данные передаются на этот диск во время операций записи.
Пример показаний счетчика дисковой подсистемы
| Средняя длина дисковой очереди | Средняя длина очереди чтения с диска | Средняя длина очереди записи на диск | Скорость чтения с диска (байт/с) | Скорость записи на диск (байт/с) |
|---|---|---|---|---|
| 0,015 | 0,004 | 0,011 | 0,723 | 9,578 |
Память
Доступные мегабайты
Этот счетчик показывает объем физической памяти, доступной для выделения.Если памяти недостаточно, файл подкачки будет использоваться более интенсивно и количество ошибок страниц в секунду увеличится.
Если значение этого счетчика меньше 2 ГБ на веб-сервере, вам необходимо увеличить память.
% использованных выделенных байт
Процент объема выделенной памяти (Committed Bytes) к пределу выделенной памяти (Commit Limit).Это значение отражает фактически используемый объем доступной виртуальной памяти.
Обратите внимание, что лимит выделяемой памяти может измениться при увеличении файла подкачки (файла подкачки).
Это значение представляет собой конкретное текущее значение и не является средним значением за определенный интервал времени.
Пороговое значение: 70% для предупреждения, более 90% — критическое.
При более высоких значениях достаточно увеличить объем памяти.
Ошибок страницы/сек.
Счетчик показывает среднее количество ошибок страниц в секунду.
Измеряется количеством неудачных операций чтения страниц в секунду.
Ошибки страниц возникают, когда происходит процесс запроса страницы в памяти, а затем система не может найти ее в запрошенном месте.
Если запрошенная страница не найдена в памяти, эта ошибка называется программная ошибка страницы .
Если запрошенную страницу необходимо восстановить с диска, эта ошибка называется ошибка жесткой страницы .
Ввод страниц/сек.
Ввод страниц/сек — это количество страниц, считанных с диска при разрешении ссылок на страницы, которых нет в памяти на момент обработки ссылки.
Ошибка страницы возникает, когда поток ссылается на страницу виртуальной памяти, которой нет в рабочем наборе ОЗУ.
Этот счетчик также учитывает подкачку (подкачку), выполняемую системным кешем для доступа к данным, запрашиваемым приложениями.
Это важный источник информации для выявления чрезмерной загрузки памяти и, как следствие, чрезмерного подкачки.
Рекомендуемый порог предупреждения — 1000.
Чтений страниц/сек
Значение счетчика показывает, сколько операций чтения в единицу времени, независимо от страниц, было совершено при обработке ошибок страниц.Этот счетчик указывает, что рабочий набор процесса слишком велик для физической памяти и выполняется подкачка данных на диск.
Отображает только количество операций чтения, без учета количества страниц, полученных за каждую операцию.
Большие значения указывают на узкое место в памяти.
Чрезмерный пейджинг может привести к медленному отклику и нестабильности.
Счетчики «Входных страниц/сек» и «Прочитанных страниц/сек» следует рассматривать вместе.
В первом содержится количество страниц, прочитанных с диска, а во втором — количество операций чтения, выполненных при подкачке.
Эти счетчики учитывают ошибки жесткой страницы — операции доступа к памяти, при которых требуемая страница данных отсутствует в физической памяти.
Таким образом, если Pages Exchange/sec, Pages Read/sec, Pages Input/sec постоянно находятся на высоком уровне, то можно предположить, что операционная система активно работает с файлом подкачки, что, в свою очередь, указывает на нехватку памяти.
.
Входных страниц/сек.
Значение этого счетчика должно быть больше или равно значению чтения страниц/сек.
Ошибки кэша
Этот счетчик показывает, как часто возникают ошибки при поиске страницы в кэше файловой системы.Это может быть программная ошибка, если страница обнаружена в памяти, или аппаратная ошибка, если страница находится на диске.
Интенсивное использование кэша для операций чтения и записи может существенно повлиять на производительность сервера.
Необходимо следить за увеличением ошибок кэша, о чем свидетельствует уменьшение значения Асинхронное быстрое чтение/с или Читать дальше/с .
Обмен страниц/сек (Pages/sec)
Скорость чтения и записи страниц на диск для устранения серьезных ошибок страниц.Это значение представляет собой сумму значений входных страниц/сек и выходных страниц/сек.
Показания счетчиков являются ключевым индикатором типов сбоев, вызывающих задержки во всей системе.
Он показывает количество страниц, полученных для компенсации ошибок страниц в кэше файловой системы.
Эти страницы обычно требуются приложениям.
Значение этого счетчика не должно превышать 10.
Пул невыгружаемых байтов
Размер (в байтах) невыгружаемого пула.Невыгружаемый пул — это область системной виртуальной памяти, используемая для объектов, которые не могут быть записаны на диск и должны оставаться в физической памяти в течение всего своего существования.
Этот счетчик отражает только текущее значение, а не среднее.
Запросы на выделение места в специальной области системной памяти, где компоненты операционной системы запрашивают пространство, необходимое им для работы.
Страницы невыгружаемого пула страниц не могут быть выгружены в файл подкачки (файл подкачки) на диске и оставаться в оперативной памяти до тех пор, пока они используются.
Этот счетчик отражает текущее значение, а не является средним значением за определенный интервал времени.
Показания счетчика не должны превышать минимум двух значений — 2х ОЗУ и 128 ГБ.
Общие рекомендации по анализу счетчиков памяти
Если \Memory\Page Exchange/sec, \Memory\Page Read/sec, Memory\Page Input/sec постоянно высокие, а \Memory\Cache Error/sec низкие, то можно предположить, что операционная система активно работает с файл подкачки, что, в свою очередь, указывает на нехватку памяти.Однако если \Memory\Cache Error/s также высок, то, скорее всего, ситуация вызвана активной работой с большими файлами, отображенными в памяти.
Обычно это не занимает много времени.
Пример показаний счетчика памяти
| Доступно МБ | % использовал призвание выделенного Память | Ошибки страницы /С | Ввод страниц /С | Чтение страниц /С | Страницы обмена /С | Байт в темноте загрузка пуля |
|---|---|---|---|---|---|---|
| 6312,758 | 65 | 605,378 | 15,936 | 1,105 | 15,995 | 115352406 |
Показаний к увеличению его объема нет. Средний процент используемой физической памяти нормальный (65%), но приближается к порогу в 70%.
Отмечается относительно высокая частота ошибок при доступе к страницам памяти в сочетании с небольшим количеством операций чтения, выполняемых при подкачке.
Показания входного счетчика страниц в секунду являются нормальными и значительно ниже порогового значения.
Значения счетчика Страниц/сек (15+) превышают пороговое значение 10. Можно предположить, что система периодически активно использует файл подкачки.
Одной из наиболее частых причин такого поведения системы является загрузка на портал больших файлов.
Файл подкачки
% Использовал
Процент файла подкачки (файла подкачки), используемого в данный момент.% использованного пика
Максимальное использование файла подкачки (файла подкачки) в процентах.Файл подкачки сервера, также известный как файл подкачки, содержит адреса «виртуальной» памяти на диске.
Ошибки страниц возникают, когда процесс необходимо остановить и дождаться копирования необходимых «виртуальных» ресурсов с диска в память.
Их будет больше, если объема физической памяти будет недостаточно.
Обратите внимание, что для SharePoint рекомендуется настроить размер файла подкачки равным 150 % оперативной памяти.
Абсолютный минимум должен составлять ОЗУ+1 МБ.
Контролируйте объем физической памяти, доступной для выделения.
Если памяти недостаточно, файл подкачки будет использоваться более интенсивно и количество ошибок страниц в секунду увеличится.
Счетчики производительности на серверах SharePoint
ASP.Net и приложение ASP.Net
АСП.
Нет. Перезапуск приложения Количество перезапусков приложения за время жизни веб-сервера.
Этот счетчик увеличивается после каждого события Application_OnEnd (завершения работы веб-приложения).
Перезапуск приложения может произойти в результате изменений файла Web.config, изменений сборок в каталоге \Bin приложения или большого количества изменений на страницах веб-форм.
Неожиданное увеличение этого значения может быть вызвано закрытием веб-приложения по непредвиденным обстоятельствам.
В этом случае необходимо как можно быстрее проанализировать причины проблем.
Значение этого счетчика должно стремиться к нулю.
АСП.
Нет. Запросы отклонены Общее количество запросов, отклоненных из-за переполнения очереди запросов.
Запросы часто отклоняются из-за недостаточности ресурсов сервера для их обработки.
Это значение соответствует количеству возвращенных кодов ошибок HTTP 503, указывающих на то, что сервер занят. Примеры причин нехватки ресурсов: большое количество запросов к веб-серверу, большое количество медленных (не оптимизированных) запросов к СУБД, компоненты решения, написанные сторонними разработчиками, обрабатываются некорректно.
Таким образом, чтобы выявить причину нехватки ресурсов на сервере и устранить ее, необходимо провести более детальный анализ веб-сервера с помощью дополнительных инструментов.
АСП.
Нет. Запросы в очереди Веб-приложение MS SharePoint предоставляет строительные блоки для HTML-страниц, которые отображаются в браузере пользователя через HTTP и требуют предварительного получения и обработки данных (веб-части, пользовательские элементы управления и т. д.).
Для подготовки конечного результата обработки данных, который представляется пользователю на веб-странице корпоративного портала, может потребоваться один или несколько запросов к базе данных, файловой системе и т.п.
Этот счетчик показывает количество запросов, ожидающих обработки.
Максимальное значение по умолчанию для этого счетчика — 5000. Этот параметр можно изменить в файле Machine.config. Значение этого счетчика не должно превышать 70-75% порогового значения, т.е.
3500-3750.
АСП.
Нет. Рабочий процесс перезапускается Количество перезапусков рабочего процесса на сервере.
Рабочий процесс можно перезапустить при возникновении непредвиденной ошибки или в результате преднамеренных действий.
Также причинами перезапуска рабочего процесса могут быть: большое потребление памяти приложением и загрузка процессора, перезапуск определяется в настройках пула приложений.
В случае частых перезагрузок рабочего процесса реакция веб-ресурса при обращении к нему пользователя будет занимать длительное время.
Значение этого счетчика должно стремиться к нулю.
АСП.
Нет. Время ожидания запроса Таймаут последнего запроса в очереди обработки в миллисекундах.
По мере увеличения количества событий ожидания пользователи заметят снижение производительности при рендеринге веб-страниц.
По мере увеличения количества событий ожидания пользователи заметят снижение производительности при рендеринге страниц.
Приложение ASP.Net. Запросов/сек
Количество запросов, выполняемых в секунду.Представляет текущую пропускную способность приложения.
При постоянной нагрузке это число должно оставаться в определенном диапазоне, отключая другую активность сервера (например, сбор мусора, поток очистки кэша, возможности внешнего сервера и т. д.).
Пример чтения счетчика ASP.Net и приложение ASP.Net
| Перезапуск приложения | Запросы отклонены | Запросы в очереди | Рабочий процесс перезапускается | Время ожидания запроса | Запросов/сек |
|---|---|---|---|---|---|
| 2,175 | 0 | 0 | 0 | 0 | 0,153 |
Следует обратить внимание на большое количество перезапусков веб-приложений (счетчик перезапусков приложений).
Можно предположить, что у пользователей периодически возникают проблемы с доступностью веб-ресурса, поэтому администратору корпоративного портала необходимо выяснить и устранить причины частых сбоев в работе веб-приложения.
Память CLR.Net (Memory CLR.Net)
Вывоз мусора
Коллекции поколения 0 (#Коллекции поколения 0) — количество объектов поколения 0 (то есть последних добавленных объектов), которые сборщик мусора извлек с момента запуска приложения.Коллекции поколения 1 (#Коллекции поколения 1) — сколько раз объекты поколения 1 были получены сборщиком мусора с момента запуска приложения.
Коллекции поколения 2 (#Коллекции поколения 2) — сколько раз объекты поколения 2 были получены сборщиком мусора с момента запуска приложения.
Этот счетчик увеличивается на 1 после завершения сборки мусора поколения 2 (также называемой полной сборкой мусора).
При мониторинге необходимо обратить внимание на соотношение «сборки мусора для поколения 0:сборки мусора для поколения 1:сборки мусора для поколения 2», следить за тем, чтобы количество сборок мусора для поколения 2 не сильно превышало количество коллекции для поколения 0. Оптимальное соотношение — 2.
% времени в GC
Отображает процент времени, потраченного на сбор мусора с момента последнего цикла сбора мусора.Этот счетчик обычно представляет работу, выполняемую сборщиком мусора по выборке и сжатию памяти от имени приложения.
Этот счетчик обновляется только в конце каждой сборки мусора.
Этот счетчик показывает не среднее, а последнее наблюдаемое значение.
В обычном режиме значение счетчика не должно превышать 5%.
Исключения Microsoft .
NET CLR
Число исключений.
сек (исключения в секунду) Число исключений, выдаваемых в секунду.
Этот счетчик учитывает как обработанные, так и необработанные исключения.
Предполагается, что исключения возникают лишь в редких случаях и не возникают при обычном ходе выполнения программы; Этот счетчик был введен для обозначения потенциальных проблем с производительностью в случаях, когда частота исключений слишком высока (> 100).
Этот счетчик не обеспечивает усреднение по времени; он показывает отношение разницы между значениями, наблюдаемыми в двух последних измерениях, к интервалу между измерениями.
Значение этого счетчика должно стремиться к нулю.
Веб-сервис
Показания счетчиков из этой группы рассматриваются применительно к конкретному экземпляру объекта, веб-приложению корпоративного портала, например «SharePoint – 80».
Количество текущих подключений
Количество подключений к веб-службам, установленных на данный момент. Чем выше значение, тем больше нагрузка на сервер SharePoint.Число запросов на расширение ISAPI в секунду (запросов на расширение ISAPI/сек)
ИСАПИ (Internet Server Application Programming Interface) — набор интерфейсов, предоставляемых веб-сервером MS IIS (Internet Information Services) для написания приложений, взаимодействующих с этим сервером и расширяющих его возможности.Приложения ISAPI представляют собой библиотеки динамической компоновки (DLL), которые напрямую взаимодействуют с API IIS. Приложения ISAPI загружаются и выполняются в адресном пространстве IIS, поэтому серверу не нужно создавать новый процесс для каждого HTTP-запроса.
Поскольку Windows загружает динамическую библиотеку при первом вызове функции в DLL, приложение ISAPI остается загруженным и не удаляется до тех пор, пока веб-сервер не будет остановлен/выключен (если включено кэширование ISAPI) или приложение не будет явно выгружено.
(если кэширование включено).
выключен).
Счетчик показывает частоту запросов расширения ISAPI, полученных веб-службой.
Счетчики SharePoint Foundation
Время выполнения SQL-запроса
Счетчик показывает среднее время выполнения SQL-запросов.Возвращаемое значение должно быть как можно меньшим.
На показания этого счетчика существенное влияние оказывают данные о нагрузке на основные подсистемы и их физические характеристики (память, процессор, сеть, дисковые устройства).
На показания этого счетчика также влияют:
- Неоптимизированные планы выполнения запросов T-sql, которые могут быть задействованы в коде решения;
- Вызов хранимых процедур, которые можно использовать для генерации различных действий пользователя портала;
- Степень оптимизации производительности индекса.
Выполнение SQL-запросов
Счетчик возвращает количество выполняющихся в данный момент SQL-запросов.Значение счетчика существенно зависит от специфики реализованного на портале функционала.
Анализ значений обязательно должен проводиться с учетом специфики обработки контента: работа с базовыми списками и библиотеками, использование группировок и фильтров в представлении данных, поля поиска, доступ к спискам с внешними данными, обработка запросов к внешним источникам данных.
или обработка списков с большим количеством элементов и многое другое.
Выполнение запроса времени/страницы
Счетчик возвращает среднее время выполнения (в мс) запросов веб-страниц, обработанных за период сбора данных.
Статистика включает данные запросов для динамических веб-страниц, отображаемых ASP.Net.
Текущие запросы страниц
Значение счетчика показывает количество текущих запросов, которые обрабатываются.Они могут существенно различаться в разные периоды и зависеть от текущего количества запросов к порталу SharePoint. Наиболее важным анализом является анализ показаний в часы пик в сочетании с показателями среднего выполнения запросов веб-страниц (Executing Time/Page Request) и данными о количестве выполняющихся в данный момент SQL-запросов.
Доля отклоненных запросов страниц
Процент страниц, которые были отклонены при поступлении к ним запроса.Возвращаемое значение должно быть как можно меньшим, поскольку указывает на то, что страницы не были запрошены из кэша и требовался полный цикл запроса веб-страницы на сервере.
Частота входящих запросов страниц
Значение счетчика отображает количество входящих запросов за последнюю секунду.Аналогично запросам текущей страницы применительно к строго определенному интервалу времени — 1 с.
Активные темы
Счетчик возвращает количество потоков, которые в данный момент выполняются в коде SharePoint. Показатели зависят от многих факторов: процессор и его характеристики, показатели основных подсистем (память, процессор, сеть, дисковые устройства), текущая нагрузка на портал.
Дополнительные потоки можно инициировать программно в коде как часть решений платформы SharePoint.
Пример показаний счетчика SharePoint Foundation
| Время выполнения SQL-запроса | Выполнение SQL-запросов | Выполнение запросов времени/страниц | Текущий запрос страницы | Доля отклоненных запросов страниц | Частота входящих запросов страниц | Активные темы |
|---|---|---|---|---|---|---|
| 0,048 | 0,051 | 0,197 | 1,581 | 0 | 0,396 | 1,595 |
-
Gog.com Теперь На Русском Языке
19 Oct, 24 -
Обзор Elevationdock Для Iphone
19 Oct, 24
