Снова продолжая тему аранжировки Нулевое касание ПРОД под РДС .
Будущие администраторы баз данных не смогут напрямую подключаться к серверам PROD, но смогут использовать Дженкинс рабочие места для ограниченного набора операций.
Администратор базы данных запускает задание и через некоторое время получает письмо с отчетом о завершении этой операции.
Давайте рассмотрим способы представления этих результатов пользователю.
Простой текст
Начнем с самого тривиального.
Первый способ настолько прост, что говорить особо не о чем (автор здесь и далее использует задания FreeStyle): 
sqlcmd что-то делает, и мы представляем это пользователю.
Идеально подходит, например, для задач резервного копирования: 
Не забывайте, кстати, что в RDS резервное копирование/восстановление происходит асинхронно, поэтому его нужно дождаться:
declare @rds table (id int, task_type varchar(128), database_name sysname, pct int, duration int, lifecycle varchar(128), taskinfo varchar(max) null, upd datetime, cre datetime, s3 varchar(256), ovr int, KMS varchar(256) null) waitfor delay '00:00:20' insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' select @xid=max(id) from @rds again: waitfor delay '00:00:02' delete from @rds insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' # {db} substituted with db name by powershell select @stat=lifecycle,@info=taskinfo from @rds where id=@xid if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again
Второй метод, CSV
Здесь тоже все очень просто:
Однако этот метод работает только в том случае, если данные, возвращаемые в CSV, являются «простыми».
Если попытаться таким способом вернуть, например, список TOP N процессороемких запросов, CSV «разъест» из-за того, что текст запроса может содержать любые символы — запятые, кавычки и даже переносы строк.
Поэтому нам нужно что-то более сложное.
Красивые вывески в HTML
Я сразу дам вам фрагмент кода $Header = @"
<style>
TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;}
TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;}
TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;}
</style>
"@
$Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" `
| Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result -eq $null) { $cnt = 0; }
elseif ($Result.getType().
FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; }
else { $cnt = $Result.Rows.Count; }
if ($cnt -gt 0) {
$body = "<h2>My table</h2>"
$Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body `
| Out-File "res.log" -Append -Encoding UTF8
} else {
"<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8
}
Кстати, обратите внимание на строку с System.Management.Automation.PSCustomObject, она волшебная; если в сетке ровно одна строка, то возникают некоторые проблемы.
Решение было взято из интернета без особого понимания.
В результате вы получите вывод, отформатированный примерно так: 
Рисование графиков
Внимание: странный код ниже! Есть забавный запрос на SQL-сервере, который отображает процессор за последние N минут — оказывается, товарищ майор всё помнит! Попробуйте этот тест: DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks)
FROM sys.dm_os_sys_info WITH (NOLOCK));
SELECT TOP(256)
DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime],
SQLProcessUtilization AS [SQLCPU],
100 - SystemIdle - SQLProcessUtilization AS [OtherCPU]
FROM (SELECT record.value('(.
/Record/@id)[1]', 'int') AS record_id,
record.value('(.
/Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int')
AS [SystemIdle],
record.value('(.
/Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int')
AS [SQLProcessUtilization], [timestamp]
FROM (SELECT [timestamp], CONVERT(xml, record) AS [record]
FROM sys.dm_os_ring_buffers WITH (NOLOCK)
WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR'
AND record LIKE N'%<SystemHealth>%') AS x) AS y
ORDER BY 1 DESC OPTION (RECOMPILE);
Теперь, используя это форматирование (переменная $Fragment)
<table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;">
<td style="width: SQLCPU%; background-color: green;"></td>
<td style="width: OtherCPU%; background-color: blue;"></td>
<td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody>
</table>Мы можем сформировать тело письма:
$Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query `
| Select-Object -Property * -ExcludeProperty `
"ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result.HasRows) {
foreach($item in $Result)
{
$time = $itemEventTime
$sqlcpu = $item.SQLCPU
$other = $itemOtherCPU
$rest = 100 - $sqlcpu - $other
$f = $fragment -replace "SQLCPU", $sqlcpu
$f = $f -replace "OtherCPU", $other
$f = $f -replace "REST", $rest
$f | Out-File "res.log" -Append -Encoding UTF8
}Что будет выглядеть так:
Да, месье знает толк в извращениях! Интересно, что этот код содержит: Powershell (написанный на нем), SQL, Xquery, HTML. Жаль, что мы не можем добавить Javascript в HTML (поскольку он предназначен для написания), но шлифовка Python-кода (который можно использовать в SQL) – обязанность каждого!
Вывод трассировки профилировщика SQL
Понятно, что трассировка не поместится в CSV из-за поля TextData. Но отображать сетку трасс в письме тоже странно — как из-за размера, так и потому, что эти данные часто используются для дальнейшего анализа.
Поэтому делаем следующее: звоним через вызвать-SqlCmd определенный сценарий, в глубине которого это делается select
SPID,EventClass,TextData,
Duration,Reads,Writes,CPU,
StartTime,EndTime,DatabaseName,HostName,
ApplicationName,LoginName
from ::fn_trace_gettable ( @filename , default )
Далее, на друг На сервере, доступном администратору базы данных, имеется база данных Traces с пустым шаблоном Modelplate, готовая принять все указанные столбцы.
Копируем эту модель в новую таблицу с уникальным именем: $dt = Get-Date -format "yyyyMMdd"
$tm = Get-Date -format "hhmmss"
$tableName = $srv + "_" + $dt + "_" + $tm
$copytab = "select * into " + $tableName + " from Model"
invoke-SqlCmd -ConnectionString $tstr -Query $copytab
И теперь мы можем записать в него нашу трассировку, используя Data.SqlClient.SqlBulkCopy - Я уже приводил пример выше.
Да, еще было бы неплохо замаскировать константы в TextData: # mask data
foreach ($Row in $Result)
{
$v = $Row["TextData"]
$v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999'
$Row["TextData"] = $v
}
Мы заменяем числа длиной более одного символа на 999, а строки длиной более одного символа заменяем на «str».
В качестве флагов часто используются цифры от 0 до 9, и мы их не трогаем, а также среди них часто встречаются пустые и односимвольные строки - 'Y', 'N' и т.д.
Добавим красок в нашу жизнь (строго 18+)
В таблицах часто хочется выделить ячейки, требующие внимания.
Например, FAILS, высокий уровень фрагментации и т. д. Конечно, это можно сделать с помощью чистого SQL, сгенерировав HTML с помощью PRINT и установив тип файла HTML в Jenkins: declare @body varchar(max), @chunk varchar(max)
set @body='<font face="Lucida Console" size="3">'
set @body=@body+'<b>Server name: '+@@servername+'</b><br>'
set @body=@body+'<br><br>'
set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>'
print @body
DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+
LastRun+'</td><td>'+
convert(varchar,AvgDuration)+'</td><td>'+
convert(varchar,LastDuration)+'</td><td>'+
case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+
LastStatus+
case when LastStatus<>'Succeeded' then '</font>' else '' end+
+'</td><td>'
from #j2
OPEN tab;
FETCH NEXT FROM tab into @chunk
WHILE @@FETCH_STATUS = 0
BEGIN
print @chunk
FETCH NEXT FROM tab into @chunk;
END
CLOSE tab;
DEALLOCATE tab;
print '</table>'
Почему я написал такой код? 
Но есть более красивое решение.
ConvertTo-HTML не позволяет нам раскрасить ячейки, но мы можем сделать это постфактум.
Например, мы хотим выделить ячейки с уровнем фрагментации более 80 и более 90. Добавим стили: <style>
.
SQLmarkup-red { color: red; background-color: yellow; } .
SQLmarkup-yellow { color: black; background-color: #FFFFE0; } .
SQLmarkup-default { color: black; background-color: white; }
</style>
В сам запрос добавим фиктивный столбец непосредственно перед столбец, который мы хотим раскрасить.
Столбец должен называться SQLmarkup- что-нибудь: case
when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red'
when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow'
else 'SQLmarkup-default'
end as [SQLmarkup-1],
ps.avg_fragmentation_in_percent,
Теперь, получив сгенерированный Powershell HTML, мы удалим фиктивный столбец из заголовка, а в теле данных перенесем значение из столбца в стиль.
Это делается всего двумя заменами: $html = $html `
-replace "<th>SQLmarkup[^<]*</th>", "" `
-replace "<td>SQLmarkup-(.
+?)</td><td>",'<td class="SQLmarkup-$1">'
Результат: 
Разве это не элегантно? Хотя нет, мне эта расцветка что-то напоминает 
Теги: #Администрирование базы данных #amazon #jenkins #aws #PowerShell #Microsoft SQL Server #rds #sql-сервер
-
Xendesktop — Это Просто (Часть 1)
19 Oct, 24 -
История Мировых Эпидемий, Часть 4
19 Oct, 24 -
22 Апреля – Новая Qiwi Server Party
19 Oct, 24
