Книга "Fat-Tailed Distributions" написана для людей, знакомых с математикой, но не являющихся специалистами в этой области. Она объединяет материал из различных областей, таких как статистика порядка, теория экстремальных значений, мажоризация, регулярная вариация и субэкспоненциальность, которые необходимы для понимания толстых хвостов распределений. Книга представляет новый показатель, называемый показателем ожирения (Obesity index), который характеризует толщину хвостов распределений. Авторы исследуют свойства этого показателя и показывают, что он хорошо описывает толстые хвосты распределений, но не полностью соответствует индексу хвоста регулярно варьирующих распределений или экстремальных значений. Главное значение книги заключается в том, что она показывает, что явление толстых хвостов распределений представляет реальные проблемы и серьезно вызывает сомнения в обычных способах мышления о средних значениях, выбросах, трендах, коэффициентах регрессии и доверительных интервалах, среди многих других вещей. Примеры использования толстых хвостов распределений приводятся на примере данных по страховым выплатам за наводнения, убыткам от урожая, счетам за выписку из больницы, осадкам и ущербу и жертвам от природных катастроф. Книга представляет собой ценный источник информации для людей, работающих с распределениями и статистическими моделями.
Эта книга адресована широкому кругу читателей, и авторы ставят перед собой три цели. Во-первых, собрать воедино математический материал из разных областей теории порядковых статистик, последовательностей, теории экстремальных значений, мажорирования, регуляризованного варьирования и субэкспоненциальности, который необходим для изучения явления «толстых хвостов», но который обычно не рассматривается как часть подготовки непрофессионалов. В книге представлены и доказательства, которые позволяют глубже понять обсуждаемые темы, но для более тонких расчетов читатель может обратиться к дополнительным источникам, перечисленным в тексте. Многомерные экстремальные значения в работе не рассматриваться. Это позволяет уместить довольно объемный материал, разбросанный по многим источникам, в объеме 20 страниц. Главы 5 и 6 расширены и углублены для новой оценки тяжелого хвоста. Поскольку дисперсия и ковариация могут быть не определены для распределений с тяжелыми хвостами, в главе 6 рассматривается понятие зависимости для различных классов распределений с «толстыми хвостами», основанное на том факте, что значения с легкими хвостами регрессируют на значения с более «тяжелыми» хвостами. Затем новые измерения «ожирения» обсуждаются. Самым популярным определениям, основанным на учете регулярных вариаций и субэкпоненциального поведения, присущи гипотезы, которые работают только в бесконечности. Это усложняет эмпирическую оценку. Каждый признак описывает некоторые, но не все интуиции, связанные с тяжестью хвостов. Глава 5 исследует два примерных индекса тяжести хвостов, которые базируются на тенденции среднего избытка отклоняться вниз при сборе данных. На вероятность того, что самое большое значение будет более, чем в два раза больше наименьшего, ссылаются интуитивно, однако его оценка имеет очень плохое качество. Показатель «Ожирение» определен для положительной случайной величины X: {\displaystyle {\rm{Ob}}(X)=P(X_{1}+X_{4}>X_{2}+X_{3}|X_{1}\leqslant X_{2}\leqslant X_{3}\leqslant X_{4}),} где $X_i$ -- независимые копии $X$. Для эмпирических распределений, ожирение определяется бутстраппингом. Это определение довольно полно отражает интуицию о тяжести хвостов. Среди его свойств, если $\alpha>1$, то {\rm Ob}(X)<{\rm Ob}(X^{\alpha}).$ Однако, показатель не полностью имитирует индекс «тяжести хвоста», определенной регулярным варьированием, или «индексом экстремального значения». Например, распределение Вейбулла с параметром $1/4$ более ожирено, чем Распределитель Парето с индексом «тяжести хвост» равным $1,$ хотя это Паретово распределение имеет бесконечную среднюю и, таким образом, технически подходит под категорию с длинными хвостами (полагают, что это две основные характеристики случайных переменных, имеющих длинные хвосты).
Электронная Книга «Fat-Tailed Distributions» написана автором Jolanta Misiewicz в году.
Минимальный возраст читателя: 0
Язык: Английский
ISBN: 9781119054191
Описание книги от Jolanta Misiewicz
This title is written for the numerate nonspecialist, and hopes to serve three purposes. First it gathers mathematical material from diverse but related fields of order statistics, records, extreme value theory, majorization, regular variation and subexponentiality. All of these are relevant for understanding fat tails, but they are not, to our knowledge, brought together in a single source for the target readership. Proofs that give insight are included, but for most fussy calculations the reader is referred to the excellent sources referenced in the text. Multivariate extremes are not treated. This allows us to present material spread over hundreds of pages in specialist texts in twenty pages. Chapter 5 develops new material on heavy tail diagnostics and gives more mathematical detail. Since variances and covariances may not exist for heavy tailed joint distributions, Chapter 6 reviews dependence concepts for certain classes of heavy tailed joint distributions, with a view to regressing heavy tailed variables. Second, it presents a new measure of obesity. The most popular definitions in terms of regular variation and subexponentiality invoke putative properties that hold at infinity, and this complicates any empirical estimate. Each definition captures some but not all of the intuitions associated with tail heaviness. Chapter 5 studies two candidate indices of tail heaviness based on the tendency of the mean excess plot to collapse as data are aggregated. The probability that the largest value is more than twice the second largest has intuitive appeal but its estimator has very poor accuracy. The Obesity index is defined for a positive random variable X as: Ob(X) = P (X1 +X4 > X2 +X3|X1 ≤ X2 ≤ X3 ≤ X4), Xi independent copies of X. For empirical distributions, obesity is defined by bootstrapping. This index reasonably captures intuitions of tail heaviness. Among its properties, if α > 1 then Ob(X) < Ob(Xα). However, it does not completely mimic the tail index of regularly varying distributions, or the extreme value index. A Weibull distribution with shape 1/4 is more obese than a Pareto distribution with tail index 1, even though this Pareto has infinite mean and the Weibull’s moments are all finite. Chapter 5 explores properties of the Obesity index. Third and most important, we hope to convince the reader that fat tail phenomena pose real problems; they are really out there and they seriously challenge our usual ways of thinking about historical averages, outliers, trends, regression coefficients and confidence bounds among many other things. Data on flood insurance claims, crop loss claims, hospital discharge bills, precipitation and damages and fatalities from natural catastrophes drive this point home. While most fat tailed distributions are ”bad”, research in fat tails is one distribution whose tail will hopefully get fatter.
