Отказ от ответственности Зная, насколько данная публикация может быть воспринята как «политическая» и насколько различаются мнения людей по тем или иным актуальным вопросам, сразу сделаю следующие оговорки:
- Автор публикации не является расистом и не считает, что представители некоторых рас должны иметь какие-либо привилегии или предпочтения по сравнению с представителями других рас.
Для меня все люди братья!
- Автор не стремится придать публикации политический или социальный подтекст, поддерживая ту или иную общую точку зрения на общественно-политические темы, выходящие за рамки данной публикации.
- Цель публикации – статистический анализ данных открытых источников и выявление взаимосвязей и закономерностей; Общие выводы оставлены на усмотрение читателей.
- Все использованные в статье данные взяты из открытых источников, прямо указанных в самом тексте.
Каждый из вас может в этом убедиться.
При этом автор не несет ответственности за достоверность данных в самих источниках, принимая их «как есть» и не изменяя никаких исходных данных.
Следовательно, сомнения в достоверности данного исследования должны относиться к исходным данным, на которые автор не может повлиять.
- Я не считаю себя профессиональным специалистом по данным и использую очень простые инструменты анализа данных (и, вероятно, не всегда самым оптимальным способом).
Буду признателен всем за советы, как сделать то или иное более эффективно или углубить исследование!
Классические романы, такие как «Хижина дяди Тома» Харриет «Бичер-Стоу» и «Убить пересмешника» Харпер Ли, еще больше подогревали недовольство борцов за свободу во всем мире.
Да, белый расизм процветал в США до 1960-х и 1970-х годов.
Но, конечно, эти репрессии были прекрасным инструментом социалистической пропаганды, не жалевшей красок в изображении «зверств акул капитализма».
С середины 1950-х годов в США началось мощное движение по борьбе с расовым неравенством, которое в конечном итоге было поддержано властями и радикально изменило ситуацию с социальными свободами к 1980-м годам.
Обо всем этом можно прочитать хотя бы в Википедия .
Что теперь?.
Иллюстрация к роману Дж.
Бичер-Стоу «Хижина дяди Тома».
«Классическое» изображение африканского рабского труда.
Практически все, что наши родственники читали со страниц «Правды» в 1960-е годы, мы сейчас слышим из всех американских СМИ.
Расовая несправедливость! Насилие со стороны полиции и других служителей закона! Как мы все видели, после смерть Джорджа Флойда началось в США массовые протесты , которые местами переросли в беспорядки и погромы под лозунгом Жизни темнокожих имеют значение .
Нижняя граница официально анонсировано и поддерживается Общественное мнение в США сегодня: полиция убивает чернокожих из-за массового расизма со стороны белых.
Цели исследования
Как и многим из вас (я уверен), мне часто хочется во всем разобраться самостоятельно, особенно если:- Вопрос широко обсуждается и является предметом споров
- освещение практически во всех СМИ явно предвзятое (т.е.
идет пропаганда той или иной позиции)
- имеется достаточное количество исходных данных для изучения
Об имеющихся данных мы поговорим чуть позже, а пока поговорим о целях исследования.
Хотел ответить себе на несколько вопросов:
- Какова статистика применения полицией смертоносной силы против чернокожих и белых в абсолютном выражении (т. е.
количестве случаев) и в конкретном выражении (в расчете на представителей обеих рас)? Справедливо ли говорить, что полиция убивает черных чаще, чем белых?
- Какова статистика преступлений, совершенных представителями обеих рас (в абсолютном и конкретном выражении)? Представители какой расы статистически чаще совершают преступления?
- Есть ли связь между статистикой преступности и статистикой смертей полицейских (в США в целом и отдельно для белых и черных)? Можем ли мы сказать, что полицейские застреливают людей пропорционально количеству совершенных ими преступлений?
- Как обнаруженные закономерности (по пунктам 1-3) распределяются по отдельным штатам США?
Оговорки и предположения
Вы читали заявление об отказе от ответственности в начале статьи? :) Помимо того, что там написано, вот еще несколько предположений и предостережений, принятых для исследования, в основном ради упрощения:- Исследование касается только США и не распространяется на другие страны.
- Для краткости я могу назвать представителей черной расы в США «черными», а представителей белой расы — «белыми»; эти короткие имена не отражают никакого неуважения, но взято именно для краткости .
- Представители белокожей расы («белые») включать Выходцы из Латинской Америки (проживающие в США), но исключать Азиаты, американские индейцы, гавайцы, эскимосы и представители смешанных рас, согласно данные о населении в Википедии , взято из официальной переписи населения США.
Поскольку многие комментарии к статье говорят о некорректности такого сочетания, еще раз подчеркну: эта унификация является вынужденной мерой, так как данные о преступности не делают такого разделения (разделение рас строго по расовый , а не по этнический знак).
- Для этого исследования были взяты только представители белой и черной рас.
Это ограничение сделано для простоты, исходя из того, что эти две категории вместе составляют более 80% от общей численности населения США.
При этом я не исключаю, что на будущих этапах для полноты картины добавятся и другие расовые категории.
Источники данных
Теперь поговорим о том, какие данные используются для исследования.Исходя из заявленных целей, нам необходимы данные о:
- преступления, совершенные по расе, виду преступления и государству
- смерти от рук полиции с указанием расы жертв и места происшествия (штата)
- численность населения по годам с указанием расы (для расчета конкретных показателей)
Обозреватель данных о преступности , который имеет расширенный API и содержит подробные данные о преступлениях, арестах и жертвах преступлений в США с 1991 по 2018 год. Для данных о смертях от рук полиции использовалась открытая база данных по Сайт «Роковые встречи» , поддержанный сообществом.
В настоящее время база данных (доступна для скачивания) содержит более 28 тысяч записей с 2000 года с подробной информацией о каждой жертве, кратким описанием события, ссылками на СМИ, местом события и т.д. В Интернете есть и другие базы данных.
с той же целью, например, на сайте КартированиеПолицияНасилие (около 8400 записей с 2013 года) или Вашингтон Пост БД (около 5600 записей с 2015 г.
).
Но база данных Fatal Encounters (FENC) на данный момент является самой подробной и имеет самый длительный период наблюдения (20 лет), поэтому я воспользовался ею.
Кстати, официальные источники (ФБР) также обещают открыть базу данных о применении силы правоохранительными органами, но произойдет это только тогда, когда будет собрана репрезентативная выборка данных.
Вы можете прочитать об этой будущей официальной базе данных связь .
Наконец, берутся данные об общей численности представителей различных рас.
из Википедии , который, в свою очередь, берет эти данные из официальных источников – Бюро переписи населения США.
К сожалению, данные доступны только за период с 2010 по 2018 год. В связи с этим в рамках данного исследования пришлось: 1) ограничить точку окончания наблюдений 2018 годом; 2) за период с 2000 по 2009 год использовать данные о численности населения, смоделированные с помощью простой линейной регрессии (что вполне оправдано, учитывая линейный характер роста численности населения).
Таким образом, мы рассмотрим все данные с 2000 года (начальная точка в базе данных FENC) по 2018 год (конечная точка в данных о населении).
Все результаты будут основаны на наблюдениях за эти 18 лет.
Подготовка данных
Прежде чем приступить к анализу, необходимо скачать приведенные выше исходные данные в удобном виде и подготовить их к использованию.С данными о смертях от рук полиции все понятно: просто скачиваем с сайта всю базу и сохраняем ее в формате CSV (можно сохранить и в XLSX, но я предпочитаю CSV для унификации и экономии).
Здесь прямая ссылка на исходный набор данных в таблицах Google, Здесь готовый CSV. Поля данных (используемые в анализе выделены жирным шрифтом):
- Уникальный идентификатор - идентификатор в базе данных
- Имя субъекта - имя жертвы
- Возраст субъекта - возраст жертвы
- Пол субъекта - пол жертвы
- Раса субъекта - раса жертвы (официально указана)
- Раса субъекта при вменении - раса жертвы (официально указывается или заполняется экспертом)
- Вероятность вменения - вероятность экспертной оценки расы.
- URL изображения умершего - фотография жертвы
- Дата травмы, приведшей к смерти (месяц/день/год) – дата события
- Место травмы (адрес) - адрес события
- Место смерти (город) - город события
- Место смерти (состояние) – состояние события
- Место смерти (почтовый индекс) – почтовый индекс адреса события.
- Место смерти (округ) – округ события
- Полный адрес – полный адрес мероприятия
- Широта - координата широты
- Долгота - координата долготы
- Агентство, ответственное за смерть - правоохранительная служба, ставшая причиной смерти
- Причина смерти – причина смерти
- Краткое описание обстоятельств смерти - краткое описание обстоятельств
- Распоряжения/Исключения ВНУТРЕННЕЕ ИСПОЛЬЗОВАНИЕ, НЕ ДЛЯ АНАЛИЗА - исключения (НЕ ДЛЯ АНАЛИЗА)
- Intentional Use of Force (Developing) — применение силы (намеренное)
- Ссылка на новостную статью или фотографию официального документа – ссылка на СМИ
- Симптомы психического заболевания? ВНУТРЕННЕЕ ИСПОЛЬЗОВАНИЕ, НЕ ДЛЯ АНАЛИЗА - симптомы безумия жертвы (НЕ ДЛЯ АНАЛИЗА)
- Видео - видео
- Date&Description - дата и описание
- Формула уникального идентификатора — формула идентификатора
- Уникальный идентификатор (избыточный) – НЕ ИСПОЛЬЗУЕТСЯ.
- Дата (Год) - год события
Здесь вы можете взять Excel и полученный CSV. Поля данных (используемые в анализе выделены жирным шрифтом):
- Год - год
- Уайтпоп - белое население
- Блэкпоп - чернокожее население
- Asianpop - количество азиатов
- Native Hawaiianpop - количество гавайцев
- Американский индейский поп - количество индейцев и эскимосов
- Unknownpop - количество других рас/без указания расы
Для этого я написал Программа на Python , который подключается к общедоступному API с помощью ключа API (который я специально получил на тот же сайт ).
API использует REST для запроса различных доступных баз данных и возвращает данные в формате JSON. Программа загружает и объединяет данные в один DataFrame, который затем сохраняется в формате CSV. В этот же файл добавляются и данные о населении с расчетом конкретных показателей преступности.
Здесь окончательный CSV-файл.
Поля данных (используемые в анализе выделены жирным шрифтом):
- Год - год
- Правонарушение – это вид преступления, один из:
- Все правонарушения - все преступления
- Нападения - нападения
- Наркотические правонарушения - преступления, связанные с незаконным оборотом наркотиков.
- Воровство Кража Преступления - кража
- Убийство и непредумышленное убийство по неосторожности - убийство
- Сексуальные преступления – преступления на сексуальной почве.
- Нарушение закона об оружии - нарушение правил хранения/оборота оружия.
- Класс – классификатор (здесь раса, но может быть и возраст, пол и т.д.)
- Преступник/Жертва - данные о преступниках или жертвах (в данном анализе мы пока говорим только о преступниках)
- Азиат - количество преступлений, совершенных азиатами
- Коренной гавайец - количество преступлений, совершенных гавайцами
- Черный - количество преступлений, совершенных чернокожими
- Американские индейцы - количество преступлений, совершенных индейцами и эскимосами
- Неизвестно - количество преступлений, совершенных представителями других рас.
- Белый - количество преступлений, совершенных белыми
- Whitepop – количество белых за соответствующий год
- Блэкпоп — количество чернокожих за соответствующий год
- Asianpop — количество азиатов за соответствующий год
- Native Hawaiianpop — количество гавайцев за соответствующий год.
- Американский индейский поп — численность индейцев и эскимосов за соответствующий год
- Unknownpop — количество представителей других рас за соответствующий год
- Азиатская продушина - удельное количество преступлений, совершенных выходцами из Азии (на 1 человека)
- На душу населения коренных гавайцев - удельное количество преступлений, совершенных гавайцами (на человека)
- Black pro capita - удельное количество преступлений, совершенных чернокожими (на 1 человека)
- Американские индейцы на душу населения - удельное количество преступлений, совершенных индейцами и эскимосами (на 1 человека)
- Неизвестно на душу населения - удельное количество преступлений, совершенных представителями других рас (на 1 человека)
- White pro capita - удельное количество преступлений, совершенных белыми (на 1 человека)
Инструменты
Весь анализ я провожу с использованием Python 3.8 и интерактивного блокнота Jupyter. Дополнительные библиотеки:- pandas 1.0.3 (для анализа данных)
- фолиум 0.11 (для визуализации карты)
Вы, конечно, можете использовать любой другой по вашему выбору (например Анаконда ) или просто обойтись Python, установив необходимые пакеты.
В общем, тот же анализ можно легко выполнить с помощью любого другого статистического/математического программного обеспечения: R, MatLab, SAS и даже Excel. Как говорится, выбирай оружие :) В следующая часть Перейдем непосредственно к анализу.
Ссылка на английский перевод (по желанию работников)Теги: #python #api #open source #США #Большие данные #наука о данных #Открытые данные #Интеллектуальный анализ данных #pandas #отдых #полиция #черные жизни имеют значение #черные жизни имеют значение
-
Анализ Sony Vaio Vgn Серии Cs325J/R
19 Oct, 24 -
Планшеты Google Android На 2012 Год
19 Oct, 24 -
Первый Отчет Проекта Девуан
19 Oct, 24 -
Новый Kindle Dx За 379 Долларов
19 Oct, 24 -
Удобство И Дизайн Электронных Журналов
19 Oct, 24 -
Гугл Проник В Тело
19 Oct, 24