В 2009 году китайская киберразведка на собственном опыте испытала силу всевидящего ока Палантира.
Аналитики из Монитор информационной войны раскрыли крупные операции китайской разведки - Призрачная сеть И Теневая сеть .
( отчет ) 
«Я надеюсь, что осталось не так много лет, прежде чем человеческий мозг и вычислительные машины будут тесно связаны, и возникшее в результате партнерство будет мыслить способами, на которые человеческий мозг никогда не сможет, и обрабатывать данные способами, которые, как мы знаем, не могут сделать машины.
» — Джозеф Ликлайдер сказал 56 лет назад , открыл кафедру информационных технологий в ведущих университетах Америки и начал строить ARPANET. — «Люди будут ставить цели, формулировать гипотезы, определять критерии и проводить оценки.
Компьютеры будут выполнять рутинную работу, расчищая путь открытиям в технических и научных областях».
«Взаимодополняемость человека и компьютера — это не только глобальный факт. Это также путь к созданию успешного бизнеса.
Я понял это на собственном опыте работы в PayPal. В середине 2000-х наша компания быстро росла после краха пузыря доткомов, но у нас была одна серьезная проблема: мы теряли более 10 миллионов долларов в месяц из-за мошенничества с кредитными картами.
Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отследить каждый из них — ни одна бригада контролеров не способна работать с такой скоростью.
Мы сделали то, что на нашем месте сделала бы любая команда инженеров: попытались найти автоматизированное решение».
Питер Тиль сказал и основал Palantir. Ниже приведен кейс о том, как можно открыть ботнет с помощью инструмента финансовой аналитики.
Дело «вымышленное», но на скриншотах показаны данные 2009 года.
(Спасибо Алексею Ворсину за помощь с переводом)
0:00 В этом видео показано, как с помощью продукта финансовой аналитики Palantir мы можем исследовать нефинансовые данные, структурированные во времени.
Узнайте больше о методологии тестирования, которую мы используем в проектах в Центре разработки программного обеспечения EDISON.
0:09 Точнее, мы покажем разоблачение возможной атаки ботнета на основе анализа некоторых киберданных с помощью Palantir Finance и Palantir Goverment. 0:16 Данными будет вся информация о соединениях, отвергнутых роутером за четыре дня.
0:22 Посмотрим, как аналитик будет смотреть на данные и выяснять, что выглядит подозрительно.
0:28 Мы начнем с самого общего уровня, над всей коллекцией объектов, и будем добавлять фильтры по одному, опускаясь, таким образом, шаг за шагом.
0:35 В поле ниже будут показаны отфильтрованные объекты.
0:41 Для начала распределим данные об отклоненных соединениях по портам, на которые они направлены.
Мы сделаем это с помощью фильтра.
0:48 Существует много типов фильтров для исследования данных.
0:51 Мы можем фильтровать по свойствам данных, и для этого используем фильтры слева, вверху экрана.
0:54 По числовым значениям, с использованием гистограммы и других фильтров.
0:58 Для свойств, основанных на времени, с использованием фильтров временной шкалы.
1:01 Мы хотим знать, сколько соединений было отклонено на всех портах назначения, поэтому добавим фильтр «по порту назначения».
1:10 Фильтр «гистограмма» показывает нам распределение по портам назначения.
1:14 По оси X расположены разные группы портов, по оси Y мы видим, сколько подключений записано в корзине портов.
1:21 Гистограмма показывает нам несколько разные вещи: во-первых, мы видим, что почти все порты использованы.
1:27 Наибольшая концентрация активности наблюдается на портах до 5000, что имеет смысл, поскольку в этот сегмент входят наиболее часто используемые порты, такие как порт AD для HTTP или порт 23 для Telnet. 
1:37 Давайте посмотрим на самый большой столбец.
1:41 Глядя на поле ниже, мы видим, что этот столбец относится к порту 1434, что важно, поскольку этот порт используется для MS SQL и часто является целью червя SQL slammer. 
1:51 Порты с более высокими номерами с меньшей вероятностью будут использоваться в законных целях, поэтому мы рассмотрим один из этих сегментов портов.
1:56 Мы можем нажать на сегмент портов, чтобы отфильтровать результаты по объектам из этого сегмента.
2:00 Этот сегмент может содержать несколько портов, но нас интересует только тот, который используется чаще всего.
2:07 Мы можем использовать Zoom, одну из функций выбора на гистограмме.
2:09 Увеличивая масштаб, мы видим, что порт 18100 отвечает практически за все соединения.
2:15 Мы изолируем этот порт, чтобы можно было проверять адресованные ему соединения.
2:20 Давайте посмотрим, как эти соединения распределяются по IP-адресам.
2:25 Мы можем добавить фильтр «Категория», чтобы видеть все IP-адреса, предназначенные для этого сегмента (портов).
2:30 Видим, что почти все соединения адресованы на один и тот же IP. 
2:33 Мы выделим этот адрес, чтобы видеть только связанные с ним соединения.
2:37 Теперь мы рассмотрим эти связи, исходя из того, когда они появились.
2:41 Мы сделаем это, добавив фильтр времени соединения.
2:45 Мы видим, что вся масса подключений произошла в течение десяти часов, причем количество подключений росло, достигло пика и со временем сошло на нет.
2:53 Это интересный пример, мы вернемся к нему позже.
2:56 Чтобы лучше понять данные, давайте изучим источники этих связей.
В частности, мы хотим видеть характеристики соединения, такие как IP-адрес и порт источника, по времени соединения.
3:07 Мы можем изучить это с помощью фильтра диаграммы рассеяния.
3:12 В качестве оси X возьмем время, а в качестве оси Y — порт источника соединения.
3:20 В качестве третьей оси мы можем использовать цвета, значением будет IP-адрес источника подключения.
3:31 Это означает, что одни и те же IP-адреса источников будут выделены одним цветом.
3:37 Здесь мы видим кое-что интересное: некоторые порты были нацелены только на небольшое количество IP-адресов, что мы можем видеть по точкам одинакового цвета, расположенным только горизонтально.
3:47 Похоже, что ряд других портов были атакованы целым множеством IP-адресов.
3:52 Еще мы видим диагональные оранжевые полосы, давайте изучим их подробнее.
4:00 Тот факт, что полосы диагональные, означает, что номер порта источника подключения постоянно увеличивается.
4:06 Тот факт, что полоски схожи по цвету, означает, что подключение происходило с одинаковых IP-адресов.
4:09 Давайте посмотрим, сможем ли мы сосредоточиться на них.
4:13 Для начала выделим полоску.
После того, как мы выбрали из полосы несколько номеров, мы можем добавить фильтр по IP-адресу источника подключения.
4:23 И мы видим, что все эти подключения шли с одного IP, чего я и ожидал от цвета.
4:29 Мы можем изолировать этот IP-адрес и поместить этот фильтр поверх другого, чтобы уточнить результаты диаграммы рассеяния.
4:35 Мы можем свернуть фильтр по категориям и увидеть диаграмму рассеяния только для этого IP-адреса.
4:41 Мы видим, что этот IP-адрес, несомненно, со временем перенаправляется на разные порты отправки.
Это классическое поведение при сканировании портов.
4:50 Эта работа выявила подозрительную активность: множество разных IP было циклично и через множество портов с целью подключения к одному IP и одному порту за короткий промежуток времени.
5:02 Теперь мы используем Palantir Goverment для анализа этих данных во времени и по географическому признаку.
5:06 Мы создали фильтр для сжатия подмножества данных, которые показались нам интересными с помощью Palantir Finance. Параметрами фильтра были объекты «соединения», нацеленные на IP-адрес 25.134.141.209 и порт 18100. 
5:20 Результаты фильтра появляются на графике.
5:25 Мы можем открыть временную шкалу и увидеть, что она похожа на то, что мы видели в Palantir Finance.
5:30 Теперь перетащим эти объекты на карту, чтобы увидеть расположение IP-адресов этих подключений.
5:37 Тепловая карта использует цвет, чтобы помочь вам увидеть плотность соединений.
5:42 Мы видим, что самая высокая плотность в Китае.
5:47 Используя временную шкалу, мы можем увидеть, как разворачивались события.
5:51 Мы создаем временное окно и перемещаем его, чтобы увидеть, как отреагирует тепловая карта.
5:57 Мы видим, что связи начались в Китае, затем распространились на Японию и Индонезию, затем мы видим области в Южной Америке, Европе и Австралии.
6:11 Наконец, поскольку темпы соединений замедляются, они снова концентрируются в Китае и Индонезии.
6:23 Эта временная шкала и схема активации совершенно ясно указывают на атаку ботнета.
По мере начала атаки и вовлечения большего количества компьютеров количество подключений достигает пика, а затем постепенно уменьшается, поскольку каждый компьютер пытается установить разное количество подключений или подключается с разной скоростью.
6:40 Во время этого рабочего сеанса мы использовали Palantir Finance для исследования большого объема данных и успешно сократили его до подмножества данных с помощью фильтров.
6:49 Нам удалось увидеть некоторые характеристики данных и выявить подозрительную активность.
6:56 Результаты нашей работы в Palantir Finance мы открыли в Palantir Goverment, что позволило провести географический и временной анализ, что позволило визуализировать, как развивались события.
7:05 В конечном итоге наш анализ привел к обнаружению активности, которая с высокой вероятностью может быть атакой ботнета.
7:11 Те же методы, которые мы использовали для выявления характеристик атаки ботнета на основе больших объемов данных о соединениях, можно использовать для выявления другой вредоносной активности в сети, включая узкую «сами-знаете-что», интеллектуальный анализ данных, атаки с использованием социальных технологий.
инженерное дело и многое другое.
7:26 Все это: комбинированное предложение Palantir Cyber — это готовое решение для борьбы с наиболее сложными сетевыми проблемами, с которыми сталкиваются государственные и коммерческие организации.
Подробнее о Палантире:
- Палантир и отмывание денег
- Палантир: торговля оружием и распространение пандемии
- Палантир, мафия PayPal, спецслужбы, мировое правительство
- Palantir 101. Что простым смертным позволено знать о второй крутой частной компании Кремниевой долины
Я попытаюсь докопаться до первоисточников IT-технологий, понять, как думали и какие концепции были в головах первопроходцев, о чем они мечтали, каким они видели мир будущего.
Для чего были задуманы «компьютер», «сеть», «гипертекст», «усилители интеллекта», «система коллективного решения задач», какой смысл они вкладывали в эти понятия, какими инструментами хотели достичь результатов.
Я надеюсь, что эти материалы вдохновят тех, кто задается вопросом, как перейти «от нуля до единицы» (создать то, чего раньше никогда не существовало).
Мне бы хотелось, чтобы ИТ и «программирование» перестали быть просто «кодированием ради денег», а напомнили, что они задумывались как рычаг изменения методов ведения войны, образования, способа совместной деятельности, мышления и общения, как попытаться решить мировые проблемы и ответить на вызовы, стоящие перед человечеством.
Что-то вроде этого.
0 марта.
Сеймур Паперт 1 марта.
Ксерокс Альто 2 марта «Позвони Джейку».
История NIC и RFC 3 марта Грейс «Бабушка КОБОЛ» Хоппер 4 марта Маргарет Хэмилтон: «Ребята, я отправлю вас на Луну» 5 марта Хеди Ламарр.
И сниматься голым в кино и стрелять торпедой во врага 7 марта Великолепная шестерка: девушки, расчитавшие термоядерный взрыв 8 Марта «Видеоигры, я твой отец!» 9 марта С днем рождения, Джефф Раскин 14 марта Джозеф «Лик» Ликлайдер: «Межгалактическая компьютерная сеть» и «Симбиоз человека и компьютера» 15 марта Ванневар Буш: «Как мы можем думать» 16 марта С днем рождения, Ричард Столлман.
21 марта Дуглас Нгельбарт: «Мать всех демонов».
Часть 1 Теги: #разработка #анализ #тестирование #дизайн #edisonsoftware #edisonsoftware #edisonsoftware #информационная безопасность #Big Data #Визуализация данных
-
Интернет-Отношения...работают Ли Они?
19 Oct, 24 -
Пример Использования Nokia (Резюме)
19 Oct, 24 -
Онлайн-Трансляция Acm Icpc: Как Это Работает
19 Oct, 24 -
Радио-Т №72
19 Oct, 24 -
Сети Под Регулированием?
19 Oct, 24
