По материалам моего доклада на конференции «Цифровая трансформация» в Москве 16 апреля 2018 года.
Мне интересно, как работает блокчейн.
Не только какие алгоритмы, криптография, платформы и криптовалюты существуют. Для меня блокчейн — это не только технология, но и новый тип жизни, новая вселенная.
Если вы сомневаетесь в этом, взгляните на этот график продажи токенов Aragon: 
Все эти адреса, смарт-контракты, токены постоянно взаимодействуют друг с другом, а за ними стоят действия людей, организаций и роботов.
Без этого взаимодействия блокчейн и криптовалюты не имели бы смысла и ценности.
Как бизнес работает на блокчейне, чем там занимаются люди и роботы — эти вопросы заставили меня начать исследовать блокчейн.
Проблема и решения
Сеть блокчейна, а мы говорим конкретно о публичных сетях блокчейна, на самом деле полностью открыта.Вы можете прочитать абсолютно любую информацию о блоках, адресах и транзакциях.
Для программистов для этого есть API (например, Web3 [1]), а для простых смертных — исследователи блокчейна, например Etherscan [2].
Кроме того, любой полный узел блокчейна загружает на локальный диск все блоки с начала времен с полной информацией внутри, так как это необходимо для проверки правильности транзакций и не дай бог майнинга.
То есть любой узел блокчейна является его полной копией, да еще с интерфейсами доступа и подробной документацией.
Вроде все есть для анализа, но не тут-то было.
Блокчейн vs. Давайте вспомним, что означает слово блокчейн по-русски: цепочка блоков.
Блоки хранят записи транзакций и метаинформацию для обеспечения целостности и согласованности.
Чтобы найти что-то в блокчейне, нужно знать номер блока или хеш транзакции или хотя бы адрес.
Никаких индексов, кроме тех, которые указаны на узле, нет. Etherscan тоже не намного лучше.
Он показывает то же самое, что доступно через API, только в виде веб-страниц.
А еще, чтобы что-то найти, необходимо заранее знать либо адрес, либо хеш транзакции, либо номер блока.
Вы видите блокчейн через узкое окно, ограниченное этими объектами.
Это похоже на изучение Вселенной с помощью микроскопа; существующие инструменты совершенно непригодны для анализа «в целом».
Чтобы пофилософствовать, я даже нарисовал такую схему, которая показывает суть проблемы: 
С криптовалютами все более-менее понятно; Для их аналитики используются давно известные методы и инструменты биржевой торговли.
Получить достоверную и объективную информацию обо всех параметрах криптовалюты можно на многих сайтах в Интернете.
Чего пока нельзя сказать о блокчейне.
Информация в основном либо чисто техническая для понимающих (типа «Etherscan»), либо выдумка о проектах ICO[3], DAO[4], имеющая явный субъективный уклон и не поддающаяся проверке математическими методами.
Блокчейн в целом непрозрачен, хотя вся информация широко доступна, поэтому мы будем над этим работать!
Технические инструменты для аналитики блокчейна
Давайте сначала поймем масштаб проблемы.Существует множество сетей блокчейнов, а также множество различных платформ, на которых они построены.
С чего-то нужно начинать, и я выбрал сеть Ethereum Foundation по нескольким причинам:
- Многие участники
- Капитализация всех валют сети, включая токены, пожалуй, самая большая из всех
- Смарт-контракты [5] и DAO [4], расширяющие возможности анализа и делающие его более значимым и полезным.
| Количество переводов криптовалюты, всего | 267 миллионов |
| Переводы криптовалюты в день, в среднем | 750 тысяч |
| Количество действительных адресов | 44 миллиона |
| Количество смарт-контрактов | 6,8 миллиона |
| Количество выпущенных токенов | 48 тысяч |
| Вызовы смарт-контрактов в день, в среднем | 690 тысяч |
| Приблизительный объем сжатых данных для полного узла | 117 ГБ |
Это имеет два технических аспекта:
- Информация из блокчейна должна поступить в базу данных как можно быстрее, как только будет создан новый блок.
Мы хотим видеть текущую информацию, а не архив;
- Мы хотим получать отчеты быстро, в течение секунды или быстрее, чтобы не потерять интерес, задавая много вопросов.
Раньше я не пользовался этой системой, и ребята из Altinity [7] помогли мне разобраться, за что им отдельное спасибо.
Общая структура системы следующая: 
Необработанные данные считываются из полного узла сети Ethereum с помощью процесса ETL (Извлечение – Преобразование – Загрузка), который анализирует данные внутри блока и записывает их в несколько таблиц в базе данных Clickhouse. Процесс начинается, как только новый блок достигает узла сети, и выполняется непрерывно.
В правой части диаграммы текущие пользователи данных:
- Инструмент аналитики SuperSet [8].
С его помощью можно составлять крутые диаграммы и быстро объединять запросы, чтобы получить ответы на вопросы анализа;
- Python Jupiter [9] для более полного анализа инструментов машинного обучения и применения статистических алгоритмов;
- Веб-сайт Bloxy и API [10] для публичного использования информации.
Токены
Начнем с токенов, поскольку это самое популярное применение смарт-контрактов в сети Ethereum, можно сказать, цель и смысл его создания.Токены — это криптовалюты, которые каждый может выпустить, используя определенный тип смарт-контракта.
Основным стандартом токена является ERC20 [11], но как мы сейчас увидим, этим все не ограничивается.
Теперь, имея нашу базу аналитики и SuperSet, мы можем видеть, какие токены выпускаются, как они используются и что сейчас популярно:
Данные приведены за все время существования Эфириума.
Круговая диаграмма показывает, что токены ERC20 имеют подавляющее распространение по сравнению с другими типами.
График количества активно используемых токенов при переводах до сих пор неуклонно растет, а это значит, что энтузиазм по поводу ICO не утихает, а даже наоборот. Фактически за день создается несколько сотен новых токенов, читай криптовалют, но в этот график включены не все, а только те, которые активно используются.
На графике ниже не показан такой быстрый рост с течением времени, это количество транзакций по передаче токенов в день.
Где-то весной 2018 года оно примерно остановилось на отметке 400 тысяч транзакций в день и не растёт. По сути, это означает, что на новые токены приходится значительно меньше переводов, чем раньше.
На этом графике есть две аномалии: пик передач токенов ERC20 в ноябре 2017 года и менее выраженный «горб» роста передач токенов ERC721 в декабре.
Ноябрьский пик связан с токеном InsPromo, который был распространен почти на миллион адресов «просто так»; это была рекламная кампания типа «airdrop» [12].
Этот метод привлечения клиентов ICO использовался до и после множество раз, но масштаб распространения бесплатных «монет» за 1 день является рекордным! Декабрьский интерес к токену ERC721 был полностью связан с игрой CryptoKitties: люди с большим энтузиазмом покупали и выращивали цифровых котят. На графике виден стремительный рост оборота Crypto Kitties и снижение транзакций других токенов, видимо люди забыли, что есть еще какие-то токены.
Крипто-звери и многое другое
Токены ERC721 [14] появились, по сути, с появлением криптокотов [13], хотя их потенциальное применение гораздо шире.Если стандарт ERC20 давал каждому возможность выпускать криптовалюту, измеряемую определенной суммой, то ERC721 давал каждому возможность обозначать права собственности на любой объект виртуального, реального или даже интеллектуального мира.
Технически каждый токен ERC721 хранит уникальный идентификатор в смарт-контракте.
Этот идентификатор может представлять собой критического кота, золотой меч, участок земли или патент на изобретение.
Право собственности на идентификатор закреплено в блокчейне.
Поскольку существует стандарт обмена токенов ERC721, их можно увидеть в кошельке, торговать на бирже и в других общих транзакциях.
Верхний график показывает количество транзакций всех токенов ERC721. В декабре 2017 года наблюдался большой рост, 100% за счет игры Crypto Kitties. Интерес к игре сохранялся весь декабрь, затем постепенно утих.
Нижний график показывает количество различных токенов стандарта ERC721 в обращении, прочтите проекты, основанные на этой технологии.
В декабре был всего один Crypto Kitties, но в феврале их было уже несколько десятков.
Названия токенов показаны слева, чем больше количество транзакций, тем крупнее шрифт, пока на первом месте котята с символом СК.
Зачем нам нужен миксер?
Анализ всего блокчейна позволяет найти закономерности и аномалии, которые не видны на микроуровне транзакций, адресов и блоков.
Ярким примером является «миксер» тысяч ботов, работающих в сети Ethereum. Начнем с поиска аномалии в распределении адресов по количеству получателей и отправителей криптовалют: 
По горизонтальной оси - количество адресов, с которых на адрес были переведены деньги, по вертикальной оси - количество адресов, на которые с адреса были переведены деньги.
Размер круга — это количество таких адресов.
Левая диаграмма взята за декабрь 2016 года, причем максимальный круг приходится на адреса с одним получателем и одним отправителем, чуть меньше адресов без получателей и также с одним отправителем.
Это вполне понятно, большинство адресов получают валюту из одного источника и тратят ее в одном месте или не тратят вообще, а хранят. Но в декабре 2017 года круг с двумя отправителями и тремя получателями аномально увеличился в размерах.
И таких адресов несколько миллионов! Чтобы разобраться в ситуации, выберем один из этих адресов из сжатого круга и построим граф трансляции: 
Видно, что все эти адреса соединены в гигантский миксер, который переводит деньги внутри себя.
Поскольку в среднем для каждого адреса получателей больше, чем отправителей, от исходного отправителя за несколько шагов получается огромное количество получателей.
Конечно, это делают не люди, а роботы, поскольку таких адресов более 4 миллионов и они работают слаженно и очень быстро, отправляя деньги дальше в течение нескольких минут. Мы оценили объём работы этого огромного робота, отделив транзакции этих адресов от других транзакций в сети: 
По объему переводов миксер (оранжевые столбцы) в некоторые месяцы превосходит все остальные переводы в сети (зеленые столбцы) в несколько раз.
Нужно, конечно, учитывать, что он переводит валюту внутри себя и его внешний оборот не столь значителен, не более 17 миллионов эфира (сегодня $10 миллиардов).
Транзакции миксера уже много месяцев потребляют значительную часть пропускной способности сети Etehereum. Максимум его активности пришелся на начало 2018 года, когда этим роботом была инициирована каждая четвертая транзакция перевода Ethereum, как видно на синем графике доли транзакций миксера в общем количестве: 
Но внезапно в конце февраля 2018 года он перестал работать.
Поскольку мы не знаем причин его использования, мы можем только догадываться о причинах его жизни и внезапной смерти.
А может, он не умер, а изменил алгоритм и просто ушел с наших радаров?
Я верю в блокчейн
Я верю в блокчейн.Предприятия, люди и сообщества получают выгоду от его использования.
Чтобы использовать его, вам нужно понять, как он работает как явление.
По каким законам оно развивается, какие есть внутренние аномалии, тенденции, спады и подъемы? Более прозрачный блокчейн позволит предприятиям эффективно работать с открытыми глазами.
Обычные пользователи будут лучше понимать, что именно они делают, в чем участвуют, будут безопаснее и счастливее.
В конце концов, блокчейн — это не столько сети, платформы, блоки и транзакции, сколько люди и сообщества.
Успех развития этой технологии полностью зависит от ее принятия общественностью, и в этом процессе важна прозрачность.
Литература
[1] Web 3: платформа для децентрализованных приложений [2] Этерскан [3] ICO [4] ДАО [5] Смарт-контракты сети Ethereum [6] Яндекс Кликхаус [7] Алтинность [8] СуперСет [9] Питон Юпитер [10] Блокси [11] ERC20 [12] Что за эйрдроп? Подробное руководство по бесплатной криптовалюте [13] CryptoKitties [14] Стандарт ERC721 Теги: #блокчейн #Децентрализованные сети #Криптовалюты #Большие данные #аналитика #Визуализация данных #Интеллектуальный анализ данных #clickhouse #Ethereum #erc721 #mixer-
Maemo 6 Не Будет
19 Oct, 24 -
Есть Ли Будущее У Геймпадов?
19 Oct, 24 -
Как Найти Правильное Название Стартапа
19 Oct, 24 -
С Новым Годом!
19 Oct, 24 -
Обогнал Apple В Борьбе За Рынок Сша
19 Oct, 24 -
Сенсорный Стол Touchtable В России
19 Oct, 24
