На днях вышло очередное обновление плагина Big Data Tools. Почти полтора года мы выпускали только Early Access Preview, а теперь рады представить вам самую первую версию, рассчитанную на широкую аудиторию.
Big Data Tools — это плагин, который позволяет подключаться к кластерам Hadoop и Spark. Он предоставляет возможность мониторинга узлов, приложений и отдельных задач.
Вы также можете создавать, запускать и редактировать блокноты Zeppelin. Вам не придется переключаться на веб-интерфейс Zeppelin и продолжать комфортно работать из любимой IDE. Плагин обеспечивает удобную навигацию по коду, интеллектуальное автодополнение, рефакторинг и быстрые исправления прямо внутри ноутбука.
Плагин доступен для установки в IntelliJ IDEA Ultimate, PyCharm и DataGrip. Вы можете скачать его с страницы плагина на сайте или установите прямо из IDE. Давайте подробнее рассмотрим, что изменилось в новой версии.
Поддержка Цеппелина 0.9
26 декабря команда Zeppelin подарила всем новогодний подарок: новый релиз 0.9, в котором он был закрыт 568 билетов .
Мы были готовы к этому событию давно, так как тестировали плагин на версии 0.9-preview2, поэтому поддержка 0.9 не заняла много времени.
Приглашаем всех попробовать не только новую версию Big Data Tools, но и новая версия Цеппелина !
Импорт и экспорт ноутбуков Zeppelin
Плагин Big Data Tools берет на себя мелкие рутинные операции, для которых неудобно переключаться на веб-интерфейс.Одной из таких операций является импорт и экспорт ноутбуков.
Теперь вы можете сохранить записную книжку на свой компьютер и поделиться ею с коллегами, не выходя из IDE. 
Настройки интерпретаторов и репозиториев Zeppelin
Выбрав пункт «Открыть настройки интерпретатора» в контекстном меню ноутбука, вы попадете в такой интерфейс:
На этом снимке экрана показаны настройки интерпретатора Markdown. Точнее, настройка здесь всего одна – markdown.parser.type .
Этот параметр может принимать значения флексмарк , привязка И уценка4j и возможность выбора флексмарк появился только в новом Zeppelin 0.9. Здесь вы найдете полный список переводчиков, а также сможете просматривать и редактировать их настройки.
Этот интерфейс является улучшением того, что уже существует в веб-интерфейсе Zeppelin. Огромный плюс в том, что теперь вам не нужно открывать браузер для просмотра или редактирования каких-либо настроек.
Дополнительно отсюда вы можете перезагрузить интерпретатор или отредактировать список репозиториев: 
Подсветка предварительного кода
В Zeppelin есть возможность объявлять переменные вне блокнота — они будут доступны при запуске интерпретатора.Например, это можно использовать для хранения конфигурации.
Соответствующая настройка называется Zeppelin.SparkInterpreter.precode (теоретически здесь может участвовать любой интерпретатор, но на данный момент наша подсветка поддерживает только Spark и PySpark).
Это особенность Zeppelin, вы можете прочитать документацию Здесь .
Начиная с этого обновления, плагин Big Data Tools учитывает код, написанный на предварительно кодировать .
Если вы используете в блокноте переменные, объявленные в прекоде, они будут выделены стандартным способом.
Чтобы настроить предварительно кодировать , воспользуйтесь окном настроек переводчика, которое мы описали выше.
Давайте проверим, действительно ли работает подсветка: 
Запуск сценария перед выполнением искровой отправки
Если вам нужно каким-то образом настроить среду перед запуском задачи, теперь есть простой способ сделать это.Просто укажите строку, которую вы хотите, чтобы оболочка выполнила, в настройках искровой отправки.
Допустим, нам нужно настроить среду Python. Для этого вы можете запустить команду типа «источник активировать py36» .
Однако с тем же успехом можно запустить эхо "Привет, мир" или любая другая команда.
Улучшенная поддержка Python
Мы продолжаем улучшать поддержку Python, которая была представлена в конце декабря.На этот раз мы добавили окно, позволяющее указать настройки Python, если этого не было сделано ранее.
Обратите внимание на опцию «Установить заглушки для встроенных модулей Spark».
Включив его, вы можете значительно улучшить автодополнение в PySpark.
Улучшен поиск ноутбуков
Теперь вы можете найти ноутбуки с помощью функции «Поиск везде» (доступ к которому осуществляется двойным щелчком клавиши Shift).Найденные ноутбуки будут отображаться вместе со всеми результатами поиска во вкладке «Все», а также отдельно во вкладке «Ноутбуки Zeppelin».
Связаться с разработчиками
У вас могут возникнуть вопросы к разработчикам, но как узнать, куда обратиться? Мы положили конец этой проблеме: теперь вы можете найти нужные вам ссылки прямо в интерфейсе плагина, используя меню «Поддержка» в правом верхнем углу панели «Инструменты больших данных».
Исправление ошибки
Плагин Big Data Tools продолжает активно развиваться.Мы стараемся учитывать все важные замечания и оперативно исправлять ошибки.
Подробный обзор основных улучшений можно найти в разделе «Что нового» на сайте страница плагина .
Если вы ищете информацию по конкретному вопросу, используйте полный отчет с YouTrack .
Благодарим вас за использование нашего плагина! Напомню, что установить последнюю версию можно либо с помощью официальная страница плагина , или непосредственно в IDE (плагин называется «Big Data Tools»).
На странице плагина вы можете оставить свои отзывы и предложения (мы их обязательно прочитаем!), а также поставить оценку звездочками.
Документация и социальные сети
И, наконец, если вам необходимо разобраться в функционале Big Data Tools, у нас есть подробная документация — отдельно для IntelliJ ИДЕЯ , Пичарм И DataGrip .Задать вопрос можно в комментариях под этой статьей или в Твиттер .
Версия 1.0 — это большая веха в истории плагина Big Data Tools. Мы надеемся, что все эти улучшения окажутся полезными и позволят вам сосредоточиться на интересных вещах и получать от этого удовольствие.
Ваша команда по инструментам для работы с большими данными Стремление к развитию Теги: #python #программирование #Big Data #spark #Apache #apache spark #apache spark #zeppelin #apache zeppelin #инструменты больших данных #spark-submit #precode
-
Приглашения Gmail
19 Oct, 24 -
Мой Велосипед С Открытым Исходным Кодом
19 Oct, 24 -
Перерывы Теперь В Формате Mp3.
19 Oct, 24 -
Asus Показала Первые Zenbooks
19 Oct, 24
