HDFSFileTransfer

Проект HDFSFileTransfer был создан и разработан, чтобы облегчить пользователям Hadoop быстрое копирование различных файлов, таких как: плоские, структурированные, неструктурированные, большие и маленькие, из Linux в файловую систему Hadoop (HDFS).

Он позволяет пользователям передавать файлы:

- на одной физической машине - из локальной файловой системы (linux) в HDFS

- между двумя физическими машинами - копирование файлов из локальной файловой системы (linux) с установленным кластером HDFS в другой кластер HDFS.

Пример: можно иметь два отдельных кластерных экземпляра Hadoop, установленных на двух разных компьютерах с Linux.

Скрипт может копировать файлы с одной машины Linux с установленным Hadoop на другую.

Для получения дополнительной информации прочитайте «Документацию HDFSFileTransferByDK.pdf», доступную в разделе загрузки.

  1. Лицензия: Лицензия: MIT
  2. Язык программирования: Unix Shell
  3. Зарегистрировано: 2014-09-01


HDFSFileTransfer

HDFSFileTransfer

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2015-04-28 16:05:00
Баллов опыта: 653
Всего постов на сайте: 4
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.