Веб-Сервисы Amazon – Найдите Самые Большие Файлы В Aws Efs?

  • Автор темы Roclinch
  • Обновлено
  • 20, Oct 2024
  • #1

У меня есть EFS с безумно большим количеством файлов, многие из которых маленькие. Дерево каталогов также большое.

Листинг каталогов может занять очень много времени.

В EFS явно есть несколько очень больших файлов, которые необходимо удалить в зависимости от размера (я могу сказать это на основе оценок архитектуры приложения/размера файла для его основного варианта использования), но я не могу найти большие файлы, учитывая время листинга каталогов. .

Я мог бы включить интеллектуальное многоуровневое распределение, чтобы сэкономить деньги, но мне хотелось бы выявить и устранить основную проблему. Есть ли варианты ускорить поиск?

Было бы неплохо, если бы я мог зайти в каждый каталог и просто получить размер первых 5 файлов, чтобы увидеть, есть ли в каких-либо конкретных каталогах большие файлы в целом, но любой список кажется исчерпывающим и отнимает много времени.

#amazon-web-services #efs

Roclinch


Рег
12 May, 2013

Тем
63

Постов
222

Баллов
537
  • 25, Oct 2024
  • #2

Я думаю, что единственные варианты, которые у вас есть, отнимают много времени.

 
 G 
and M команды.

Вы можете использовать find /path/to/efs -type f -size +200M >> /file_to_store_output.txt & command to look at all files, sort the output and give you the top 5. To do this for individual directories you can update the path.

find

С du -sk /path/to/efs/* |sort -nr |head -n 5 you can search for files greater than a certain size and dump the list to a file. You can probably parse it down to the top 5 with a little bit of piping.

du

Единицы размера для вашего использования, вероятно, будут du egabytes or find гигабайты

Я бы рекомендовал запускать их как фоновые процессы и записывать выходные данные в файл.

Ссылки
найти справочную страницу
справочная страница

 

Mrakford


Рег
30 Mar, 2012

Тем
83

Постов
197

Баллов
632
Тем
403,760
Комментарии
400,028
Опыт
2,418,908

Интересно