Флэш-Память Для Загрузки Freenas И Других Встроенных Ос.

Аннотация Анализ ошибок и технических сбоев традиционно является наименее раскрытой и самой интересной темой, которая как раз и показывает, насколько удачной оказалась инженерная идея.

Построен некоторое время назад NAS-сервер на старом оборудовании , начинаем анализировать произошедшие с ним неудачи.

В данной статье будут рассмотрены сбои из-за загрузочных флешек и их вероятные причины.

Даны рекомендации по выбору флэш-памяти.

Частично применимо и к другим встраиваемым системам, например, домашним видеорегистраторам.

Еще один NAS своими руками, часть 2: хорошие воспоминания*

Практически все эксперты рекомендуют при выборе загрузочной флешки не экономить и не использовать популярный бренд. без имени .

Несмотря на корневую файловую систему FreeNAS 9-й версии в режиме «только чтение» компактные потребительские USB-флешки выходили из строя дважды за полгода, в обоих случаях примерно через пару месяцев эксплуатации.

Причем обе используемые марки, по мнению некоторых опрошенных представителей отрасли, вполне адекватны и уважаемы, а при доставке остались незамеченными откровенные дефекты.

На фото: два вполне адекватных представителя крохотных флешек на 8ГБ и 16ГБ В чем дело? Ресурс бесконечен? чтение флэш-память? Давайте попробуем разобраться.

Как это было

Потом ежедневные отчеты перестали приходить на почту, а веб-интерфейс администратора отвалился.

Но сервер так просто не сдался: SSH работал, а службы сетевых папок для пользователей мужественно держались до последнего, продолжая обслуживать Бизнес.

Похвальная стойкость.

Пока не отвалился доступ по SSH, в поисках причин сбоя веб-интерфейса, "ругаясь" в логах веб-сервера, я нашел проблемную страницу (скрипт на питоне), где увидел довольно четко замена отдельных букв в тексте .

Это сложно описать словами, но было такое ощущение, как будто через строго одинаковые интервалы между символами палец программиста попадал между клавишами.

Тогда программист словно совсем сошел с ума или в панике выдернул застрявший палец из клавиатуры, но осмысленный скрипт обрезался и превращался в случайный набор байтов.

Это действительно немного перевернуто? Оказалось, что другие пользователи смотрели очень похожая картинка .

Перезагрузка флешки прошла без единой ошибки, скрыв дефект и многочасовое тестирование утилита имени Михаила никаких ошибок не показал.

Ну просто идеальная флешка.

Самое обидное, что я стер таким образом образец испорченных данных, о чем очень сожалею.

Какая-то чертовщина.

Кто виноват?

Вопрос № 1 русской интеллигенции .

Но я хочу развеять некоторые мифы и объяснить роль пресловутого человеческого фактора.

По крайней мере, решение моей проблемы есть, и я приведу его ниже.

оффтоп к вопросу №1 «Кто виноватЭ» — роман в двух частях Александра Ивановича Герцена.

Что такое флешка

Для тех, кто не читал, это действительно взгляд изнутри, браво! Попробую компактно изложить это немного с другой стороны.

Есть и менее инвазивные способы проникнуть внутрь флешки, см.

, например, ресурс http://flashboot.ru/iflash/ .

Итак, современная бытовая флешка – это миниатюрный компьютер, имеющий собственный процессор (микроконтроллер), небольшой объем оперативной и постоянной памяти, шины данных, интерфейс ввода-вывода и, собственно, флэш-память типа NAND , обычно на отдельных чипах.

Микроконтроллер связывается с хостом через шину USB, читает, стирает, записывает блоки («сектора»), может вычислять контрольные суммы блоков и управляет износом своих микросхем NAND (см.

выравнивание износа ) и делаем много других вещей, о которых мы, простые смертные, понятия не имеем.

оффтоп про микроконтроллеры Волшебный мир микроэлектроники, рынок микроконтроллеров, кстати, за последние годы сделал большие шаги в сторону любителей и энтузиастов, чего бы платформа ни стоила Ардуино или Челябинский проект им.

ДИ ОСТАНОВКА , Бог благословит их.

Так что те, кому надоели лодочные машинки, могут попробовать новые игрушки, с неким запахом проэлектронной брутальности ;-)

Что делает производитель флешек?

Надежность флешки зависит как от качества комплектующих, так и от прошивки.

Иногда используются комплектующие собственного производства, иногда сторонних производителей (есть очень крупные заводы).

Фирма веников не вяжет, как когда-то говорили.

Но компания очень дорожит своей репутацией, а потому до сих пор проверяет веники микросхемы.

Существует распространенная версия, что производители микросхем (компонентов) делят свою однотипную продукцию на разные классы качества, называемые на жаргоне «корзинами».

Условно для развитых рынков и условно для всех остальных.

Либо для бизнеса, либо для потребительского использования.

Или как-то по-другому, но потребителю (и домашнему, и деловому) очень важно, чтобы товар был от одного и того же производителя с одинаковым кодом.

не обязательно означает те же «внутренности».

Поэтому покупайте электрические веники на eBay (послушайте) за полцены - это риск получить товар с микросхемами для рынков "третьего мира", несмотря на полное совпадение всех внешних кодов.

По крайней мере, так считают местные продавцы электровеников, вынужденные конкурировать с глобальной интернет-торговлей.

Какие типы флэш-памяти существуют?

RAM, ROM, NAND, NOR – что означают эти заглавные буквы? .

Бытовые флэш-накопители используют память NAND. Если очень бегло взглянуть на рынок флэш-памяти NAND, то можно выделить следующие основные виды производства микросхем (в хронологическом порядке появления на рынке): одноуровневые ячейки.

СЛК (хранить по 1 биту в каждой ячейке), многоуровневый МЛК (наиболее популярный, хранит 2 бита, используя 4 уровня) и набирает популярность ТСХ (3 бита, 8 уровней заряда).

Это сжатие информации за счет использования несколько условные уровни заряда в одном микроэлектронном элементе (ячейке) для того, чтобы втиснуть больше хранимых битов в тот же физический объем и, что самое главное, примерно с одинаковой себестоимостью изготовления.

Чтобы не тратить время на расшифровку MLC и TLC, рекомендую русскоязычную статью в Википедии: Флэш-память, устройства SLC и MLC (Спасибо а5б ).

16-уровневая технология уже в разработке, так что пока можно растянуть интерфейсы и кабели.

Понятно, что за плотность приходится платить надежностью хранилища и, следовательно, более сложными методами борьбы с ошибками.

Ну, в теории Иногда проще подавить ошибки мощной «математикой»; все зависит от параметров системы.

Часть эволюции бытовой флэш-памяти.

Слева направо: 2 ГБ, 8 ГБ, 16 ГБ, 32 ГБ.

По области использования можно выделить память для промышленных систем (космос, энергетика, высокотехнологичное вооружение и т. д.), для бизнеса (серверы, профессиональное оборудование) и бытовых (игры, музыка и другие фото на смартфоне).

.

Кстати, автомобильные видеорегистраторы и профессиональные фото- и видеокамеры имеют практически промышленное применение из-за практически непрерывной записи в достаточно широких температурных диапазонах (но, к счастью, в основном без излучения).

Так что не гонитесь слепо только за емкостью флешки вашего видеорегистратора; это не магнитола, а потенциально спор в суде со всеми вытекающими.

Возьмите профессиональный или промышленный продукт.

Каков ресурс перезаписи флэш-памяти?

Для качественной SLC-памяти достаточным считается ресурс в 100 тысяч циклов записи, и именно это мы видим в промышленных изделиях.

Однако за все приходится платить, а объем данных, хранящихся в SLC, невелик по сравнению с MLC и TLC при тех же размерах и стоимости.

Вот здесь-то и начинается самое интересное: производители активно выводят на рынок все более емкие изделия, но почему-то замалчивают их реальную электрическую долговечность, ведь это вредит продажам.

При этом никто не отрицает, что ресурс MLC меньше, чем у SLC, но больше, чем у TLC. Так как долго? Кто-нибудь звонки следующие цифры.

Оценка ресурса перезаписи для различных типов NAND-памяти

в суперкомпактном TLC (это то, что я ожидаю от microSD на 32 ГБ, но лучше уточнить у Доктор Рентген ) вы можете ожидать «всего» около 1000 циклов перезаписи.

Однако читателю не следует сразу паниковать; обычно этого достаточно для хранения музыки и фотографий на смартфоне.

Микроконтроллер любой современной флешки должен распределять износ равномерно, чтобы не было «распиленных» или «затыкающихся» блоков вне зависимости от типа файловой системы.

По идее, чтобы «обнулить» флешку на 8ГБ с ресурсом 1000 циклов, на нее нужно записать в общей сложности около 8ТБ информации.

На практике он, конечно, умрет раньше, но если использовать хорошие бренды с качественными чипами и не заражать смартфон злым вирусом-убийцей флешек, то все будет хорошо и надолго.

Вот вам инженерный парадокс: по идее, старая, большая флэшка на 2Гб (вероятно, SLC) даже при остатке(!) срока службы надежности может затмить совершенно новую суперкомпактную «крохотную» 16Гб (вероятно, сделанную с использованием технология MLC или TLC).

Хотя я бы не стал проверять этот аргумент на «боевом» сервере.

(FreeNAS || NAS4free) && NAND

Загрузчику FreeNAS требуется 2 ГБ, из которых примерно 1 ГБ занимает корневая система, которая действительно смонтирована только для чтения.

Помимо него на той же флешке создается небольшой (около 20 МБ) раздел /data (чтение-запись) для хранения настроек и собранной полезной системной статистики.

собранный (чтобы при перезагрузке не «забыть», скажем, историю потребления оперативной памяти за месяц).

Еще 1Гб не используется.

Кстати, родственник FreeNAS NAS4бесплатно работает немного иначе.

Создает единый корневой раздел, где хранит и систему, и настройки (при этом предлагает создать подкачку на флэшке, но ненавязчиво).

Системная статистика NAS4free достаточно рудиментарна и уже не выдерживает перезагрузок (да и переживать там особо нечего, но для многих это не критичное состояние).

Что еще более важно, настройки (в форме XML) NAS4free хранятся в разделе, доступном только для чтения, и при их сохранении вам необходимо перемонтирование всю корневую файловую систему из режима «только для чтения» в режим «чтение-запись», а затем обратно в режим «только для чтения».

Довольно коряво, но работает.

Промежуточный итог

• Учитывая ограниченный ресурс флэш-памяти, FreeNAS и NAS4free являются хорошим выбором из-за файловой системы, доступной только для чтения.

• Флэшки на 2 ГБ определенно достаточно для FreeNAS, и вы не можете создавать на флэшке никаких других разделов по своей конструкции (с NAS4free вы можете).

• При FreeNAS из-за сохранения статистики регулярная запись на флэшку все равно осуществляется, хоть и небольшими порциями (около 1 МБ каждый час).

  один раз , или около 8 ГБ в год, но это очень приблизительная оценка).

• NAS4free не записывает на флэшку никаких штатных записей, а из-за кастрации системной статистики и объединения ОС с настройками на одном корневом разделе (со всеми вытекающими: запуск в режиме только для чтения - в режиме чтения-записи - сохранение настроек - и снова в режиме только для чтения, вплоть до необходимости перезагрузки).

• По внешним признакам не похоже, что наши неудачи были связаны с износом флешки из-за записи, хотя это первое, что обычно приходит на ум.

  Застрявшие пальцы программиста, испорченный веб-скрипт, расположенный на разделе только для чтения, как-то не очень вяжется с «упрямым» результатом записи.

• Одно можно сказать совершенно определенно: при прочих равных условиях, чем меньше габариты флешки, тем меньше ее ресурс и надежность.

Миф о бесконечной емкости флэш-памяти

слайды 19-20).

Правда, этот эффект электрически обратим и должен устраняться совершенно прозрачно встроенным микроконтроллером, с помощью коррекции ошибок (см.

ниже) и блочного переноса.

Меня насторожила фраза:

Нарушенные биты эффективно управляются с помощью ECC.

Интересно, что согласно тому же отчету, память NAND SLC имеет около 1 миллиона циклов чтения, а MLC — 100 тысяч циклов.

Микроконтроллер должен это учитывать и рано скопируйте рискованный блок в новое место, устранив эффект возмущения и освободив старый блок.

Контроль ошибок должен следить за сохранностью информации, и если повреждение блока превышает возможности используемой схемы исправления, флешка должен выдать ошибка чтения.

По ряду причин я сознательно избегаю в этой статье явного описания «полноценных» SSD накопителей, но предполагаю, что и в них происходит нечто подобное, на других скоростях, с перекрученной логикой и напичканной периферией.

И, раз уж мы затронули SSD, напомню про пресловутые 25% свободного места( Чего нельзя делать с твердотельным накопителем (SSD) , или Исследование взаимосвязи между запасной областью и стабильностью производительности современных твердотельных накопителей ).

Однако лично я могу придумать только одно объяснение синдрома застрявших пальцев описанного выше программатора переворота битов: может ли это быть просто эффект нарушения чтения, который прорвал проверку четности из-за ошибки в прошивке микроконтроллера или чрезмерного упрощения логики? ? Это самый провокационный вопрос данной статьи.

Кстати: Кому интересно узнать устройство SSD Коллеги, скиньтесь на предмет исследования и отдайте его Тиберий 'у; возможно, он отложит то, что делает, разделит объект на атомы и напишет еще одну потрясающую статью.

Только для диска это точно будет билет в один конец :)

Кто и как контролирует ошибки?

Целостность данных является заботой микроконтроллера; для этого он использует специальные алгоритмы кодирования.

Как известно, разрядность (длина) контрольной суммы влияет на максимальное количество обнаруженных (а иногда и исправленных) ошибочных битов.

Подумайте о RS232: один дополнительный бит четности может определить, был ли в блоке один бит с ошибкой.

Но два ошибочных бита уже останутся незамеченными; им требуется больше управляющих битов и более умный алгоритм.

И так далее: чем умнее алгоритм и чем больше «запасных» бит включено в сообщение, тем лучше способность системы устранять ошибки без пересылки (копирования) всего сообщения.

Как говорится, весь наш информационный мир основан на помехоустойчивом кодировании.

Обратимся к документу TN-29-17: Рекомендации по проектированию и использованию флэш-памяти NAND ( связь ) у одного из производителей чипов NAND мы найдём рекомендацию для разработчиков флешек (т.е.

«сборщиков», которые затем используют эти чипы в качестве комплектующих):

Используйте более мощный ECC : Используйте более надежный алгоритм ECC, чем указан в спецификации NAND Flash, и установите порог для максимального количества битов, которые могут выйти из строя в рамках корректируемого предела ECC. Когда порог будет достигнут, переместите данные в другой блок устройства NAND Flash и начните чтение с нового места.

как обычно, есть минимум И рекомендуемые требования производителя микросхемы к сложности (дороговизне) микроконтроллера, выбор между которыми осуществляется разработчиком исходя, естественно, из режима использования памяти.

Например, для промышленных задач нужно делать дорогую логику с длинным ECC-кодом, а для повседневных задач можно обойтись более простым кодом и более дешевыми микросхемами.

Случайным образом находим еще один документ, это вики-страница Texas Instruments Необработанный NAND ECC , в котором MLC рекомендуется использовать 4-, 8- или 16-битные контрольные суммы на 512-байтовый блок:

Почему ECC требуется для NAND? Данные, хранящиеся в NAND, могут быть повреждены (случайным образом).

Существует верхний предел количества ошибок на байт, зависящий от процесса NAND и технологии.

У SLC NAND меньше требований к ECC, чем у MLC NAND. В таблице данных NAND указаны требования ECC для устройства NAND. Для SLC NAND в настоящее время распространено соотношение 1/4 бита на 512 байт. Что касается MLC, на рынке имеются устройства с требованиями ECC 4/8/16 бит на 512 байт.

Вот еще один случайно найденный мной документ по этой теме: Какие типы ECC следует использовать во флэш-памяти? ( связь ).

Но не будем слишком долго витать в облаках абстрактной алгебры, нам пора приземлиться на твердую почву инженерии.

Если в блоке слишком много «заглушенных» битов, если производитель памяти сэкономил и использовал более дешевый микроконтроллер, более простой алгоритм исправления ошибок или менее квалифицированных разработчиков, то вероятность «тихого» повреждения данных (т.е.

без явного читать неудачи) теоретически увеличиваются.

Не будем забывать, что не Боги кастрюли обжигают и пишут код прошивки.

Я использовал бытовой флэш-накопитель для размещения встроенной системы, которая может читать определенные блоки очень интенсивны (особенно при нехватке оперативной памяти, как у меня).

Однако потеря данных из-за эффекта читать беспокоить - это слишком серьёзное обвинение, требующее более тщательного расследования.

А пока могу вывести еще один критерий оценки надежности флешки: при прочих равных условиях чем длиннее ECC, тем лучше.

Что делать?

оффтоп к вопросу №2 "Что делать?" — роман русского философа, журналиста и литературного критика Николая Чернышевского, написанный в одиночной камере Петропавловской крепости и впоследствии запрещенный цензурой.

Вопрос в том, почему произошли две одинаковые поломки? После первой неудачи возникло сильное желание сразу перейти на промышленную флэш-память (нужно всего 2ГБ, из них используется половина), но найти ее со знакомым разъемом USB оказалось сложно: в продаже были либо штыревые, либо штыревые.

(например, Трансценд Ц2ГУФМ-В ), или Compact Flash, или даже Disk-on-Module с интерфейсом IDE. А поскольку мои поиски промышленной флэш-памяти пошли не в ту сторону, я в третий раз купил потребительскую флешку, но не «крошку», а «стандартного» размера с маркой Kingston. Оценивая на всякий случай другие варианты, я даже решил подготовиться к переходу на промышленный Compact Flash, следуя канонам практики Crepsondo, загрузив систему в тестовом режиме с картридера (ридер, будьте осторожны, он может выйти из строя сам по себе) ).

И, кстати, если говорить о SSD-накопителях, то для простого загрузчика это относительно дорого и к тому же, как ни странно, не панацея .

Вверху: малышка 8 ГБ; внизу: Кингстон 8 ГБ В результате полноразмерная флэшка Kingston на 8 ГБ работала без нареканий три месяца, а один продавец в магазине сказал, что уже год открывает одну и ту же бутылку, и ничего.

Но для лучшего сна я все же выбрал другой вариант, о котором прямо сейчас вам расскажу.

Встречайте индустриальную память

Ура, мой квест закончился.

Разъемы «переднего» USB-кабеля и флешки показаны с позиционным соответствием.

Итак, TS2GUFM-V — это промышленный модуль флэш-памяти емкостью 2 ГБ с вертикальным корпусом (буква V), даже оснащенным защелками, предотвращающими его выпадение из разъема при ударах и вибрации.

Так что если читателю вдруг понадобится встроить операционку в самонаводящийся молоток с ЧПУ , то это хороший вариант. Есть, правда, горизонтальный вариант TS2GUFM-H, но он еще более брутальный (безрамочный и крепится тремя болтами), реже встречается в продаже и еще сложнее устанавливается на обычную материнскую плату.

Конечно, нет ничего невозможного, все зависит от желания, изобретательности и конструкции кузова.

Характеристики продукта TS512M~4GUFM-V

Для сравнения: бюджет бытовые флешки имеют скорость записи всего около 5Мб/с, а TS2GUFM с ее 20Мб/с — отличное решение по канонам философии Crepsondo. Для профессиональных камер круче только Compact Flash: когда они «снимают» очередями формат RAW , мало точно не покажется.

TS2GUFM-V же закрывает сразу два USB-разъема, при этом используется один, но при желании это можно исправить с помощью переходников.

Чтобы получить полетное задание на загрузку образа загрузчика, нужно подключить этого крутого воина к ноутбуку сисадмина, USB-разъемы которого не отличаются промышленной строгостью.

Ридер может использовать любой удобный вариант (попробуйте поискать картинки по строке «USB 10pin адаптер», узнаете много нового).

Но по странному стечению обстоятельств в моем старом сисадминском сундуке обнаружились клещи-щипцы (видимо, я раньше делал что-то подобное, но не помню что).

Я использовал щипцы, чтобы обжать низковольтный штыревой адаптер от вышедшего из строя кабеля, по которому ударился офисный стул на колесиках.

Кстати Если вы заметили кабель от Бизнеса с торчащими из-под изоляции кишками, немедленно вынимайте его, пока Бизнес им что-нибудь не сжег :)



Очистите и обожмите щипцами



Защитить термоусадкой



Возьмем штекер 2,54 мм (хотя можно использовать скрепку).

Давайте проверим, как он сидит



Флешка на кабеле готова к загрузке Загрузив образ FreeNAS обычным способом, установим нашу промышленную флешку в разъем для «передних» USB-портов на материнской плате.

Не перепутайте контакты; продукт не является надежным.

Контакт №9 должен попасть на место «отпиленного» штыря.

«Распиновка» разъема ВНИМАНИЕ: Размеры нашего прочного изделия TS2GUFM-V могут затруднить его установку в розетку из-за торчащих тут и там электронных деталей, проводов и других разъемов даже в очень просторных корпусах башенного типа.

Например, втиснуть TS2GUFM-V в разъем USB4_5 на материнской плате ASRock P4i65G между встроенным звуком и локальной сетью, не разрушив их, оказалось невозможно, поэтому отправляем его в запасной разъем USB67. Но и там пришлось увернуться от конденсаторной батареи и разъема корпуса твитера, который торчал почти вплотную к заветным контактам.

Поэтому читателю, особенно при использовании компактных корпусов (например, известной марки «Харлампий-Панкрат МикроСервер»), следует внимательно изучить сам факт наличия 10-контактных «посадочных» разъемов, а также окружающую их среду.

.

В случае чего принимайте меры в виде переходников (погуглите картинки «USB 10pin адаптер»).

Или выберите другую флешку.

Флешка села в слот и начала работать

выводы

1. Электрические процессы, происходящие внутри твердотельных накопителей, далеко не так однозначны и просты, как кажутся снаружи (спасибо, Капитан Очевидность).

2. Надежность флеш-памяти зависит как от технологии изготовления NAND-памяти (SLC, MLC, TLC и т.д.), так и от сложности микроконтроллера, причем при производстве можно сэкономить как на первом, так и на втором.

3. Приблизительно оценить надежность флешки можно по длине контрольной суммы (ECC, если производитель ее публикует): при прочих равных условиях, чем она длиннее, тем лучше.

4. Для систем с интенсивным объемом записи требуется флэш-память промышленного уровня.

5. Для серверных задач не стоит использовать сверхкомпактные миниатюрные флешки, изготовленные по технологии MLC (TLC) с повышенной плотностью.

• Windows Xp — Настоящий Шаг Вперед Или Просто Красивая Мордашка?

  19 Oct, 24

• В Поисках Зины

  19 Oct, 24

• Введение В Dpi: Варианты Использования Системы

  19 Oct, 24

• 8-Фз: Я Расскажу Вам, Каким Должен Быть Правительственный Сайт

  19 Oct, 24

• Золотое Сечение (Число Фи) И Время, Каково Ваше Мнение?

  19 Oct, 24

• Эволюция Автоэвакуации: От Эрнеста Холмса К Децентрализованной Платформе

  19 Oct, 24

• 3D Туры По Олимпийским Дворцам

  19 Oct, 24

• «Суп» Снова Отвечает На Те Же Вопросы

  19 Oct, 24

• Стэнфордские Курсы «Разработка Ios-Приложений» — Несанкционированные Конспекты Лекций На Русском Языке И 2015 Год?

  19 Oct, 24

• Найден Способ Установить Эксклюзивные Приложения Nokia На Любой Смартфон С Wp

  19 Oct, 24