Максимальное время работы жесткого диска в часах

Tiger Claw

6.07.2022

Всего то 40 тыс. часов. 100 тыс. живет один из первых гринов от WD.

Ответить

Развернуть ветку

Поненаехавший

6.07.2022

У меня тоже был один грин, посыпался гдет через год. Магазин за него деньги вернул. А вот ВД блек, купленный ранее грина, уже 46000 часов отработал, и продолжает.

Ответить

Развернуть ветку

Tiger Claw

6.07.2022

Да там как повезет. У меня WD black через год захрустел и сдох :(

Ответить

Развернуть ветку

Поненаехавший

6.07.2022

Забыл. Несколько абсолютно новых WD Black 2.5 дюймовых отказывали в ноутбуке. Но я хз, может сам бук виноват.

Ответить

Развернуть ветку

Pelmeshker

6.07.2022

Я встречал диски, которые и по 10 лет крутились. Другое дело, что эта вот надпись «хорошо» еще не гарантирует, что диск не деграднул и не побил часть файлов

Ответить

Развернуть ветку

Patrick

6.07.2022

Никогда ни на что нет 100% гарантии. Но если нет бедов и переназначенных секторов, то скорее всего всё хорошо.

Ответить

Развернуть ветку

мнмлст

6.07.2022

У меня уже 10 лет живет ХДД на терабайт.
и думаю еще долго жить буде. этож просто диск

Ответить

Развернуть ветку

мнмлст

6.07.2022

а вот ССД пугает
ему три года, но уже меньше 80% :(

Ответить

Развернуть ветку

IIIokoalde

6.07.2022


Автор

У самого HDD уже под 5 год живёт. А ссд за второй начинает помирать.

Ответить

Развернуть ветку

Karl666Smith

6.07.2022

У меня ссд есть, который пережил своего производителя уже, если б не был всего на 120 гигов, стоял бы до сих пор

Ответить

Развернуть ветку

Maxde

6.07.2022

странно.. че то у вас «число включений» дофига. я комп вообще редко выключаю)

Ответить

Развернуть ветку

Химер

6.07.2022

Я каждый день включаю и выключаю. Зачем гонять железо вхолостую и крутить счётчик?

Ответить

Развернуть ветку

Karl666Smith

6.07.2022

Будто много жрет, просто раздавая торренты с отключенным моником

Ответить

Развернуть ветку

Химер

6.07.2022

А какая разница сколько он жрёт, если он может этого не делать? Да и изнашивать железо, ничего не получая взамен, не вижу никакого смысла.

Ответить

Развернуть ветку

Karl666Smith

6.07.2022

Тоже мне износ, у меня ни одна комплектуха не сдохла от износа, только от брака

Ответить

Развернуть ветку

Химер

6.07.2022

Это ты как определил, что от брака, а не от износа?

Ответить

Развернуть ветку

Karl666Smith

6.07.2022

Когда ломается быстро, сразу понятно что брак, единственный сдохший хард все равно проработал при браке около десяти лет (гибридный был и, когда играл на нем в игры, зависал после часа комп, доживал 7 лет в виде файлопомойки)

Ответить

Развернуть ветку

NIO

6.07.2022

изнашивать железо

Циклы «включить-выключить каждый день» тоже изнашивают и не факт, что слабее, чем постоянная работа. Живи теперь с этим.

Ответить

Развернуть ветку

Химер

6.07.2022

Кто же спорит? Изнашивают не только включения/выключения, но и работа в простое. Странно только почему меня стараются убедить, что безостановочная работа в простое это единственно верное решение, хотя никакой выгоды от этого нет.

Ответить

Развернуть ветку

NIO

6.07.2022

Думал, ветка только про жёсткие диски. Статистики на эту тему в открытом доступе нет, но часто считают, что режим без остановок для них лучше.

Ответить

Развернуть ветку

fofun

6.07.2022

Я люблю спать в полной тишине) А комп слегка шумит

Ответить

Развернуть ветку

Maxde

6.07.2022

Кстати мне повезло что слабослышащий , а если снять слух. аппарат то вообще ништяк 🤣 ну хоть какой то плюс есть)

Ответить

Развернуть ветку

Химер

6.07.2022

Да. 4 года это очень мало для нормального харда, при нормальной эксплуатации он и больше 10 лет проживёт. Мои старенькие харды из начала нулевых, во всяком случае, всё ещё живы.

Ответить

Развернуть ветку

MaZau

6.07.2022

Ну а вчем проблема? Живет и живет

Ответить

Развернуть ветку

nnpv07

6.07.2022

Это же зависит от количества записи / перезаписи, то что он просто крутится в компе (и то не всегда, только активный) особо убивать диск не должно

Ответить

Развернуть ветку

Аккаунт удален

6.07.2022

Комментарий недоступен

Ответить

Развернуть ветку

hehe

6.07.2022

Я тут тоже решил чекнуть. Насколько всё плохо? Что делать с этой ошибкой? Харду 12 лет

Ответить

Развернуть ветку

Heavik

6.07.2022

Данные скопировать, сделать низкоуровневое форматирование (возможно ошибки софтовые и пропадут после форматирования), ну после этого можно викторией прогнать-посмотреть его здоровье, потом использовать как файло-помойку. Модель вообще старая, у меня такой ещё в 2017 помер, хотя особо не нагружал его.

Ответить

Развернуть ветку

hehe

6.07.2022

Ну у меня м2 под систему, хард итак под файлы, на нём есть фото и коллекция музыки с 2007 года, данные терять никак нельзя. Как делается низкоуровневое форматирование? Через сторонний софт?

Ответить

Развернуть ветку

Heavik

6.07.2022

Я через HDD Low Level Format Tool делаю обычно. Только в бесплатной версии ограничение по скорости. По идее ещё у самого Seagate должна быть утилита, которая может всё затереть в ноль.

Ответить

Развернуть ветку

Vic St-v

7.07.2022

Она стоит какие-то смешные деньги, один доллар, что ли. Я заплатил, полезная штука. Иногда и вправду может взбодрить дохловатый винч.

Ответить

Развернуть ветку

Heavik

7.07.2022

Да так-то да, но сейчас как обычно всё непросто.

Ответить

Развернуть ветку

Patrick

6.07.2022

Забекапить данные и смотреть в динамике. У меня один такой винт уже 5 лет крутится и число бедов не растёт.

Ответить

Развернуть ветку

IIIokoalde

6.07.2022


Автор

Покупать новый и переносить данные пока не поздно. У меня так 500 гб WD сдох за год.

Ответить

Развернуть ветку

Karl666Smith

6.07.2022

У меня совсем недавно сдох жёсткий диск с дохера часов( стоял лет 8-9 на торрентах), которому уже год лежала замена

Ответить

Развернуть ветку

Какушиго Мусока

6.07.2022

40000 часов = 4,5 года. было бы не нормально, если бы он не переживал такой срок

Ответить

Развернуть ветку

Гусь Квантума

6.07.2022

у меня жил вд грин 9 лет, использовался чисто для игр, потом сменил его на ссд , а так хард рабочий то отдал его другу под файлопомойку , у него он уже второй год живет. т.е. в сумме 11 лет пашет, и живой еще .

Ответить

Развернуть ветку

Водитель автобуса №7

6.07.2022

Кристалдиск показывает данные с последней переустановки Винды? А то у меня цифры смешные какие-то

Ответить

Развернуть ветку

IIIokoalde

6.07.2022


Автор

Нет, у меня винда была вчера переустановлена.

Ответить

Развернуть ветку

Alan Mix

6.07.2022

В хардах самое уязвимое место что 20 лет назад, что сейчас — контроллер. Умирает он, он может потянуть за собой косвенно и хдд. Правда данные на этом самом харде останутся и если ты сможешь заменить контроллер, каким то образом, то у тебя продолжит спокойно работать. Не знаю как в других городах (в моем нету), но в той же Москве есть сервисы которые помогают восстановить данные с умерших хардов и перенести их.
— Файлопомойка-флешка, примерно с такими же характеристиками был хард на 1тб, поменял на другой от греха подальше, но не сбоил.
— И ссд, пока 50тб перезаписей, до 600 ему очень и очень долго … Скорее опять же, умрет контроллер на плате или я заменю на другой.

Ответить

Развернуть ветку

Автор Сообщение
 

СообщениеДобавлено: 20.07.2010 17:17 

[профиль]

Junior

Статус: Не в сети
Регистрация: 16.07.2010

Nigerson писал(а):

на топ10 ветки потянет

А он где?

Запишите ещё одного — почти 6 лет непрерывной работы (666 включений).
Сняли с ДОСовой машины, поставили на него винду и снова в работу.

В промежутке снял СМАРТ
#77

Реклама

Партнер
 
airserega

Member

Статус: Не в сети
Регистрация: 07.12.2007
Фото: 24

Siber

Крепкий орешек. 50 тыс. часов пробег а бэдов 0.

Кстати я где-то читал что у жёстких дисков WD Caviar Black ресурс 1 400 тыс. часов- ресурс механики. У Caviar Green — 800 тыс. часов.

Получается что разница между ними ничтожна, поскольку здравомыслящий пользователь всё равно больше чем 300-500 тыс . часов эксплуатировать их не будет т.к к тому времени они устареют морально.

 
GENOCIY

Member

Статус: Не в сети
Регистрация: 15.11.2009
Откуда: Вишневый

samsung 160 IDE
01 Raw Read Error Rate 51 100 99 0 OK: Çíà÷åííÿ íîðìàëüíå
03 Spinup Time 25 100 100 5824 OK: Çíà÷åííÿ íîðìàëüíå
04 Start/Stop Count 0 92 92 8497 OK: Çàâæäè ïðîéäåíî
05 Reallocated Sector Count 11 1 1 214 Ïðîðîêóâàííÿ çáîþ: íàñóâàºòüñÿ âòðàòà äàíèõ
07 Seek Error Rate 51 100 100 0 OK: Çíà÷åííÿ íîðìàëüíå
08 Seek Time Performance 15 100 100 9071 OK: Çíà÷åííÿ íîðìàëüíå
09 Power-On Time Count 0 96 96 2975680 OK: 5.8 Года
0A Spinup Retry Count 51 100 100 0 OK: Çíà÷åííÿ íîðìàëüíå
0B Calibration Retry Count 0 100 100 19 OK: Çàâæäè ïðîéäåíî
0C Power Cycle Count 0 96 96 4613 OK: Çàâæäè ïðîéäåíî
C2 Temperature 0 145 73 31 OK: Çàâæäè ïðîéäåíî
C3 Hardware ECC Recovered 0 100 100 17361206 OK: 5.8 Года
C4 Reallocation Event Count 0 1 1 250 OK: Çàâæäè ïðîéäåíî
C5 Current Pending Sector Count 0 100 100 0 OK: Çàâæäè ïðîéäåíî
C6 Offline Uncorrectable Sector Count 0 100 100 0 OK: Çàâæäè ïðîéäåíî
C7 Ultra ATA CRC Error Rate 0 200 199 0 OK: Çàâæäè ïðîéäåíî
C8 Write Error Rate 51 100 100 0 OK: Çíà÷åííÿ íîðìàëüíå
C9 Soft Read Error Rate 51 100 97 0 OK: Çíà÷åííÿ íîðìàëüíå
Беды пошли, произшло это после года эксплуатации,выпал из кармана )
Работает для игр и как мусорник для всякого хлама.
samsung 160 IDE Spin point


_________________
AMD Ryzen 7 1700 3700 МГц ASUS Silent Knight II MSI B350 TOMAHAWK DDR4 Crucial 8192MB 3000 МГц @3466 МГц

 
Ханыга

Member

Статус: Не в сети
Регистрация: 27.07.2009
Откуда: Москва
Фото: 25

Фиг знает, нормальный смарт или нет? В Рейд-0 стоят оба.
#77
#77

 
Schumi F1

Member

Статус: Не в сети
Регистрация: 14.06.2006
Откуда: Луганск, Ненька
Фото: 16

Ханыга писал(а):

Фиг знает, нормальный смарт или нет? В Рейд-0 стоят оба.

нормуль. Вижу что один больше другого работает, видать не от рождения они в рейде были. Ну ещё можно шлейф сменить, а то UltraDMA CRC error хоть и маленький показатель, но лучше перестраховаться.


_________________
Enjoy Ambient music. Music for soul, people, imagination.
BF — Danger_Cat83

 
pwlt

Member

Статус: Не в сети
Регистрация: 22.08.2008
Откуда: Екатеринбург

Фиг знает скока в часах, но ямой винт работает с 23 марта 2007 почти без выключений

 
Rint

Member

Статус: Не в сети
Регистрация: 27.03.2007
Откуда: Усинск

Вот мои в RAID-е, думаю тоже достойно
#77
#77
на втором появились ошибки, поменял шлейф и стало все ОК, работают и по сей день
ну и + сервачёк, герой! Сам удивлен! как сейчас помню как на него новенького систему ставил, до сих пор выполняет возложенные на него обязанности(тьфу, тьфу, тьфу)
#77

 
Ханыга

Member

Статус: Не в сети
Регистрация: 27.07.2009
Откуда: Москва
Фото: 25

Schumi F1
Это вы правы, второй позже докупил для рейда спецом.

 
moty

Member

Статус: Не в сети
Регистрация: 09.04.2006

Взял старый maxtor 2f040l0, 40 гигов, а там….
#77


_________________
Библиотеки Windows — Мы заставим ваши папки тормозить!

 
ksander

Junior

Статус: Не в сети
Регистрация: 26.08.2010
Откуда: Киев

Samsung SP0812 80Gb, юзается с 2004

Power on Hours count — 1499622.

 
AL_aka_SANCHO

Member

Статус: Не в сети
Регистрация: 29.01.2010
Откуда: Msk SouthPort
Фото: 67

#77
21234 ч
Raptor 1500ADFD-NLR1


_________________
AL_(a.k.a.SANCHO) —> AL_aka_SANCHO

 
moty

Member

Статус: Не в сети
Регистрация: 09.04.2006

ksander писал(а):

Samsung SP0812 80Gb, юзается с 2004

Power on Hours count — 1499622.

1499622 hours = 171.2 years

eto minyty.


_________________
Библиотеки Windows — Мы заставим ваши папки тормозить!

 
artusar

Junior

Статус: Не в сети
Регистрация: 02.02.2011

За 3 года и 15 дней жёсткий диск в ноутбуке наработал 2 года и 5 месяцев круглосуточной работы.
Всегда тихий.Ночью не слышу его вообще.
Из картинки станет ясно,что теоретический ресурс свой (заложенный производителем),он походу исчерпал.
А на практике посмотрим…Рассчитываю,что должен послужить ещё, хотя бы, столько же.

#77

#77

 
DiGGeR34

Member

Статус: Не в сети
Регистрация: 01.01.2003
Откуда: Волгоград

500-ка сигейт, уже более трёх лет наработка, никаких проблем, сейчас на ней убунта живет и довольно шустро работает :-)
#77

Та самая серия 7200.11, прошитая, два штуки таких работают отлично, у второго на 3000 часов меньше.
#77

Более ничего интересного, относительно новые ВДшки, у них и 15к нету

 
VAgrant84

Junior

Статус: Не в сети
Регистрация: 27.04.2007

500GB 2.5 WD WD5000BEVT работает уже полных 117 дней

Последний раз редактировалось VAgrant84 27.02.2011 21:48, всего редактировалось 1 раз.

 
Headman

Member

Статус: Не в сети
Регистрация: 15.08.2007
Откуда: Midway

у меня на 6 году службы сдох Seagate U6..

эти нормальные. живые пока :haha:
seagate 7200.10 80gb, АТА
seagate 7200.10 250gb, сата
seagate 7200.10 250gb, сата
три самсунга по 40гб АТА
самсунг 160гб сата


_________________
<<ATI OverClan>>

 
KuPnu4

Junior

Статус: Не в сети
Регистрация: 29.03.2006
Откуда: оттуда (с)

Maxtor 2F040J0 Fw: VAM51JJ0 80291135 LBA (~38GB)

————————————————————————-
ID Name Value Worst Tresh Raw Health
————————————————————————-
3 Spin-up time 233 229 63 5825 •••••
4 Number of spin-up times 253 253 0 1222 •••••
5 Reallocated sector count 253 253 63 2 •••••
6 Read channel margin 253 253 100 0 •••••
7 Seek error rate 253 252 0 0 •••••
8 Seek time perfomance 252 247 187 62200 •••••
9 Power-on time 240 240 0 22438 •••••
10 Spin-up retries 253 249 157 0 •••••
11 Recalibration retries 253 252 223 0 •••••
12 Start/stop count 247 247 0 2491 •••••
192 Power-off retract count 252 252 0 1069 •••••
193 Load/unload cycle count 253 253 0 3281 •••••
194 HDA Temperature 253 253 0 41°C/105°F ••••
195 Hardware ECC recovered 253 246 0 36684 •••••
196 Reallocated event count 253 253 0 0 •••••
197 Current pending sectors 253 253 0 0 •••••
198 Offline scan UNC sectors 253 253 0 0 •••••
199 Ultra DMA CRC errors 197 183 0 17 •••••
200 Write error rate 253 252 0 0 •••••
201 Off-track errors count 253 252 0 1 •••••
202 DAM errors count 253 252 0 0 •••••
203 ECC Errors count 253 26 180 0 •••••
204 Corrections Count 253 252 0 0 •••••
205 TA Errors count 253 252 0 0 •••••
207 Spin Current (?) 253 252 0 0 •••••
208 Spin buzzes count 253 252 0 0 •••••
209 Offline seek perfomance 164 162 0 0 •••••
99 Average FHC 253 253 0 0 •••••
100 Max Negative FHC 253 253 0 0 •••••
101 Max Positive FHC 253 253 0 0 •••••


_________________
Let the force of RAM memory will be with you.

 
flax315

Member

Статус: Не в сети
Регистрация: 15.06.2009
Откуда: Красный Луч

ID Описание атрибута Порог Значение Наихудшее Данные Статус
01 Raw Read Error Rate 6 106 99 11689774 OK: Значение нормальное
03 Spinup Time 0 100 99 0 OK: Всегда пройдено
04 Start/Stop Count 20 100 100 939 OK: Значение нормальное
05 Reallocated Sector Count 36 100 100 0 OK: Значение нормальное
07 Seek Error Rate 30 78 60 69828080 OK: Значение нормальное
09 Power-On Time Count 0 97 97 2782 OK: Всегда пройдено
0A Spinup Retry Count 97 100 100 6 OK: Значение нормальное
0C Power Cycle Count 20 100 100 918 OK: Значение нормальное
B8 End-to-End Error 99 100 100 0 OK: Значение нормальное
BB Reported Uncorrectable Errors 0 100 100 0 OK: Всегда пройдено
BC Command Timeout 0 100 99 458773 OK: Всегда пройдено
BD High Fly Writes 0 1 1 273 OK: Всегда пройдено
BE Airflow Temperature 45 66 54 605356066 OK: Значение нормальное
C2 Temperature 0 34 46 34 OK: Всегда пройдено
C3 Hardware ECC Recovered 0 58 46 11689774 OK: Всегда пройдено
C5 Current Pending Sector Count 0 100 100 0 OK: Всегда пройдено
C6 Offline Uncorrectable Sector Count 0 100 100 0 OK: Всегда пройдено
C7 Ultra ATA CRC Error Rate 0 200 200 2 OK: Всегда пройдено
F0 Head Flying Hours 0 100 253 2784 OK: Всегда пройдено

Работает гдето месяцов 8 :) Подскажите как смарт так как нешарю в этом :)


_________________
Не плачь, потому что это закончилось. Улыбнись, потому что это было.

 
Meisner

Junior

Статус: Не в сети
Регистрация: 04.02.2011

#77

такой вот работяга, трудится без выключения

 
Flash.exe

Member

Статус: Не в сети
Регистрация: 25.02.2007
Откуда: Подмосковье

Мой серверный Fireball’чик , скрин которого выкладывал ранее, оказывается перемахнул на днях 50000 часов. :beer: Вечером из дома выложу скрин.


_________________
Чтобы отправить жалобу модератору на это сообщение, нажмите Alt-F4

Кто сейчас на конференции

Сейчас этот форум просматривают: vlo и гости: 5

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Лаборатория

Новости

Время на прочтение
3 мин

Количество просмотров 59K

Прошел еще год с момента публикации статистики использования HDD, с учетом количества сбоев в отдельных моделях жестких дисков. И сейчас появилась новая статистика от Backblaze.

В первом квартале 2016 года в дата-центре компании используется 61590 HDD. Это на 9,5% больше, чем в прошлом году, когда в ДЦ компании работало 56224 дисков. Общее время работы всех HDD серверов компании, суммарно в прошлом и настоящем, составляет уже более 1 млрд часов. Это около 42 млн дней или 114155 лет.

Статистика сбоев за 1 квартал 2016 года

Несколько замечаний:

1. Общее количество HDD в таблице 61523, а не 61590. Причина — из таблицы исключены модели, если их в наличии менее 45 экземпляров.
2. У нескольких моделей ежегодный процент отказа 0,00%. У них не было сбоев в 1 квартале 2016 года.
3. Некоторые показатели выражены слишком малыми числами. Например, у HDD Toshiba объемом в 3 ТБ процент отказов всего 8,56%. Это всего один сбой, чего недостаточно для принятия решения.
4. Ежегодный процент сбоев — всего 1,84%. Это меньше, чем когда-либо раньше.

Кумулятивные показатели

Собирать статистику по HDD компания начала 10 апреля 2013 года, три года назад. В таблице ниже — общие показатели за весь этот период.

Один миллиард часов работы дисков

Как уже говорилось выше, общее время работы всех жестких дисков, использовавшихся компанией в прошлом и работающих сейчас, насчитывает миллиард часов. Вот разбивка по времени работы отдельных моделей.

Колонка «others» — это модели, которые не были отображены, их в компании меньше, чем 45 штук.

Какие HDD лучшие?

Разбивка по моделям

Диски HGST, в особенности на 2 и 3 ТБ, показали себя лучше других. Следом идут HDD компании Seagate на 4 ТБ, купленные около года назад.

А вот разбивка по объему винчестеров:

HDD на 4 ТБ наработали уже около 580 млн часов. Всего у компании 48041 дисков на 4 ТБ, что означает средний срок работы отдельного HDD около 503 операционных дней или 1,38 лет. Процент отказата по таким дискам — всего 2,12%.

Надежность HDD различных производителей

Большинство жестких дисков в компании — от HGST и Seagate. Но есть и системы других производителей. На диаграмме внизу показан процент отказов дисков различных компаний, при этом разбивка идет по годам, с 2014 по 2016.

Почему у компании есть модели в количестве, меньшем 45 штук?

Здесь несколько причин:

1. Изначально было больше 45 штук, но какие-то диски вышли из строя, а мы заменили их HDD других моделей;
2. Они попали к нам в рамках программы Drive Farming несколько лет назад, и мы получили всего несколько штук дисков одной модели. Мы любим унифицировать оборудование, и предпочитаем работать с большим количеством систем одной модели, но вообще используем все, что есть;
3. Мы построили несколько Frankenpods (сборные Storage Pod) с дисками равного объема но разных моделей и производителей.

Как бы там ни было, если таких дисков менее 45 штук, в статистику они не попадают, по ним есть только общие данные.

Почему не Toshiba и Western Digital?

Компанию часто спрашивают, почему она не покупает больше дисков указанных компаний. Короткий ответ — «мы устали». Дело в том, что сейчас компании требуются большие партии дисков, 5000-10000 экземпляров. Что касается Toshiba, то в Backblaze не считают эти диски оптимальным соотношением цена/качество.

Что касается Western Digital, то Backblaze регулярно получает интересные предложения, но каждый раз что-то идет не так и сделка срывается.

Что насчет моделей объемом в 6,8 и 10 ТБ?

Компания использует малое количество моделей дисков такого объема, поскольку вопрос цены за ТБ до сих пор актуален в отношении объемных HDD, ценовая политика пока не оптимальна. Вторая проблема — доступность крупных партий дисков такого объема. К примеру, для заполнения Backblaze Vault из 20 серверов Storage Pod 6.0 требуется 1200 HDD. В месяц компания загружает около 3 хранилищ Backblaze Vaults, и пока сложно найти большое количество экземпляров дисков большого объема. На данный момент оптимум — это 4 ТБ, здесь и соотношение цена за ТБ отличная, и моделей таких много.

Какие диски считаются сбойными?

Диск не включается или не распознаётся в ОС.
Диск не синхронизируется или не сохраняет синхронизацию в RAID-массиве.
Статистика SMART выдаёт неприемлемые значения.

Для справки: Компания Backblaze специализируется на онлайн-бэкапах. С помощью сервиса пользователи выгружают резервные копии своих данных в облако в дата-центре компании. Данные распределяются по 20 шардам. Backblaze утверждает, что хранит более 200 петабайт данных.

В прошлый раз мы рассмотрели этапы борьбы за господство в «дисковой» подсистеме твердотельных накопителей и традиционных жестких дисков. Там же мы коротко осветили нюансы ресурса твердотельных накопителей. Сегодня мы попытаемся рассмотреть вопрос практической надежности дисков жестких. Казалось бы, несколько запоздало, но не будем забывать, что ближайшие не менее чем 10–20 (а скорее всего и гораздо больше — об этом мы еще поговорим) лет этот вид продуктов будет гарантированно доступен на рынке в массовом сегменте по причине наличия немаленьких ниш, где скоростные достижения твердотельных накопителей избыточны, а хранимые данные относительно холодны. Да и перспективные объемы жестких дисков в ближайшее время твердотельным накопителям по адекватным ценам не догнать.

Теоретизировать на этот счет можно, конечно, долго. Можно вспоминать явно неудачные решения производителей, например, с чересчур частой парковкой головок или особо громкие изделия, но основной критерий в вопросе констатирования, как мне кажется, должен быть статистически-прикладным, особенно на фоне того, что в отличие от ситуации с SSD, найти утвержденные современные стандарты выносливости для классических винтов вряд ли получится.

Вопросы классификации

Напомним, что внешне и физически современные актуальные жесткие диски бывают по форм-фактору в основном 2,5″ и 3,5″. Исполнение бывает как внутренним, так и внешним.

Ресурс современных жестких дисков

Внутри мобильных внешнеподключаемых накопителей лежат обычные 2,5-дюймовые жесткие диски, которые в большинстве случаев можно достать и подключить к ноутбуку или десктопу напрямую, если те обладают нужными интерфейсами. И наоборот — можно положить в такой карман подходящие по толщине имеющиеся диски, сделав их мобильными и внешнеподключаемыми.

В случае с 2,5 дюймами встречается толщина 12,5, 9,5, 7 и даже 5 мм. Электрически они будут совместимы, но физические размеры, как понимаем, будут отличаться. Выглядит вот так:

Ресурс современных жестких дисков

Контактные группы одинаковы, но толщина разная. 2,5-дюймовые варианты жестких дисков чаще используются в портативной технике. Чем тоньше ноутбук, тем более внимательно надо смотреть, какой толщины накопитель предусмотрел туда изготовитель. Тонкие диски в места для толстых поставить не проблема — они часто продаются с утолщителями в виде пластиковой рамки, чтобы не болтались в посадочных местах для более толстых коллег. В отсутствии рамки проложить их можно чем угодно — хоть картоном по углам. А вот более толстые затолкать в места для худых не выйдет — будьте внимательны!

Были и 1,8- и 1,3- и даже 1-дюймовые Microdrive в формате Сompact flash II — вообще левшовые практически изделия. Но это уже история, т.к. в ультракомпактном сегменте всех разогнал привычный флэш.

Ресурс современных жестких дисковРесурс современных жестких дисков

Типы интерфейсов

Интерфейсы сегодня в быту бывают SATA и все еще IDE, в профессиональном использовании есть и SAS. В вопросы параллельности и последовательности, а также понятия шин в рамках этого материала погружаться не будем.

IDE, он же АТА, они же аббревиатуры от Integrated Drive Electronics и Advanced Technology Attachment, растет корнями из 90-х и уже уходит в прошлое. Новых массовых материнских плат с ним не делают уже лет 10 наверно, но в наличном парке его еще полно. Пропускает 133 мегабайт в секунду и выглядит разъемом конкретно вот так на накопителе. Крайнее слева — питание, справа — данные. И соответственно на материнской плате. Подключается плоским шлейфом обычно серого или черного цвета. Вот таким.

Ресурс современных жестких дисков

Рассмотрели мы это чисто для исторической справки.

Мейнстримом же сегодня является SATA. Типично для 2,5- и 3,5-дюймовых решений выглядит вот так:

Ресурс современных жестких дисковРесурс современных жестких дисков

Справа контактная группа питания, слева — данных. Вид: накопители вверх дном. Между собой совместимо. Подключается как на картинке.

Ревизии и пропускные способности мы рассмотрели в прошлый раз и здесь останавливаться не будем. Отметим только, что есть разновидности типа eSATA для внешних устройств и slimline SATA для компактных внутренних. И да — SATA заточен под горячую замену, т.е. на ходу без перезагрузки. Разве что в диспетчере устройств может понадобиться нажать кнопку «обновить» в случае Windows.

Существуют переходники для питания и возможностей подключить IDE в SATA и наоборот, но мы не об этом.

SAS это Serial Attached SCSI и используется в основном в профессиональной сфере, обратно совместим с SATA и имеет пропускную способность 12–24 Гбит в секунду. Выглядит похоже на SATA, но разъемом отличается. Обороты большие — до 15000, коррекция ошибок, multipath — как «в лучших домах Парижу и ЛондОну», но дорого и в быту не воткнуть. А еще греется так, что на некоторые модели радиаторы килограммовые нужны.

Ресурс современных жестких дисков

Но вернемся к вопросу.

Проблемы технологий

Сегодняшние массовые жесткие диски находятся на излете традиционных технологических возможностей. Плотность данных на одну рабочую пластину можно увеличить только принципиально новыми технологиями, а толщину самого «блина» уменьшать для дальнейшего увеличения их числа в сборке все сложнее. Кроме того, поднимать обороты шпинделя к многотысячным высотам в теории конечно можно, но за этим должны будут успеть остальные участники забега и при этом не упираться в воздух, который в ряде линеек уже меняется на гелий. Увеличивать количество блоков головок, вспоминая прошлое, тоже неслабая инженерная задача, учитывая все изложенное. Да и пост-SCSI в виде SAS в SOHO приземлять никто не спешит, правда это дорого и по факту почти устарело морально. Но не в этом направлении, похоже, пойдет индустрия.

Если коротко, то совокупность проблем развития жестких дисков изложена в тройке взаимоисключающих параграфов, которая вполне научно называется трилеммой. Суть примерно такова — для увеличения плотности записи нужно уменьшать записываемые области на носителе и соответственно размеры головок вкупе с материалами, из которых все изготавливается, но при этом ухудшаются как магнитные свойства таких миниатюрных областей, так и возможности маленькой головки, в том числе по их стабильному разборчивому чтению. Чтобы решить последнее надо увеличивать первое, а общая задача изначально требует как раз обратного. Т.е. кольцевая.

Ресурс современных жестких дисков

Но НИОКР не стояли на месте и их результаты сконцентрировались вокруг вполне конкретных и реализуемых предложений для достижения поставленной задачи увеличения объемов жестких дисков. Часть из них еще в разработке, а что уже и рынку показывали. Основной тренд — полировка магнитных технологий подходами локального нагрева в процессе записи и создание инфраструктуры для системы в целом, с учетом новых вводных. Но среди оставшихся производителей традиционных «винтов» единства в видении перспектив нет. Т.е. направление в целом одно, а вот пути достижения вроде бы похожих целей — технически отличаются.

Термомагнитная схватка трех ёкодзун

В ближайшем будущем мы, вероятнее всего, увидим для решения трилеммы магнитной записи соединения следующих подходов. Тон будут задавать, несомненно, термомагнитные концепции. Основных сегодня известно две. Это HAMR — Heat-Assisted Magnetic Recording — запись с, в прямом смысле, подогревом! А мы помним, что по чисто физическим причинам в случае наличия подогрева намагничивать для записи бита можно меньшую площадь и делать это с меньшими энергозатратами, т.е. одновременно с достижением нужной плотности и головке легче работать и ее саму проще делать в части подбора материалов и электромагнитных характеристик. Продвигается Seagate. Тематическое видео производителя не песня, но посмотреть можно.

Ресурс современных жестких дисков

Второй подход называется MAMR — Microwave Assisted Magnetic Recording — тоже про нагрев, но иным способом, спинтронным, прости Господи, осциллятором на базе ну очень маленького аналога того, что массам понятно как микроволновая печка. Поддерживается WD и Toshiba. Видео куда более информативное и его можно глянуть по ссылке.

Ресурс современных жестких дисков

Оба подхода, как видим, по сути, про нагрев, но разными способами и второй способ совместим с гелием, а первый — не очень, т.к. сильно греть гелиевую герметичную среду лазером или подобным, это как варить сгущенку в закрытой банке. Может, конечно, какие-то принципиально новые лазерные технологии подвезут в перспективе, но пока это так.

Масленица

Следующим системным элементом эволюции HDD будут «блины потоньше». Здесь, конечно, все и так предельно тонко, но уменьшая толщину отдельного блина в типичный корпус их можно поместить больше. Даже +1 блин — это существенное увеличение общей емкости, а на фоне еще и увеличения плотности — так вообще хорошо. Один из главных черенков этого рынка Showa Denko K.K. из Японии предлагает пластины, способные нести около 2 терабайт на штуку в случае 3,5-дюймового типоразмера накопителя. Восемь блинов в сборке — реальность вчерашнего дня, в лабораториях прототипы на 12! Немцы гарантируют.

Ресурс современных жестких дисков

Почему прозрачные? Так блины бывают на основе алюминия и стекла.

Ресурс современных жестких дисков

Стекло пожестче и не менее главный черенок, но уже, в том числе, медицинского рынка — Hoya из той же Японии — уже пиарит предложения стеклянных вариантов толщиной аж до 0,38 мм! Обе иллюстрации выше — их творчество. Причем тут они? Они с оптикой хорошо работают, а под жестко-стеклянные блины для винчестеров целый дополнительный завод в Лаосе к Вьетнамскому и Таиландскому построят. Гарантирует уже Xinhua. К слову — почти весь рынок «стекла» для 2,5″ жестких дисков — за Hoya.

HELIUM

Гелий (но не вакуум, хотя и такие смельчаки есть! — в паспортах на жесткие диски максимальные высоты работы указывают именно по этой причине) станет мейнстримом, хотя и существует с 2012 года. Он менее плотный, чем воздух или азот, и в его среде сборке на высоких оборотах крутиться легче. Ну и головкам проще быстрее перемещаться. О гелии и вакууме мы еще поговорим.

Горячие головы

Головки, как проистекает из вышеизложенного и будет подтверждено ниже, будут инновационнее, меньше и их, возможно, станет больше, как у Conner Peripherals «Chinook».

Ресурс современных жестких дисков

Современное видение многоголовочности от Seagate выглядит примерно так (даже анимация есть):

Ресурс современных жестких дисков

Если картинка от Seagate основана на реальных планах и прошивки таких дисков смогут распределять данные на сборки пластин, которые работают с физически независимыми блоками головок, то фактически мы получим спарку дисков в одном корпусе с RAID 0 подобной логикой работы. В итоге скорости могут возрасти пропорционально количеству блоков головок, т.е., в данном случае, вдвое: что линейные, что 4К-блоками. Правда скорости работы с 4К на уровне 1–2 мегабайт никого не спасут, зато линейные будут вполне себе ничего для технологии и достаточные для своих ниш.

Уголок футуролога

Отдельные футурологи, правда, предсказывают возможность имплементировать в жесткие диски технологии магнитного туннелирования на базе содержащих наномагнитные вкрапления углеродных нанотрубок. Почитать можно по ссылке. Выглядит как-то вот так:

Ресурс современных жестких дисковРесурс современных жестких дисков

Ничего непонятно, но очень интересно (с). Особенно непонятно как это внедрять на практике.

А кто-то пишет про накопители на голографических технологиях и даже технологиях ДНК! Но это пока все в отдаленной перспективе даже у научников, не говоря уже о реальных образцах.

RPM

С оборотами вопрос открыт т.к. эта часть механики жесткого диска обуславливает требования к остальному тандему и способностям интерфейсов. 15 000 об/мин освоены, но насколько можно взять бОльшую высоту со стабильными результатами — пока непонятно. Тут важно понимать, что малейший дисбаланс сборки на 15000+ оборотах кончит мотор очень быстро. С другой стороны, в силу физики, скорость потока данных на внутренних и внешних частях блина при одинаковых оборотах шпинделя будет хорошо так разной. Еще неплохо бы понимать — а выдержит ли тонкий стеклянный блин или сборка из восьми таких пластин на высоких оборотах вибрацию вообще без разрушения? И это мы еще не коснулись привода головок, которому тоже неплохо бы не отставать. В общем, тут комплексная задача, как сказано, для всего тандема и обороты в ней стоят на последнем месте.

Страничка изобретательства и рационализации

Тандема… хорошее слово. Об этом даже патент от 2004 года есть.  Туда бы еще диагональных блоков независимых головок, блины намазать нанотрубками, гелий, черепицу, совместимый калорифер и будет полный стимпанк. Правда с надежностью что будет — подумать страшно.

Ресурс современных жестких дисков

Черепица = SMR

Тут самое время вспомнить про черепичную запись — технология давно в тираже, но там есть нюансы, которые не позволяют внедрять это дома. В англоязычных источниках эта дискотека известна как SMR (Shingled Magnetic Recording). Суть примерно следующая — на пластину стандартного типового физического размера записать поплотнее как можно больше дорожек. Причем тут черепица? А дорожки предлагается чтобы они частично перекрывались. Естественно, чтобы писать тонкие, как sin в армейском анекдоте про комара, дорожки надо иметь соответствующую по размеру головку, а перед этим еще технологии ее таковой сделать с нужными магнитными характеристиками. Но вот совсем микроскопические головки индивидуально делать тяжело, зато записать сразу несколько дорожек — можно. Условно соотношение обычной традиционной дорожки на пластине жесткого диска и дорожки в случае технологии черепичной записи можно визуализировать так (здесь и далее используем инфографику, любезно опубликованную, Microsemi):

Ресурс современных жестких дисков

Синим — пишущая головка и традиционная дорожка, зеленым — ширина ридера инновационных дорожек. Почему нарисована одна дорожка — смотрим ниже т.к. это же одновременно и ключевой косяк затеи.

Вот так условно выглядит записанное. Именно условно, т.к. на практике там начинается почти черная магия для рядового потребителя, и мы тешимся самоуспокоением, что, типа, знаем как оно устроено. Привет вам, мистер Кларк.

Ресурс современных жестких дисков

В общем, головка вспахивает, т.е. намагничивает сразу несколько дорожек. И вроде все достаточно понятно, но все равно имеется проблема. В силу физических особенностей технологии эту прелесть удобно использовать только для последовательной записи т.к…. перезаписать дорожки выборочно и поштучно, внезапно, нельзя. Точнее можно, но для случайной записи там будет серьезное усложнение процедуры, с которым разберемся внимательней. Т.е. в принципе можно, но ходом — нельзя.

Ресурс современных жестких дисков

Итак, записанное в несколько дорожек головка SMR диска и сотрет аналогично — т.е. коллективно, т.к. записывающая головка — она же стирающая. Такой себе комбайн с широким столом.

Выглядит вот так и по версии когда-то еще Hitachi — ниже.

Ресурс современных жестких дисков

Т.е. чтобы записать оранжевый фрагмент надо физически перезаписать дорожки в ширину пишущей головки в обязательном порядке. Чтобы выполнить задачу надо считать фрагмент, где-то на уровне какого-нибудь DRAM буфера разложить его на нужное и ненужное. Присовокупить к нужному новый участок данных. Собрать до кучи и отослать через головку на место для кучной записи. Будет хорошо, если новый фрагмент в целом виде меньше стираемого. Если нет, то дописывать придется фрагментарно (что вызовет проблемы, о которых ниже) или в идеале в место после физического конца данных на таком диске. Чисто в теории контроллер может поискать, где там есть свободные места, но в реальности это вызовет системный паралич. Конечно, МСМК по комбинаторике сейчас не понимают в чем проблема. Но ее с математической точки зрения и не будет — логически это все несложно. А вот провернуть затею на конкретном электро-механическом уровне займет физическое время и расчетные ресурсы плюс возможные издержки на коррекцию ошибок. Т.е. на случайной записи «вертерство» будет еще похлеще обычного HDD. Seagate произвел тестирование накопителя Archive 8TB на SATA3 на Debian. Результат случайной записи выглядит примерно так:

Ресурс современных жестких дисков

Леденящий душу пик провала до лютых 3! (именно три, 1+1+1 шт.) IOPS мы видим после исчерпания буферов на нагрузке случайной записи с глубиной очереди 1, правда, более чем через минуту, что несколько снижает уровень драматизма, но и верхние пики объективно не фонтан.

Если же просто стирать случайные данные (считали, убрали ненужное, записали назад нужный остаток), то получаются проплешины, которые для нормальной записи в будущем надо обрабатывать и уплотнять процессом, похожим на дефрагментацию и фоново. Это очень похоже на TRIM в SSD — и там и тут надо подготовить поле для прямой записи в возможную ширину без дополнительных телодвижений в процессе, но в силу механической природы жёсткого диска быстро это сделать не получится, да и общая нагрузка сильно возрастет — такой себе аналог усиления записи. В идеале вообще все уплотнить так, чтобы писать новое в физический конец имеющегося, но это связано с физической же обработкой больших массивов данных со всеми вытекающими. Состояние диска, когда новая запись идет в чистое пространство вообще или в чистое подготовленное после уплотнения и сбора мусора пространство, иногда называют FOB — fresh out of box или новый из коробки — и это, по сути, идеальные условия для такого рода записи. Просматривается некоторая аналогия с SSD.

Картина требовала обработки напильником и именно поэтому таким дискам добавили для транзитно-буферных целей обычные области, работающие по принципу одной дорожки на всю ширину головки. Т.е. обычная технология традиционных накопителей. По логической сути это аналог SLC-кэширования в твердотельных накопителях TLC и QLC, только в нашем варианте там может храниться еще и служебная информация о том, что и где удалено и прочее. Для еще более действенного решения вопроса и DRAM-буферизацию подвезли. Добавили математики в прошивку и стало более-менее — т.е. пока буфер превышает типичное среднее задание, тормозов системой особо не ощущается, диск не «боттлнечит». Именно это и видно на иллюстрации вверху. В том случае накопитель мог иметь аж 256 мегабайт буфера, но конкретная протестированная модификация, к сожалению, указана не была. Общая характеристика «железки» по ссылке и думается, что производитель тестировал все же максимальную конфигурацию.

Естественно есть и иные ухищрения для решения описанных проблем, логический зонинг, ленточная организация и тому подобное, вплоть до модифицированных прошивок под конкретные задачи! Но в силу основной их проблемы — физической первопричины, такие подходы лишь сглаживают углы.

Все указанное недвусмысленно намекает, что, несмотря на взрослые объемы хранения SMR-накопителей, они, ввиду технологии, являются нишевыми для конкретных типов нагрузок, но в этих нишах они выступают как раз целевым образом. Например — линейная многопоточная запись-чтение без или с минимумом случайных операций. Хорошим вариантом будет дата-центр, ориентированный на чтение не сильно горячих данных. К слову, если на массиве таких дисков будет размещена база какой-нибудь социальной сети, то догадайтесь с 3 раз, будет ли кто-то реально удалять из массива случайные, скажем, фотографии, если пользователь нажмет «удалить» в профиле? Или такие фото просто перестанут отображаться пользователям, но физически останутся в массиве доступными администрации на фоне перспектив падения производительности от связанных с этим дискодвижений? Проще подвезти полуторку дополнительных дисков, чем тормозить массив случайными операциями с последующим уплотнением данных. Выражаясь более приземленно — такой дата-центр будет почти что центром однократной записи. Отчасти именно поэтому из интернета ничего нельзя удалить полностью — в ряде случаев это фактически неудобно делать, а с учетом текущих цен на растущие в объемах накопители и отсутствие наводнений с пожарами на заводах по производству HDD — вообще экономически нецелесообразно. Другим хорошим нишевым сегментом будет потоковое архивирование, например, камер наблюдения, аудиовизуальных эфиров, архивирование критических данных, которые не надо перезаписывать часто и случайно.

Минутка конспирологии

Если пофантазировать, то удобно на такой массив записать месячишко разговоров всех пользователей условного оператора мобильной связи, далее в транзитной области с помощью технологий, которые уже давно не только не секретны, а еще и обкатаны by google on youtube, например, перевести это все в txt для удобного поиска или анализа по ключевым словам и аккуратненько сложить в свободную часть массива. Исходники можно смело тереть целиком, обеспечивая FOB-запись следующего месяца. А можно и не тереть! Тогда родина будет не только слышать, знать, но и очень хорошо помнить! Доклад окончен, тов. полковник, т.е. это все, конечно же, художественный вымысел и любые совпадения с реально существующими технологиями случайны.

И зачем парнокопытным меховые музыкальные инструменты?

В итоге накопители с черепичной записью надо использовать «с поправкой на силу ветра и температуру ствола». Этим занимаются по ситуации вполне железные костыли типа HBA, которые отвечают за конкретную I/O-логику работы с таким накопителями, исполняя спецнаборы команд. В RAID такие накопители тоже можно и нужно собирать, правда, понимая специфику, но это не тема настоящего материала — главное, что вы теперь знаете немного больше вообще. Желающие могут копнуть глубже по запросу DM (самостоятельные по логике работы накопители), HA (поддержка хостом) и НМ (управляемые хостом) SMR, но столкнуться с этим SOHO-пользователю придется сильно вряд ли.

TDMR как предтеча термомагнитного будущего

Отдельно надо упомянуть, что существует и даже начала продаваться технология TDMR — Two Dimensional Magnetic Recording в форме 14 ТБ изделий от Seagate. Здесь пытаются решать трилемму в лоб — уменьшая ширину дорожек и размеры записывающей головки. Недостижимый идеал — 1 бит на магнитное зерно. Выглядит как-то так и пояснений в Cети, что удивительно, не так уж и много.

Ресурс современных жестких дисков

Правда с чтением выходит фигня, которую, в свою очередь, решают головкой с несколькими читающими элементами — улучшается надежность чтения с соседних дорожек и в целом сигнал получается разборчивее. Пишущая головка продолжает быть одна. В общем итоге внедрения технологии немного растет плотность записи — процентов на 10. Но важно не это. Многоголовочное чтение пластины за проход несколькими ридерами очевидно станет мейнстримом по причине необходимости для нормального извлечения плотно записанных данных. Хороший задел, но растет сложность взаимного расположения элементов, точность их исполнения и позиционирования в работе, требуется стабильность показателей во времени.

В любом случае, именно этот этап был критически нужен перед внедрением вышеописанных тепловых инноваций, т.к. своим следствием последние будут иметь именно проблемы мелкого чтения, которые и решены превентивно в TDMR. По крайней мере, начали решаться на практике.

Ресурс современных жестких дисков

Очень интересно о TDMR по достаточно старой, но одной из наиболее полных по теории вопроса ссылке.

Но, возможно, скорости перспективных жестких дисков будут вопросом вторичным — об этом мы еще поговорим. Первичным будет объем и… сохранение надежности.

Моторесурс HDD и пласты залегания информации о нем

Пределы механической надежности жестких дисков можно попытаться практически изучить уже сегодня, предположив, что качество изготовления компонентов как минимум в перспективе не снизится, а новые технологии не повторят судьбу 3D и прочих рыночных фейлов. Однако спрашивать об этом производителей это как выяснять вкус меда у пчел и тонкости борьбы с коррупцией у госслужащих. Поэтому мы пойдем другой дорогой и попробуем провести что-то вроде OSINT — Open Source Intelligence, т.е. разведку проблемы по открытым источникам.

Из более-менее солидных внешне публикаций по данному вопросу можно выделить три с кусочком. Это обобщённые отчеты из Carnegie Mellon University и Google. Также навстречу нашей идее, по удачному стечению обстоятельств, движется политика публичности сетевого оператора хранения данных Backblaze.com. Компания по состоянию на 2019 год располагает почти 125 тысячами жестких дисков с пробегом почти 105 млн. диско-часов и любезно публикует статистику по надежности. Важно и то, что Backblaze.com использует в своих системах, по сути, потребительские накопители (они ощутимо дешевле), которым не положено работать круглосуточно и круглонедельно — тем интереснее статистика для изучения.

Некогда компания задалась вопросом о том, а как вообще подходить к вопросу понятия надежности жестких дисков. К 2013 году была опубликована более-менее предметная статистика по этому поводу. Если коротко, то компания отчиталась, что за 4-летний пробег основного парка из тогда еще 25 000 накопителей из строя вышло 22% дисков. 78% при этом успешно продолжали крутиться. Хорошо это или плохо? Ответ на этот вопрос займет некоторое время.

146%?

Начнем с того, что по мнению Backblaze.com 100% показатель отказов это далеко не самый плохой из возможных показателей. Считают они вот как: если сферический поставщик жестких дисков в вакууме поставит вам сотню абсолютно надежных в течение полугода накопителей, а затем они хором разово и одновременно крякнут, а вам надо чтобы они работали, то придется в течение года заменить каждый дважды. Т.е. заменить надо будет 200 дисков в год и тогда ежегодный показатель отказов составит 200%. А если каждый такой условный диск проработает всего час, то по году показатель отказов составит 876000%. «Однако!» — как говаривал К. Воробьянинов, помахав рукой преподавателям статистики.

Шторм и штиль в ванне

Инженеры по надежности в своей работе используют ванноподобную кривую для иллюстрации ожидаемых уровней отказов. Считается, что отказы проистекают из трех основных факторов:

  • производственных дефектов, в результате которых имеет место явление, которое известно как «детские болезни» — в этом случае количество дефектов снижается;
  • случайных неисправностей — величина более-менее постоянная;
  • износа — количество отказов растет по понятным (кому?) причинам.

Собранные на графике «уровень отказов/время» эти факторы образуют три участка, формирующие нечто, напоминающее ванну. Отсюда и название.

Ресурс современных жестких дисков

В свою очередь Backblaze.com подтверждает эту теорию цифрами, сообщая, что на 4-х летнем отрезке времени первые полтора года годовой показатель отказов колеблется в районе 5%, потом снижается на некоторое время и потом, в районе 3-летней отметки, достаточно серьезно начинает расти. Вывод — 3 года является некоей условной точкой, когда начинает сказываться износ. С износом не все однозначно, но пока мы этого не касаемся.

Рассмотрим график от Backblaze.com.

Ресурс современных жестких дисков

Бытовуха

Мы помним, что хлопцы крутят бытовые диски круглосуточно и попытаемся перевести все это в более понятные временные отрезки. Учитывая, что большинство офисно-домашних ПК работают в среднем часов по 8 в сутки, то практический срок начала существенного влияния износа на надежность для них можно условно отодвинуть к 9 годам. Почему условно? Потому как при домашне-офисной работе диски включаются-выключаются, имеют внешние воздействия в виде непостоянной температуры и т.п. Но показатель в 26000 часов работы, как некоего порога условной надежности — вполне статистически достоверный ориентир. Важно так же понять, что в данном случае к 4-му году рабочими в режиме 24/7 подошли почти 80% потребительских дисков, которые изначально в таком режиме производителем использовать и не предполагалось — для дата-центров предлагаются несколько иные решения по несколько иным же ценам. Именно поэтому мы и имеем возможность изучить статистику смелых, взявших на себя риски вложиться в бизнес на непредназначенных для этого изначально «железках».

Ресурс современных жестких дисков

Крякнут все?

В какой-то момент времени ожидаемо откажут все 100% накопителей, но когда это произойдет — ответить сложно и прямой статистики найти не получится, т.к. никто в сфере хранения данных в здравом уме и трезвой памяти не будет рисковать клиентскими данными ради ачивок, хотя там все и избыточно, и даже «тихим ошибкам» проскочить не суждено (Тихие — в смысле, что данные в теории могут быть записаны с ошибкой, но вскроется это только со временем. В дата-центрах это почти нереально по причине постоянных сверок контрольных сумм и коррекции ошибок, а вот в SOHO полно накопителей, которые числятся нормальными, а по факту могут быть очень не очень. Самый смак, когда на такие пишут бэкапы, которые заведомо не поднимутся, но вылезет боком это только в самый важный момент, что только добавит угара факту обнаружения).

Интересно также, что показать статистику по полным ресурсным испытаниям вплоть до полного выхода серии накопителей из строя компания не может и по объективным причинам — накопители устаревают морально быстрее. Так уже в 2015 году однотерабайтных жестких дисков в основном парке Backblaze.com не осталось, начался отказ и от 2-терабйтников. При этом для последних от тогда еще HGST оглашен кумулятивный показатель отказов в 1,55% в среднем на пятилетнем пробеге!

С 3-терабайтниками картина похожая, но к концу 2015-го из эксплуатации были выведены диски Seagate и приведенная статистика сильно намекает, что в модели ST3000DM001 были некоторые нюансы дизайна, материалов или сборки, т.к. кумулятивный показатель отказа по модели составил 28,3% за 2 года при максимальном количестве в парке в 4074 единицы. Увидеть бы разбор ситуации производителем. При этом HGST на большем количестве имел показатель отказов в 0,8%.

Ресурс современных жестких дисков

К концу 2015 года три четверти парка компании составили уже накопители на 4 TБ. Т.е. обновление парка шло достаточно быстро, пока предлагаемые рынку объемы накопителей росли.

В мире животных

Отвлекаясь немного в сторону, чтобы проиллюстрировать незримую связь бездушной техники с живой природой, отметим, что после аварии на ЧАЭС, которую героически ликвидировало население той страны под локальным руководством УС-605, где за отдельные оперативно-инженерные решения отмечены почти невиданные ранее случаи награждения одновременно внеочередными званиями и орденами (военные оценят значимость такого факта: чтобы одновременно и орден и звание) в Чернобыльской зоне де-факто сформировался природный заповедник. Изначально считалось, что живая природа, в частности фауна, на территории зоны отчуждения понесла невосполнимые утраты, но по наблюдениям через 10–15 лет оказалось, что в зоне, ввиду ее обособленности, фауна как раз наоборот — разрослась вплоть до наличия краснокнижных животных. В дальнейшем исследования показали, что хоть животные и живут в радиационно загрязнённой среде, тем не менее чувствуют себя вполне неплохо — размножаются и расширяют ареалы. Внешне складывалось впечатление, что радиация никак на них не влияет, но анализы показывали обратное. В то же время растиражированные образы ужасных чудовищ по лесам не бегали и сталкеров не кусали. Разгадка оказалась достаточно Дарвиновской — за свой естественный жизненный цикл дикие животные не успевали столкнуться с отдаленными последствиями воздействия радиации (хищная правда в том, что редкое животное в дикой природе доживает до старости и умирает по естественным причинам ввиду влияния фактора пищевых цепочек), а физически неполноценные не проходят естественный отбор в детстве. Поэтому стороннему наблюдателю кажется, что все хорошо, но на самом деле это не совсем так. Та же картина в нашем дата-центре – ввиду роста предлагаемых объемов накопителей поколения достаточно интенсивно меняются даже до наступления факторов заключительного сегмента ванноподобной кривой. Кстати, сама ванноподобная кривая, как видно из нашего отвлечения, неплохо ложится и на дикую природу с некоторым оговорками. Но вернемся к проблеме.

Мыши плакали, кололись, но продолжали есть кактус?

Поломки тоже были вполне реальной причиной вывода накопителей из эксплуатации. Антилидером рейтинга поломок оказалась опять же Seagate, но и самих дисков от них в абсолютных цифрах больше.

Ресурс современных жестких дисков

Мыши плакали, кололись, но продолжали есть кактус? Взаимоисключающие параграфы детектед? И да и нет. В Backblaze.com сообщают, что, несмотря на указанную статистику, уже в сегменте 4 ТБ накопителей уровень отказов оказался очень неплохим в среднем по больнице и выглядел так:

Ресурс современных жестких дисков

Продукты Seagate оказались предпочтительней по двум причинам:

  • Они были дешевле. И на этом, в общем-то, можно ставить точку. Цена — главный критерий рынка. Но мы продолжим.
  • Статистически достоверно было установлено, что SMART-показатели хорошо предсказывали выход устройств Seagate из строя. В общем-то, второе, возможно, даже важнее первого, т.к. предсказуемость поломок является большим плюсом в вопросе надежности в целом.

Напомним, что S.M.A.R.T. это относительно стандартизированная внутренняя система самодиагностики накопителей. Относительно, т.к. разные диски фиксируют неодинаковый набор типовых показателей в рамках этой самодиагностики, а отдельные пункты так вообще являются ноу-хау производителя, но основной их перечень более-менее стабилен и понятен. Читается разным ПО, например CrystalDiskInfo. Понимая суть этих показателей можно примерно оценить состояние накопителя. Это касается как HDD, так и SDD с учетом специфики устройства обоих.

Типичный возврат показателей S.M.A.R.T. самодиагностики программой по ссылке выглядит так, для тех, кто не в курсе.

Ресурс современных жестких дисков

Тут стоит заметить, что именно подразумевается под поломкой жесткого диска. Backblaze.com классифицирует эти события так:

  • Накопитель не раскручивается либо не подключается к ОС.
  • Накопитель не синхронизируется с RAID или отваливается от него.
  • SMART намекает на проблемы.

О последнем детальнее. Показателей много, но важными назначили пять:

  • SMART 5 — Reallocated_Sector_Count.
  • SMART 187 — Reported_Uncorrectable_Errors.
  • SMART 188 — Command_Timeout.
  • SMART 197 — Current_Pending_Sector_Count.
  • SMART 198 — Offline_Uncorrectable.

Например, как только 187 показатель — неисправимые ошибки — сдвигается с 0, компания планирует накопитель к замене. Так же сообщается, что пока данный показатель равен 0 накопители выходят из строя крайне редко. Статистика на иллюстрации, про 280% отказов описано выше.

Ресурс современных жестких дисков

Т.е. прогнозируемость отказа — чуть ли не ключевое преимущество в сфере работы с данными, что, в общем-то и понятно. Мы же с вами помним, что нечто аналогичное можно проследить и в среде твердотельных накопителей, правда там отказы происходят немного внезапнее и безвозвратнее. Ну и пока дороже в финансовом плане, чем в случае жестких дисков.

Небольшое отступление для внимательных

В вышеприведенном типичном SMART-отчете вроде не видно никаких указанных мною 187,188,197,198. На самом деле видно, но в графе ID эти идентификаторы представлены в hex т.е. шестнадцатеричной системе исчисления, где помимо цифр 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 используются еще и латинские буквы A, B, C, D, E, F. Т.е. для перевода цифр надо помнить, что в hex  A это 10, B это 11; C это 12; D это 13; E это 14 и F это 15 в десятичном понимании, именуемом dec. Можно не париться, а поискать hex2dec конвертер или наоборот и из горы онлайн-ссылок выбрать любую. Так мы узнаем, что наш 187 показатель это шестнадцатеричное BB.

В моем типичном примере этот показатель уже отличен от 0 и равен 1, что говорит о том, что диск, в общем-то, уже не колокольчик и надо подумывать о замене всего-то на 9000 часах. Но это ноутбук и соответствующая эксплуатация — так что такое можно увидеть и на 1 часе после падения со стола. С другой стороны, в таком виде он открутит еще тысяч 20 часов и не закашляет. Не увидь я эти данные, а многие могут их не увидеть вообще никогда, то и не забивал бы себе голову. Это и есть одна из форм той самой тихой ошибки, о которой выше. Их может быть много, но с ними можно и не столкнуться. Доверять критические данные без резервного хранения таким дискам, конечно, не стоит, но по факту это делают миллионы людей ежедневно, так что иногда мониторить SMART все же имеет смысл.

He2 (т.к. просто Неlium был выше)

Но двинемся по статистике дальше. 4 ТБ накопители в целом оказались существенно надежнее 3 ТБ предшественников даже в рамках одного производителя. Так «трешки» от Seagate в первый год показывали 9,3% годовых отказов, а четверки — всего 2,6%.

Однако объемы растут и скоро и этот парк уйдет в прошлое целиком, т.к. на марше у нас 8-ки, 10-ки и даже 12-ки! Однако здесь не все так однозначно. Дело в том, что в этом сегменте уже идет внедрение новых технологий в массовое производство. Мы помним, что воздух, состоящий в основном из азота и в потоке которого парят головки над блинами жестких дисков, сильно плотный для современных решений и физически является препятствием росту объемов и скоростей. Поэтому в новых моделях используют менее плотных гелий, т.к. газовая среда в гермоблоке необходима — в вакууме механика жесткого диска по традиционной модели работать не будет, головки в прямом смысле слова нуждаются в газовой среде. Такие себе экранопланы.

Вокруг гелия идут дискуссии. Некоторые считают, что обеспечить абсолютную герметичность внутри и исключить утечку гелия в массовых изделиях не удастся, что неминуемо приведет к отказам т.к. внутренняя механика таких накопителей заточена под менее плотную, чем воздух, среду. Теоретически это заявление, в общем-то, обосновано, но все будет зависеть от конкретных производственных возможностей по реальной герметизации массовых товарных накопителей, т.е. заявку эту можно подтвердить или опровергнуть только временем, а пока у нас есть статистика для изучения.

Ресурс современных жестких дисков

И эта статистика говорит, что текущие 8-терабайтники на воздухе не особо и отличаются показателем отказов от вариантов на гелии. Более того 8/10/12-терабайтники на гелии в целом показывают неплохую массовую статистику. Серия из 16800 штук на 12 ТБ от Seagate на более чем полутора миллионах диско-часов имеет годовой  показатель отказа чуть более 1%. Да и вообще большие диски получились пока статистически очень неплохими.

Средняя температура по больнице

Самое время посмотреть общую статистику от Backblaze.com. Это конечно не рынок в целом, но почти 107 000 накопителей, круглосуточно работающих под нагрузкой, дают основания делать хотя бы приблизительные и статистически вроде бы относительно натягиваемые на бытового или SOHO-пользователя выводы.

По актуальным моделям картина выглядит так:

Ресурс современных жестких дисков

Как видим для 45 млн. диско-дней годовой показатель отказов для 4-терабайтного Seagate составил менее 3%, т.е. при выборке из почти 35000 накопителей, которые постоянно нагружены работой, в год из строя выйдет менее 3 единиц. Примечательно, что средний пробег по этим цифрам составил примерно 3,5 года.

Промежуточные итоги

Важными выводами, которые делают из своей статистики Backblaze.com являются следующие:

  • Для современных жестких дисков потребительского класса, нагруженных круглосуточно, порог роста числа отказов по износу приходится на 4 года.
  • Выход из строя таких дисков — явление неплохо прогнозируемое по SMART.
  • 1+2 для случая массива RAID дают хорошие гарантии того, что данные, хранящиеся таким образом на потребительских накопителях, делают это вполне надёжно при адекватном мониторинге ситуации.

Главным следствием из изложенного, вероятно, является тот факт, что в реальном SOHO с похожими нагрузками накопители встретятся нечасто, но там будут иные нюансы. Конечно, кто-то может сделать аналог домашнего дата-центра из старого сервера HP и подкинуть туда архив p2p-файлообмена, но даже в таком случае достичь нагрузок, аналогичных тем, что испытывают носители в Backblaze.com, можно будет далеко не всегда и уж точно не постоянно. В связи с этим срок полезной работы жесткого диска в домашне-офисных условиях вероятнее всего окажется больше, нежели описанные 4 года, особенно учитывая, что это только порог увеличения отказов по износу, а не момент, когда все диски выйдут из строя. Т.е. в реальности году к 5–6, если экстраполировать, где-то половина стартовавших одновременно накопителей будет жива. Но проводить эксперимент по долголетию с клиентскими данными на борту, как мы помним, никто не будет, и по показаниям SMART отклонившиеся от генеральной линии партии накопители будут заменены новыми, но к тому времени уже аппаратно иными участниками соревнований.

Ресурс современных жестких дисков

Some Like It Hot

К аналогичным выводам пришли ученые из Carnegie Mellon University. В частности, они отмечают, что в периоде после 5 лет эксплуатации необходимость замены носителей в крупных инсталляциях возрастает.

А вот ребята из Google установили, что влияние факторов температуры и нагрузки на выход дисков из строя несколько преувеличены и статистически заметны только для возрастных накопителей — т.е. после 5 лет, что несколько неожиданно и для них самих, т.к. ожидалось обратное.

Данные в части температурного режима выглядят так — максимальные проблемы у горячих дисков на 3 году работы. А мы пока заметим, что пик пришелся на более, чем 45 градусов.

Ресурс современных жестких дисков

Они же сообщают, что особой разницы в случае анализа потребительских и корпоративно-профессиональных накопителей не наблюдают. Последнее, в общем-то, ожидаемо на фоне вышеизложенного. Тем не менее, для 5-летних дисков показатель выхода из строя для выборки с большой нагрузкой и маленькой отличается вдвое — около 4 и 2 %, что в абсолютном выражении не катастрофично. Для новых дисков эти показатели соответственно находятся на уровнях 10 и 4 % с некоторым разбросом, т.е. можно предположить, что под нагрузкой лучше и раньше проявляются производственно-инженерные дефекты и проблемы комплектующих.

Ресурс современных жестких дисков

По вопросам отсутствия корреляции показателей температуры и отказов Backblaze.com в целом солидарны с предыдущим докладчиком, опираясь на статистику по 34 000 накопителям. Наличие такой связи проявляется лишь на отдельных конкретных моделях, например, Seagate ST31500541AS. Для него диаграмма выглядит так:

Ресурс современных жестких дисков

Для большинства же моделей жестких дисков такой связи не прослеживается. Детальнее цифры можно посмотреть по ссылке.

Например, по выборке Hitachi HDS722020ALA330 картина следующая и она, вероятно, обусловлена даже не столько конструктивными моментам, а конкретными условиями производства самой модели. Правда стоит отметить, что в случае с дата-центром особо нагреваться дискам никто не дает. Температурный режим и вентиляция там несравнимо получше, чем в типовом напольном мидлтауере с горой пыли внутри. Запомним этот момент, он нам еще пригодится.

Ресурс современных жестких дисков

И чё, и чё?

В целом три исследования практически промышленной эксплуатации жестких дисков показывают, что при постоянной нагрузке срок полезного их использования составляет примерно до 5 лет или 43800 часов. Не каждый диск в SOHO доживет до столь почтенного пробега. С другой стороны, эта статистика совершенно не значит, что не будет экземпляров, которые бы не прожили значительно дольше, например, тысяч 100. Но таковыми будут явно не все и в домашних условиях по первому чиху накопитель мало кто, в отличие от дата-центра, меняет. Поэтому отдельные «винты» даже с бэдами будут уверенно крутиться до победного, т.е. полного конца. В ряде случаев пользователи даже не будут подозревать о фактическом состоянии накопителя. Про «тихие ошибки» написано выше.

При этом важно, что производственные дефекты проявятся, скорее всего, на ранних сроках, покрываемых гарантией, после чего кондиционный диск открутит положенное.

Занимательно, но гарантия на некоторые твердотельные накопители, например, от Intel, тоже составляет 5 лет, Crucial также предлагает 5 летнюю гарантию и WD тоже. В случае с твердотельными накопителями понятие гарантии еще оперирует циклами перезаписи, но в общем случае условный пользователь имеет все шансы за 5 лет их не выработать.

В случае же обычных жестких дисков количество циклов записи-стирания условно считается неограниченным и механика деградирует заведомо раньше магнетизма (правда детально причины почему-то никто не поясняет, но пользователем достаточно этой расплывчатой формулировки — они, типа, поняли), т.е. внимание на это обращать смысла никакого нет, а вот на SMART — есть.

Что касается жестких дисков, то ожидать увеличения срока их полезного использования можно было бы, но не стоит.

Можно было бы потому, что совершенствуются технологии изготовления компонентов, разрабатываются новые материалы и технологические процессы их обработки, сборки изделий. Задавшись целью произвести надежный во времени жесткий диск реализовать такую цель технической проблемы сегодня не составляет, особенно если не гнаться за скоростями.

А не стоит, поскольку это никому среди производителей особо-то и не нужно. Ввиду взрывного роста генерации объемов данных человечеством (причем в основном бизнесом в части big data) актуальным выглядит вопрос скорее расширения объемов хранения, в т.ч. на единицу площади, а надежность можно перекрыть избыточностью и заменой накопителей в массивах — это быстрее, дешевле и проще, нежели создавать абсолютно надежный накопитель, который устареет морально быстрее, чем физически. Действительно, какой практический и массовый толк от работающего древнего накопителя на 2 ГБ сегодня? Еще и производители главного «железа» задают SOHO тон ежегодными сменами платформ, где новыми системными накопителями будут твердотельные, а бэкапы сольются в корпоративные облака, где проблемы технологий хранения клиентов на местах вообще не интересуют (по крайней мере, пока не прилетят черные лебеди в виде пары падений крупных облачных операторов)? Привет сюжету именно фильма, а не книги «Бойцовский клуб» — там есть релевантное.

Локальные же холодные данные можно хранить и на собственном жестком диске(ах) — они стоят сегодня беспрецедентно недорого и в случае RAID все вполне надежно, да и устареет по объему все скорее всего быстрее, чем износится, особенно в случае креативно-архивного использования.

В общем, производители 3–5 летнюю (WD Black для НЖМД) гарантию берут не с потолка и танцуют вокруг именно этой цифры, хотя на практике большинство накопителей в домашних и околопрофессиональных условиях ее перешагнет. Почему положение дел именно такое — пояснено выше: на подходе новые технологии и повышать выносливость старых никто не будет, а вот что покажут инновации — увидим уже совсем скоро.

В любом случае списывать со счетов даже текущие технологически диски еще рано и об этом наш следующий материал.

Но, one more thing, как говорят любители фруктов

Внимательный читатель уже задается вопросом — где же технические первопричины описанного, Билли? Не втирают ли нам какую-то дичь? Так много слов о ресурсе, износе и прочем, а по факту никакого технического матана! Что же изнашивается? Как это происходит?

Ресурс современных жестких дисков

Их есть (с), но придется несколько расширить рамки публикации. Данные опять же из открытых источников — у нас же OSINT! И в этот раз мы смотрим на точку зрения одного из трех оставшихся китов, на которых стоит рынок HDD — WD.

Коротко вспомним, что такое жесткий диск — это устройство хранения данных, основанное на магнетизме. В литой и фрезерованный корпус (шасси) помещается сборка рабочих твердых магнитных дисков, которые крутит электромотор. Над и между пластинами бегают пишущие и читающие головки на длинных коромыслах, чтобы охватить весь радиус блина. Рабочее пространство закрывается крышкой — там «чистое» в плане пыли пространство. Есть еще плата управления, шлейфы и разъем интерфейса снаружи. На плате будет электроника в виде контроллера, DRAM-буфера и т.п.

Ресурс современных жестких дисков

На картинке негерметичный пример. Для герметичного в случае, например, гелия принципиальнее отличия конструкции только в газообмене ну и тонкости элементов.

Итак — самый жир

WD нам сообщает, что около 70% всех проблем жестких дисков — это проблемы зазора головок и блинов. При его нарушении происходит контакт с неблагоприятными последствиями.

Ресурс современных жестких дисков

Сегодняшние зазоры — менее 2 нанометров! И секретный инсайд из WD постулирует, что, экстраполируя это на реальным мир, мы получим полет на самолете через все США на высоте 1 м с неравномерностью территории +/– 4 см. Не впилиться бы в секвойю, но их в нашем макроаналоге не предусмотрено. Именно поэтому жесткие диски боятся ударов.

Ботающие на английском увидели слово lubricant. Оказывается (и я гарантирую, что многие не знали), на блине жесткого диска есть монослой смазки для снижения адгезии и трения между головками и диском. Поднятие лубриканта слайдером — явление целиком нормальное в своих масштабах, но «глубоко» копать категорически нельзя, ибо будут в прямом смысле запилы рабочей поверхности.

Ресурс современных жестких дисков

Дело в том, что физические характеристики мономолекулярных пленок зависят от фактического количества материала и последствия копки могут быть отложенными.

Ресурс современных жестких дисков

Помните про магию и самоуспокоение — теперь по ходу материала вы начинаете знать еще немного больше.

Ресурс современных жестких дисков

Но мы продолжим. На головках и блинах используется покрытие из алмазоподобного углерода (химики намекают, что алмаз и есть углерод, но алмаз — форма, обуславливающая эксплуатационные характеристики). Сегодняшние толщины покрытий — чуть ли не менее нанометров. В случае утончения начинается рост рисков запилов, износа и даже миграции (!) магнитного материала. Если копать дальше, то мы уйдем в трибологию, что, в общем-то, очевидно. О трибологических аспектах в контексте головок и блинов жестких дисков почитать можно по ссылке.

В общем, тема поддержания достаточного просвета пары пластина-головки является чуть ли не главной в вопросах надежности современных жестких дисков. Множество факторов, на нее влияющих приведено на иллюстрации ниже:

Ресурс современных жестких дисков

HDI расшифровывается как HEAD-DISK INTERACTION.

Правда красиво? Все это иллюстрирует тезис о том, что новые поколения жестких дисков, ввиду усложнения, будут подвержены новым, возможно неизвестным сегодня, рискам. Инженерам действительно непросто — рынок требует бОльших объемов дата-центров. И объемы по вменяемым ценам сегодня могут дать только старые (старые ли уже?) добрые (точно не злые) жесткие (об этом в первой части) диски (внешне, правда, прямоугольные). Важно понимать, что вопросы надежности являются объектом процесса моделирования на стадии разработки и модели эти эволюционируют вместе с индустрией — иного выхода нет, иначе рынок покажет производителю филейную часть. Поэтому же в ванноподобной кривой из начала материала всегда будет первый сегмент, ответственный за т.н. «детские болезни».

Ресурс современных жестких дисков

О ванной за пределами IT

Первый сегмент формируется косяками в вопросах качества, материалов, ошибками инжиниринга (привет некоторым моторам группы VAG и BMW, например), а также проблемами самого производства как процесса.

Немного окинем взором мировые мемы по теме. Вначале 2000-х потребители продукции АвтоВАЗа столкнулись с проблемой вибрации руля на скорости 110 км/ч. Проблема не решалась — лучшие балансировочные станки выводили колеса в идеальный баланс, но в руль все равно било. В итоге население экспериментально установило, что если, внимание, отбалансировать колесо прямо на ступице, то проблема исчезала. Называлось это финишной балансировокой и стоило дорого, при смене колеса делать приходилось заново. Письма производителю ожидаемо не дали никакого результата, и народ вошел в исследовательскую фазу. А ларчик открывался просто — на конвейер закупили колесные диски, где диаметр центрального отверстия на 1,5 мм был больше посадочного места на ступице. На шиномонтажах колесо прикручивали со смещением, что и вызывало биение в руль идеально отбалансированного колеса. По этой же причине балансировка на ступице проблему решала, но прошли месяцы и чуть ли не годы, пока производитель прокрастинировал, а народ ломал головы. Проблему, кстати, решили сами пользователи, а не завод. Мучения c ранним двухдисковым сцеплением от VAG и радости владельцев 5-литровых V8 от BMW, употребляющих масло ведрами, вначале 2000-х — тема отдельная. Так что не только Аpple умеет накосячить с антенной, кнопками, экранами и держать покерфейс, а тут — какие-то копеечные диски.

По этим же причинам у кривой есть замыкающая часть (хотел написать — последняя, но вдруг нас читают парашютисты, КВСы, штурманы дальнего хождения и иже с ними) и, как мы слегка подсмотрели, там есть чему изнашиваться кроме мотора. Поэтому наступление периода критического роста вероятностей выхода носителя из строя называется так не случайно — в этом периоде важные накопители лучше таки менять на исправные.

Матан производителей, в отличие от приведенных выше данных, говорит о том, что время — самый плохой доктор для жестких дисков. Картинка чуть ли не из второго закона термодинамики — энтропия, т.е. процент отказов возрастает.

Ресурс современных жестких дисков

А вот следующим фактором вылета «винтов» производители считают… температуру.

BSOD WTFаками и его разрешение

Самое время читателям предъявить мне:

Ресурс современных жестких дисков

Да как так-то ? (с) Вверху же совсем обратное!

Амбивалентность ситуации разрешить было непросто, но я смог.

Ресурс современных жестких дисков

Графики надо читать и анализировать!

Смотрим внимательно слайды. Раз.

Ресурс современных жестких дисков

И два.

Ресурс современных жестких дисков

Если коротко, то вышеподписавшиеся охватывали вниманием иные температурные диапазоны, где влияние температуры особо-то и не проявляется. Дата-центры — не сауны с блекджеком и там с кондиционированием все в порядке.

Зато вывод WD сотоварищи постулирует о том, что вероятность отказов возрастает вдове на каждые 15 градусов Цельсия роста температуры. Заметим — это не исключает мнение предыдущих ораторов. Градусов с 50-ти начинается серьезный рост перспективы вылета накопителя. Именно перспективы, а не самих вылетов. Но почему?

В соединении с изложенным возникает и требует изучения уже вопрос влияния рабочих нагрузок на ресурс жестких дисков и это привело производителей к пониманию того, что количество переданных терабайт является параметром, напрямую связанным с надежностью. Сюрприз! Жесткие диски уже тоже имеют по этой части рамки — почти как твердотельные, почти. Пока почти.

Ресурс современных жестких дисков

Удивленная публика видит новый показатель живучести НЖМД — Mean Petabytes to Failure (MPbF) и производные.

Mean Petabytes to Failure (MPbF) и производные

WD предлагает график, который получился в результате тестового забега 1200 накопителей в течении 1000 часов при сильной рабочей нагрузке с коррекцией по температуре. В итоге статистически значимые данные подтверждают, что с ростом нагрузки процент отказов растет при прочих равных. И наоборот. Причем растет кратно. Из рисунка явно видно, что в абсолютном выражении эти показатели не пугают, но, тем не менее, они существуют в реальности и ее определяют для владельцев этих накопителей.

Ресурс современных жестких дисков

Возвращаясь к головкам, пластинам, смазке и трибологии производители осознали, что надо дорабатывать напильником и срочно. Нанометры уменьшаются и вот уже нагрев реально вызывает расширения, способные привести к нехорошим физическим последствиям. Родились идеи типа динамической высоты головок. Много матана по ссылке, а мы посмотрим наглядную агитацию про Dynamic Fly Height (DFH).

Ресурс современных жестких дисков

Показатели перспектив отказов изображены на иллюстрации: тут и миграция, и износ, и рост вероятности отказов в разы.

Ресурс современных жестких дисков

Критичным считается время близкого нахождения головок к блинам (дальше — копка и запилы!), что находится в прямейшей связи с переданными объемами информации, т.е. суммой запись+чтение.

И это только «дорожный» просвет, а еще мы помним про температуру, как причину, и переданные терабайты, как ориентир. В общем, парадигма надежности жестких дисков в последнее время меняется, и НТП этому прямо способствует. Соответственно разрабатываются новые модели определения надежности, измеряемые точки опоры этих моделей и инструментальные возможности это квантифицировать. WD, в частности, обращает внимание на деградацию головок по магнитным и электрическим измерениям, расстояния между рабочими (в т.ч. магнитными) элементами и уровень ошибок. Без нагрузки головки могут быть «поднятыми» над пластинами или запаркованными в специальном месте за пределами магнитной поверхности блинов.

Да, жестким дискам тоже отведут срок эксплуатации

Выливается все это в один важный момент — некоторое время назад (почти 10 лет, но мало кто заметил) производители жестких дисков как минимум начали оценивать теоретические рамки нагрузки для своих продуктов и сегодня имеют вполне сформированное видение по этому вопросу.

Так Seagate, например, ведет в своих дисках статистику показателя Workload Rate Limit (WRL). Это что-то вроде расчета годового пробега в терабайтах. Seagate условно отводит механическому диску некорпоративного класса 180 терабайт в год или примерно 340 мегабайт на минуту работы шпинделя в режиме чтения или записи (нагрузка в этих режимах суммируется для расчета). Компания при этом замечает, что на гарантийные обязательства этот показатель в общем случае не влияет, а рассчитывается для того, чтобы зафиксировать порог нагрузки, при котором вероятность поломок накопителя возрастает. Бытовому пользователю столкнуться с такими нагрузками вряд ли придется. Диску корпоративного сегмента по логике Seagate при этом полагается 550 терабайт на год нахождения включенным. WD ориентируется на 55 ТБ в год для настольно-мобильного сегмента, 180 — облачного, 550 — корпоративного и «топчику» для дата-центров отводит 800 терабайт в год. Как бы эти 800 освоить еще. Toshiba такие показатели именует Annual Workload Rating и, например, «Выживальщику» S300 на 4 ТБ отводит 110 терабайт годовых. Детальнее по ссылке, сноска №5. Там тоже прямо указано, что с гарантией это связи не имеет, но она у всех-то limited.

Вполне вероятно, что с прогрессом в сфере технологий, которые используются в жестких дисках, эти цифры трансформируются в нечто более близкое к количеству перезаписей ячеек твердотельных накопителей и вместо информационного триггера станут гарантийным лимитом, при выходе за который производитель откажется нести гарантию. Но все это потом, а пока считается, что целенаправленно уложить накопитель потребители за 3–5 лет не должны и многие продолжают думать, что жесткие диски остаются быть «вечными». На самом деле идею нужно разбавить еще и тем, что маркетинговый отдел любого производителя под крышку бы и механизм самоликвидации запихнул для роста продаж, а главное — возможности планирования их регулярности. Но можно оскандалиться.

Время смелых

Но можно и запихнуть! Здесь следует отметить достижение по протиранию до дыр Optane и странную позицию протирателей по этому поводу. Известные адепты протирания установили, что выходу из строя SSD предшествует начало использования запасных блоков контроллером твердотельного накопителя, что, в общем-то, очевидно, перед тем, как крякнуть, с солью можно и нужно даже запасные блоки доесть. Нюанс «Оптана» был в том, что его SMART по вылету сообщал, что запасные колеса никто не ставил и они лежат в багажнике чистенькие и пупырчатые. В соединении с тем, что Optane чуть ли не единственный накопитель, который в итоге не отвалился с концами, а перешел в режим Read-Only с сохранением доступа, указанное тревожно намекает противосамолетным прожектором в ночи, что вывод его из эксплуатации произошел не по факту износа либо поломок разного рода, а запланированно в прошивке производителем. Но поскольку пробежал он явно больше, чем было заявлено Intel в спецификации, то и предъявлять вроде как нечего.

Настораживают лишь два момента:

  • «Офигеть конфетки «Тузик»!», т.е. сам факт такого не просто запланированного рассчетно, а конкретно, похоже, изначально отведенного пользователю ресурса! Optane быть может и больше выбегал, но кто ж новый купит? — песня известная.
  • Где были очки протирателей, когда они смотрели на результат? И почему они так упорно игнорируют очевидное и избегают комментариев по существу? Кто бы им бинокль вручил, хотя, как в Карлсоне, папа, т.е. Intel, мог строго настрого запретить есть варенье, а именно публиковать эти наблюдения, т.к. дорогую реально железку не для этого вручали. Ну Вы понели… (с)

Я практически уверен, что если бы нашелся Skynet, способный дизассемблировать прошивку «Оптана», то мы бы получили фактические вещдоки обозначенного, но, видимо, не сегодня.

Ресурс современных жестких дисков

А пока и безсвинцовой (или как троллили в комментариях — безплюмбумной) пайки местами хватает.

Аннушка уже разлила масло

Пока же читатели не так много, как следовало бы, уделяют внимания продвигаемому показателю DRWPD — Disk Read or Write Per Day — т.е. допустимой суточной нагрузке, а ведь именно она в последнее время становится все более ключевой в пресс-релизах и прямо проистекает из изложенного. Именно этим показателем пытаются гримировать ситуацию с ресурсом QLC, например, в Micron.

И делают это, подводя статистику, что, мол, этот показатель падает и это если не нормально, то хотя бы в ожидаемом числится. Окно Овертона в действии.

Ресурс современных жестких дисков

А вот тут мы вообще в разделе Wow! That’s Cool! (надо больше восклицательных знаков) узнаем, что, оказывается, есть тренд того, что ПО больше читает, чем пишет! Там еще заливают, что read-centic!!! софт, о котором вчера еще никто в такой формулировке не слышал (а браузерный кэш так вообще смотрит на таковой как на оленя), это то, чему твердотельные накопители страх как подходят. Особенно на QLC, на фоне того, что жесткие диски-то имеют показатель рекомендуемой нагрузки, который исполняется как в ходе чтения, так и в ходе записи. А QLC-то ведь на чтение не изнашивается!

Я не знаю, что они там в маркетинговом департаменте Micron употребляют (а если верить Пелевину, то что-то таки должны), но это очень напоминает заявление Intel о лидирующей в отрасли плотности битов на ячейку! Может вторые как-то покусали первых? В любом случае у нас очередной маркетинговый WIN! Оказывается, нам всем очень не хватало QLC. А ведь их могут читать дети!

8-bit MLC в 2019

Страшно подумать, что они наколдуют под OLC — да, восьмиячеечные решения Micron выкатит уже летом, а к зиме и накопители подвезут. Вот где маркетингу придется выворачиваться наизнанку, но, как видим, фундамент залит уже сегодня — читающее ПО и изнашиваемые жесткие диски — герои будущей драмы. Ах ну да, я забыл — это же будет 8-bit MLС, в 2,(6) раза больше битов чем у лучших образцов TLC! Обережно, покращано!

Ресурс современных жестких дисков

Very limited warranty

Но вернемся к DRWPD жестких дисков. Учитывая изложенное нельзя исключать, что выход такого показателя за пределы установленной нормы можно в будущем признать основанием для отказа в гарантии без затрат дорогущих человеко-часов сервисов на выяснение нюансов. Т.е. здесь можно сэкономить на издержках по сопровождению гарантии. Именно сопровождению, т.к. прямая замена или отказ — дешевле, проще, снижает риски сговора инженера по гарантии с клиентом (да, было много случаев, когда в последний месяц гарантии можно было треснуть жестким диском по столу и легально обменять его на новый, а если крупно повезет, то и на бОльшего объема, если старые делать и поставлять перестали).

Теория и отчеты — хорошо, а как с наглядной агитацией?

Поэтому поводу очень кстати камрад dlinyj с Habr.com задался вопросом, как быть среднестатистическому ИТ-шнику в случае, когда кровавая гэбня, предварительно перегрызя ввод питательства в квартиру, интеллигентно выносит дверной косяк с целью  поковырять архивы анона. Архивы конечно же на НЖМД.

Методические рекомендации, используемые последними в первом приближении мало изменились со времен, когда любителей поквартирного платного просмотра «ничего» опера накрывали путем обесточивания малины. Как мы помним, из редчайшего видеомагнитофона кассету можно было достать без питания (а с учетом механизма подвода пленки к головкам число таковых вообще стремится к нулю, т.к. при обесточивании пленка на головках и оставалась растянутой), а UPS были в СССР даааааалеко не у всех. В итоге под звуки выламываемой двери и почти меметичного «лицом в пол, руки за голову» у организатора домашнего кинотеатра выхода было в основном два: а) принять неизбежное со всеми вытекающими по УК СССР (аббревиатура использована исключительно в исторической ретроспективе), б) попробовать соскочить и в отчаянной попытке выбросить вещдок в окно — авось потом не докажут откуда полет начался (с развитием советской криминологии с последним боролись путем протоколирования осмотра окон специально обученными лейтенантами и расставления в прямом смысле улавливающих сеток по траектории предполагаемого полета). Ирония судьбы — нередко аэродинамику проверяли у достаточно неплохих видеомагнитофонов небезызвестной и нами ранее упоминаемой Hitachi! Ниже классика 80-х для наглядности. Фото со Skylots.org, но еще тысячи их физически в строю.

Ресурс современных жестких дисков

Toshiba, впрочем, тоже встречалась. Вот она — связь времен в реальности (и это мы еще тематично не коснулись АрВида — до гигабайта цифры на час обычной видеокассеты VHS). Особой пикантности выбору придавал тот факт, что видеомагнитофон мог стоить примерно как квартира (хотя последние официально и не продавались) — нелегкий выбор, однако. Помните, в прошлом материале мы тоже приводили такое мерило для автомобильного медиа-центра Pioneer?

В общем, фабула посещения может быть любой, а результат — прогнозируемый. Поэтому человек и решил выяснить для себя как же лучше всего максимально продуктивно потратить доступные секунды до момента, пока посоны с протокольными лицами не испачкают ковер берцами, расчищая путь коллегам в штатском.

Мы, конечно же, твердотельно и нжмдшно стоим на позиции, что уголовный кодекс надо чтить, а законодательство соблюдать, поэтому опыт товарища изучим строго в академических целях. Так, одним из предложений, озвученных автором, было уничтожение потенциально компрометирующих данных на «винте» практически Торквемадовским методом, т.е. приглашением на огонек. Сжиганием, короче. Практическая часть лабы была запротоколирована и оказалась крайне эхотажной, т.к. сжигался НЖМД не просто на костре, а с подключенным питанием, т.е. с вращающимися дисками и со снятой крышкой. Торквемада совершил бы пару оборотов в гробу, поняв, насколько он недоработал в части жестокости, после изучения картинок ниже.

Итак, диск без крышки на оборотах начинают доводить до extra crispy (а вы знали, что уровни сложности в игре Blood совпадали с англоязычными названиями степеней приготовления еды термической обработкой?) газовой горелкой. Ни в коем случае, ни при каких обстоятельствах не повторяйте дома!

Ресурс современных жестких дисков

Еще раз обратим внимание — головки вне паркинга, блины крутятся, температура растет.

Через некоторое время термическое расширение делает свое дело, и головка начинает доставать до блина в строгом соответствии с теоретическими выкладками, озвученными выше.

Ресурс современных жестких дисков

Результат налицо – глубокий запил. Но это еще не все. Через 5 минут эксперимента встал и шпиндель.

Ресурс современных жестких дисков

Вероятнее всего по аналогичной причине — технологические допуски цилиндрических соединений (или как там правильно назвать ситуацию с электромотором) не подразумевали такого сближения рабочих элементов. На этом интересующий нас эффект достигнут, но для гурманов — ниже продолжение эксперимента.

Ресурс современных жестких дисковРесурс современных жестких дисковРесурс современных жестких дисков

А тут филармония решила продолжить концерт в три смычка.

Ресурс современных жестких дисков

Результат получился с ассоциациями.

Ресурс современных жестких дисковРесурс современных жестких дисков

Таким образом, теория нашла подтверждение ускоренными ресурсными испытаниями.

Мгновение современной криминологии для киберполицейских

В этот момент из аудитории должен прозвучать настойчивый вопрос о том, не ошибся ли докладчик, сообщая о методике подготовки к заходу в помещение с искомыми носителями — точно ли надо отключать свет? Отойдя от темы, заметим, опять же академически, что отключение питания должно, помимо факторов внезапности и психологического давления, исключить в общем случае возможность подозреваемого уничтожить данные электромеханическими методами — программно, дрелью (хоть есть и на батарейках, но не у каждого), магнитным полем, микроволновкой, в случае с оптическими носителями, наконец ! Внезапность и отключение света могут дезориентировать подозреваемого и позволят выиграть оперативникам время. Правда это несет некоторые дополнительные риски — если подозреваемый несколько продвинут и искомые данные по материалам дела могут находиться на подключённом накопителе, то не исключено использование разных форм шифрования. Отключив свет в такой диспозиции, восстановить данные с хорошо и грамотно зашифрованного накопителя будет практически нереально без сотрудничества подозреваемого со следствием. При этом у подозреваемого продолжат несколько секунд быть доступными такие оффлайн-инструменты как молоток и… выкидывание в окно в надежде, что разобьется. Так что конкретное тактическое решение будет принимать руководитель следственно-оперативной группы. И совет дать команду конкретно силовой ее части физически обездвижить подозреваемого, чтобы он даже в случае UPS не споткнулся «случайно» о шнуры питания, тем самым обесточив поднятое до прихода тонких специалистов, будет не лишним.

Важно также понимать, что все вышеописанное в этом и предыдущем материале недвусмысленно намекает, что надежность современного хранения требует регулярных бэкапов. Поэтому есть некоторая отличная от нуля вероятность, что у подозреваемого могут быть резервные копии, образы, облака и прочие дублирующие источники информации. Подготовленный следователь располагает соответствующими инструментами и может выявить их местоположение для дальнейшей передачи экспертам. И эти инструменты совсем не противогаз, не швабра, не перевёрнутая табуретка и даже не отдельная комфортабельная камера с туберкулезниками в СИЗО — все это противозаконно и в тоталитарном прошлом. Сегодня следователь оперирует общечеловеческими ценностями, совестью, процессуальным кодексом и гражданской ответственностью. Впрочем, если следователь подготовлен действительно хорошо, то он может даже убедить подозреваемого передать следствию ключи шифрования, если таковое имело место. Это быстрее, дешевле и эффективнее магнитно-силовой микроскопии в случае магнитных носителей и прочих профильных прикладных технологий для носителей иных типов. Ну и криптоаналитикам не придется потеть с паяльниками. Но мы отвлеклись.

Симпозиум постановил

Таким образом, как оказывается, жесткие диски, хоть и могут долговечнее сохранять информацию, тем не менее, имеют вполне физические нюансы эксплуатации, которые становятся все более существенными с усложнением технологий. Современный жесткий диск имеет хороший ресурс передачи данных, но и он, внезапно, как и у SSD, уже имеет ограничения технологического характера, которые можно посчитать. В результате нормальной нагрузки к 5 годам работы современный жесткий диск попадет в зону риска выхода из строя, хотя проработать дома или в офисе может гораздо дольше — и 50000 и даже 100000 часов. Последнее во многом таки зависит от нагрузки и температур в силу используемых в самих дисках решений. Не забываем про вибрации, скачки напряжения и непоказательность датацентровой статистики — там все по-другому. А пока жесткие диски являются безальтернативными по емкости и цене за гигабайт хранения. Поэтому на рынке они будут существовать очень долго, и уже практически завтра мы увидим предложения на 50–100 и даже 200 терабайт в изделии, правда все это будет потихоньку смещаться в ниши, где такое железо обеспечит решение более конкретных и узких задач. Это нормальное, нужное сегментирование рынка и все категории потребителей сосредоточатся именно на тех продуктах, которые будет лучше всего соответствовать именно их потребностям по приемлемой цене. Ведь никто же не пытается сравнивать МАЗ-537 с легковым седаном, хотя технически оба автомобили и на обоих можно сгонять за «пыгом». В случае SSD потребитель получил еще одну инновационную возможность обеспечить конкретные сегменты быстрым накопителем, т.е. гибкость в подходе к конфигурированию конкретных аппаратных решений стала еще выше.

Поэтому вот этот товарищ только издалека присматривается к ситуации, трезво осознавая, что время его роли в этой постановке наступит еще не скоро.

Ресурс современных жестких дисков

Не стоит так же забывать, что есть немало технологий, способных продлить жизнь жестким дискам. Некоторые из них еще не вышли за пределы лабораторий и неизвестны вне среды узких специалистов, а некоторые уже пытаются быть представленными общественности предприимчивыми стартаперами (слово-то какое к нам из маркетинга подвалило!). Так, например, ребята из L2Drive на серьезных щах заявляют о вакуумных 3D-технологиях в традиционных жестких диска. Т.е. прямым текстом предлагают откачать все газы из гермокамеры с блинами и головками.

Ресурс современных жестких дисков

Если у них взойдет, то и покрытия дисков с головками можно будет упразднить, и смазку защитную не добавлять, и проблемы газовой среды внутри накопителя решить, что крайне важно для термомагнитных перспектив, и… расстояния еще сильнее уменьшить. Правда мы помним, что это как раз один из главных взаимоисключающих параграфов надёжности сегодня на фоне еще и термодинамики. На это стартаперы отвечают тем, что в безгазовой среде они смогут легче активно управлять зазором блин-головка. С другой стороны, все прелести, если таки взойдет, можно будет внедрить и без award winning-уплотнения. Правда, в числе участников междусобойчика числятся аж два прямым текстом, как они себя сами позиционируют, серийных предпринимателя, что для нашего уха звучит несколько необычно и в такой формулировке даже как-то невольно вспоминается известная тема композитора Игоря Назарука (если вам больше 25, то вы ее, скорее всего, знаете). Еще двое — выходцы из WD и решительно непонятно почему там эту идею не взялись внедрять, особенно на фоне продвигаемой MAMR.

В любом случае этот пример говорит о том, что идеи еще будут и общий НТП будет этому, несомненно, способствовать.

Вторым главным следствием из прочитанного является тот факт, что слепо доверять публикациям из любых источников (и этой в первую очередь) без критического их осмысления (в комментариях) не стоит — они могут быть совершенно достоверны по сути, но нерелевантны в конкретных условиях. Ложное понимание описанной «магии» может вылиться в убытки как финансовые, так и имиджевые. Последние нередко дороже.

В этом ключе хотелось бы также напомнить, что на трилемму и достижения инженеров-физиков есть обратный компенсаторный механизм маркетологов, который как никогда тематичен.

Ресурс современных жестких дисков

А в случае с особо эффективным внедрением новых технологий инженерами и соответствующим падением цен на накопители традиционного типа может и какое наводнение произойти, пожар на худой конец. Это очень бодряще действует на графики цен оптовых поставок.

Ресурс современных жестких дисков

Глобально это выглядело вот так и сильно подправило линию тренда цены за гигабайт:

Ресурс современных жестких дисков

Однако при наличии всего-то трех производителей этого может и не понадобится, о чем нам крайне толсто намекают изготовители памяти закладкой учебника по конкуренции в разделе «Олигополия».

По этому поводу вот прямо на днях недвусмысленно в TrendFocus намекнули, что поставки традиционных НЖМД по итогам года несколько упали в потребительском секторе. Общую ситуацию сглаживает Enterprise, но на фоне закрытия WD аж трети своих заводов по обычным «винтам» (на самом деле одного из трех, но «трети» звучит драматичнее) цены могут и подрасти. О чем там кто и с кем мог договариваться пусть анализирует и моделируют антимонопольщики. А мы смотрим свежую статистику.

Ресурс современных жестких дисков

Дополнительно отметим, что 5-летняя гарантия на потребительские решения в сферах HDD и SDD намекает, что эти технологии еще неизбежно пересекутся.

Титры

Спасибо дочитавшим до конца более 76000 знаков с пробелами. Теперь вы знаете больше. И Вы, тов. полковник, тоже.

Ресурс современных жестких дисков

Свои отзывы и предложения прошу оставлять в комментариях. Возможно, я что-то не осветил в стремлении к лапидарности или кто-то с чем-то не согласен, и мы вместе повысим образовательный уровень наш и тех, кто эту статью найдет в поиске в будущем.

Понравилась статья? Поделить с друзьями:
  • Медаспект орехово зуево володарского часы работы
  • Максимальное количество часов обязательных работ
  • Медведково магазин сумок при фабрике часы работы
  • Малый бизнес аренда лизинг нематериальные активы
  • Медведковский загс часы работы расторжение брака