Average Blog

Data Backup and Recovery in Post-Terabyte Era

crosser — Fri, 07 Dec 2007 09:48:00 +0000

Disclaimer: I am now employed by a company for which data storage and backup are parts of its business, but the ideas in this post are from earlier time, when I worked for a (relatively big) ISP, and are not connected with my current job.

We have been backing up the data from our disks to tapes ever since the disks came to existence (we already had tapes by that time). But with the development of technology during the past decade or two, this approach is becoming increasingly problematic. The main trouble is that the density of data on disk storage devices grows faster than the speed at which this data can be copied to/from tape backup devices. It may be tolerable when backing up some database takes several hours (if you can do that without taking it offline), but if recovering it from the backup, in case of loss of “online” data, takes several hours, it means that the disaster recovery procedure becomes a disaster of its own.

On the other hand, the price of disk storage is falling at a higher rate than that of tape storage, and proposition of buying twice or thrice more disk arrays instead of a tape library looks more and more viable. Disks are still more expensive than tape, but not that much. There are even commercially available “solutions” that do backup on disks instead of on tapes. The problem is, just replacing the medium does not help that much with speeding up the process.

Now, let’s try to decompose the problem that we are solving when we establish backup on our system. There are two kinds of errors that a proper backup can mitigate if they happen: equipment imposed and application imposed. I am not calling the former “hardware errors” because I also include firmware/software errors (RAID implementation, block device drivers, filesystem code) into this class. And I am not calling the latter “human errors” because, well, errors in the filesystem code are human errors too, and I am clumping together a sloppy sysadmin who accidentally typed “rm * .bak” and a sloppy web application programmer who failed to validate input and allowed an sql injection.

For the first class of errors, “equipment errors”, there is much better remedy than tape backup, it’s RAID technology. In fact, most shops run RAIDs anyway, to reduce the impact of long restoration times, and from experience, there are very little cases when you have to fall back to tape backup after equipment failures. All you need to do is choose a “right” RAID solution (not all RAID controllers are born equal), and manage it in a “right way” (i.e. actually notice when there is a failed element, and replace it quickly). I’d hazard to say, if you have a decent RAID storage system, you can stop bothering about equipment failures at all. And it won’t cost you a fortune.

The second class of errors, the “human”/”application” errors, is much worse, because although getting rid of them “almost completely” is possible (I, for one, certainly hope that the procedure for launching a nuclear attack is made relatively error-resistant!), it is not practical for most “normal” businesses to hire twice the staff and establish approval procedures for every keypress. So, there must be a way to go back in time and restore the “most recent known good” state of data. Normally, it means restoring from the last (or some previous, if you are extremely unlucky) generation of backup.

Now, there is a better way to achieve the same goal: it is to have data storage capable for “persistent snapshots“. While (usually non-persistent) snapshots have been used for a long time, on high-end storage systems, in conjunction with regular tape backup, they where not considered as an alternative to tape backup. On the other hand, Apple’s Time Machine is specifically designed as an alternative to traditional backup, remedying for “second class” of errors, but it is not, in typical configuration, backed by anything that could protect from the errors of the “first class”.

So, I see the data storage system for today and tomorrow use as a decent RAID (e.g., RAID1 over TCP/IP via DRBD worked really well for me, and it even allows for geographically distributed configurations), and a filesystem (or volume manager) capable for reliable persistent snapshots on top of it. Throw in a policy manager that would create new and remove old unneeded snapshot generations, and a monitor that would alert the user in case of component failure, and you get a tape-less system that is as reliable as a system with a tape backup, and can recover from disasters much faster.

On social networking

crosser — Fri, 22 Dec 2006 13:23:00 +0000

Social networking is the very prerequisite for the Civilization. The better your connections are, the more successful is your career. The better connections are in a society, the faster progress of the society is. Therefore, there is a great incentive to improve the opportunities for social networking on both individual and community levels.

Given that, there is no surprise that in the Internet age, many attempts where made in instrumentation of social networking. Orkut to Myspace, Linkedin to Facebook, only those which positioned as teenagers’ playground where a success. Why is that? I believe because they all are running a centralized model. A social networking instrument is only relevant if ‘everyone’ is there. OK, let it be ‘everyone relevant’. Now, imagine for a moment that there exists a networking website where ‘everyone relevant’ is registered. Sounds creepy? To me, it certainly is. When I receive and invitation into another social networking site, my first reaction is, do I really want to publish my personal data there? And there is all reason to be reluctant. Even if you somehow believe that the owner of the site won’t be evil, what if someone breaks into the site and steals the database? What if a backup tape falls into wrong hands (accidentally, no doubt)? The bigger the site, the more lucrative it is for the hunters for people’s personal information.

But c’mon, the whole thing is about sharing personal data! If a significant fraction of the prospective participants is reluctant to use a system, its usefulness drops dramatically. It only makes sense if people are ready to use it without hesitation!

So, this is the problem: if the site is small, it is not useful; if it is big, people are afraid of using it.

Solution? Make the system distributed, without a single owner and without a single data repository. Social network should reflect into an overlay network in the cyberspace, rather than into a distinct website. I have no idea which technology would be best here: something based on XMPP, or links of some standardized form connecting “homepages”, or something completely different. But it needs to be a distributed system, that’s for sure.

Разбить окна

crosser — Mon, 10 Nov 2003 17:08:08 +0000

Чтобы быть истинно свободными в 21 столетии, нужно закрыть глаза на красивую графику и на самом деле заглянуть внутрь наших компьютеров.

Дилан Иванс (Dylan Evans), 6 ноября 2003, The Guardian

перевод Eugene Crosser 10 ноября 2003

Неграмотность практически ушла в прошлое, по крайней мере на западе. И вовремя, потому что в сегодняшнем мире трудно выжить, и практически невозможно добиться успеха, не умея читать и писать. Однако, есть другой вид неграмотности, так же распространенный, как раньше был распространен старый вид: компьютерная неграмотность. Даже в наиболее развитых странах мира огромное большинство людей все еще не умеет ни читать, ни писать ни на одном компьютерном языке.

Конечно, большинство из нас сегодня умеет использовать компьютер. Мы знаем, как послать email, побродить по вебу, или написать документ в Word-е. Но будете ли вы знать что делать, если все красивые иконки в браузере исчезнут, и перед вами появятся строчки букв и цифр HTML-кода, языка, на котором написаны web-страницы? Если, подобно Нео в фильме “Матрица”, вы сможете видеть код, из которого получаются картинки?

Если ваш ответ - “нет”, то вы принадлежите к большинству - один из многих миллионов крестьян технологического средневековья. Подобно большинству людей в “Матрице”, верящих, что живут нормальной жизнью, в то врямя как их тела неподвижно лежат в футлярах в огромном комплексе, вы спите, вы - узник собственного невежества. И единственный путь этого избежать - научиться держать машины в узде, выучив их язык. Если вы не заберетесь к ним внутрь, они заберуться внутрь вас. Приспосабливайтесь, или погибнете.

И дела могут пойти еще хуже. По мере того, как наше общество становится все более зависимым от информационных технологий, пропасть между теми, кто понимает компьютеры, и теми, кто не понимает, становиться все шире. Через 50 лет, а может быть и гораздо раньше, способность читать и писать код станет так же необходима профессионалам в любой области, как сейчас им необходима способность читать и писать на человеческом языке. Если дети ваших детей не смогут говорить на языке машин, им придется заниматься физическим трудом - если он к тому времени еще останется.

Это еще одна причина почему Windows - такой опасный товар. Они убаюкивают нас разрушительной иллюзией того, что мы можем общаться с компьютерами не адаптируясь к их логике. Показывая нам разноцветные экраны с кнопками для нажимания, Микрософт поддерживает у нас веру в то, что можно заставить компьютеры полностью приспособиться к нашем предпочтениям в пользу зрительных образов, а нам самим не приспосабливатья к их предпочтениям в пользу текста.

Но это не только удерживает людей от того, чтобы проникнуть в машину, и поддерживает их в счастливом невежестве, это еще и обман сам по себе, потому что в конце концов пользователю все равно приходится так или иначе приспосабливаться к машине.

Мы, очарованные зрители, ждем, пока браузер наконец загрузит очередную страничку, полную картинок, или перебираем одно меню за другим, и в конце концов осознаем, что мы вовсе ничем не управляем. Windows управляет нами.

Парадоксально, но мы сможем освободиться от господства машин над нами только если приспособимся к их логике и выучим их язык. И только сделав кажущийся шаг назад, вернувшись к способу общения с компьютером, существовавшим до прихода Windows, мы сможем двигаться дальше вперед. Помните DOS или ZX-80, или старый компьютер BBC? Очень мало красивой графики. Зато много текста, и странные слова вроде DIR или CD.

Не слишком ли много трудностей для среднего пользователя компьютера? Не лучше ли попробовать заставить компьютеры приспособитсья к нам как можно лучше, снабдив их дружественными к пользователю интерфейсами и спрятав их внутреннее устройство? Не лучше ли нам заняться своей работой, не отвлекаясь на разбирательства с тем, что происходит внутри черного ящика? Если вы так к этому относитесь - замечательно. Если вы хотите остаться в воображаемом мире “Матрицы” - это ваш выбор.

Конечно, не только лень мешает людям разобраться с компьютерами. Трусость тоже играет свою роль. Но каков бы ни был мотив, результат все равно один. Естественному отбору неважно, был ли человек, который не убежал из горящего здания, слишком ленив или слишком напуган. Секретарша, которой лень напрягаться, чтобы выучить об офисном компьютере чуть побольше, чем необходимо чтобы читать email, и дедушка, которого пугают новые технологии, одинаково обречены.

К счастью, недостаток информации не является препятствием для изучения компьютеров. На западе, большинство людей может легко получить доступ к книгам и к веб-страницам, с помощью которых можно пройти весь путь от полного невежества до статуса квалифицированного пользователя. Но одних книг недостаточно; необходимо провести сотни - нет, тысячи часов за клавиатурой. Это может показаться кошмарной перспективой. Но если вы хотите быть истинно свободным, у вас нет другого выборра, кроме как понять машины, с которыми вы работаете.

Фильм “Матрица: Перевороты” в некоторой степени инспирирован книгой “Введение в эволюционную психологию” Дилана Иванса и Оскара Зарате (Introducing Evolutionary Psychology, by Dylan Evans and Oscar Zarate)

Криптография и политика

crosser — Wed, 02 Apr 1997 21:00:47 +0000

В этой статье рассматривается взаимодействие криптографии, государственной политики и прав личности. Она рассказывает о вещах общеизвестных в среде сетевых старожилов, но никогда, насколько мне известно, не изложенных систематически на русском языке. В ней сознательно опущены технические подробности и сведено к минимому число профессиональных терминов.

За годы, прошедшие после Второй мировой войны, произошло два немаловажных связанных между собой события в области обмена информацией. Это появление компьютеров и “сильной” криптографии.Ассиметричная криптография, или системы с открытым ключом позволяют зашифровать сообщение для конкретного адресата без предварительного обмена ключами, то есть зашифровать письмо, телефонный разговор и т.п. с человеком, с которым вы общаетесь в первый раз, таким образом, что прехватить ключ к шифру принципиально невозможно.С другой стороны, ассиметричная криптография позволяют подтвердить, что сообщение передано обладателем конкретного ключа и никем иным (это так называемая электронная подпись).Описание того, как это получается (а также тот факт, что в жизни ассиметричная криптография применяется в сочетании с симметричной), выходит за рамки данной статьи. На эту тему написано немало доступных (и не очень) книг. Здесь нам достаточно знать, что эти средства - чисто математические. Надежность защиты информации обеспечивается не секретностью алгоритмов, как раньше, а чисто математическими фактами (алгоритмической неразрешимостью определенных математических задач).Следует отметить, что рассматриваемые здесь алгоритмы надежны и доступны. То есть, например, письмо, зашифрованное за несколько минут на дешевом персональном компьютере, для “раскалывания” потребует многих дней, а то и лет, работы самых мощных суперкомпьютеров, которыми обладает КГБ и ЦРУ, даже если был использован “слабый” вариант защиты.Криптографические методы годятся для любого носителя информации - можно дискеты по почте пересылать, можно шифровать голос при разговоре по телефону, можно даже телевизионное изображение шифровать, если понадобится. Основные, наиболее актуальные применения - электронная почта (e-mail) и телефон.

Другая сторона технического прогресса состоит в том, что новые носители увеличивают возможность перехвата информации. Сотовые телефоны прослушиваются приемником совершенно незаметно. Электронную почту можно сканировать на крупных узлах сети. При этом, во-первых, массовое прослушивание можно устроить при совсем небольших затратах, а во-вторых, легко избежать оставления улик.Увеличивается и возможность подделать информацию. Например, автора электронного письма невозможно опознать по почерку или по голосу, поэтому всегда есть вероятность, что его отправил кто-то другой.Криптография и только криптография позволяет надежно решить проблемы секретности и аутентичности информации.

Государство традиционно берет на себя защиту прав личности (неприкосновенность переписки, запрет подслушивания телефона, ответственность за подделку документов). И при этом оставляет за собой право нарушать эти правила в оговоренных законом случаях, для борьбы с преступлениями.Появление общедоступной криптографии все меняет. Человек может самостоятельно обеспечить секретность и аутентичность своих связей с другими людьми. А государство теряет мощный способ выявления и доказательства преступлений.Государство в лице правоохранительных структур страдает - оно лишается части функций, а выполенение другой части функций сильно затрудняется. Оно пытается затормозить жизнь, и доказывает нам, что неконтролируемое использование криптографии принесет проблемы.Резоны, выдвигаемые государством, звучат примерно таким образом: дайте нам возможность ловить преступников (не используйте криптографию), а мы обеспечим вам неприкосновенность информации (поймаем и накажем незаконно подслушивающих). Иногда государство не говорит этого прямо, а предлагает нам пользоваться системами, прошедшими “проверку”, “сертифицированными”. При этом может подразумеваться (хотя и отрицаться официально), что “проверенные” системы доступны для взлома самим государством, будучи предположительно недоступны для злоумышленников. В таком случае говорят, что система содержит “back door” - “черный ход”, или просто специально “ослаблена”. Открыто проводят такую политику США (проект Clipper), завуалировано - Франция и Россия (запрещено использование “несертифицированных” систем).

Я утверждаю, что эти аргументы не выдерживают критики. Во-первых, государство не получит выгоды от того, что сможет подслушивать законопослушных людей. Потому что вполне надежные средства криптографии свободно доступны (и даже бесплатны), и злонамеренные люди, которые сознательно идут на нарушение законов, легко нарушат еще и запрет на криптографию. Их-то как раз государство не сможет подслушать.С другой стороны, государство неспоспобно защитить нас от перехвата нашей информации злонамеренными людьми. Чисто технически. Найти приемник, прослушивающий сотовые телефоны, практически невозможно. Как почти невозможно найти и программу, сканирующую информацию, проходящую через Сеть. Это не “жучок” в квартире или “крокодилы” на клеммах телефонного щита, которые можно реально увидеть и снять с них отпечатки пальцев.Есть еще причины не доверять аргументам государства, особенно актуальные в России - коррупция и относительная политическая нестабильность. В любом государстве существуют нечистоплотные чиновники, готовые поделиться доступной им информаций за деньги. А в России уровень коррупции довольно высок. Так что информация, доступная по долгу службы чиновнику, может попасть к преступнику. А если власть в стране перейдет к “лево” настроенным руководителям, законно собранная информация может быть использована для поиска инакомыслящих, слишком богатых, и т.п.Наконец, следует понимать, что джинн выпущен из бутылки. Даже если государство истратит кучу услилий и денег (из наших с вами налогов, заметим) на то, чтобы ограничить использование криптографии, ничего не выйдет. В своем программном воплощении, криптографические системы доступны на тысячах серверов в Сети, расположенных во многих странах мира, и установлены на миллионах компьютеров. Просто нереально найти всех пользователей таких систем и принудить их отказаться от их использования.Вы можете подумать: “ну и что, мне нечего скрывать”. Может быть, и нечего. А может быть, завтра понадобится. И уж во всяком случае, поверьте, что кое-кому это нужно. Например, (самое очевидное) - банки. Ведь когда у Центробанка воруют деньги, расплачиваемся за это мы с вами: именно наши налоги идут на компенсацию ущерба. И когда рэкетиры заставляют магазин платить им дань, это выливается в те цены, которые мы платим в этом магазине. Мы видим, насколько “хорошо” государство защищает препринимателей от преступников. Так пусть оно хотя бы не мешает им защищать свой бизнес самостоятельно. Хотя бы там, где это возможно сделать с минимальными затратами.

Отдельный вопрос - вопрос доверия к криптографической системе. Если система “закрытая”, то есть пользователь не может (потенциально) изучить ее внутреннее устройство во всех деталях, то нет гарантии, что в нее не встроен уже упоминавшийся выше “черный ход”. Государство эксплуатирует и эту тему, утверждая, что сертификация позволит гарантировать отсутствие этого “черного хода”. А иначе, мол, такой гарантии получить нельзя.Я утверждаю, что это лукавство. Во-первых, есть объективные предпосылки, рассмотренные выше, к тому, чтобы государство само стремилось оставить “черный ход” в криптографических системах, именно для успешного выполнения своих законных функций. Во-вторых, есть способ очень хорошо (не на сто процентов, но действительно хорошо) проверить криптографическую систему - если она полностью открыта. Открытость системы не уменьшает ее надежности, поскольку, как указано выше, сам алгоритм не является секретом, обеспечивающим защиту. Зато после того, как систему проверят сотни любителей и профессионалов во всем мире, вероятность наличия в ней “черного хода” будет стремится к нулю, и вероятность ошибок, нарушающих защиту, тоже станет весма мала.И такие открытые системы в виде компьютерных программ, доступных в исходных текстах, существуют. Одна из самых известных, PGP, позволяет шифровать и/или подписывать любые компьютерные файлы (электронные письма, тексты, картинки, что угодно) для дальнейшей передачи по сети, или на дискетах по почте, или как угодно. Другая, SpeakFreely, позволяет использовать компьютер, подключенный к сети, в качестве телефона с зашифрованной передачей звука (для этого достаточно обычного персонального компьютера с звуковой платой, подключенного к Internet через модем).Включение подобных средств в сотовые и обыкновенные телефоны, пэйджеры и т.п. не представляет в наше время технических проблем, и не требует больших затрат. Этот процесс тормозиться исключительно усилиями государства.

БОЛЬШОЙ БРАТ, РУКИ ПРОЧЬ ОТ МОИХ ПЕРЕГОВОРОВ И МОЕЙ КОРРЕСПОНДЕНЦИИ!

Eugene Crosser , Москва, 3 апреля 1997 г.
Резрешается свободное распространение текста при условии сохранения атрибуции.

Декларация Независимости Киберпространства

crosser — Wed, 19 Feb 1997 21:00:34 +0000

Я подумал, и решил, что этот документ все же достоин быть переведенным… Для тех, кто не в курсе - Барлоу - один из основателей EFF - Electronic Frontier Foundation - организации по защите прав граждан Сети. Нижеприведенный документ - реакция на принятие в США Телекоммуникационного акта 8 февраля 1996 г. Оригинал - здесь Перевод, как и оригинал, передается в public domain.

Eugene Crosser

Правительства индустриального мира, вы, бессильные гиганты из плоти и стали, я пришел к вам из Киберпространства, нового дома Разума. Во имя будущего я прошу вас, живущих в прошлом - оставьте нас. Вы - незванные гости среди нас, и ваша власть не простирается туда, где собираемся мы.

У нас нет выборного правительства, и, скорее всего, не будет, и я обращаюсь к вам именем лишь той власти, именем которой говорит сама свобода. Я объявляю социальное пространство, которое строим мы, по природе независимым от тирании, которую вы пытаетесь нам навязать. У вас нет морального права управлять нами, нет у вас и таких методов принуждения, которых мы имели бы основания бояться.

Правительства получают свою власть по соглашению с управляемыми. Вы не просили, и не получали нашего согласия. Мы не приглашали вас. Вы не знаете нас, и не знаете нашего мира. Киберпространство лежит вне ваших границ. Не думайте, что вы можете построить его, как завод или жилой квартал. Вы не можете. Это природное образование, которое развивается самостоятельно, через посредство наших коллективных действий.

Вы не участвовали в нашем обширном и объединяющем общении, не вами создано изобилие наших рынков. Вы не знаете нашей культуры, нашей этики, и тех неписанных правил, которые уже сейчас обеспечивают больше порядка в нашем обществе, чем могли бы обеспечить любые ваши установления.

Вы заявляете, что у нас есть проблемы, которые вы должны решить. Вы используете это заявление как оправдение для вашего вторжения в наши пределы. Многих из этих проблем не существует. Там, где есть реальные конфликты, где есть виновные, мы определим их и разберемся с ними нашими средствами. Мы формируем наш собственный Общественный Договор. Это управление будет действовать в соответствии с условиями нашего мира, не вашего. Наш мир - другой.

Киберпространство состоит из взаимодействой, отношений, и самой мысли, образующих подобие волнового узора на паутине наших коммуникаций. Наш мир - везде и нигде, и он не там, где живет тело.

Мы создаем мир, в который могут придти все, без привилегий или ограничений в зависимости от расы, экономического могущества, военной силы или положения по рождению.

Мы создаем мир, в котором каждый, откуда бы он ни был, может выразить свои идеалы, сколь бы непривычны они ни были, не опасаясь быть принуженным к молчанию или единомыслию.

Концепции, лежащие в основе ваших законов - собственность, выражение, личность, передвижение, контекст - не относятся к нам. Они основаны на материальных понятиях. Здесь нет материи.

У наших сущностей нет материальных тел, поэтому, в отличие от вас, нами нельзя управлять с помощью физического принуждения. Мы уверены, что наше управление, основанное на этике, осознанном личном интересе и общественной пользе, будет действовать. Наши личности могут быть распределены между многими из ваших областей влияния. Единственный закон, который признан во всех этих составляющих культурах, это Золотое Правило. Мы надеемся найти свои собственные решения на этой основе. Но мы не можем принять решения, которые вы пытаетесь нам навязать.

Сегодня Вы в Соединенных Штатах приняли закон, Акт о телекоммуникационной реформе, который отвергает вашу собственную конституцию, и является оскорблением идей Джефферсона, Вашингтона, Милля, Мэдисона, де Токвевилля и Брэнидиса. Эти идеи должны теперь вновь возродиться в нас.

Вас пугают ваши собственные дети, потому что они - жители того мира, в котором вы всегда будете иммигрантами. Поскольку вы боитесь их, вы передаете родительскую ответственность ваши бюрократическим учреждениям: вы слишком трусливы, чтобы нести ее сами. В нашем мире все мысли и высказывания человечества, от низменных до ангельских - суть части неделимого целого, глобального потока битов. Мы не можем отделить воздух, в котором задыхаешься, от воздуха, по которому ударяют крылья.

В Китае, Германии, Франции, России, Сингапуре, Италии и Соединенных Штатах вы пытаетесь отразить атаку вируса свободы, устанавливая пограничные посты на границах Киберпространства. Они могут задержать заразу на короткое время, но они не сработают в мире, который скоро будет полностью покрыт средой, переносящий потоки битов.

Ваша все более и более устаревающая индустрия информации будет охранять себя, предлагая законы, в Америке или где бы то ни было, которые объявят объектом собственности саму речь. Эти законы объявят мысль всего лишь еще одним промышенным продуктом, не более благородным, чем чугун. В нашем мире все, что может создать человеческий разум, воспроизводится и передается бесплатно. Теперь мысль может распространяться без помощи ваших фабрик.

Принимаемые вами все более враждебные и колонизаторские меры ставят нас в то же положение, в котором находились прежние борцы за свободу и самоопределение, вынуженные отрицать власть далекой и несведущей силы. Мы должны объявить свои виртуальные сущности неподвластными вашему авторитету, даже если наши тела подчиняются вашему правлению. Мы распространимся по планете, и никто не сможет арестовать наши мысли.

Мы создадим цивидизацию Разума в Киберпространстве. И пусть она будет более гуманной и справедливой, чем тот мир, который создан под вашим правлением.

Давос, Швейцария, 8 февраля 1996 г.