Журнал системного программиста » Туториалы

openSUSE 11.2 Migration tips #2

SadKo — Sat, 28 Nov 2009 18:42:00 +0000

Вторая проблема, с которой пришлось столкнуться — это откровенно медленная работа Mozilla Firefox. Грузить страницу за 30 секунд при 9-мегабитном коннекте — позор.
Поэтому, пошерстив немного инет, вышел на следующую страничку:
Sooo slow Firefox on Suse 11.2
Оказывается, господа-разработчики Firefox немного перемудрили и врубили автоматическое использование DNS для IPv6. Поэтому лекарство следующее:
1. Пишем в адресной строке: about:config
2. Ищем параметр network.dns.disableIPv6 и выставляем его в false
3. …
4. PROFIT!

openSUSE 11.2 Migration tips #1

SadKo — Sat, 28 Nov 2009 12:57:04 +0000

В связи с тем, что моя openSUSE 10.2 в последнее время стала себя плохо чувствовать, я решил-таки заняться постепенной миграцией на openSUSE 11.2.

Я не буду расписывать пока впечатления о системе, так как ещё до конца её не настроил. Здесь же постараюсь выложить решение проблем, с которыми я столкнулся при миграции.

Итак, первая проблема — это монтирование шифрованного раздела. При установке надо под любым предлогом отказаться от монтирования скрытого раздела, так как YaST Manager согласится с этим только при условии его полного форматирования.
После установки монтируем старый корневой раздел (я ставил новую систему в другой, заведомо подготовленный раздел) и смотрим содержимое файла /etc/cryptotab:

/dev/loop0  /dev/hda6 /home ext3 twofish256 acl,user_xattr

И, соответственно, переписываем это в /etc/fstab:

/dev/sda6 /home ext3 acl,user_xattr,loop,encryption=twofish256 1 1

Отметим, что в /etc/cryptotab используется устройство /dev/hda6, а в /etc/fstab новой системы — /dev/sda6, так как в новых версиях ядра Linux используется немного другая система именования устройств.

После чего подгружаем необходимые модули:

modprobe cryptoloop
modprobe twofish
mount /dev/sda6

Теперь раздел подмонтирован. Осталось закрепить результат, для этого идём в /etc/sysconfig/kernel и добавляем к параметру MODULES_LOADED_ON_BOOT значения:

MODULES_LOADED_ON_BOOT="cryptoloop twofish"

UPD: Конечно, это не решает проблему до конца: при автоматическом монтировании раздела при загрузке системы.
Чтобы не было проблем, включаем сервис boot.crypto:

chkconfig boot.crypto on

После этого создаём файл /etc/cryptotab и прописываем туда:

/dev/loop0 /dev/sda6 /home ext3 twofish256 acl,user_xattr

И убираем заранее созданную запись из /etc/fstab.

На этом решение первой проблемы заканчивается .

Ещё один успешный возврат!

SadKo — Sun, 18 Oct 2009 11:56:00 +0000

И кто говорил, что все бодания ЦеСТ, ФАС и ОЗПП бессмысленны?
Вот уже виден результат: человек вернул ненужное ПО вендору. В данном случае это Lenovo.
Оригинал записи ЖЖ-юзера joe_braker тут:
Возврат Windows — это просто!
Замечательно то, что возврат осуществлялся через магазин, без посещения сервисных центров, что есть большой плюс.

Краткое howto по возврату системы у Lenovo:

1. Вы приходите в магазин, с распечатанными правилами Леново, фотоаппаратом (достаточно телефонного), и двумя экземплярами требования о возврате ОС.
2. Покупаете ноутбук, отдаете один экземпляр требования фирме, другой забираете себе с распиской сотрудника магазина и печатью. Теперь у них есть 10 дней на ответ, но, если, магазин нормальный, (как в моем случае) они ответят гораздо быстрее.
3. Леново потребует у вас фотографию лицензионной наклейки Windows, приклеенную на нижнюю крышку ноутбука, и фото наклейки с серийным номером компьютера (находится рядом на нижней крышке). Проследите, чтобы серийники читались! Вы можете для ускорения процесса, отдать их сразу, прямо в магазине.
4. Оставляете свой адрес электронной почты, ждете подтверждения и приезжаете еще один раз за деньгами. При этом диск можете сразу отформатировать, поставить туда, что захотите и пользоваться ноутом в свое удовольствие. Когда приедете за деньгами, компьютер брать с собой необязательно. Хотя я взял на всякий случай.
5. Отдаете магазину наклейку, диски с Windows, расписываетесь о том, что получили деньги и немедленно их получаете. При этом старый чек, который обязательно нужно взять с собой, вы меняете на новый, где сумма покупки уменьшена на стоимость ОС!

Мои поздравления автору!

Основы работы с GnuPG #2

SadKo — Mon, 07 Sep 2009 09:34:42 +0000

LiveJournal ввиду своей ущербности не разрешает большие посты. Поэтому пришлось бить туториал на две части. Итак, продолжаем.

Как можно экспортировать ключи?

Для того, чтобы экспортировать открытые ключи для шифрования, можно воспользоватья командой:

gpg --armor --export user_id

Пример:

sadko@sadovnikov:~/.ssh> gpg --armor --export "Vladimir Sadovnikov"
-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: GnuPG v1.4.5 (GNU/Linux)
 
mQENBEiNyy4BCACoDXiTAMZXlf/geeR9cSmNZxbyxnOCGZvLdoWLcJ5akaK22s3/
75lMgyDtSKQAZ20/fPGebdiI690ZTnYZOJaYaZXSALCDgcI5ncrjdWkpUR/ecTrn
Am3VZZv6qly9mfnx1ci06mNda8GzOVsIqXIipBGIKrPmoR6GLP9KqjNbb2AGl3XF
ISApk5yDGpMtFgwk9COlsmOFL+sEUcmavd05U25ggoMADieLGWehMifJzdPJwcJl
8jNqZeVnPfKnAR44VzNn21hJ+Qi66ufTQ3dCOLHjUhAwV4MgYN76lyRZRgg1tlLu
L3DcIyq3reiwqcC3QgznOaRNpxTSDQU9AEFpABEBAAG0O1ZsYWRpbWlyIFNhZG92
bmlrb3YgKFBFUkwgRGV2ZWxvcGVyKSA8c2Fkb3ZuaWtvdkBwcm90ZWkucnU+iQE2
BBMBAgAgBQJIjcsuAhsDBgsJCAcDAgQVAggDBBYCAwECHgECF4AACgkQ3VxaNfP0
dD+zigf+JE1xSUMvKxczOZwxJQC8JeqpxWpdDptmOzZgtrinT4YLxSyuukA6jZRk
Pcs5LCcOlsOF+xaUteOAbtaYatedOaSfvgAhf5Hym165I+m9eBuGg85hVhIEWBXD
MdlEwEXhNEyWbL4lQ90rTvTy5UUOv0I6RvHIDjip7Zjf5K9EIn7+HXdeBvkR3ego
hq38j/8gXPyVY+FTjIp8v7iIJJ/vsTpeuYaOFvB+0JG7o9Kkpj1f3HzT8i46SKLj
yT9hMeMMMl6tJ+me+EFqXVXynAGtnIj0z7y8FgMTMFvPBzGNWSzmCwmiv7nxk+Xp
zgpWcP1F9d4DXIBHkglO8PpJtim6lLkBDQRIjcv9AQgA/RAMD8QDBIgVjOA/aiDm
JlcmSO/kQWkFFuUeTv12CBcuCdYOZyrF5ISfnRASysPPcONlj7jIV/zyqKNUMVTQ
Mkn+1fDa/KunS0Zti2oIGAq2UL1DiQPhgr+EXtrAaoWloEI74O3UIeFvKO+DyyS+
9aAsTjx3TUMkj3xDWLniWQSG5i3Ij5UM1z+IUHxHxmsKSZNo/jswFLqcyStWX1Mx
c5CaCJVjL/OxQ0TZhOY7tOYWpFkHCLP25SZOWElOKHOzJCIOrfv5Zip01kslVLNn
UV24Mz/1YAj2nDJqiiKdkh3n3jy80EuDObBzI2Fdw7d12pZD7SnzZ/UziguMgqyY
cQARAQABiQEfBBgBAgAJBQJIjcv9AhsMAAoJEN1cWjXz9HQ/dHUIAKfMGIX53Dmg
/EDIWqmnOgCB0r0XY3vjyO/I8weXiRmz1BX0uyzdp/bDzXvFht8rEx6g4M7V+2yz
Ie1rh5P3mUoAnm3zuVYdfqHv8YLu9mDqvyL1B+sGUFAD17CJn+BWIV6R2vpoWuRF
Rz0QvnjRPGD1QrmiL/KzwNbEpz6nHLymgf5VR/gx8Kh7may0bc4iZ1KSupK7kG82
YMHf1/8CazCTzow9pXFGh1OVgPPPWJJWCUAgRh2foOlRbH8ThTq9lpSYLfXQ+bP7
MuKdg+glfItmXlGsmJcixk/rD1wkma6NqGEDVpZyYYy0uP8WztBsH5XUTV965lpo
5gXr+/bJ6wE=
=CFlk
-----END PGP PUBLIC KEY BLOCK-----

Опция —armor позволяет экспортировать ключ в ASCII-режиме. Без неё ключ будет экспортирован в бинарном виде.

Для того, чтобы экспортировать закрытые ключи для ЭЦП и шифрования, можно воспользоваться командой:

gpg --armor --export-secret-keys user_id

Пример:

sadko@sadovnikov:~/.ssh> gpg --armor --export-secret-keys "Vladimir Sadovnikov"
-----BEGIN PGP PRIVATE KEY BLOCK-----
Version: GnuPG v1.4.5 (GNU/Linux)
 
lQO+BEiNyy4BCACoDXiTAMZXlf/geeR9cSmNZxbyxnOCGZvLdoWLcJ5akaK22s3/
75lMgyDtSKQAZ20/fPGebdiI690ZTnYZOJaYaZXSALCDgcI5ncrjdWkpUR/ecTrn
Am3VZZv6qly9mfnx1ci06mNda8GzOVsIqXIipBGIKrPmoR6GLP9KqjNbb2AGl3XF
ISApk5yDGpMtFgwk9COlsmOFL+sEUcmavd05U25ggoMADieLGWehMifJzdPJwcJl
8jNqZeVnPfKnAR44VzNn21hJ+Qi66ufTQ3dCOLHjUhAwV4MgYN76lyRZRgg1tlLu
L3DcIyq3reiwqcC3QgznOaRNpxTSDQU9AEFpABEBAAH+AwMCc6eBgSYAbgFg4Pbd
bJT+pJCeRfkWlvhBzpbICfn5bWec8dExEtY9I3CjiQ8SvRmLnT4HvdPy3ZYiCKCA
Gx2N6SH2JHaUe5cClbScbkWcAN+4H7nlhWLSG2oxgw3MBwgEuAC36U+SJ5sytSOa
FudaI0RApLR7Nhvkk0vntjb7H39Bo4w7SigX5kF+m5jb4TEP82oPf2eH6ZW7EwEn
VnmXe3uN/wonciNLJ8I465M+5dgLHeWzkqznWu8SHJT1i8cYnvRE8KsWD5ljsQlM
oFuyMsdLA76U0/WyfampyQ2Nn96ZhkRYv/a+JpOZ2dWmdaRQTg7gGuVmetfqudJ4
9t+z9nnYN96uskOC7RD2Im8GjLKqM+VhoimlFj8GraOd1KzHy9zPp1ZxUCTYjjfe
rzjl+V5JMboXeYXIiS5+BdsFpyTfp/4zQdOixcJDE2wR95F0qA67wNjDRXD5YpAV
SeAa9TJC79T4lyFwizTqdDqPVlJV1VxInXTkU5bDsNrlwHdUSD499NAevck6jVcx
3nq4LVShaEkx0YhgeMVfcVJGIUyHgztNKQDulSaOEHiyNjDW6dUSqFc/C82vD4R+
cfEBdYZV/TSznALPCMfwowAYUuv4eN0atpSkzTHez1VFImiFvH/QfUOB3cZLijyk
HNLZq/JuMRc6GPmR6PVQfNkPaas0W+68hQ7Bziy+1g6mQ0MRKr5yRmu15gqQdczo
u7GJOr31dA2YzIHLSFVgakhbUWL14xWPaS3a9EhSnZLc1ENb2hofUxWUS8I0UhPV
FN3sMj7SVNlIY0mgpdMFXviwYy3zN1id400OtZVwr4wGqEHsTvylk//SbY7K+FRl
vhzpuLKdWmf5D9/XfqmR0T3DkGujAINqJsTXADnjnxs7zhKVzqkuFO/hI/3DyVfk
X7Q7VmxhZGltaXIgU2Fkb3ZuaWtvdiAoUEVSTCBEZXZlbG9wZXIpIDxzYWRvdm5p
a292QHByb3RlaS5ydT6JATYEEwECACAFAkiNyy4CGwMGCwkIBwMCBBUCCAMEFgID
AQIeAQIXgAAKCRDdXFo18/R0P7OKB/4kTXFJQy8rFzM5nDElALwl6qnFal0Om2Y7
NmC2uKdPhgvFLK66QDqNlGQ9yzksJw6Ww4X7FpS144Bu1phq1505pJ++ACF/kfKb
Xrkj6b14G4aDzmFWEgRYFcMx2UTAReE0TJZsviVD3StO9PLlRQ6/QjpG8cgOOKnt
mN/kr0Qifv4dd14G+RHd6CiGrfyP/yBc/JVj4VOMiny/uIgkn++xOl65ho4W8H7Q
kbuj0qSmPV/cfNPyLjpIouPJP2Ex4wwyXq0n6Z74QWpdVfKcAa2ciPTPvLwWAxMw
W88HMY1ZLOYLCaK/ufGT5enOClZw/UX13gNcgEeSCU7w+km2KbqUnQO+BEiNy/0B
CAD9EAwPxAMEiBWM4D9qIOYmVyZI7+RBaQUW5R5O/XYIFy4J1g5nKsXkhJ+dEBLK
w89w42WPuMhX/PKoo1QxVNAySf7V8Nr8q6dLRm2LaggYCrZQvUOJA+GCv4Re2sBq
haWgQjvg7dQh4W8o74PLJL71oCxOPHdNQySPfENYueJZBIbmLciPlQzXP4hQfEfG
awpJk2j+OzAUupzJK1ZfUzFzkJoIlWMv87FDRNmE5ju05hakWQcIs/blJk5YSU4o
c7MkIg6t+/lmKnTWSyVUs2dRXbgzP/VgCPacMmqKIp2SHefePLzQS4M5sHMjYV3D
t3XalkPtKfNn9TOKC4yCrJhxABEBAAH+AwMCkJDSW9wC3FpgRky+0rXpWWMMMyJI
LKyzxhKktlGTmtEclGOZVZN0+LN0lo+QP5zYJ7/WxOb4FrJ2zVgEE9ECt/YjiZMq
VB4wIBZBXBpNQxORl05csRolTmpHeMjxwKieoWaJyUZNXK2yXXcKc3UAZJWFcpu7
d8AmBiifQyqwZ54oDriNvWNhwWJS4oxapQ0eLCL7Pm+TxQTqW8LUsRSNFv6gqMSp
FWiLRt0skI1lIpn/AKQwfG7lyMnewTRaLw6Y+w41FU3+8YN7LWp/NlWxCvTB5sPB
31pg7FajMxuHSbzL7u1lgRL2YpBWu/UAtWGiqKNhGiCcGgOKGtnnEfqyxCPUtvgT
UOcTx/daXzH8ULxANIAirBY7SFc+sBxmJoYH7JoSSOFb7befAdJggMVxzhbrCgM9
9q97YApOUZS3gsZylpA6RkCztwhD5zbUbH1pOWRWW/P/8+OHkv1AnD6NWg16b7Qe
dUGEqIMImQRBwnOfV6ksUHLlKaYHMgJc2LJSxeCMY3W90stVIKbzSHz+H6/xt82C
bTBOgPA/F0DNuqvMq4cZoTbSeU+fkdNUYrxDQj5JoGnkGEeI+j4rv9u4kYwqoaRI
NifyAXMLq2RlAgWJBKSzsWG4jozdovzzVqYC/XATpTjUrSQl+C4dikNJzfphJDHp
nI3ciFKEquukQkVQy+sfUo3kZSMHqSLz9XPaXMKnFrMX7DlCGshm11gc4c7KIKew
JrwbOb7vnYWgtida/wK5mdKAo0h0Lv09/DlWjrdiOBlNhaaMMKTPI+yoF8WwXrPp
so9fBaTTOWqnFNZOjzGywCVA92GqizGUYSjuku8CBy+F6lZDWN0OhjkRMWQfJZzR
Ed96JWt7KfcpoCeUQyjNtvnnL8gjw+BT0+sJnLFsp1JjGLHlpDf294kBHwQYAQIA
CQUCSI3L/QIbDAAKCRDdXFo18/R0P3R1CACnzBiF+dw5oPxAyFqppzoAgdK9F2N7
48jvyPMHl4kZs9QV9Lss3af2w817xYbfKxMeoODO1ftssyHta4eT95lKAJ5t87lW
HX6h7/GC7vZg6r8i9QfrBlBQA9ewiZ/gViFekdr6aFrkRUc9EL540Txg9UK5oi/y
s8DWxKc+pxy8poH+VUf4MfCoe5mstG3OImdSkrqSu5BvNmDB39f/Amswk86MPaVx
RodTlYDzz1iSVglAIEYdn6DpUWx/E4U6vZaUmC310Pmz+zLinYPoJXyLZl5RrJiX
IsZP6w9cJJmujahhA1aWcmGMtLj/Fs7QbB+V1E1feuZaaOYF6/v2yesB
=3Fkz
-----END PGP PRIVATE KEY BLOCK-----

Для экспорта закрытого ключа для шифрования можно воспользоваться командой:

gpg --armor --export-secret-subkeys user_id

Пример:

sadko@sadovnikov:~> gpg --armor --export-secret-subkeys "Vladimir Sadovnikov"
-----BEGIN PGP PRIVATE KEY BLOCK-----
Version: GnuPG v1.4.5 (GNU/Linux)
 
lQEVBEiNyy4BCACoDXiTAMZXlf/geeR9cSmNZxbyxnOCGZvLdoWLcJ5akaK22s3/
75lMgyDtSKQAZ20/fPGebdiI690ZTnYZOJaYaZXSALCDgcI5ncrjdWkpUR/ecTrn
Am3VZZv6qly9mfnx1ci06mNda8GzOVsIqXIipBGIKrPmoR6GLP9KqjNbb2AGl3XF
ISApk5yDGpMtFgwk9COlsmOFL+sEUcmavd05U25ggoMADieLGWehMifJzdPJwcJl
8jNqZeVnPfKnAR44VzNn21hJ+Qi66ufTQ3dCOLHjUhAwV4MgYN76lyRZRgg1tlLu
L3DcIyq3reiwqcC3QgznOaRNpxTSDQU9AEFpABEBAAH+A2UCR05VAbQ7VmxhZGlt
aXIgU2Fkb3ZuaWtvdiAoUEVSTCBEZXZlbG9wZXIpIDxzYWRvdm5pa292QHByb3Rl
aS5ydT6JATYEEwECACAFAkiNyy4CGwMGCwkIBwMCBBUCCAMEFgIDAQIeAQIXgAAK
CRDdXFo18/R0P7OKB/4kTXFJQy8rFzM5nDElALwl6qnFal0Om2Y7NmC2uKdPhgvF
LK66QDqNlGQ9yzksJw6Ww4X7FpS144Bu1phq1505pJ++ACF/kfKbXrkj6b14G4aD
zmFWEgRYFcMx2UTAReE0TJZsviVD3StO9PLlRQ6/QjpG8cgOOKntmN/kr0Qifv4d
d14G+RHd6CiGrfyP/yBc/JVj4VOMiny/uIgkn++xOl65ho4W8H7Qkbuj0qSmPV/c
fNPyLjpIouPJP2Ex4wwyXq0n6Z74QWpdVfKcAa2ciPTPvLwWAxMwW88HMY1ZLOYL
CaK/ufGT5enOClZw/UX13gNcgEeSCU7w+km2KbqUnQO+BEiNy/0BCAD9EAwPxAME
iBWM4D9qIOYmVyZI7+RBaQUW5R5O/XYIFy4J1g5nKsXkhJ+dEBLKw89w42WPuMhX
/PKoo1QxVNAySf7V8Nr8q6dLRm2LaggYCrZQvUOJA+GCv4Re2sBqhaWgQjvg7dQh
4W8o74PLJL71oCxOPHdNQySPfENYueJZBIbmLciPlQzXP4hQfEfGawpJk2j+OzAU
upzJK1ZfUzFzkJoIlWMv87FDRNmE5ju05hakWQcIs/blJk5YSU4oc7MkIg6t+/lm
KnTWSyVUs2dRXbgzP/VgCPacMmqKIp2SHefePLzQS4M5sHMjYV3Dt3XalkPtKfNn
9TOKC4yCrJhxABEBAAH+AwMCkJDSW9wC3FpgRky+0rXpWWMMMyJILKyzxhKktlGT
mtEclGOZVZN0+LN0lo+QP5zYJ7/WxOb4FrJ2zVgEE9ECt/YjiZMqVB4wIBZBXBpN
QxORl05csRolTmpHeMjxwKieoWaJyUZNXK2yXXcKc3UAZJWFcpu7d8AmBiifQyqw
Z54oDriNvWNhwWJS4oxapQ0eLCL7Pm+TxQTqW8LUsRSNFv6gqMSpFWiLRt0skI1l
Ipn/AKQwfG7lyMnewTRaLw6Y+w41FU3+8YN7LWp/NlWxCvTB5sPB31pg7FajMxuH
SbzL7u1lgRL2YpBWu/UAtWGiqKNhGiCcGgOKGtnnEfqyxCPUtvgTUOcTx/daXzH8
ULxANIAirBY7SFc+sBxmJoYH7JoSSOFb7befAdJggMVxzhbrCgM99q97YApOUZS3
gsZylpA6RkCztwhD5zbUbH1pOWRWW/P/8+OHkv1AnD6NWg16b7QedUGEqIMImQRB
wnOfV6ksUHLlKaYHMgJc2LJSxeCMY3W90stVIKbzSHz+H6/xt82CbTBOgPA/F0DN
uqvMq4cZoTbSeU+fkdNUYrxDQj5JoGnkGEeI+j4rv9u4kYwqoaRINifyAXMLq2Rl
AgWJBKSzsWG4jozdovzzVqYC/XATpTjUrSQl+C4dikNJzfphJDHpnI3ciFKEquuk
QkVQy+sfUo3kZSMHqSLz9XPaXMKnFrMX7DlCGshm11gc4c7KIKewJrwbOb7vnYWg
tida/wK5mdKAo0h0Lv09/DlWjrdiOBlNhaaMMKTPI+yoF8WwXrPpso9fBaTTOWqn
FNZOjzGywCVA92GqizGUYSjuku8CBy+F6lZDWN0OhjkRMWQfJZzREd96JWt7Kfcp
oCeUQyjNtvnnL8gjw+BT0+sJnLFsp1JjGLHlpDf294kBHwQYAQIACQUCSI3L/QIb
DAAKCRDdXFo18/R0P3R1CACnzBiF+dw5oPxAyFqppzoAgdK9F2N748jvyPMHl4kZ
s9QV9Lss3af2w817xYbfKxMeoODO1ftssyHta4eT95lKAJ5t87lWHX6h7/GC7vZg
6r8i9QfrBlBQA9ewiZ/gViFekdr6aFrkRUc9EL540Txg9UK5oi/ys8DWxKc+pxy8
poH+VUf4MfCoe5mstG3OImdSkrqSu5BvNmDB39f/Amswk86MPaVxRodTlYDzz1iS
VglAIEYdn6DpUWx/E4U6vZaUmC310Pmz+zLinYPoJXyLZl5RrJiXIsZP6w9cJJmu
jahhA1aWcmGMtLj/Fs7QbB+V1E1feuZaaOYF6/v2yesB
=Zi1I
-----END PGP PRIVATE KEY BLOCK-----

Результат работы всех этих команд можно перенаправить в файл. Пример:

sadko@sadovnikov:~> gpg --export >public.key
sadko@sadovnikov:~> gpg --export-secret-keys >private.key

Как зашифровать данные?

Чтобы зашифровать данные, необходимо воспользоваться опцией —encrypt.
Шифровать можно как без добавления ЭЦП, так и с добавлением ЭЦП. Если нужно добавить ЭЦП, следует воспользоваться опцией —sign.

Для шифрования без ЭЦП можно воспользоваться командой:

gpg --recipient user_id --output output_file --encrypt input_file

Пример шифрования:

sadko@sadovnikov:~> cat export.txt
export HOME="/home/sadko"
export LOGNAME="sadko"
export OLDPWD
export PATH="/usr/bin:/bin"
export PWD="/home/sadko"
export SHELL="/bin/sh"
export SHLVL="2"
export USER="sadko"
export _="/home/sadko/test.sh"
 
sadko@sadovnikov:~> gpg --recipient "Vladimir Sadovnikov" --output export.txt.crypted --encrypt export.txt
 
sadko@sadovnikov:~> cat export.txt.crypted
�
#:;���r��$��>/ɢ�
		<[▒�ly�z�N���\�����D!�s�Za/�
D�Dt�u��D@*���W(�<+�                           Q` :�κ�s �ha�    �ۥ#�[O
�ȝ*Q� �:���Ŭ! mgWB�6'E�a�=��o���y&ɽl�j�#���f-��Mz��$�� ���zr
							���r��CS�E��qH�'C�� /%���Y��
�^�ox�@r�Q+��{  mo��b��o@�SW�f<襒�����9m���Ҫ\?�A!w���yI�U;��Nb��X[�����A�����]�(��▒8���w~�Ԭ����5A�4kf�`��Lt��!V���}���������YN�wGj���{��λ.�ō�D[sadko@sadovnikov:~> �c�}/ގ7���Bijp�1_�ЅEp

Для шифрования с ЭЦП необходимо воспользоваться опцией —sign. Чтобы не вводить пароль к закрытому ключу в интерактивном режиме, можно использовать опцию —passphrase :

gpg --sign --passphrase passphrase --recipient user_id --output output_file --encrypt input_file

Пример:

sadko@sadovnikov:~> gpg --sign --passphrase "passphrase_ok" --recipient "Vladimir Sadovnikov" --output export.txt.crypted.sign --encrypt export.txt
 
You need a passphrase to unlock the secret key for
user: "Vladimir Sadovnikov (PERL Developer) "
2048-bit RSA key, ID F3F4743F, created 2008-07-28

Как расшифровать данные?

Чтобы расшифровать данные, можно воспользоваться командой:

gpg --recipient user_id --passphrase passphrase --output output_file --decrypt input_file

Пример дешифрования:

sadko@sadovnikov:~> gpg --recipient "Vladimir Sadovnikov" --passphrase "passphrase_ok" --output export.txt.decrypted --decrypt export.txt.crypted
 
You need a passphrase to unlock the secret key for
user: "Vladimir Sadovnikov (PERL Developer) "
2048-bit RSA key, ID EBD472E7, created 2008-07-28 (main key ID F3F4743F)
 
gpg: encrypted with 2048-bit RSA key, ID EBD472E7, created 2008-07-28
"Vladimir Sadovnikov (PERL Developer) "
 
sadko@sadovnikov:~> gpg --recipient "Vladimir Sadovnikov" --passphrase "passphrase_ok" --output export.txt.decrypted.sign --decrypt export.txt.crypted.sign
 
You need a passphrase to unlock the secret key for
user: "Vladimir Sadovnikov (PERL Developer) "
2048-bit RSA key, ID EBD472E7, created 2008-07-28 (main key ID F3F4743F)
 
gpg: encrypted with 2048-bit RSA key, ID EBD472E7, created 2008-07-28
"Vladimir Sadovnikov (PERL Developer) "
gpg: Signature made Втр 29 Июл 2008 18:38:14 MSD using RSA key ID F3F4743F
gpg: Good signature from "Vladimir Sadovnikov (PERL Developer) "
 
sadko@sadovnikov:~> cat export.txt.decrypted
export HOME="/home/sadko"
export LOGNAME="sadko"
export OLDPWD
export PATH="/usr/bin:/bin"
export PWD="/home/sadko"
export SHELL="/bin/sh"
export SHLVL="2"
export USER="sadko"
export _="/home/sadko/test.sh"

Как удалить ключи?

Для удаления закрытых ключей можно использовать команду:

gpg --delete-secret-keys user_id

Пример:

sadko@sadovnikov:~> gpg --delete-secret-keys "Vladimir Sadovnikov"
gpg (GnuPG) 1.4.5; Copyright (C) 2006 Free Software Foundation, Inc.
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it
under certain conditions. See the file COPYING for details.
 
 
sec  2048R/F3F4743F 2008-07-28 Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
 
Delete this key from the keyring? (y/N) y
This is a secret key! - really delete? (y/N) y

Для удаления открытых ключей используется команда:

gpg --delete-keys user_id

Пример:

sadko@sadovnikov:~> gpg --delete-keys "Vladimir Sadovnikov"
gpg (GnuPG) 1.4.5; Copyright (C) 2006 Free Software Foundation, Inc.
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it
under certain conditions. See the file COPYING for details.
 
 
pub  2048R/F3F4743F 2008-07-28 Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
 
Delete this key from the keyring? (y/N) y

Как импортировать ключи?

Необходимо воспользоваться опцией —import:

gpg --import key_file

Пример:

sadko@sadovnikov:~> gpg --import public.key
gpg: key F3F4743F: public key "Vladimir Sadovnikov (PERL Developer) " imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)
 
sadko@sadovnikov:~> gpg --import private.key
gpg: key F3F4743F: secret key imported
gpg: key F3F4743F: "Vladimir Sadovnikov (PERL Developer) " not changed
gpg: Total number processed: 1
gpg:              unchanged: 1
gpg:       secret keys read: 1
gpg:   secret keys imported: 1

Как можно узнать, что команда выполнилась успешно?

В случае успешного выполнения команды gpg возвращает 0. Для получения кодов ошибок можно обратиться к файлу gpg-error.h.

Что ещё можно почитать?

Полезные ссылки:

GPG Manpage

RU Wikipedia

EN Wikipedia

http://www.somacon.com/p107.php

http://linsec.ca/Using_GnuPG

http://www.spywarewarrior.com/uiuc/gpg/gpg-com-4.htm

Основы работы с GnuPG #1

SadKo — Mon, 07 Sep 2009 09:31:26 +0000

Некогда по работе пришлось разбираться с работой GnuPG и описывать принципы работы с ней для сотрудников. Ниже приведён текст краткого howto, написанного мной.

Для чего всё это надо?

GNU Privacy Guard, GnuPG, GPG — свободная альтернатива набору криптографического ПО PGP, выпущенная под лицензией GPL. Является частью проекта GNU, получила гранты от Германского правительства. GnuPG полностью совместим со стандартом IETF OpenPGP. Текущие версии GnuPG могут взаимодействовать с PGP и другими OpenPGP-совместимыми системами в режиме совместимости. GnuPG позволяет шифровать и подписывать данные в целях безопасного хранения и передачи информации.

Какие особенности GnuPG по сравнению с PGP/OpenPGP?

GnuPG обладает следующими особенностями:

Полная альтернатива PGP.

Не использует патентованные алгоритмы.

Распространяется под GNU General Public License.

Полная реализация OpenPGP (RFC2440).

Расшифрование и аутентификация сообщений, созданных с помощью PGP 5, 6 и 7.

Поддержка электронной подписи с помощью алгоритмов ElGamal, DSA, RSA и хеш-функций MD5, SHA-1, RIPE-MD-160 и TIGER.

Работа с ассиметричным шифрованием ElGamal и RSA (длина ключа от 1024 до 4096 бит).

Поддержка блочных алгоритмов симметричного шифрования AES, 3DES, Blowfish, Twofish, CAST5, а также IDEA с помощью плагина.

Лёгкая реализация новых алгоритмов с помощью дополнительных модулей.

Поддержка просроченных ключей и подписей.

Интегрированная поддержка HKP серверов ключей.

Каков принцип работы GnuPG?

GnuPG шифрует сообщения, используя асимметричные пары ключей, генерируемые пользователями GnuPG. Публичными ключами можно обмениваться с другими пользователями различными путями, в том числе и через интернет с помощью серверов ключей. Также GnuPG позволяет добавлять криптографическую цифровую подпись к сообщению, при этом целостность и отправитель сообщения могут быть проверены.

GnuPG не использует запатентованное или иначе ограниченное ПО и/или алгоритмы, включая алгоритм IDEA, который представлен в PGP почти с самого начала. GnuPG использует другие непатентованные алгоритмы CAST5, 3DES, AES, Blowfish и Twofish. Тем не менее, возможно использование в GnuPG и алгоритма IDEA с помощью дополнительного модуля.

GnuPG — это гибридное криптографическое программное обеспечение, которое использует комбинацию стандартного шифрования с помощью симметричных ключей и шифрования с публичным ключом для безопасного обмена ключами, публичный ключ получателя необходим для шифрования ключа сессии, используемого единожды. Такой режим работы является частью стандарта OpenPGP и частью PGP в его первой версии.

Как работать с утилитой gpg?

Утилита gpg доступна из командной строки, поэтому большую часть криптографических функций можно осуществлять, вызывая её из других программ. К таким функциям относятся, например, шифрование, дешифрование, проверка цифровых подписей. Однако, некоторые операции производятся в интерактивном режиме, например редактирование и создание ключей.

При работе с утилитой необходимо начать с создания своих ключей или импорта чужих открытых ключей (public keys). Далее, имея необходимые ключи, можно осуществлять шифрование/дешифрование данных и добавление электронной цифровой подписи (ЭЦП), позволяющей удостовериться, что данные действительно принадлежат отправителю.

Как создать свой ключ?

Для создания собственного ключа необходимо использовать команду:

gpg --gen-key

Пример работы команды:

sadko@sadovnikov:~/.ssh> gpg --gen-key
gpg (GnuPG) 1.4.5; Copyright (C) 2006 Free Software Foundation, Inc.
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it
under certain conditions. See the file COPYING for details.
 
Please select what kind of key you want:
(1) DSA and Elgamal (default)
(2) DSA (sign only)
(5) RSA (sign only)
Your selection? 5
RSA keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048)
Requested keysize is 2048 bits
Please specify how long the key should be valid.
	0 = key does not expire
<n>  = key expires in n days
<n>w = key expires in n weeks
<n>m = key expires in n months
<n>y = key expires in n years
Key is valid for? (0) 0
Key does not expire at all
Is this correct? (y/N) y
 
You need a user ID to identify your key; the software constructs the user ID
from the Real Name, Comment and Email Address in this form:
"Heinrich Heine (Der Dichter) "
 
Real name: Vladimir Sadovnikov
Email address: sadovnikov@protei.ru
Comment: PERL Developer
You selected this USER-ID:
"Vladimir Sadovnikov (PERL Developer) "
 
Change (N)ame, (C)omment, (E)mail or (O)kay/(Q)uit? O
You need a Passphrase to protect your secret key.
Enter passphrase:
Confirm passphrase:  
 
We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.
 
Not enough random bytes available.  Please do some other work to give
the OS a chance to collect more entropy! (Need 284 more bytes)
..........+++++
+++++
gpg: key F3F4743F marked as ultimately trusted
public and secret key created and signed.
 
gpg: checking the trustdb
gpg: 3 marginal(s) needed, 1 complete(s) needed, PGP trust model
gpg: depth: 0  valid:   1  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 1u
pub   2048R/F3F4743F 2008-07-28
Key fingerprint = 6D16 A862 4CC8 487D E388  3235 DD5C 5A35 F3F4 743F
uid                  Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
 
Note that this key cannot be used for encryption.  You may want to use
the command "--edit-key" to generate a subkey for this purpose.

В данном примере были созданы открытый (public key) и закрытый ключи (private key) для алгоритма шифрования RSA длиной 2048 бит, защищённые паролем. Эти ключи будут использоваться для добавления ЭЦП. Владелец этих ключей — пользователь с идентификатором Vladimir Sadovnikov. Однако, шифровать данные при помощи этих ключей не получится. Поэтому надо к этим ключам создать ещё пару ключей для шифрования. Это делается при помощи консольной команды:

gpg --edit-key user-id

В интерактивном режиме можно при помощи команды trust задать критерий доверия ключу, а при помощи команды addkey создать пару ключей для шифрования данных.
Пример работы команды:

sadko@sadovnikov:~/.ssh> gpg --edit-key "Vladimir Sadovnikov"
gpg (GnuPG) 1.4.5; Copyright (C) 2006 Free Software Foundation, Inc.
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it
under certain conditions. See the file COPYING for details.
 
Secret key is available.
 
pub  2048R/F3F4743F  created: 2008-07-28  expires: never       usage: SC
		trust: ultimate      validity: ultimate
[ultimate] (1). Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
 
Command> trust
pub  2048R/F3F4743F  created: 2008-07-28  expires: never       usage: SC
		trust: ultimate      validity: ultimate
[ultimate] (1). Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
 
Please decide how far you trust this user to correctly verify other users' keys
(by looking at passports, checking fingerprints from different sources, etc.)
 
1 = I don't know or won't say
2 = I do NOT trust
3 = I trust marginally
4 = I trust fully
5 = I trust ultimately
m = back to the main menu
 
Your decision? 5
Do you really want to set this key to ultimate trust? (y/N) y
 
pub  2048R/F3F4743F  created: 2008-07-28  expires: never       usage: SC
		trust: ultimate      validity: ultimate
[ultimate] (1). Vladimir Sadovnikov (PERL Developer) 
 
Command> addkey
Key is protected.
 
You need a passphrase to unlock the secret key for
user: "Vladimir Sadovnikov (PERL Developer) "
2048-bit RSA key, ID F3F4743F, created 2008-07-28
Enter passphrase:
 
Please select what kind of key you want:
(2) DSA (sign only)
(4) Elgamal (encrypt only)
(5) RSA (sign only)
(6) RSA (encrypt only)
Your selection? 6
RSA keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048)
Requested keysize is 2048 bits
Please specify how long the key should be valid.
	0 = key does not expire
  = key expires in n days
w = key expires in n weeks
m = key expires in n months
y = key expires in n years
Key is valid for? (0) 0
Key does not expire at all
Is this correct? (y/N) y
Really create? (y/N) y
We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.
............+++++
........+++++
 
pub  2048R/F3F4743F  created: 2008-07-28  expires: never       usage: SC
		trust: ultimate      validity: ultimate
sub  2048R/EBD472E7  created: 2008-07-28  expires: never       usage: E
[ultimate] (1). Vladimir Sadovnikov (PERL Developer) 
 
Command> quit
Save changes? (y/N) y

Для ключей к ЭЦП пользователя Vladimir Sadovnikov создаётся пара ключей RSA длиной 2048 бит. Эти ключи уже можно использовать для шифрования данных.

Как можно посмотреть доступные ключи?

Для просмотра открытых ключей можно воспользоваться командой:

gpg --list-keys user_id

Пример:

sadko@sadovnikov:~/.ssh> gpg --list-keys
gpg: checking the trustdb
gpg: 3 marginal(s) needed, 1 complete(s) needed, PGP trust model
gpg: depth: 0  valid:   1  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 1u
/home/sadko/.gnupg/pubring.gpg
------------------------------
pub   2048R/F3F4743F 2008-07-28
uid                  Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
sub   2048R/EBD472E7 2008-07-28

Просмотр закрытых ключей можно также сделать командой:

gpg --list-secret-keys user_id

Пример:

sadko@sadovnikov:~/.ssh> gpg --list-secret-keys
/home/sadko/.gnupg/secring.gpg
------------------------------
sec   2048R/F3F4743F 2008-07-28
uid                  Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
ssb   2048R/EBD472E7 2008-07-28

Для просмотра «отпечатов пальцев» используется команда:

gpg --fingerprint user_id

Пример:

sadko@sadovnikov:~> gpg --fingerprint
/home/sadko/.gnupg/pubring.gpg
------------------------------
pub   2048R/F3F4743F 2008-07-28
Key fingerprint = 6D16 A862 4CC8 487D E388  3235 DD5C 5A35 F3F4 743F
uid                  Vladimir Sadovnikov (PERL Developer) <sadovnikov@protei.ru>
sub   2048R/EBD472E7 2008-07-28

Команда выводит аналогичный результат, что и —list-keys, но с полем Key fingerprint.

Патчим DokuWiki.

SadKo — Fri, 04 Sep 2009 18:28:23 +0000

Совсем недавно всплыла проблема с навигацией в dokuwiki.

ПХПисты совсем обалдели и расхлябались! Суют свой быдлокод куда ни попадя, правильно на неправильно исправляют (ибо в предыдущей версии такого не было). Приходится всё за них переделывать.

Итак, у кого кривая навигация в dokuwiki наверху, смело применяем этот патч на файле inc/template.php:

diff -cr template.old template.php
*** template.old        2009-02-14 15:13:25.000000000 +0300
--- template.php        2009-03-14 17:29:19.000000000 +0300
***************
*** 875,885 ****
      // output
      echo $sep;
      if($exists){
!       $title = useHeading('navigation') ? p_get_first_heading($page) : $page;
!       if(!$title) $title = $parts[$i];
!       tpl_link(wl($page),hsc($title),'title="'.$page.'"');
      }else{
!       tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
      }
    }
 
--- 875,888 ----
      // output
      echo $sep;
      if($exists){
!       //$title = useHeading('navigation') ? p_get_first_heading($page) : $page;
!       //if(!$title) $title = $parts[$i];
!       //tpl_link(wl($page),hsc($title),'title="'.$page.'"');
!       $title = useHeading('navigation') ? p_get_first_heading($page) : $parts[$i];
!       tpl_link(wl($page),hsc($title),'title="'.$page.'"');
      }else{
!       //tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
!         tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
      }
    }
 
***************
*** 889,897 ****
    if($page == $conf['start']) return;
    echo $sep;
    if(page_exists($page)){
!     $title = useHeading('navigation') ? p_get_first_heading($page) : $page;
!     if(!$title) $title = $parts[$i];
!     tpl_link(wl($page),hsc($title),'title="'.$page.'"');
    }else{
      tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
    }
--- 892,902 ----
    if($page == $conf['start']) return;
    echo $sep;
    if(page_exists($page)){
!     //$title = useHeading('navigation') ? p_get_first_heading($page) : $page;
!     //if(!$title) $title = $parts[$i];
!     //tpl_link(wl($page),hsc($title),'title="'.$page.'"');
!       $title = useHeading('navigation') ? p_get_first_heading($page) : $parts[$i];
!       tpl_link(wl($page),hsc($title),'title="'.$page.'"');
    }else{
      tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
    }

UPD1:
Чтобы увидеть работу патча, привожу скриншоты.
Это панель навигации до патча:

А вот так она выглядит после патча:

UPD2:
Для недовольных выкладываю патч в universal-формате:

diff -ruN template.old template.php
--- template.old        2009-02-14 15:13:25.000000000 +0300
+++ template.php        2009-03-14 17:29:19.000000000 +0300
@@ -875,11 +875,14 @@
     // output
     echo $sep;
     if($exists){
-      $title = useHeading('navigation') ? p_get_first_heading($page) : $page;
-      if(!$title) $title = $parts[$i];
-      tpl_link(wl($page),hsc($title),'title="'.$page.'"');
+      //$title = useHeading('navigation') ? p_get_first_heading($page) : $page;
+      //if(!$title) $title = $parts[$i];
+      //tpl_link(wl($page),hsc($title),'title="'.$page.'"');
+       $title = useHeading('navigation') ? p_get_first_heading($page) : $parts[$i];
+       tpl_link(wl($page),hsc($title),'title="'.$page.'"');
     }else{
-      tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
+      //tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
+        tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
     }
   }
 
@@ -889,9 +892,11 @@
   if($page == $conf['start']) return;
   echo $sep;
   if(page_exists($page)){
-    $title = useHeading('navigation') ? p_get_first_heading($page) : $page;
-    if(!$title) $title = $parts[$i];
-    tpl_link(wl($page),hsc($title),'title="'.$page.'"');
+    //$title = useHeading('navigation') ? p_get_first_heading($page) : $page;
+    //if(!$title) $title = $parts[$i];
+    //tpl_link(wl($page),hsc($title),'title="'.$page.'"');
+       $title = useHeading('navigation') ? p_get_first_heading($page) : $parts[$i];
+       tpl_link(wl($page),hsc($title),'title="'.$page.'"');
   }else{
     tpl_link(wl($page),$parts[$i],'title="'.$page.'" class="wikilink2" rel="nofollow"');
   }

UPD 3:
Обсуждение патча на багзилле DokuWiki.

Sequoia изнутри #3

SadKo — Thu, 27 Aug 2009 14:46:01 +0000

Пролог

В предыдущем посте я описал, на какие грабли пришлось наступить, чтобы заставить Sequoia создавать таблицы в RecoveryLog и запускать backends. Тем не менее, сама работа контроллера по-прежнему оставалась некорректной, и, как выяснилось, без правки исходников решить проблему никак не получалось.

Ковыряем исходники

Исходники Sequoia точно так же, как дистрибутив и документация, доступны на официальном сайте. После разархивации объём исходников меня разочаровал, я ожидал от подобной супер-системы большего числа файлов. Но не в количестве файлов суть.
Ещё раз поглядев на генерируемое исключение, я дополз до проблемного кода в файле src/org/continuent/sequoia/controller/recoverylog/events/LogRequestEvent.java. Вот он:

  public void execute(LoggerThread loggerThread,
      RecoveryLogConnectionManager manager)
  {

    Trace logger = loggerThread.getLogger();
    try
    {
      if (logger.isDebugEnabled())

        logger.debug(Translate.get("recovery.jdbc.loggerthread.log.info",
            logEntry.getLogId()));

      PreparedStatement pstmt = manager.getLogPreparedStatement();
      pstmt.setLong(RecoveryLog.COLUMN_INDEX_LOG_ID, logEntry.getLogId());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_VLOGIN, logEntry.getLogin());
      pstmt.setString(RecoveryLog.COLUMN_INDEX_SQL, logEntry.getQuery());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_SQL_PARAMS, logEntry
          .getQueryParams());
      pstmt.setString(RecoveryLog.COLUMN_INDEX_AUTO_CONN_TRAN, logEntry
          .getAutoConnTrans());

      pstmt.setLong(RecoveryLog.COLUMN_INDEX_TRANSACTION_ID, logEntry.getTid());
      pstmt.setLong(RecoveryLog.COLUMN_INDEX_REQUEST_ID, logEntry
          .getRequestId());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_EXEC_STATUS, logEntry
          .getExecutionStatus());
      pstmt.setLong(RecoveryLog.COLUMN_INDEX_EXEC_TIME, logEntry
          .getExecutionTimeInMs());

      pstmt.setLong(RecoveryLog.COLUMN_INDEX_UPDATE_COUNT, logEntry
          .getUpdateCountResult());

      if (logger.isDebugEnabled())

        logger.debug(pstmt.toString());
      try
      {
        pstmt.setEscapeProcessing(logEntry.getEscapeProcessing());

      }
      catch (Exception ignore)
      {
      }
      // Здесь бросается исключение:

      int updatedRows = pstmt.executeUpdate();
      if ((updatedRows != 1) && logger.isWarnEnabled())

        logger
            .warn("Recovery log did not update a single entry while executing: "
                + pstmt.toString());
    }

    catch (SQLException e)
    {
      manager.invalidate();
      if ("T".equals(logEntry.getAutoConnTrans()))

        logger.error(Translate.get(
            "recovery.jdbc.loggerthread.log.failed.transaction", new String[]{

                logEntry.getQuery(), String.valueOf(logEntry.getTid())}), e);

      else
        logger.error(Translate.get("recovery.jdbc.loggerthread.log.failed",
            logEntry.getQuery()), e);

      // Push object back in the queue, it needs to be logged again
      loggerThread.putBackAtHeadOfQueue(this, e);
    }

  }

От этого кода я и стал плясать, в результате чего всё-таки смог найти место, где можно выплюнуть создаваемое SQL-выражение. Дело осталось за небольшим — скомпилить исходники.

Сборка Sequoia

Сборка, в принципе, несложна и выполняется через Ant. Но предварительно следовало сконфигурировать файл build.properties, в котором я прописал версию используемой JDK — 1.5:

javac.target = 1.5
javac.source = 1.5

После этого, немного поизучав build.xml, я запустил в shell следующую команду:

ant clean && ant jar

Исходники собрались (правда, с ворнингами, ARGH!!!), и у меня на руках уже были новые JAR, которые я и подпихнул взамен штатных.

Патчинг

После перезапуска контроллера пропатченный код выплюнул в лог SQL-выражения, используемые для вставки/обновления данных RecoveryLog:

2009-08-26 19:17:25,368 DEBUG sequoia.controller.recoverylog Insert statement: INSERT INTO T_RECOVERY VALUES(?,?,?,?,?,?,?,?,?,?)
2009-08-26 19:17:25,372 DEBUG sequoia.controller.recoverylog Update statement: UPDATE T_RECOVERY SET exec_status=?,update_count=?,exec_time=? WHERE log_id=?

Синтаксис INSERT-выражения меня просто убил, так как в нём не учтено, что поля могут поменяться местами. Потратив час на модификацию кода, я, в конце-концов, пропатчил создаваемые SQL-выражения, а также добавил отладочную инфу к проблемной функции в файле src/org/continuent/sequoia/controller/recoverylog/events/LogRequestEvent.java:

  public void execute(LoggerThread loggerThread,
      RecoveryLogConnectionManager manager)
  {

    Trace logger = loggerThread.getLogger();
    try
    {
      if (logger.isDebugEnabled())

        logger.debug(Translate.get("recovery.jdbc.loggerthread.log.info",
            logEntry.getLogId()));

      PreparedStatement pstmt = manager.getLogPreparedStatement();

      pstmt.setLong(RecoveryLog.COLUMN_INDEX_LOG_ID, logEntry.getLogId());

      if (logger.isDebugEnabled())
        logger.debug("logID = " + logEntry.getLogId());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_VLOGIN, logEntry.getLogin());
      if (logger.isDebugEnabled())

        logger.debug("login = " + logEntry.getLogin());
      pstmt.setString(RecoveryLog.COLUMN_INDEX_SQL, logEntry.getQuery());

      if (logger.isDebugEnabled())
        logger.debug("query = " + logEntry.getQuery());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_SQL_PARAMS, logEntry
          .getQueryParams());
      if (logger.isDebugEnabled())

        logger.debug("queryParams = " + logEntry.getQueryParams());
      pstmt.setString(RecoveryLog.COLUMN_INDEX_AUTO_CONN_TRAN, logEntry
          .getAutoConnTrans());

      if (logger.isDebugEnabled())
        logger.debug("autoConnTrans = " + logEntry.getAutoConnTrans());

      pstmt.setLong(RecoveryLog.COLUMN_INDEX_TRANSACTION_ID, logEntry.getTid());
      if (logger.isDebugEnabled())

        logger.debug("transactionID = " + logEntry.getTid());
      pstmt.setLong(RecoveryLog.COLUMN_INDEX_REQUEST_ID, logEntry
          .getRequestId());

      if (logger.isDebugEnabled())
        logger.debug("RequestID = " + logEntry.getRequestId());

      pstmt.setString(RecoveryLog.COLUMN_INDEX_EXEC_STATUS, logEntry
          .getExecutionStatus());
      if (logger.isDebugEnabled())

        logger.debug("executionStatus = " + logEntry.getExecutionStatus());
      pstmt.setLong(RecoveryLog.COLUMN_INDEX_EXEC_TIME, logEntry
          .getExecutionTimeInMs());

      if (logger.isDebugEnabled())
        logger.debug("executionTimeMs = " + logEntry.getExecutionTimeInMs());

      pstmt.setLong(RecoveryLog.COLUMN_INDEX_UPDATE_COUNT, logEntry
          .getUpdateCountResult());
      if (logger.isDebugEnabled())

        logger.debug("updateCount = " + logEntry.getUpdateCountResult());

      if (logger.isDebugEnabled())

        logger.debug(pstmt.toString());
      try
      {
        pstmt.setEscapeProcessing(logEntry.getEscapeProcessing());

      }
      catch (Exception ignore)
      {
      }

      int updatedRows = pstmt.executeUpdate();
      if ((updatedRows != 1) && logger.isWarnEnabled())

        logger
            .warn("Recovery log did not update a single entry while executing: "
                + pstmt.toString());
    }

    catch (SQLException e)
    {
      manager.invalidate();
      if ("T".equals(logEntry.getAutoConnTrans()))

        logger.error(Translate.get(
            "recovery.jdbc.loggerthread.log.failed.transaction", new String[]{

                logEntry.getQuery(), String.valueOf(logEntry.getTid())}), e);

      else
        logger.error(Translate.get("recovery.jdbc.loggerthread.log.failed",
            logEntry.getQuery()), e);

      // Push object back in the queue, it needs to be logged again
      loggerThread.putBackAtHeadOfQueue(this, e);
    }

  }

Ряд исключений сразу исчез. Тем не менее, остались ещё проблемы, которые были исправлены только за счёт комментирования этих строчек кода:

/*      try
      {
        pstmt.setEscapeProcessing(logEntry.getEscapeProcessing());
      }
      catch (Exception ignore)

      {
      }*/

Только после этого и очередной, N-надцатой пересборки пакетов перезапускаемый контроллер перестал ругаться на вставку и выборку данных при прогонке теста. Краш тест?

Краш-тест (leightweight version)

В качестве leightweight-теста я решил воспользоваться Sequoia Console и вырубить второй backend:

CJDBC(admin) > disable oracle02
Disabling backend oracle02 with automatic checkpoint.

Прогнав тест, я убедился, что в первую базу запись была вставлена, а в отключенную — нет. При чём, содержимое Recovery Log пополнилось записями:

LOG_ID                 VLOGIN                                                           SQL_QUERY                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        SQL_QUERY_PARAM                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  AUTO_CONN_TRAN TRANSACTION_ID         REQUEST_ID             EXEC_STATUS EXEC_TIME              UPDATE_COUNT
---------------------- ---------------------------------------------------------------- -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------- ---------------------- ---------------------- ----------- ---------------------- ----------------------
1                      user                                                             begin                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             T              0                      0                      S           0                      -1
2                      user                                                             INSERT INTO Tm_First (nID, strMessage, nCode) VALUES (?, ?, ?)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       T              0                      0                      S           118                    1
3                      user                                                             commit                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            T              0                      0                      S           0                      0
4                      user                                                             rollback                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          T              1                      0                      S           0                      0

Что ж, впечатляет! Попробуем заново поднять backend:

CJDBC(admin) > enable oracle02
Enabling backend oracle02 from its last known checkpoint

После некоторых раздумий и логописательств, контроллер-таки остановился, и я убедился, что недостающая запись во второй базе появилась. Только это никак не ура, возвращаемся к краш-тестам.

Краш-тест (hardcore version)

Что ж, этот краш-тест, как и в предыдущих случаях, заключался в блокировке пользователя и обрубании коннекций с последующим запуском теста.
Что же в результате? В RecoveryLog появилась запись о вставке, и в первый backend запись была вставлена. Я, было, обрадовался такому положению дел и разлочил пользовательскую учётку, что не вызвало никакой реакции со стороны контроллера. Последующие запуски теста не накладывали никаких отпечатков на вторую доступную базу.
Тогда я решил перезапустить backend через консоль:

CJDBC(admin) > disable oracle02
Disabling backend oracle02 with automatic checkpoint.
CJDBC(admin) > enable oracle02
Enabling backend oracle02 from its last known checkpoint
Cannot enable backend oracle02 from a known state. Resynchronize this backend by restoring a dump.

Оппаньки! Это, значит, после временной потери коннекта я должен восстанавливать базу из бэкапа? Что за бред!!!

В поисках лекарства решил заглянуть в Administration Guide, но там нашёл инфу только про дампы.

Резюме

Фу и фи. Чем больше ковыряюсь в этой софтине, тем больше убеждаюсь в её реальной непродуманности и ненадёжности. Может быть, я чего-то упускаю, но за эти четыре дня у меня уже порой лезут глаза на лоб от её выходок. Больше всего поражают танцы с бубном вокруг, казалось бы, простых вещей. В общем, завтра ещё поковыряюсь с ней, может всё-таки докопаюсь до истины.

Sequoia изнутри #2

SadKo — Thu, 27 Aug 2009 13:19:02 +0000

Введение

Собственно, после первой неудачи с RAIDb1, изложенной в этом посте, я решил воспользоваться такой фичей, как RecoveryLog. Для этого ещё раз перечитывал туториал по созданию виртуальной БД.

RecoveryLog

Что ж, для того, чтобы запустить RecoveryLog, нужно чётко прописать параметры каждой таблицы, а также заиметь ещё одну базу. Но, если мы заимеем ещё одну базу, надёжность такой системы резко снижается, так как в случае отказа RecoveryLog всё накрывается медным тазом. Как вариант, разработчики Sequoia предлагают создать для RecoveryLog отдельную виртуальную базу, объединённую… в RAIDb1! Это, получается, матрёшка в матрёшке. Поэтому такой бредятины я делать не стал, а просто-напросто создал в первой базе дополнительную схему (ну не было у меня ещё одного сервера БД), а вторую базу оставил под краш-тесты. Согласно заверениям разработчиков:

The C-JDBC Recovery Log stores write queries and transactions between logical checkpoints defined by the user. The log can be only be stored in a database (or cluster of databases) using a JDBCRecoveryLog element.

The JDBCRecoveryLog stores the recovery information in a database. To access this database, you must provide the driver class name to load (driver), an optional jar file or directory where to find the class to load (driverPath), the JDBC url to access the database as well as a valid login/password.

A timeout in seconds can be defined for the sql requests. If no value is given, the default timeout is set to 60 seconds. Warning! 0 means no timeout and wait forever until completion.

Вроде бы, всё понятно. То есть, я теперь должен описать все типы полей для таблиц, чем я кропотливо и занялся.

Грабли как они есть

Для экономии времени я скопировал пример из каталога config и прописал вместо указанных типов соответствующие им типы ORACLE. После этого я запустил систему, контроллер стартовал и, вроде бы, в лог никаких исключений не сыпалось, я решил запустить тест (см. предыдущий пост), который повис на коннекте, потому что контроллер почему-то не поднял ни одного backend. Что за ерунда?
После получаса гугления я-таки выполз на вот эту страничку:
Using Sequoia with GlassFish.
Собственно, оттуда почерпал сакральные знания о том, что нужно воспользоваться консолью, прилагаемой к дистрибутиву.

Sequoia controller console

Консоль запускается shell-скриптом из каталога bin, имеет гламурный вид (используются цветастые надписи). Примерно так:

sadovnikov:/opt/sequoia # bin/console.sh
Launching the Sequoia controller console
Initializing Controller module...
Initializing VirtualDatabase Administration module...
Initializing SQL Console module...
Sequoia driver (Sequoia core v2.10.10) successfully loaded.
localhost:1090 >

При этом, контроллер тоже должен быть запущен.
Далее надо указать, какую виртуальную базу мы хотим админить:

localhost:1090 > admin CJDBC
Virtual database Administrator Login > admin
Virtual database Administrator Password >
Ready to administrate virtual database CJDBC

Для того, чтобы вся эта дребедень заработала, надо проинициализировать каждый backend:

CJDBC(admin) > initialize oracle01 force
Virtual Database CJDBC has been successfully initialized from backend oracle01
CJDBC(admin) > initialize oracle02 force
Virtual Database CJDBC has been successfully initialized from backend oracle02

После этого надо стартануть backends:

CJDBC(admin) > enable oracle01
Enabling backend oracle01 from its last known checkpoint
CJDBC(admin) > enable oracle02
Enabling backend oracle02 from its last known checkpoint
CJDBC(admin) >

Всё бы хорошо, но вот на включение backend система посыпала кучу исключений, потому что в примерах были описаны типы не для всех колонок.

Мытарства с описанием RecoveryLog

Скрипя сердцем я взял документацию и стал построчно сравнивать каждый параметр с целью поиска недостающих описаний колонок таблицы. После добавления недостающих колонок и присваивания им соответствующих типов я снова попытался поднять backend и… облом. Оказывается, даже в доках были описаны не все поля и требуемые для них типы. Вспомнив, что Sequoia использует для ведения логов log4j, полез в конфигу log4j.properties, где заменил строчку:
log4j.logger.org.continuent.sequoia.controller.recoverylog=INFO, Console,Filetrace
На следующую:
log4j.logger.org.continuent.sequoia.controller.recoverylog=ALL, Console,Filetrace
Вычислить, для кого нужно было включить логи, было несложно, так как в Stack Trace выплёвываемого исключения было написано, какой класс какого пакета его вызывал.
Это мне сильно помогло, так как в лог стали писаться SQL Statements, используемые backend’ом для создания таблиц Recovery Log. Вот их пример:

2009-08-26 17:21:50,679 DEBUG sequoia.controller.recoverylog Log table create statement: CREATE TABLE RECOVERY (log_id INTEGER NOT NULL ENABLE,vlogin VARCHAR2(32) NOT NULL,sql VARCHAR2(32) NOT NULL,sql_param VARCHAR,auto_conn_tran NUMBER NOT NULL,transaction_id INTEGER NOT NULL,request_id INTEGER,exec_status NUMBER NOT NULL,exec_time INTEGER,update_count NUMBER, CONSTRAINT RECOVERY_PK PRIMARY KEY (log_id))
2009-08-26 17:21:50,681 DEBUG sequoia.controller.recoverylog Checkpoint table create statement: CREATE TABLE CHECKPOINT (name VARCHAR2(64) NOT NULL,log_id INTEGER, CONSTRAINT CHECKPOINT_PK PRIMARY KEY (name))
2009-08-26 17:21:50,682 DEBUG sequoia.controller.recoverylog Backend table create statement: CREATE TABLE BACKEND (database_name VARCHAR2(32) NOT NULL, backend_name VARCHAR2(32) NOT NULL,backend_state INTEGER, checkpoint_name VARCHAR2(32) NOT NULL )
2009-08-26 17:21:50,684 DEBUG sequoia.controller.recoverylog Dump table create statement: CREATE TABLE DUMP (dump_name VARCHAR2(32) NOT NULL,dump_date TIMESTAMP(6),dump_path VARCHAR2(64) NOT NULL,dump_format VARCHAR2(64) NOT NULL,checkpoint_name VARCHAR2(64) NOT NULL,backend_name VARCHAR2(64) NOT NULL,tables VARCHAR2(64) NOT NULL)

Только благодаря этому логу я смог выяснить, почему SQL statement у меня не прошёл (оказывается, ВНЕЗАПНО вылез тип VARCHAR для поля, которое не было описано в доке). Стыдно, господа-разработчики!

Итоговый конфиг???

После мытарств с конфигом я в конце-концов получил следующий конфиг контроллера:





   port="25322">
     hideSensitiveData="true" generateOnShutdown="true" generateOnFatal="true" enableFileLogging="true" />

    
      
    

     configFile="/opt/sequoia/config/virtualdatabase/sequoia.xml" virtualDatabaseName="CJDBC" autoEnableBackends="true" checkpointName="cjdbc_checkpoint" />

И следующий конфиг виртуальной базы:





   name="CJDBC" maxNbOfConnections="150" minNbOfThreads="40" maxNbOfThreads="150" sqlDumpLength="80" >

    
      
         username="admin" password="sql"/>
      

      
         vLogin="user" vPassword="sql"/>
      
    

    

    
     name="oracle01" driver="oracle.jdbc.OracleDriver" url="jdbc:oracle:thin:@192.168.0.140:1521:oracle" connectionTestStatement="select * from dual">

         dynamicPrecision="table" gatherSystemTables="false" />

         vLogin="user" rLogin="cjdbc" rPassword="cjdbc">

                 initPoolSize="10" minPoolSize="5" maxPoolSize="50" idleTimeout="180" waitTimeout="120"/>

        
    

    
     name="oracle02" driver="oracle.jdbc.OracleDriver" url="jdbc:oracle:thin:@192.168.0.141:1521:oracle" connectionTestStatement="select * from dual">

         dynamicPrecision="table" gatherSystemTables="false" />

         vLogin="user" rLogin="cjdbc" rPassword="cjdbc">

                 initPoolSize="10" minPoolSize="5" maxPoolSize="50" idleTimeout="180" waitTimeout="120"/>

        
    

    
    

        
             level="passThrough"/>
        

        

             maxNbOfMetadata="10000" maxNbOfField="0"/>

             backgroundParsing="false" maxNbOfEntries="5000"/>

             granularity="table" maxNbOfEntries="100000" pendingTimeout="0" />
        

        
            
                 policy="first"/>

                

            
        

       driver="oracle.jdbc.OracleDriver" url="jdbc:oracle:thin:@192.168.0.140:1521:oracle" login="cjdbcrec" password="cjdbcrec">

         tableName="RECOVERY"
            logIdColumnType="INTEGER NOT NULL ENABLE"
            vloginColumnType="VARCHAR2(64) NOT NULL"
            sqlColumnName="sql"

            sqlColumnType="VARCHAR2(2048) NOT NULL"
            sqlParamColumnType="VARCHAR2(2048)"
            autoConnTranColumnType="VARCHAR2(4) NOT NULL"
            transactionIdColumnType="INTEGER NOT NULL"
            requestIdColumnType="INTEGER"

            execTimeColumnType="INTEGER"
            updateCountColumnType="NUMBER"
            extraStatementDefinition=", CONSTRAINT RECOVERY_PK PRIMARY KEY (log_id)"/>

         tableName="CHECKPOINT"

            checkpointNameColumnType="VARCHAR2(128) NOT NULL"
            logIdColumnType="INTEGER"
            extraStatementDefinition=", CONSTRAINT CHECKPOINT_PK PRIMARY KEY (name)"/>

         tableName="BACKEND"

            databaseNameColumnType="VARCHAR2(64) NOT NULL"
            backendNameColumnType="VARCHAR2(128) NOT NULL"
            checkpointNameColumnType="VARCHAR2(128) NOT NULL"/>

         tableName="DUMP"

            dumpNameColumnType="VARCHAR2(64) NOT NULL"
            dumpDateColumnType="TIMESTAMP(6)"
            dumpPathColumnType="VARCHAR2(128) NOT NULL"
            dumpFormatColumnType="CLOB NOT NULL"
            checkpointNameColumnType="VARCHAR(128) NOT NULL"

            backendNameColumnType="VARCHAR2(128) NOT NULL"
            tablesColumnType="VARCHAR2(128) NOT NULL"/>
      
    
  

enableFileLogging="true" />
    
      
    

     configFile="/opt/sequoia/config/virtualdatabase/sequoia.xml" virtualDatabaseName="CJDBC" autoEnableBackends="true" checkpointName="cjdbc_checkpoint" />

Добившись, наконец, того, что система создавала таблицы (важно — искомые типы полей брались по спецификации из доков и примеров) и запускала оба backend, я решился прогнать тест.

Пока ещё не краш-тест

Вставка данных прошла, но вот контроллер снова высыпал кучу исключений. Я искренне удивился, когда увидел, что он пытается вставлять null-значения в not-nullable колонки. Помимо этого, названия таблиц и колонка ‘log’ были такими же, что и функции ORACLE, то есть, пришлось всё это переименовывать, в результате чего я получил-таки финальную версию конфиги для RecoveryLog:

         tableName="T_RECOVERY"
            logIdColumnType="INTEGER NOT NULL ENABLE"
            vloginColumnType="VARCHAR2(64) NOT NULL"
            sqlColumnName="sql_query"

            sqlColumnType="VARCHAR2(2048) NOT NULL"
            sqlParamColumnType="VARCHAR2(2048)"
            autoConnTranColumnType="VARCHAR2(4) NOT NULL"
            transactionIdColumnType="INTEGER NOT NULL"
            requestIdColumnType="INTEGER"

            execTimeColumnType="INTEGER"
            updateCountColumnType="NUMBER"
            extraStatementDefinition=", CONSTRAINT RECOVERY_PK PRIMARY KEY (log_id)"/>

         tableName="T_CHECKPOINT"

            checkpointNameColumnType="VARCHAR2(128) NOT NULL"
            logIdColumnType="INTEGER"
            extraStatementDefinition=", CONSTRAINT CHECKPOINT_PK PRIMARY KEY (name)"/>

         tableName="T_BACKEND"

            databaseNameColumnType="VARCHAR2(64) NOT NULL"
            backendNameColumnType="VARCHAR2(128) NOT NULL"
            checkpointNameColumnType="VARCHAR2(128)"/>

         tableName="T_DUMP"

            dumpNameColumnType="VARCHAR2(64) NOT NULL"
            dumpDateColumnType="TIMESTAMP(6)"
            dumpPathColumnType="VARCHAR2(128) NOT NULL"
            dumpFormatColumnType="CLOB NOT NULL"
            checkpointNameColumnType="VARCHAR(128) NOT NULL"

            backendNameColumnType="VARCHAR2(128) NOT NULL"
            tablesColumnType="VARCHAR2(128) NOT NULL"/>

Думаете, это было последняя битва с Recovery Log? Ошибаетесь! При попытке вставить в таблицу контроллер продолжал стабильно сыпать исключения такого вида:

2009-08-26 17:59:53,394 ERROR sequoia.controller.recoverylog Failed to log begin for transaction 0
java.sql.SQLException: ORA-00911: invalid character

        at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:112)
        at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:331)
        at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:288)
        at oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:743)
        at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:216)
        at oracle.jdbc.driver.T4CPreparedStatement.executeForRows(T4CPreparedStatement.java:955)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1168)
        at oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3285)
        at oracle.jdbc.driver.OraclePreparedStatement.executeUpdate(OraclePreparedStatement.java:3368)
        at org.continuent.sequoia.controller.recoverylog.events.LogRequestEvent.execute(LogRequestEvent.java:104)
        at org.continuent.sequoia.controller.recoverylog.LoggerThread.run(LoggerThread.java:678)

Вот вам и опровержение абзаца из мануала:

Users reported successful usage of Sequoia with the following RDBMS: Oracle®, PostgreSQL, MySQL, Apache Derby, IBM DB2®, Sybase®, SAP DB (MySQL MaxDB), HyperSonic SQL, Firebird, MS SQL Server and InstantDB.

В общем, Google помог слабо, нашёл один хиленький баг-тред, из которого вынес только то, что для достижения совместимости с ORACLE придётся патчить исходники.

Резюме

Проковырявшись с настройками RecoveryLog целый рабочий день, я так и не смог до конца заставить его работать. Видать, разработчики очень плохо тестировали свой продукт на СУБД ORACLE. Что самое обидное, в сети по возникающим проблемам с Sequoia найти ответ на свой вопрос очень тяжело.
В следующей части я опишу процесс сборки Sequoia и её краш-тест.

Sequoia изнутри #1

SadKo — Thu, 27 Aug 2009 11:01:10 +0000

Как бэ вступление

По работе возникла необходимость синхронной рабты с кластером БД (4 базы, в которых должны храниться одни и те же данные). Для этого я несколько месяцев подряд писать тулзу data_proc (коммерческая разработка), которая обрабатывает данные в поточном режиме и устойчива к connection-loss/database-failure ошибкам. Единственный недостаток — это хранение данных на локальном диске в виде журналов, объём которых достаточно велик, если база несколько часов находится offline.
Помимо data_proc у нас есть ещё куча других приложений, для которых пришлось писать балансировщик нагрузки для SELECT-запросов, с чем мы успешно справились. Тем не менее, вопрос балансировки нагрузки и кластеризации (с целью упрощения data_proc) остался, и мне предложили разобраться с C-JDBC, о чём я и буду сейчас писать.

C-JDBC или Sequoia

Собственно, было предложено покопаться в проекте C-JDBC (Clustered JDBC), который имеет лицензию LGPL. Выкачал дистрибутив, сорсы и доки для Linux, поставил в /opt. Стал разбираться, как скрестить это чудо с ORACLE. Честно прочитал бОльшую часть документации на этот продукт, и после некоторых бдений с когфигами и осознавания того, что я делаю не так, выяснил, что ан-нет, не получается никак. Это чудо генерило исключения при попытке получить схему БД ORACLE. Да, я бы всё понял, если бы это не было java.lang.NullPointerException. После долгих скитаний в Google я, было, совсем отчаялся.
«А, может, я не ту версию скачал?» — подумал я, и пошёл снова на официальный сайт C-JDBC, на котором заметил, что C-JDBC имеет своё продолжение — проект Sequoia, с изменённой лицензией на Apache License. Скачав последнюю версию, стал ковырять…

Первые грабли

Первыми граблями оказалось портирование конфига с C-JDBC на Sequoia. Очень жестокий XML-валидатор ругался и матерился, пока я всё-таки не выяснил, что ему действительно было нужно от меня. Разобравшись с валидатором, я всё-таки написал конфиг, объединяющий две схемы двух разных БД в кластер по технологии RAIDb-1. Контроллер вроде бы запустился, да даже вроде бы поднял так называемые backends (проще говоря, законнектился к базам).
Отлично, теперь можно слабать простенькую табличку:
CREATE TABLE TM_FIRST ( nID NUMBER, strMessage VARCHAR2(256), nCode NUMBER )
Что я незамедлительно и проделал на обеих схемах.
Пришло время написать какой-нить код, который что-то делает с этим кластером. Что ж, берём в руки Eclipse, создаём проект и заводим вот такой классик:

package test.cjdbc;

import java.sql.*;

import org.continuent.sequoia.driver.DataSource;

/** CJDBC controller test
 * @author Vladimir Sadovnikov
 *
 */

public class Tm_CJDBCTest
{
	/**
	 * @param args
	 */
	public static void main(String[] args)

	{
		DataSource ds = new DataSource();

		ds.setURL("jdbc:sequoia://localhost:25322/CJDBC");

		ds.setUser("user");
		ds.setPassword("userpass");

		try
		{
			Connection conn = ds.getConnection();

			conn.setAutoCommit(false);

			try
			{
				PreparedStatement stm = conn.prepareStatement("INSERT INTO Tm_First (nID, strMessage, nCode) VALUES (?, ?, ?)");

				try
				{
					stm.setInt(1, 666);

					stm.setString(2, "Hello, World!");
					stm.setInt(3, 13);

					stm.addBatch();

					stm.execute();
					conn.commit();

				}
				catch (SQLException ex)
				{
					conn.rollback();

					throw ex;
				}
				finally
				{
					stm.close();

				}

				stm = conn.prepareStatement("SELECT * from Tm_First");

				try

				{
					ResultSet rset = stm.executeQuery();

					try

					{
						while (rset.next())
						{

							String result = "fetched item: ";
							result += rset.getInt(1) + ";";

							result += rset.getString(2) + ";";

							result += rset.getInt(3) + "\n";

							System.out.println(result);
						}
					}

					finally
					{
						rset.close();
					}

				}
				catch (SQLException ex)
				{
					conn.rollback();

					throw ex;
				}
				finally
				{
					stm.close();

				}
			}
			finally
			{
				conn.close();

			}
		}
		catch (SQLException ex)
		{
			ex.printStackTrace();

		}
	}
}

Запускаем класс на выполнение, в базы вставляется по строчке, контроллер рапортует об успехе, выдав мне на SELECT-запрос строчку. Ура-ура-ура: в базах данные вроде бы синхронны. Что ж, пора брать в руки молоток.

Краш-тест

Что ж, посмотрим, как контроллер отреагирует на отказ в работе одной из БД.
Для этого, не мудрствуя лукаво, я делаю следующий трюк:
ALTER USER cjdbc ACCOUNT LOCK
То есть, блокирую аккаунт, через который контроллер Sequoia подключается к базе. После чего вывожу список коннекций:
select s.sid s.serial#, s.osuser, s.username, s.program FROM v$session s where USERNAME like 'CJDBC' and OSUSER IS NULL
И поочереди сношу их через
ALTER SYSTEM KILL SESSION IMMEDIATE;
После этого база контроллеру недоступна, и я с чистой совестью снова прогоняю тест. В результате чего в одной базе две записи, в другой — одна. И никаких дополнительных метаданных, по которым можно было бы восстановить зеркальность баз, нет ни в первой, ни во второй.
Что ж, может это очень умная штука, которая использует какие-то ораклёвые фичи, о которых я не знаю? OK, тогда разрешаем аккаунт:
ALTER USER cjdbc ACCOUNT UNLOCK
И снова прогоняем тест. В первой базе три записи, во второй — по-прежнему одна, а SELECT бодро выдаёт три записи через ResultSet.
Может быть, оно после рестарта как-то восстановится? Ладно, вырубаю контроллер (жёстко, по ctrl-c). Запускаю снова. Sequoia подключается к обеим базам, вытаскивает схемы и… больше ничего не делает.
Ладно, прогоняю ещё раз тест… В первой базе четыре записи, во второй — всего две, и выдёргивается через SELECT только две.

Но не может же быть!

subj, ведь в официальной документации от Sequoia говорится следующее:

You have a Java application or a Java-based application server that accesses one or several databases. The database tier becomes the bottleneck of your application or it is a single point of failure or both. Sequoia can help you resolve these problems by providing:
* performance scalability by adding database nodes and balancing the load among these nodes.
* high availability of the database tier, i.e. Sequoia tolerates database crashes and offers transparent failover using database replication techniques.
* improved performance with fine grain query caching and transparent connection pooling.
* SQL traffic logging for performance monitoring and analysis.
* support for clusters of heterogeneous database engines.

Вспоминаю, что в доках упоминалась такая фигня, как RecoveryLog. Может, причина в том, что я не сконфигурировал его? Да, похоже, надо конфигурить, но это тема для отдельного поста.

Заключение

Первое знакомство с C-JDBC оказалось неудачным, в Sequoia был пофиксен ряд багов, что, тем не менее, не мешало ей валить исключения при определённых настройках. Тестирование работы RAIDb-1 оказалось полностью провальным (до первого сбоя), опция RecoveryLog не использовалась. Похоже, что в документации нас хотят обмануть. Но исследование продолжается.

Миграция на WordPress

SadKo — Sat, 22 Aug 2009 12:05:01 +0000

Итак, как обещал, пишу свои впечатления от миграции на WordPress.

Прежде всего хочу акцентировать внимание на то, почему я всё же решил «слинять» с LiveJournal. Окончательной причиной такого решения стала тотальная кривость движка ЖЖ, которая меня очень сильно поражает. Почему я для того, чтобы удалить запись, должен жать на 3 кнопки (править — удалить — согласен) вместо того, чтобы воспользоваться всего двумя (удалить — согласен). Зачастую даже путаешься в интерфейсе для того, чтобы совершить простейшую операцию — перейти из личного кабинета в блог и наоборот. Ну а также не удовлетворяют тормоза в работе, сильная перегруженность контента ЖЖ и ВНЕЗАПНО появившаяся реклама.

Тем не менее, недостатки, как выяснилось, у WordPress тоже в наличии, но они не такие большие.
Прежде всего претензии к плагинам, работающими с ЖЖ: ни lj-xp, ни lj-user работать нормально не хотели. Ну если в lj-xp всё не так страшно и ограничивается только мелкими патчами кода, неработающего на новой версии PHP, то о плагине lj-user можно сказать только то, что автор вообще не знал, чего писал. Это просто БЫДЛОКОДИНГ, и результат этого быдлокодинга тупо вешал движок WordPress при, казалось бы, элементаной операции обработки текста. Заведомо практически не зная PHP, я написал нормальный плагин lj-user, который не вгоняет в вечный цикл движок WordPress, и именно поэтому считаю стирание исконного автора из комментариев справедливым.

Именно поэтому я публикую исправленные версии плагинов у себя на сервере:
LJ CrossPost (lj-xp).
LJ User (lj-user).

В общем, надеюсь, вам эти плагины тоже помогут.