on dumb HOWTO copy-pasting

[netch80]

В связи с этим (как-то сия феерическая дискуссия прошла мимо меня) и рассказом про "тупые HOWTO с лиссяры" вспомнил разборки совсем недельной давности.
Есть один дружественный провайдер colocall.net, к которому я регулярно хожу в гости на рюмку чая, где работал K+1 год назад и где у меня есть шелл. В этот шелл регулярно попадают строки лога из ipfw, задалбывают.

Выжимка из диалога с сисадмином тазика.

Я: а это действительно надо чтобы на zeus сообщения о том, что его спрашивают по ntp, сыпались всем на экраны?
А: Там на таз идёт немерянный поток udp пакетов, в среднем 8000-10000 пакетов в секунду. Это не временно. Это давно и постоянно. Если ничего не делать, то на сервере невозможно работать - всё рывками. Поэтому у меня там сделано так: ipfw в лог пишет информацию обо всех udp пакетах на порт 123. И запущен скрипт, который добавляет в файрвол запрет для IP адресов, с которых пришло более 50 udp пакетов в минуту.
А: Вообще не понятно, откудя такая активность? Может это вирусня какая-то? Но что им нужно от ntp сервера?

О как. Стало интересно. Проверил по ntp.org. Такого нет. Тогда решил ввести hostname в поиск... и что я вижу? Сотни, нет, тысячи копипаст одной и той же хаутушки "как сделать время на сервере", в которую вбиты конкретные хосты без каких-то предупреждений типа "не пробуйте использовать это за пределами Киева".
Вбил его IP - то же самое. И таки где одна из первых копий? Ну конечно, на лиссяре.

(Адрес открыт в основном постинге, потому что он легко угадывался по смыслу и его таки обоснованно угадали в комментариях.)

Далее пошло обсуждение того, как надо это лечить. Я предлагал жёсткие меры разного уровня радикальности. Например, отдавать всем за пределами сети провайдера время 5-летней давности или, наоборот, 25 декабря 2012 года. Или чуть помягче, например, каждые сутки на секунду медленнее, чтобы постепенно накапливать эффект. Но тот админ, похоже, страдает чрезмерным гуманизмом, и эти меры не были приняты.

Вот вам и вред от таких хаутушек - 10K левых запросов в секунду совершенно непричастным.

Comments

[andy-scott.livejournal.com]

для IP адресов, с которых пришло более 50 udp пакетов в минуту

это что ж надо делать с бедным ntp демоном чтобы он столько пакетов раптом слал?

[netch80.livejournal.com]

А это не демоны. Это или толстая сетка за NAT, или сошедший с ума виндовый клиент, я такие наблюдал.

[andy-scott.livejournal.com]

Мне нравится идея убрать с этого IP осмысленный сервер, а на его место поставить какой-либо металлолом, который да будет кормить кого попало чем угодно. Хоть бы и просто нулем. Хотя админ в чем-то прав, получается как бы западло некое. Вообще нафиг зафильтровать этот IP по 123 порту ото всех, на кого не рассчитано, да и дело с концом. Ну типа "она утонула".

[crazy-daemon.livejournal.com]

Когда я работал в провайдинге я тоже по этому адресу синхронизировал время. :)

[crazy-daemon.livejournal.com]

Но количество ответов гугла по этому hostname — поразило моё воображение.

[tzirechnoy.livejournal.com]

А этот hostname очень важэн для хостера? А то, можэт, перенаправить его так или иначе на pool.ntp.org?

[netch80.livejournal.com]

Ну в качестве аварийного решения таки да, но ещё есть имя ntp.$hoster, используемое клиентами, а строить разную отдачу DNS в зависимости от source IP в этих условиях чревато сильными граблями.

[dadv.livejournal.com]

Так все верно. Но пара замечаний:

1. 10Kpps это не нагрузка сама по себе, если они ненужные и отфильтрованы.
2. "ничего кроме посылки заведомой чуши - не помогает" - посылка заведомой чуши тоже не шибко-то помогает. Поэтому фильтровать, а если и этого недостаточно, то менять hostname/ip - биться против роя фактически невозможно, точнее требует сверхрадикальной меры - убрать анонс адреса из BGP или хотя бы зароутить его в Null0 на аплинке.

[netch80.livejournal.com]

> 1. 10Kpps это не нагрузка сама по себе, если они ненужные и отфильтрованы.

Увы, он на них старается отвечать, и по любому пишет в лог. А это дофига.

> 2. "ничего кроме посылки заведомой чуши - не помогает" - посылка заведомой чуши тоже не шибко-то помогает. Поэтому фильтровать,

Фильтрация и чушь друг другу не мешают. Например, prob 0.9 drop..., а если таки пробился - отдавать чушь. Но режимы менять регулярно.

> а если и этого недостаточно, то менять hostname/ip - биться против роя фактически невозможно, точнее требует сверхрадикальной меры - убрать анонс адреса из BGP или хотя бы зароутить его в Null0 на аплинке.

Так в этом и был исходный посыл - что из-за *удаков приходится менять IP и издеваться над сетью.

[w00dy.livejournal.com]

А чего они не разнесут этот ze**.cococo.net и ntp.cococo.net? У них жеж там и места в гермозоне много, и личные самопальные блейды есть, и админши с класными сиськами

[netch80.livejournal.com]

Я думаю, скоро разнесут (раз пошло внятное обсуждение вопроса и есть понимание проблемы), но где-то 1/3 нагрузки, которая на собственный hostname таза, сдвинется вместе с этим переездом и её всё равно придётся гасить теми же методами. И вообще, ставить отдельный сервак для обслуживания нагрузки, которая не предполагалась, не анонсировалась, за которую не платят - а смысл?

(да, угадал. первый пирожок уезжает телезрителю)

[nivanych.livejournal.com]

Поучительно, спасибо.

[dmarck.livejournal.com]

... к вопросу о том, что в хауту надо писать service.example.org...

[furry.livejournal.com]

и 192.0.2.1 ;)

[furry.livejournal.com]

Ну пусть сделают доброе дело для общественности и выделят эту машину под public NTP server ;)

[netch80.livejournal.com]

Они уже дают public NTP. Но совсем другой.

[gegmopo4.livejournal.com]

Хорошая история. Вдохновляет.

[gul-kiev.livejournal.com]

Я так и не понял, в чём смысл валить сообщения ipfw на консоли залогиненым юзерам, к тому же, на машине, где залогиненых обычно много, и это далеко не только админы (читают почту mutt-ом и т.п.).

И чем плохо прописать этот ntp как cname на публичный (ntp.org.ua, time.in.ua и пр.)? Смысл именно в том, чтобы клиенты и не клиенты использовали разные ntp-сервера? А зачем?

[netch80.livejournal.com]

Как съездил?

> Я так и не понял, в чём смысл валить сообщения ipfw на консоли залогиненым юзерам, к тому же, на машине, где залогиненых обычно много, и это далеко не только админы (читают почту mutt-ом и т.п.).

Это не смысл, это побочный эффект dmesg race condition под сверхвысокой нагрузкой в условиях, когда идеальная защита (мьютексом или аналогом) слишком дорога. Если у сообщения теряется префикс вида <6> - оно попадает в LOG_EMERG.

Хотя я бы сделал опцию сборки для выбора метода защиты, для консольной машины - пожёстче.

> И чем плохо прописать этот ntp как cname на публичный (ntp.org.ua, time.in.ua и пр.)?

ntp? В половине инструкций написано zeus, а не ntp.
"Внезапно" (tm)

> Смысл именно в том, чтобы клиенты и не клиенты использовали разные ntp-сервера? А зачем?

А зачем обслуживать чужих при таком уровне нагрузки?

[r0land.livejournal.com]

Во первых мы теперь знаем что ты там делаешь http://tema.livejournal.com/1000333.html

Во вторых. Как я понял спич идет про ntp\.l\S+\.net. И я таки да по нему синхронизирусь. Мало того это едиственный ntp сервер hostname которого я помню на память.

[netch80.livejournal.com]

> мы теперь знаем что ты там делаешь http://tema.livejournal.com/1000333.html

правильно, один из тех что в ватнике и шапке - это я замаскировался

> Как я понял спич идет про ntp\.l\S+\.net.

Не-а, у лаков такого кошмара нет. Это у кое-кого на букву 'c'

[zyxman.livejournal.com]

Даа, я тоже несколько серваков настроил на эти самые ntp/ntp2, и даже пару человек научил так делать..
Кстати, когда-то удивлялся, почему-это вдруг с сайта этого провайдера эта хаутушка пропала, а ее какая-то добрая душа у лисяры выложила.

Но кстати, теперь я очень продвинулся в программировании, и буду рад помочь лечить.

[click0.livejournal.com]

Раз эта проблема снова всплыла, то выскажу пару замечаний:

1) Покажите пример правильного ntp.conf
2) Были ли попытки написать abuse хотя top-20 IP адресам?

[click0.livejournal.com]

Мой образец конфига NTP /etc/ntp.conf:

server 0.freebsd.pool.ntp.org iburst
server 1.freebsd.pool.ntp.org iburst
server 2.freebsd.pool.ntp.org iburst

#
# If you want to pick yourself which country's public NTP server
# you want sync against, comment out the above servers, uncomment
# the next ones and replace CC with the country's abbreviation.
# Make sure that the hostnames resolve to a proper IP address!
#
# server 0.CC.pool.ntp.org iburst
# server 1.CC.pool.ntp.org iburst
# server 2.CC.pool.ntp.org iburst

# Security:
#
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
# The following settings allow unrestricted access from the localhost
restrict 127.0.0.1
restrict -6 ::1
restrict 127.127.1.0

disable monitor






[netch80.livejournal.com]

> Раз эта проблема снова всплыла,

Ну не то чтобы всплыла... так, напоминание.

> Покажите пример правильного ntp.conf

Именно ntp.conf? В свете дискуссии, откуда пришла ссылка - несколько раз упомянуть ua.pool.ntp.org (если таки про Украину),
оно само нарезолвит IP (не лучшим образом, но таки сделает это).

> Были ли попытки написать abuse хотя top-20 IP адресам?

Это к их админам, я не рулю. Но подозреваю, что были, и почти не помогли.