Классический MTA средствами qmail.

Copyright © 2004-2008 М. Альхименко.
Оригинал (и самая последняя версия) этого документа находится на http://lithium.opennet.ru.
По всем вопросам обращайтесь на articles <at> lithium.opennet.ru

• 22 января 2008 - правки в связи со сменой лицензии на public domain и обновлением версии netqmail.
• 12 декабря 2006 - вместо оригинального qmail используется netqmail, сокращено количество патчей, мелкие исправления.
• 27 января 2004 - первая версия.

• Введение
• Установка
• Настройка
• Maildir
• Запуск qmail-start
• Qmail-smtpd
  • Установка ucspi-tcp
  • Запуск qmail-smtpd
• Замечания относительно FreeeBSD
• Cсылки

Введение

      Здесь не ставилось целью дать полный перевод официальных руководств автора qmail — D. J. Bernstein'а (DJB) или написать "Книгу юных сурков" на все случаи жизни. Хотелось дать общее представление, как все устроено, а с частностями (например, с форматом запуска multilog) можно разобраться и самому. Imho основная цель этой статьи — помочь разобраться с классической доставкой почты в unix-системах (средствами qmail). Хотя, если строго следовать определению "классический", то изучать надо было бы sendmail, но imho не стоит привыкать к плохому с самого начала ;) .

      Все команды и пути даются из расчета на работу с RH-based Linux (RH9, ASP9) и FreeBSD 4.9, (ОС, опыт работы с которыми имелся на момент написания статьи). Если у вас другая система, и пути/команды не подходят, пишите — соответствующие поправки будут по возможности включены.

      На большинстве работающих серверов почта является едва ли не единственным средством обратной связи системы с администратором. По почте направляют отчеты о работе cron, системы вроде LIDS, различные средства мониторинга (smartd, logwatch) и пр. Многие распространенные дистрибутивы Linux (например RH9 и ASP9) ставят в качестве MTA или нечто дырявое (sendmail) или что-то, что тянет за собой несколько ненужных программ (postfix-xxx.i386.rpm требует MySQL + cyrus-sasl + ...), в данном случае совершенно ненужных. Поэтому было решено попробовать поставить MTA из исходников, и в был выбран qmail в его первоначальном варианте — без того множества дополнительных программ (и патчей вроде qmail-ldap), которые превращают его в нечто очень серьезное для обслуживания десятков доменов с тысячами пользователей. Только в роли классического unix'ового MTA.

      Для тех, кто не знаком с основами доставки почты в Unix вряд ли можно порекомендовать какой-то один источник, т.к. знания об этом вопросе приходилось собирать по частям из кучи руководств и подсказок знакомых. Самое приличное, что попадалось — "Руководство администратора Linux" Немет Э., Снайдер Г., Хейн Т. "Вильямс", 2003. Поэтому тут будет кратко изложено то, что удалось понять. Может это поможет Вам разобраться, как все работает.

      Мы отправляем письмо по адресу user@host.domain.ru, то есть письмо предназначено пользователю "user", для которого есть учетная запись на хосте host.domain.ru. На первом этапе доставки программа, отправляющая почту (или мы сами из оболочки пользователя), вызывает MUA — Mail User Agent, клиента электронной почты и передает ему адрес получателя и текст сообщения. (Обычно в качестве MUA в скриптах используется программа mail, в RH и ASP она входит в пакет mailx). Mail формирует сообщение и передает его MTA (Mail Transport Agent), который отвечает за доставку сообщений между системами или внутри системы между пользователями. Обычно все MUA при вызове MTA ищут бинарник sendmail (как интерфейс MUA —> MTA), а все MTA стараются его эмулировать, хотя некоторые MTA подменяют и саму программу mail, как это делает CGP. (Многие современные клиенты электронной почты частично реализуют функциональность MTA — передают сообщения по SMTP-протоколу настоящему MTA для дальнейшей пересылки). Далее MTA, если сообщение для локального пользователя, кладет его в соответствующие хранилище сообщений пользователя в системе (maildir или mailbox). Если сообщение отправлено для пользователя в другую систему, то MTA ищет в DNS MX-запись (Mail Exchanger), указывающую, какая машина принимает сообщения для пользователей нужного хоста или домена. Для каждого домена должна, а для хоста может сущеcтвовать в DNS соответствующая MX-запись, которая указывает на хост, принимающий почту для данной системы. Если для хоста нет записи MX, то MTA пытается передать сообщение напрямую на этот хост, основываясь только на записи типа A. Обычно для хоста запись MX используется в том случае, если он сам не принимает свою почту (в системе нет MTA или он не слушает 25 порт или он скрыт за firewall), а за него это делает другая система. Это очень упрощенная схема, но дает представления об основах работы MTA.

      Таким образом, в идеале на каждом хосте должен быть запущен MTA, который принимает почту для пользователей своей системы (в современном Internet слушая 25 порт TCP), осуществляет локальную доставку почты между пользователями и занимается доставкой сообщений пользователям других систем (отправленную изнутри системы), направляя почту MTA в этой системе, то есть занимается транспортом почты. MUA служит для просмотра пользователем своей почты в системе и передаче MTA сообщений для доставки. Просматривать сообщения в системе MUA может или напрямую, просматривая хранилище сообщений, или через демоны POP3 или IMAP, которые служат средством удаленного просмотра хранилища сообщений пользователем.

      Итак, в качестве MUA у нас есть mail, а как MTA мы будем использовать qmail. Он легкий, быстрый и безопасный. Ставить qmail можно и по указанным ниже руководствам, но здесь будет описан процесс установки MTA в его самом простом варианте (хотя, почитать эти руководства безусловно стоит) и в том виде, каким его планировал DJB (imho, конечно).

      Запускать qmail можно из обычных стартовых скриптов, но imho лучше использовать для этого пакет daemontools, так же написанный DJB. Он является аналогом Service Manager'а в Win2k — предназначен для управлением сервисами. В числе прочих достоинств, описанных самим DJB на странице программы он имеет бесспорное преимущество — перезапускает демон в случае его падения. Если Вам не хочется ставить этот пакет, можете позаимствовать один из скриптов в указанных ниже руководствах для запуска qmail и запускать его или из rc.local (если у вас BSD-style система запуска) или с использованием runlevels, как в RH (система SysV) или еще как-нибудь. Краткое описание daemontools дается в отдельной статье.

Установка

Настройка

• me — полное доменное имя хоста
• defaultdomain — имя домена по умолчанию, если в адресе указанно только имя хоста
• locals — список доменов для локальной доставки почты (что не надо отсылать наружу)
• plusdomain — это я так и не понял ;)
• rcpthosts — на какие хосты/домены принимать почту (в т.ч. и для пересылки)

Эти файлы автоматически создаются скриптом config, находящимся в каталоге исходников qmail. При запуске он пытается найти в DNS имя хоста, прописанное в /etc/sysconfig/network и, соответственно, в /proc/sys/kernel/hostname и переменной окружения HOSTNAME. Если ему это удается, он выполняет обратное преобразование и ищет FQDN для полученного ip-адреса. Это имя он кладет в me, имя домена в defaultdomain. Потом пытается найти PTR записи для всех локальных ip-адресов. Все найденные имена он также кладет в locals. Затем говорит нам, что если у нас еще есть доменные имена, ссылающиеся на наш хост, надо поместить их в locals. После этого копирует locals в rcpthosts (список хостов/доменов, для которых qmail будет принимать почту) и сообщает:

Теперь нужно создать псевдонимы для postmaster, MAILER-DAEMON и root (qmail не доставляет почту для root — для пущей безопасности), т.е. выбрать пользователя которому будут пересылаться сообщения, пришедшие на эти адреса. Пусть это будет пользователь max. (Помните, что это должен быть реальный пользователь системы!) Псевдонимы определяются файлами формата .qmail-user, лежащих в /var/qmail/alias. В каждом файле лежит имя пользователя, которому пересылается почта, пришедшая для user.

Maildir

      Теперь нужно создать хранилища для пользовательских сообщений. Исторически, сообщения пользователей хранятся в формате Mailbox — один большой файл со всеми сообщениями пользователя в каталоге /var/spool/mail — по одному для каждого пользователя. DJB предложил новый формат: Maildir — каждое сообщение хранится в отдельном файле в специальной папке, которая обычно находится в домашнем каталоге пользователя. Это увеличивает сохранность сообщений и дает еще некоторое преимущества. Более развернуто почитать о достоинствах этого формата вы можете по указанным ниже ссылкам. О самом формате можно узнать набрав man maildir. Итак, мы выбираем Maildir.

      Для создания каталога Maildir служит программа maildirmake. О параметрах запуска вы можете почитать на её man-странице. Становимся пользователем, которого мы выбрали для псевдонимов root, postmaster и MAILER-DAEMON, чтобы сразу получить все файлы/каталоги с нужными разрешениями и создаем каталог maildir:

Запуск qmail-start

      Примеры скриптов запуска лежат в /var/qmail/boot. Если посмотреть их содержимое, то становится ясно, что общий принцип таков:
Вначале с помощью env устанавливается переменные окружения (к обычно к содержимому PATH добавляется путь к бинарникам qmail) и запускается программа qmail-start. После своего старта qmail-start запускает qmail-send, qmail-lspawn, qmail-rspawn, и qmail-clean, устанавливает для них нужные uid и gid, передает им нужные для работы параметры, принимает от них stdout и stderr и перенаправляет их программе, указанной в качестве второго параметра при запуске. Более подробно об этом можно узнать из man qmail-start. Формат запуска qmail-start такой:

qmail-start цель-доставки logger

Цель-доставки — это куда передавать сообщения (этот параметр qmail-start передает qmail-lspawn). У нас это будет Maildir пользователя, хотя, можно передавать сообщения в mailbox или другую программу. Logger — это программа, которая будет принимать сообщения программы qmail-send — владельца всех процессов локальной доставки в qmail. Мы для этих целей будем использовать программу splogger из состава qmail. Она принимает входящий поток сообщений, обрабатывает его и передает в syslog. Splogger принимает два параметра — префикс и источник сообщения для syslog ("facility"). Префиксом у нас будет строка "qmail" (все сообщения для syslog будут начинаться с этой строки), источник по умолчанию (2 — mail). Чтобы узнать больше — как всегда man syslog и man splogger. В обычной linux-системе все сообщения с facility = 2 (mail) хранятся в /var/log/maillog . Также, вы можете использовать для ведения журнала multilog из состава daemontools — это более надежно, хотя и менее привычно.
В конечном итоге стартовый скрипт у нас будет выглядеть так (слегка переделанный вариант скрипта /var/qmail/boot/home):

#!/bin/sh
# Using splogger to send the log through syslog.
# Using qmail-local to deliver messages to ~/Maildir .
exec env - PATH="/var/qmail/bin:$PATH" \
qmail-start ./Maildir/ splogger qmail

Можно просто скопировать /var/qmail/boot/home в /var/qmail/run и изменить "./Mailbox" на "./Maildir/" (не забудьте про второй слэш!)

Поскольку supervise, как только обнаружит у себя в /services новый каталог, сам запускает скрипт run из него, и перезапускает программу при её смерти, мы создадим в каталоге /var/qmail файл down, чтобы supervice не запускал qmail автоматом, пока нам этого не будет надо (см. документацию по daemontools):

Qmail-smtpd

Установка ucspi-tcp

      Чтобы ваш qmail отвечал высокому званию "MTA" он должен уметь не только доставлять почту локальным и удаленным клиентам изнутри системы, но и принимать её снаружи. Этим занимается qmail-smtpd. Соединения он принимает через программы, аналогичные inetd. Для замены tcpwrappers/inetd/xinetd DJB написал пакет ucspi-tcp, его мы и будем использовать.

      Процесс tcpserver при старте начинает слушать указанный порт (в нашем случае 25) и передает входящие данные программе qmail-smtpd, которую он запускает при установке соединения. Qmail-smtpd в свою очередь передает пришедшую почту qmail-queue для дальнейшей доставки.

Запуск qmail-smtpd

здесь сначала запускается envuidgid (из состава daemontools), в качестве параметра запуска передается имя учетной записи, с правами которой запустится tcpserver. Она устанавливет переменные окружения $GID и $UID. Затем запускается программа softlimit, она устанавливает пределы на использование памяти (у нас — ~2MB). Softlimit запускает tspserver, который переключается на работу с правами UID и GID, считанных из переменных окружения $GID и $UID (параметр запуска "-U"). Tcpserver при коннекте на слушаемый порт запускает qmail-smtpd. Подробнее — смотрите в документации на соотвествующие программы.

qmail-smtpd и tcpserver отправляют все свои сообщения на stdout и stderr. Чтобы перехватить их и занести в журнал мы воспользуемся функцией создания pipline между демонами, если в каталоге одного обнаруживается подкаталог log (см. описание daemontools), как это можно было бы сделать и для qmail-start. Можно использовать или родной multilog из daemontools, как это делается в djbdns или splogger из состава qmail, чтобы вести логи через syslog. Мы будем использовать splogger.
Создаем каталог для запуска программы логирования и связки её с qmail-smtpd через daemontools:

# mkdir /var/qmail/smtpd/log
# cd log
# touch run down

добавляем в run следующий текст:

#!/bin/sh
exec 2>&1
exec setuidgid qmaill /var/qmail/bin/splogger smtpd 2

# chmod 755 run

(Запускаем splogger под его пользователем с помощью setuidgid и передаем ему нужные параметры. Параметр "smtpd" выбран произвольно, можно использовать и "qmail").
затем создаем симлинк для запуска через daemontools:

# ln -s /var/qmail/smtpd /service

пробуем запустить:

# svc -u /service/qmail/smtpd/log/
# svc -u /service/qmail/smtpd/

проверяем:

# pstree -u

...skip...
|-svscanboot-+-readproctitle
|            `-svscan---supervise-+-qmail-send(qmails)-+-qmail-clean(qmailq)
|                                 |                    |-qmail-lspawn(root)
|                                 |                    |-qmail-rspawn(qmailr)
|                                 |                    `-splogger(qmaill)
|                                 |-supervise---tcpserver(qmaild)
|                                 `-supervise---splogger(qmaill)
...skip...
нас интересуют процессы tcpserver и splogger &mdash: мы видим, что они запущены и работают под нужными пользователями. Проверяем, слушает ли tcpserver 25 порт:

# lsof -i -P -n | grep 'LISTEN'

tcpserver 15591   qmaild    3u  IPv4 764976       TCP *:25 (LISTEN)

tcp        0      0 0.0.0.0:25              0.0.0.0:*               LISTEN

Замечания относительно FreeeBSD

      Поскольку этот текст был написан в те времена, когда я работал только с Linux, некоторые моменты неприменимы к FreeBSD. Недавно появилась возможность установить qmail и на FreeBSD, в связи с чем наметились несколько дополнений, которые было решено вынести в отдельный раздел для экономии времени.

      Во-первых, во FreeBSD мне не удалось найти возможность полностью удалить sendmail из системы, поэтому чтобы его корректно отключить сделайте следующее:

• Добавьте в файл /etc/rc.conf строку:
  sendmail_enable="NONE"
  Это отключит запуск всех сервисов sendmail. После этого необходимо или убить все процессы Sendmail или перезагрузить систему.
• Добавьте в файл /etc/make.conf строку:
  NO_SENDMAIL=true
  это исключит sendmail из пересобираемых и переустанавливаемых программ при make world и make installworld. Иначе sendmail, отключенный нами, будет переустановлен снова.

      Во-вторых, нам необходимо корректно заменить sendmail и системе. Далее идет перевод какого-то из man'ов (никак не могу вспомнить какого):
Программа sendmail настолько распространена в качестве стандартной программы для систем *NIX, что многие программы считают, что она уже установлена и настроена. По этой причине многие альтернативные MTA предоставляют собственные совместимые реализации интерфейса командной строки sendmail; это облегчает их использование в качестве "прозрачной" замены sendmail.
Поэтому если вы используете альтернативную почтовую программу, потребуется убедиться, что когда программное обеспечение пытается выполнить стандартные исполняемые файлы sendmail, такие как /usr/bin/sendmail, на самом деле выполняются программы вновь установленной почтовой системы. К счастью, FreeBSD (начиная с версии 4.0) предоставляет систему, называемую mailwrapper(8), которая выполняет эту работу за вас.
Когда установлен sendmail, файл /etc/mail/mailer.conf выглядит примерно так:

sendmail    /usr/libexec/sendmail/sendmail
send-mail   /usr/libexec/sendmail/sendmail
mailq       /usr/libexec/sendmail/sendmail
newaliases  /usr/libexec/sendmail/sendmail
hoststat    /usr/libexec/sendmail/sendmail
purgestat   /usr/libexec/sendmail/sendmail

sendmail        /var/qmail/bin/sendmail
send-mail       /var/qmail/bin/sendmail
mailq           /var/qmail/bin/qmail-qread
newaliases      /var/qmail/bin/newaliases
hoststat        /var/qmail/bin/qmail-tcpto
purgestat       /var/qmail/bin/qmail-tcpok

Cсылки

• Qmail home page
• Qmail: Russian information site
• Life with qmail.
• Life with qmail — перевод.
• The qmail HOWTO v2
• The qmail HOWTO — перевод первой версии.
• Домашняя страница пакета ucspi-tcp
• Краткое описание daemontools