Maxim V. Kryzhny (kry@mg.dp.ua), 2003

---

Техническое задание (далее ТЗ) составлено с целью описания требований к созданию средства анализа log-файлов программы iptraf версии 2.7 на предмет подсчета исходящего/входящего траффика в анализируемом (заданном) периоде. Далее средство условно именуется как "ipta". При присвоении окончательного наименования учесть, что в названии не должно быть более 4 символов.

Программа iptraf есть программное обеспечение сетевого online мониторинга и ведения статистики работы сетевых интерфейсов. Кроме того, она поддерживает фильтры на уровне сетевых протоколов.

В целях настоящего ТЗ iptraf рассматривается как средство накопления статистики о работе сетевых интрфейсов локальной сети с акцентом на сбор статистики относительно входящего (исходящего) траффика в операционной системе Red Hat Linux 7.3 Сама программа iptraf была полученна с сайта разработчика в виде исходных текстов (тарболл) и собрана на машине пользователя.

* Фильтры - отслеживаются и принимаются к учету пакеты любого сетевого протокола, а TCP&UDP: входящие - "откуда угодно, с любого порта на мой IP и мой любой порт"; исходящие "куда угодно, на любой порт с моего IP-адреса и любого моего порта". Таким образом например броадкаст-пакеты, генерируемые прочими станциями в сети к учету не принимаются.

* Детальная статистика интрефейса: запись в отдедьный лог-файл суммарного объема входящего и исходящего траффика в разрезе сетевых протоколов на указанном сетевом интерфейсе по всем портам - детальная статистика сетевого интерфейса (в теминологии разработчика iptraf).
При запуске программы по команде:

iptraf ведет детальную статистику сетевого интерфейса eth0 (опция "-d eth0") и записывает ее в указанный пользователем файл /var/log/iptraf/iface_stats_detailed-eth0.log (опция "-L "имя лог-файла""). Кроме того, указав опцию "-B" iptraf переходит в фоновый режим работы и уже не требует вмешательства пользователя.

Вышеприведенная команда выполняется при каждой загрузке системы путем включения ее в файл /etc/rc.d/rc.local или создания отдельного файла в /etc/init.d, непосредственно после поднятия соответствующего сетевого интерефейса и до загрузки программ генерирующих траффик.

и так далее каждые 60 секунд.

* При каждом запуске (при загрузке системы) в лог-файле формируется новая строка типа "Sat Jan 18 15:13:24 2003; ** Detailed interface statistics started **"

* В том случае, если логирование производилось в то время, когда работает интерактивный монитор программы iptraf, то при завершении работы iptraf в логе формируется строка вида "Sat Jan 18 16:17:25 2003; ** Detailed interface statistics stoped**"

* При логировании информации в обычном фоновом режиме (опция "-В") при остановке работы программы (например перегрузка, выключение системы, killall iptraf, и т.п) никаких дополнительных строк не формируется и последней непустой строкой в лог-файле до нового запуска программы будет строка вида "Running time: 720 seconds"

* В том случае, если логирование было завершенно до истечения 60 секунд от его начала, последней строкой в лог-файле будет строка вида "Sat Jan 18 15:13:24 2003; ** Detailed interface statistics started **", а после возобновления - аналогичная строка.

* Мне неизвестны случаи неполного вывода в файл блока информации о логировании последнего минутного интервала. Образец оригинального лог-файла прилагается.

* Ротация лог-файлов - осуществляется средствами logrotate (версия 3.6.4). Ежедневно оценивается размер файла и если его размер достигает 5000 kb, он переименовывается, сжимается, а в распоряжение iptraf, после его перезапуска, предоставляется новый пустой файл. Настройки процесса ротации для этих файлов в /etc/logrotate.conf выглядят так:

Программу (или скрипт) написать, которая позволяет выводить в файл или стандартный вывод отчеты на основании анализа информации из вышеприведенных файлов.

Программа должна:

1. Запускаться в командной строке путем непосредственного вызова, т.е. без добавления указаний относительно интерпретатора (perl, phyton & etc). Исполняемый файл (или ссылка) по умолчанию должен находится в директории /usr/local/bin/.

* -o file - выводить информацию в file. При невозможности создания файла вывести соответствующее сообщение об ошибке, анализ и формирование отчета не производить. При отсутствии такого ключа - отчет выводить на стандартный вывод;

* -fYYMMDDhhmm - выбрать накопленную в логах информацию начиная с момента времени YYMMDDhhmm (timestamp) включительно. В случае отсутствия такого timestamp выбрать информацию начиная с первого более позднего timestamp включительно. Допускается сокращенное указание timestamp вида YYMMDDhh, YYMMDD, YYMM, YY. В этом случае принимать информацию начиная от наиболее раннего timestamp, имеющего в своем составе указанное. Значение по умолчанию - первое значение текущих суток;

* --year YY - выбрать накопленную в логах информацию за календарный год YY текущего столетия. Значения YY цифровые без ведущего нуля. Без указания значения YY - выбирается информация с начала текущего года по момент запуска команды. При указании опций -t и (или) -l - опция --year игнорируется. В случае полного отсутствия данных удовлетворяющих критерию - вывести отчет вида "In the required period YYYY the data are absent". При указании года из будущего выдать соответствующее сообщение об ошибке;

* -с - указать конфигурационный файл иной нежели по умолчанию.

1. Форма отчета по результам анализа лог-файлов аналогична форме, в которой ведется сам лог-файл. Формат данных - plain text. Отличия в шапке отчета. Пример вывода в файл ~/rep0212.txt при нормальном завершении команды запущенной со следующими параметрами:

2. В вышеприведенном отчете:

* все выделения bold font мои и только для пояснений здесь. В реальном отчете - никаких признаков форматирования;

* значение "yan3.mg.net.ua" есть вывод команды host -f;

* значение "Period" есть переформатированное представление периода, заданного в командной строке;

* Для рассмотрения остальных значений введем понятия "блок". Под блоком будем понимать часть лог-файла, содержащего статистику за период равный установленному для сброса информации в лог-файл. iptraf позволяет устанавливать минимальный период времени для сброса информации в лог-файл равный 1 минуте. Я применяю именно такую периодичность, т.е. лог-файл обнавляется ежеминутно. Таким образом лог-файл представляет из себя последовательность блоков статистики, где каждый последующий блок есть сумма соответствующих значений блока предыдущего и вновь созданного. Такое "накопление результата" проводится до тех пор пока не завершится сеанс работы iptraf. С началом нового сеанса "накопление результата" начинается по новой, т.е. с ноля. В этом случае итоговым блоком сеанса будет тот блок, после формирования которого сеанс работы iptraf завершен. Итоговым блоком заданного периода будет тот блок, в котором дата в строке вида "** Detailed statistics for interface eth0, generated Sat Jan 18 15:14:24 2003" представляет последнюю более раннюю или равную дате из параметра -l, или последнюю более раннюю или равную дате на момент ввода команды. Соответственно начальным блоком заданного периода будет тот блок, в котором дата в строке вида "** Detailed statistics for interface eth0, generated Sat Jan 18 15:14:24 2003" представляет наиболее раннюю или равную дате из параметра -f. Надеюсь, все понятно :)

* значение "first timestamp" есть переформатированное представление даты из строки вида "** Detailed statistics for interface eth0, generated Sat Jan 18 15:14:24 2003" начального блока заданного периода;

* значение "Last timestamp" есть переформатированное представление даты из строки вида "** Detailed statistics for interface eth0, generated Sat Jan 18 15:14:24 2003" итогового блока заданного периода;

* значение TOT (total opereting time) есть сумма значений поля "Running time" итоговых блоков сеансов в течение заданного периода за вычетом соотвествущего значения итогового блока периода предыдущего заданному и увеличенная на значение итогового блока заданного периода;

* значения полей IP, TCP, UDP, ICMP, Other IP, Non-IP, Broadcast есть сумма значений соответствующих полей итоговых блоков сеансов в течение заданного периода за вычетом значений соотвествующих полей итогового блока периода предыдущего заданному и увеличенные на значения соответствующих полей итогового блока заданного периода;

* значение поля IP checksum errors есть сумма значений соответствующего поля итоговых блоков сеансов в течение заданного периода за вычетом соотвествущего значения итогового блока периода предыдущего заданному и увеличенная на значение итогового блока заданного периода;

* значение поля at есть дата завершения анализа лог-файлов программы iptraf.

2.3 Заключение

1. При розработке программы (скрипта) не предъявляется каких-либо требований к языку программирования.

2. Следует учесть, что ввиду того, что iptraf ведет логирование использования траффика и в других вариантах представления, со строны клиента впоследствии возможны дополнительные обращения за расширением функциональности программы (по отдельному соглашению).

---