Соглашение | Публикация статей

Шторы - calon.by

Повышение производительности биллинговой системы
Категория: Статьи

Зачастую необходимо принимать и тарифицировать большие объемы NetFlow потока с маршрутизаторов. Для того, чтобы пакеты не уничтожались при заполнении приемного буфера необходимо в конфигурационном файле utm5.cfg увеличить размер этого буфера:
nfbuffer_bufsize=10485760
Данная директива устанавливает размер приемного буфера равный 10 МБ. При этом при старте ядра биллинговой системы в debug.log должна быть указана строка об успешном увеличении приемного буфера:
?Debug : Jan 29 19:39:30 NFBuffer: Setting SO_RCVBUF to bytes
В некоторых случаях понадобится
увеличить максимально допустимый размер приемного буфера в операционной
системе. Произвести данную операцию под Linux можно командой:
sysctl -w net.core.rmem_max=10485760
под FreeBSD:

kern.ipc.maxsockbuf=10485760
net.inet.udp.recvspace=10485760
net.local.dgram.recvspace=10485760
net.inet.udp.maxdgram=100000

В результате таких настроек биллинговая система сможет принимать большие объемы NetFlow пакетов. В частности не будет происходить потеря пакетов в моменты пиковых загрузок.
Для уменьшения нагрузки на CPU и уменьшения занимаемого на
жестком диске места необходимо использовать новый механизм хранения детальных
данных по трафику. Детальные данные представляют собой полную копию всего NetFlow потока принятого биллинговой системой. Для включения нового механизма необходимо в центре управления в разделе «Настройки» добавить опцию:
raw_storage_file=1
после добавления данного
параметра необходимо произвести перезапуск ядра биллинговой системы.
При этом детальные данные будут
записываться в файлы с расширением .utm. Формат файлов
разработан в компании НетАП. Для дальнейшего анализа этих данных можно воспользоваться
утилитой get_nf_direct. Пример использования:

/netup/utm5/bin/get_nf_direct -b /netup/utm5/db/iptraffic_raw_1138443603.utm –u
Результатом работы будет вывод
данных сохраненных в файле /netup/utm5/db/iptraffic_raw_1138443603.utm.
Ядро биллинговой системы
производит запись детальных данных в файл в течение 1 часа. Далее производится
закрытие файла и открытие нового. После того как файл был закрыт вызывается
внешняя программа /netup/utm5/bin/raw_fd_script, которой в параметрах передается
путь к закрытому файлу. Данная программа производит необходимые действия –
архивирование, резервное копирование и др.
Пример программы /netup/utm5/bin/raw_fd_script
на языке shell:

#!/bin/sh
gzip $*

В результате таких настроек
биллинговая система будет оптимально использовать ресурсы CPU и дисковой подсистемы.
На стенде компании НетАП были
произведены испытания производительности биллинговой системы при больших
объемах статистики. Для тестирования был использован сервер следующей
конфигурации:

CPU: Intel Pentium 4 частота 3.00 ГГц
Оперативная память: 2 ГБ
Жесткий диск: Serial ATA 250 ГБ
Сетевая карта: Intel 100 Мбит/сек
Операционная система: Gentoo Linux

Для создания тестового NetFlow потока использовался
отдельный сервер. В качестве генератора Netflow пакетов использовалась утилита utm5_flowgen. Загрузка фиксировалась утилитой top. Для того, чтобы условия были максимально приближены к реальным, NetFlow поток на 100% содержит статистику, принадлежащую зарегистрированным в биллинговой системе тестовым абонентам. Корректность приема и тарификации контролировалась по данным отчета по трафику и данным из раздела «Дополнительно» - «Статистика».

Результаты испытаний приведены на
графике.

Рисунок 1 Загрузка
CPU в зависимости от интенсивности NetFlow – потока

В реальной сети, по наблюдениям сотрудников компании НетАП, в среднем полностью загруженный канал пропускной способностью 100 Мбит/сек генерирует
статистику в 100 NetFlow пакетов в секунду. По расчетам, 3000 NetFlow пакетов в секунду будут соответствовать полностью загруженном каналу в 3
Гбит/сек.

Статьи по теме:

Следственный осмотр
Популярно Про Ddos-Атаки
Области применения МП
Что ваш ребенок делает в он-лайн?
Физическая среда передачи в локальных сетях
Разработка и распространение компьютерных вирусов
Появление IBM PC
ИСТОРИЯ РАЗВИТИЯ КОМПЬЮТЕРОВ
Агрегатный принцип построения ЭВМ
Численные методы
Технология сценариев
ЦИКЛ ФУНКЦИОНИРОВАНИЯ ВИРУСОВ
Перемещение данных в рабочем листе
Автоматизации планирования печатного издания под Apple (Mac)
Интегрирование модулей PADS в программную среду предприятия
Проверка состояния очереди печати
Зачем Нам Нужен План Управления Конфигурациями? Основные Понятия И Концепции Документа
Пример разработки экспертной системы
Уголовно-правовой анализ ст? 272 гл? 28 УК РФ "Неправомерный доступ к компьютерной информации"
ОПЕРАЦИИ СОХРАНЕНИЯ ТЕКСТА
Электронная почта (e-mail)
Адресация в системе электронной почты
Общие сведения языка программирования
Элементарная теория процесса обучения нейросетей
Группы показателей качества конструкции ЭВМ
Языки описания сценариев
Управление выполнением программы
Internet и первичные телекоммуникационные сети Украины
ПРИНЦИПЫ ДЕЙСТВИЯ И СТРУКТУРАЯ СХЕМА КОМПЬЮТЕРА
WordPad: Отмена и повтор последнего действия
Понятие окон в WINDOWS. Типы окон. Элементы окон
Стандарты электронных расчетов
Процессор
Хакеры, как субъекты компьютерных преступлений
Расположение и размер корневого каталога
Демонстрационная программа графических функций языка С++
Задачи, реализуемые на квантовых компьютерах
Сравнение темпов развития ЭВМ с темпами эволюции человека
Ограничения в применение экспертных систем..
Модуль F_Anti
Основные стимулы трудовой деятельности в индустриальном, постиндустриальном и информационном обществе
Программа 1С Бухгалтерия Предприятия 8
Выбор Антивирусного Программного Обеспечения Для Домашнего Компьютера
COSMOS/M интерфейсы
Понятие: значение и виды предварительного расследования
Компания Janet Systems Проведет Круглый Стол «Будущее Соа-Проектов»
Преимущества ЭС перед человеком - экспертом
Oболочка Gopher
Численные методы, используемые в данной работе
Интерфейсы жестких дисков
Открытие документа не связанным с ним приложением
Программа для обмена сообщениями между 2-мя рабочими станциями в сети NetWare
Средства разработки
Icq И Другие: Основы Безопасности
Печать фотографий через Интернет