В некоторых случаях на rrd графиках появляются пики, как например после перезагрузки сетевой карты
 |
| пики в rrd |
Для их удаления нам нужно воспользоваться утилитой dump из rrdtool, которая переводит файл rrd в формат xml. Затем обнулить значение пиков и записать изменения обратно в rrd файл при помощи утилиты restore. На оф. сайте
rrdtool можно найти скрипт на perl removespikes и на php для cacti spikekill. removespike работает не всегда корректно, поэтому рассмотрим как можно обрезать графики при помощи скрипта на python
#!/usr/bin/env python
import os
import shutil
from xml.etree import ElementTree as ET
from optparse import OptionParser
__version__ = '0.1'
def get_configuration():
parser = OptionParser(version="%prog v" + __version__,
usage="%prog ")
parser.add_option("-v", "--verbose", action="count", default=0,
help="produce more output")
parser.add_option('-b', '--border', action ='store', default=10**10,
help='Min value of peak. Default 100000')
options, args = parser.parse_args()
if not os.path.isfile(args[0]):
parser.error("Not found file")
return [ options ] + args
def main():
options, filename = get_configuration()
try:
rrd_dump = os.system("rrdtool dump '%s' > 'old.xml'" % (filename))
except:
print "Error RRD file type"
raise
if not os.path.exists('rrd_bak'):
os.makedirs('rrd_bak')
shutil.copy2(filename, 'rrd_bak')
tree = ET.parse('old.xml')
def iterparent(tree):
for parent in tree.getiterator():
for child in parent:
yield parent, child
for parent, child in iterparent(tree):
if child.tag == 'v':
if float(child.text) > options.border:
print 'peak detect in %s' % filename
child.text = 'NaN'
tree.write('new.xml')
os.unlink(filename)
os.system("rrdtool restore 'new.xml' '%s'" % filename)
os.unlink('new.xml')
os.unlink('old.xml')
if __name__ == '__main__':
import sys
sys.exit(main())
Для того что бы парсить параметры командной строки воспользуемся модулем optparse
def get_configuration():
parser = OptionParser(version="%prog v" + __version__,
usage="%prog ")
parser.add_option("-v", "--verbose", action="count", default=0,
help="produce more output")
parser.add_option('-b', '--border', action ='store', default=10**10,
help='Min value of peak. Default 100000')
options, args = parser.parse_args()
if not os.path.isfile(args[0]):
parser.error("Not found file")
return [ options ] + args
Дампим rrd файл в xml
try:
rrd_dump = os.system("rrdtool dump '%s' > 'old.xml'" % (filename))
except:
print "Error RRD file type"
raise
На всякий случай копируем старый rrd в папку rrd_bak
if not os.path.exists('rrd_bak'):
os.makedirs('rrd_bak')
shutil.copy2(filename, 'rrd_bak')
Функция для получения списока всех элементов из xml
def iterparent(tree):
for parent in tree.getiterator():
for child in parent:
yield parent, child
Записи в xml выглядят так
1.2531404050e+041.1760614140e+031.0547667362e+010.0000000000e+000.0000000000e+000.0000000000e+00
6.2535788107e+036.5077305135e+025.9844172295e+000.0000000000e+000.0000000000e+000.0000000000e+00
7.4349123852e+037.2086196285e+026.7862914917e+000.0000000000e+000.0000000000e+000.0000000000e+00
6.6044470194e+036.1316221529e+026.2081965076e+000.0000000000e+000.0000000000e+000.0000000000e+00
1.6377377735e+042.8213539887e+031.4662221016e+010.0000000000e+000.0000000000e+000.0000000000e+00
1.4991881969e+041.9741971231e+031.3208469357e+010.0000000000e+000.0000000000e+000.0000000000e+00
...
Пробегаем по всем тегам
и ищем значения которые больше порогового 10 в степени 10 и записываем нулевое значение(NaN)
for parent, child in iterparent(tree):
if child.tag == 'v':
if float(child.text) > options.border:
print 'peak detect in %s' % filename
child.text = 'NaN'
Сохраняем xml и импортируем изменения в rrd
tree.write('new.xml')
os.system("rrdtool restore 'new.xml' '%s'" % filename)
Полученный результат
 |
| rrd график без пиков |
Скрипт на bash для удаления пиков во всей директории
#!/bin/bash
if [ -a $1 ]
then
for file in $1*
do
echo $file
python killerpeak.py $file
done
fi
echo "Don't forget delete directory rrd_bak if all is ok"
exit 0
Запуск скрипта killerpeak.py
sudo ./killerpeak.py data/rrdfile/7890.rrd
peak detect in data/rrdfile/7890.rrd
peak detect in data/rrdfile/7890.rrd
peak detect in data/rrdfile/7890.rrd
peak detect in data/rrdfile/7890.rrd
Запуск скрипта на bash killpeak.sh
./killpeak.sh data/rrdfile
Взять код или поправить можно на github
https://github.com/uralbash/rrd_killerpeak
