Verkon ja palveluiden monitorointi Big Sister, Cricket, Smokeping

1
Verkon ja palveluiden monitorointiBig Sister,
Cricket, Smokeping

• Seppo Syrjänen
• IT-päivät 2005 _at_uta.fi
• Esiseminaari 1.11.2005, Ylläpito

Helsingin yliopisto, Tietotekniikkaosasto
V1.11
2
Verkonvalvonnan historiaa HYssä

• alussa oli ping, sitten Sun Netmanager
• Valvonta WhatsUp (http//www.ipswitch.com/product
  s/whatsup) versio Gold 5.01
• Windows-kone pingaa ja testaa tcp-portteja
• GUI ja WWW-näkymä (käytössä WWW)
• omien palveluiden määrittely vähän kömpelöä jos
  ajetaan systeemipalveluna
• Hälytykset oma pingeri sähköposti
• Muuallakaan Funetissa ei ollut sen kummempia
  ratkaisuja (ainakaan IT-Oopperan aikoihin)

3
Tarve saada jotain parempaa

• omien palveluiden helpompi määrittely
• hajautettu ylläpito
• lisää valvottavia pisteitä, toivottavasti
  automaattisesti
• tarjolla kaikenlaista ohjelmaa, ilmaista ja
  rahalla
• alusta alkaen selvä, että mikään softa ei osaa
  kaikkea tarvittavaa ellei kaikkea tehdä softan
  ehdoilla (pääsee virittämään!)

4
Big Sister

• http//www.bigsister.ch/
• bongattu Linux Magazinen Jan 2004 lehtijutusta
  http//www.linux-magazine.com/issue/38/Big_Sister.
  pdf
• lehtijutuissa kaikki näyttää aina hienolta ja
  helpolta
• tuntui osaavan sen mitä halutaan
• muitakin katseltiin (spong, OpenNMS, Nagios),
  BSn konfiguraatiotiedosto näytti mukavimmalta

5
Käyttöön

• otettiin käyttöön versio 0.98c8
• eikä katsottu taakse (selvisi, että jouduttaisiin
  virittämään aika paljon)
• sittemmin (ehkä) kehittynyt jonkin verran
  (ainakin dokumentointi on toivottavasti
  parantunut)

6
Arkkitehtuuri

• agentti uxmon (n kpl)
• testaa seurattavaa asiaa
• raportoi tilan palvelimelle (tekstipohjainen TCP
  1984)
• palvelin bbd
• kerää raportit, logittaa
• kertoo monitorille
• monitori bsmon
• webisivutkäyttöliittymä
• hälytykset
• omat agentit

7
Arkkitehtuuri kuvana

• (c) http//www.joerg.cc/html/bigsis/ch01s02.html

8
Valoshow

• Big Sisterin valvontasivulla palaa punainen,
  keltainen tai vihreä lamppu sen mukaan miten
  palvelulla agentin mielestä menee
• seurattavia palveluita voidaan ryhmitellä
• ryhmän tila on sen huonoimmin toimivan palvelun
  tila
• ryhmiä voidaan ryhmitellä

9
Valvontanäyttö
10
Verkkolaitteetkin mukana
11
Mitä voi valvoa?

• ping
• tcp-portit, URLit
• prosessit, levytila, jne. (uxmon)
• snmp (itsenäisesti ei käytetä)
• monta muuta valmista agenttia (ei käytetä)
• mikä tahansa muu lampun värin kertova oma
  valvontaohjelma -gt voi valvoa periaatteessa mitä
  tahansa
• rivi koneen nimi, sarake palvelun nimi

12
Valvonnan valvonta

• virtuaalinen valvontaväli violetti lamppu jos
  valvojasta ei kuulu mitään
• hyödyllinen huomataan jos agentti on kuollut
• kiusallinen valvontakone kaipaa poistettuja
  koneita
• (HUPnetin tukiasemat polttavat vain keltaista
  kun ne ovat hukassa)

13
Omia lisäyksiä cricket-to-bs (HY)

• Cricket http//cricket.sourceforge.net/ kerää
  SNMPllä tietoja verkon aktiivilaitteista 5 min
  välein
• Cricket kertoo lampun värin ja kytkimen nimen
  UDP-paketissa valvontakoneelle, cricket-to-bs
  välittää BSlle (TCP-yhteys koko ajan auki)
• kaikki verkkolaitteet (1200 kpl) valvontaan!

14
smokeping-to-bs (HY)

• Smokeping http//people.ee.ethz.ch/oetiker/webtoo
  ls/smokeping/
• seuraa mm. autentikoinnin vasteaikoja
• raportoi autentikoinnin tilan (keltainenhidas)
  Big Sisterille

15
bsadmin (HY)

• valvottavien palveluiden määrittely SQL-kantaan
• PHP-käyttöliittymä, keskitetyssä autentikoinnissa
• palvelut ryhmiin, joilla on managerinsa
• hälytysosoitteita voi antaa ryhmä- tai
  palvelukohtaisesti
• hajautettu, hajaantuva (managerit voivat lisäillä
  toisiaan ylläpitäjiksi samaan palveluryhmään)
• kannasta saadaan agenttikoneelle valvottavat
  asiat ja monitorikoneelle koneiden nimet
• omat (TCP-)palvelut nimetään Näin(1234)
  palvelun nimestä tulee kyseiselle koneelle
  palvelusarake

16
bsadmin (HY)

17
Muut lisäykset (HY)

• bschat päivystäjien chat-palsta
• tiedotteet erilaisten ongelmien tilasta
• bsab sähköpostihälytysten niputtaja
• oletuksena BS lähettää yhden sähköpostin/kadonnut
  palvelu -gt ruuhkatilanteissa postit jumissa
• BS laittaa hälyt jonoon, bsab purkaa jonoa 5 min
  välein ja niputtaa samalle vastaanottajalle
  menevät hälytykset yhteen viestiin
• kertoo myös katkojen kestot ja alkuajat

18
Viritykset (HY)

• kauniimpi/parempi ping-agentti
• koodiin ei tarvinnut paljoakaan koskea, kun oppi
  ymmärtämään miten sitä käytetään (proc-probe
  näytti hassulta)
• www-puolta viritetty (cachetti sivuja, hassut
  skinit)
• konfis ohjelmallisesti (7000 riviä)
• verkkotietokanta (aktiivilaitteet, koneiden
  rakennukset)
• verkkolaitetietokanta (kytkimien RKT-kaapit)
• jne.
• scriptikasan saa, ei aiotakaan dokumentoida

19
Agenttikonfista (uxmon-net.dbm-26)

• DEFAULT communitypublic timeout10 frequency5
  perf1 ALL
• DEFAULT protofping
  ping
• huvikumpu.it.helsinki.fi(huvikumpu.it) ping
• huvikumpu.it.helsinki.fi(huvikumpu.it)
  serviceeDir(524) tcp

20
Valvontakonfista (bb-display.cfg)

• huvikumpu.it(eDir juuripalvelin huvikumpu.it)
  26
• 26(Palvelimet Netware) ALL
• pcs388.fe(Verkko/Hämeentie 57 RKTA0.1) KK08802
• pcs388.fe(Verkko/Hämeentie 57 RKTA0.1) KKKKVerkko
• KK08802(Hämeentie 57 14) KKKKKampusten_satelliit
  it
• refto pcs388.fe KK08802.html
• Page KK08802 Hämeentie_57,_Päärakennus_14
• table KK08802

21
Hälykonfista (bb_event_generator.cfg)

• . prio40 downyellow upgreen delay5 \
• norepeat1 keep1 pager/usr/local/bin/bs-haly
  \
• mailatk-vika_at_helsinki.fi repeatprio10
  msgmax600
• _at_26. mailatk-mikroverkko_at_helsinki.fi \
  pager/usr/local/bin/bs-haly
• liikunta.halvi.ping mailatk-unix_at_helsinki.fi \
  pager/usr/local/bin/bs-haly

22
Asennuskokemukset

• todellinen open source kaikki levällään
• softapuussa kahden-kolmen sukupolven koodia
• missä on se koodi, jota tässä kohdassa ajetaan?
• uxmon on vähän hankala debugattava
• bsmonin www-sivustoja tuottavaa koodia ei
  juurikaan dokumentoitu
• lopputulos saatu aikaan tavaamalla koodia ja
  kokeilemalla
• paikoittain raskastöinen pystyttää
• asennus ja dokumentointi ovat parantumassa

23
Käyttökokemukset

• on oikein kiva
• kaikki valvottava yhdellä ruudulla (mittapisteitä
  n. 2000)
• tukiasematkin mukana (oma agentti
  HUPnet-gatewayssä)
• konesarake malli vähän tylsä
• kaikki koneen palvelut näkyvät kaikilla
  näytöillä, jossa ko. kone on mukana
• voisi olla kiva valvoa koneen eri rooleja eri
  sivuilla
• tikahtui posteihin ennen bsabtä kun verkko tai
  verkonvalvonta nyki isosti

24
Tulevaisuus

• riippuvuuksien/topologian opetus (ei hälytetä
  riippuvasta palvelusta jos riiputtava palvelu
  katoaa)
• eri näkymät verkkoon (tietyn VLANin sisältävät
  kytkimet)
• käytettävyystilastointi/SLA jollain tavalla
• ehkä oma softa bsmonin login perään -gt RRD/talo
  -gt RRD/kampus -gt käyrä koko verkon
  käytettävyydestä
• SMS-hälytyksiä ehkä ei halutakaan (on toimiva
  vikapäivystys)

25
Demo kysyttävää?

26
Kiitos!

• seppo.syrjanen_at_helsinki.fi
• atk-verkko_at_helsinki.fi