RUDOLF: To nevim, jestli ovlivnim ;) Ten stroj zapisuje cca 22hodnost za sekundu. Coz by mela byt sranda, ale asi neni kdyz ta DB takhle roste ...

QUIP: Ten stroj je VPS a ted to prohlizim a mas pravdu. Zda se, ze ma opravdu problemy se zapisem na disk (i kdyz by tam melo byt NVMe). Jen jen to dost promenlive. A to muze byt i ta DB. Housekeeper mi bezi cca 1/h. Zase tolik dat podrobne neni nutne udrzovat. Co se tycen pameti a CPU, vytizene to je cca na 50-60%.

Co se tyce POSTGRESQL, tak to byla instalace s vytvorenim strukrury a jina vetsi udrzba nebyla delana. Mam daleko vetsi instalaci na MYSQL a tam se to nedeje.

Mam vsechna data v jedne tabulce. Partitions nepouzivam, ale podivam se na to. Diky za tip ! Velikost je cca 4GB.

Diky moc za tve postrehy.

TOTAL: moje zkušenost, že za vše můžou špatně koncipovaný Query;-)

osobně se na postgres dívám, jen skrz nějakou appku, co z toho vytahá zajímavý věci.. přes psql-fu jsem se málokdy k něčemu kloudnýmu dostal..

TOTAL: "Vytizeni masiny neni nijak strasne" to znamean co? Ze mas malo zatizeny CPU, nebo malo zatizeny disky, nebo malo vyuzivanou RAM?
Jakmile zacnou trvat dlouho transakce, tak to je patrne problem se zapisama na disk. Muze to byt tim, ze disk vytezuje i neco jineho, muze to byt tim, ze disk se postupne zaplnuje a soubory na filesystemu jsou hodne fragmentovane (pokud to neni SSD ale HDD, tak je fragmentace znacne zpomalujici faktor). Muze to byt tim, ze se v tabulce vyskytuje stale vetsi pocet zaznamu a jestli se nad nima dela i nejaky update, ktery musi upravovat i index, zase to bude s casem porad pomalejsi a pomalejsi.

Mas vsechna data v jedne tabulce, nebo pouzivas partitions pro rozdelovani tabulek treba po mesici, aby ti prave nedochazelo k tomu, ze se porad zvetsuje objem aktivnich dat? Jak velka ta databaze je / kolik tam mas zaznamu?
Ale asi by bylo lepsi to resit v auditku o tuningu PostgreSQL

TBC: hele, tak v současným farmaceutickým korporátu, dostaneme přístupy do datadog a od ledna povinný agenty na všech strojích, tak dám nějakou svoji zkušenost za pár měsíců..

co se týče networkingu, tak je to u nás hell.. náš korporátní networking je do AWS zadrátovaný, zatím jsem neviděl žádný popis toho řešení, ale slyšel jsem nějaké divočiny, jak data v rámci regionu lítají občas přes oceán;-) Tak uvidím co se dozvím časem.

tady freeminar na datadog serverless, co nám teď dorazil..

Bits of Serverless | Datadog
https://www.datadoghq.com/...tm_medium=VirtualEvent&utm_campaign=VirtualEvent-202012ServerlessWeekES

Opet zdravim vespolek ! Resim ted problemy s vykonem POSTGRESQL ... v logu se pravidelne objevuje .. Zabbix server se viditelne zpomalil.

4945:20201129:224118.925 slow query: 5.121216 sec, "commit;"
4928:20201129:224118.934 slow query: 3.123032 sec, "commit;"
5002:20201129:224119.442 slow query: 16.384187 sec, "update hosts set lastaccess=1606686063 where hostid=10270;

To je znamka toho, ze DB ma docela problemy. Vytizeni masiny neni nijak strasne. Snazil jsem se zvetsovat cache (jak v ZABBIXU, tak i v POSTGRESQL) a ladit, ale pomohlo na par dni. Nejake tipy a triky ? Diky moc za pripadne reakce.

TBC: já jsem onpremise nepotřeboval.. provozní zkušenost nemám, jel jsem několik produktů v trial.. tehdy jsem koukal, jak to vidí do kontejnerů.. ale máme zaplacený new relic, ten je taky drahej ale ten app monitoring s info o DB používáme na debugging úspěšně.

RUDOLF: mas s tim nejakou provozni zkusenost? jinak mi prijde ze to nenabizi onpremise reseni v rozashle velke interni siti nebo ano?

mít peníze tak data dog..

je to uz olddkool ;) v kazdy lokaci mame collector, co sbira metriku, threshholds, logy, authlogy....., atd, prezvejka a vysledek vybleje kazdou minutu do centralniho node, ten neni na nicem postaveny, normalne php/mysql. ELK tu mame jen na delani veselych grafu pro vedeni a navstevy

CHOROBA: vlastni system, ze ho mate napsany, na jake technologii? tech stack jak pise
SAMGARR: bych bral prave neco jako jako vlasnti reseni, par virtualu na elk uz se na to najde. no hotovy reseni jsou molochy typu IBM Netcool apod.

otazka pak, esli nejni levnejsi hotovy reseni, nez HW pro ELK stack, co bude sbirat par desitek tisic metrik a logu.

TBC: Nevim jestli existuje nejaky hotovy reseni, ale kombinace ELK stack, Elastalert, Grafana a Alerta toho resi docela dost.

na todle mame holt vlastni system (radius logy, syslocy, metriky, monitoring z Cacti..)

AQUARIUS: elastic bych bral spis jako jednu z komponent na log analyze atd, zastrenej pod tu umberellu ... melo by to mit nejakou consolu pro event handling, prihlasovani uzivatelu, acknoweledgovani, enrichment, predavani atd.. rekneme neco s cim bude pracovat treba 10 operatoru.. rekneme ze tam budou dene 10-100tisic eventu, pochopitelne cast zpracovana automaticky atd.

TBC: Co to vsechno agregovat v Elastic stacku? Jednu dobu jsem si hral s agregaci Icingabeats a syslogu, nicmene zatim provozuju ELK pouze jako proof of concept, takze jsem vzhledem k hw omezenim musel nakonec Icingu odstrihnout, tech dat bylo nasobne vic, nez ze syslogu.

dotaz, nevim jest/li to nepresahuje scope diskuse, ale pouzivate nejakej umberella fault management, pod kterym mate treba prave nagios, zabix, pak treba tam posilate smnp trapy, eventy ze syslogu, nebo jine protokoly pro nejake vetsi reseni? v radek stovek a tisicu hostů atd?

a pokud ano jake? muze byt i nemusi byt opensource

ahoj,
mam trabl s grafana api.
potrebuju udelat snapshot jednoho konkretniho dashboardu,
umim pres api ziskat jeho vlastnosti atd.
akorat jsem v dokumentaci nenasel, jak vubec udelat smysluplny snapshot, kde nastavim treba konkretni casy, od kdy do kdy se ten snapshot ma udelat, jak nastavim jmeno dashboardu, ze ktereho to chci delat atd.
a kdyby nekdo nahodou mel odkaz na nejakou stranku, ktera bude obsahlejsi, nez je dokumentace ke grafane, tak bych byl asi stastnejsi.
diky moc.

TOTAL: super, zrovna sem to rozepisoval :-) pouzivam "Template OS Linux" a disky jsou tam pekne detekovany pomoci autodiscovery pravidel, ktere vytvori prislusne itemy a triggery. Verim, ze to je tento template ;-) https://share.zabbix.com/official-templates/operating-systems/official-os-linux-template

DRON: Uz jsem to rozchodil, diky ;)

vfs.fs.size[/home,pused].last()}>85