发表于
大规模信息系统中，日志的处理其实是一个非常基础又重要的部分。对于日志Log文件的采集，一般都是分布式的集群：一方面单一的采集节点会造成流量的拥堵，另一方面，大量日志的处理与存放对于单节点来说压力巨大，这也是分布式系统常需考虑的方面。 采集的另一个重点是增量模式，对于实时系统来说，需要进行类似于流处理 ...
阅读全文 »

发表于 | 分类于
从Bonferroni Corretion说起Mining of Massive Datasets一书中曾简要介绍了有关Bonferroni的知识。 关于Bonferroni。统计学上，为了解决多重比较(Multiple comparisons)的问题，我们使用在同一数据集(Same Dataset ...
阅读全文 »

发表于
Flume使用总结Flume可能是现阶段最为优秀的开源分布式采集日志框架，高可靠性，高可用性，并且可以定制多种数据发送方，同时还可以进行简单的日志处理，满足基本的数据需求。 作为Apache基金会的顶级项目，Flume发展迅速，现在已经发布了1.4.0版本。对于开发者来说，0.x与1.x版本之间还是 ...
阅读全文 »

发表于
观望了很久终于搞了这个独立博。 挣钱了啊！第一笔正式的薪酬，我就冲动了。不过自己觉得还是不贵（因为用的是新浪的域名服务，大家从跳转域名可以看出来），嗯，在天朝，很多人死在了备案这一步，准备走愤青路线可能不能…… 虽然迟，但是我肯定会非常勤劳的（平时在知识管理那边写的东西估计也会都搬过来），有句话怎么 ...
阅读全文 »

发表于
Ambar1.检测依赖软件安装情况RHEL/CentOS v5Ambari Agent libffi 3.0.5-1.el5 python26 2.6.``8``-``2``.el5 python26-libs ``2.6``.``8``-``2``.el5 Nagios Server nagios ...
阅读全文 »