微信号:infoqchina

介绍:有内容的技术社区媒体

谷歌云平台集成日志管理了

2015-03-26 12:57 InfoQ


谷歌集成日志管理了,以后可以更容易地提取、查看、检索和分析那些由计算引擎和应用引擎生成的日志了!谷歌建议按以下步骤使用云日志:提取、查看、探查、分析和存档。


谷歌云平台(GCP)最近增加了云日志。计算引擎、应用引擎、云存储、云监控和BigQuery构成谷歌云平台的基本构件。谷歌使用云日志把这些关联到一起集成了日志管理。客户可以把计算引擎和应用引擎的日志合并到云日志中去执行实时的查询和分析。日志可以和云监控相结合实现可视化。


谷歌建议按以下步骤使用云日志:

提取 - 应用引擎和托管虚机产生的日志会自动地提取到云日志中。计算引擎客户需要安装google-fluentd代理以收集来自于各种第三方软件的日志。像apache、cassandra、chef、jenkins、memcached、solr和tomcat这些流行的包都支持日志代理。通过自定义配置可以收集额外的日志。计算引擎系统操作和API调用的相关日志收集无需安装代理。


查看 - 谷歌开发者控制台已经集成了日志查看器,可以通过它访问和导出日志。


探查 - 日志查看器可以为不同来源的日志建立关联,以便研究和调试问题。为避免跨页浏览,在查看器内支持实时流处理。


分析 - 云日志支持BigQuery中的日志流处理。客户针对BigQuery可以用常见的SQL查询去收集、检索和观看日志数据。


存档 - 默认情况下,云日志保存30天的数据。对于要长时间保存的日志,可以把它们导出到谷歌云存储中,它的数据来源可以是谷歌云数据存储、BigQuery、谷歌云数据流和HBase。


Google Cloud Storage Nearline 的近期公告称,存储档案数据的服务更经济实惠了。所有谷歌云平台客户都可以免费使用云日志。使用谷歌云存储和BigQuery时,将根据数据转换、存储和查询结算附加的费用。


Wix是其中一个已经使用了云日志的用户。

在Wix,我们使用BigQuery去分析计算引擎自动扩展部署的日志。我们拿到了大量的系统日志,我们把它们发送给BigQuery去分析系统健康状况和出错率。我们形成时间序列数据并把它和谷歌云监控集成在一起,以此监控系统性能和业务度量。这给我们的运维提供了基本的洞察力。

- Dmitry Shestak, Wix 工程师


亚马逊Web服务是谷歌最有竞争力的对手,它通过 AWS CloudTrailAmazon CloudWatch提供了类似的能力。




如果想要评论本篇文章,想看下其他读者都有什么话想说,欢迎点击“阅读原文”参与讨论。

 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 高压力下表现不够好的Java应用 php中读取大文件实现方法详解 关于C语言,我喜欢和讨厌的十件事 为什么很少见程序员炫富?程序员的钱花哪去了? “压倒服务器的最后一个用户”-- 如何寻找极限点?