版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Jstorm/Storm 性能调优纪君祥,如何寻找瓶颈 从Jstorm、Storm角度进行调优 好的设计才是性能之王,大纲,性能优化是一个永无止境的追求, 没有最快, 只有更快 是机器资源和业务需求的一种平衡,背景(一),做过4年阿里双11, 优化的topology超过100个,背景(二),寻找topology的瓶颈,找到每一个component的最大处理速度 从而可以找出整个topology的瓶颈,调优topology的第一个步骤,计算bolt的处理能力上限,计算Spout的性能上限,整个topology是一个流水线, 慢的component会拖慢整个topology,如何优化compone
2、nt,常见问题, component出现热点,和Jstorm系统相关的调优 worker数的设置,和rpc相关 storm.messaging.transport: ty.NettyContext“ ty.sync.mode: false ty.transfer.async.batch: true ty.async.block: true ty.transfer.batch.size: 262144 erval.ms: 10 ty.server_worker_threads:1 ty.client_worker_threads: 1,和性能相关的调优选项,和
3、内存相关 worker.memory.size: 2147483648 topology.buffer.size.limited: true topology.transfer.buffer.size: 1024 topology.executor.receive.buffer.size: 256 topology.executor.send.buffer.size: 256 worker.gc.childopts:,和性能相关的调优选项,和CPU相关 worker.cpu.slot.num topology.max.spout.pending: null spout.single.threa
4、d: false topology.kryo.register spout.pending.full.sleep: true disruptor.use.sleep: true topology.performance.metrics: true topology.debug:、topology.debug.recv.tuple:,和性能相关的调优选项,以案例来分析,如何设计,无Acker模式 Acker模式 Trident、事务模式,选型,尽量让tuple走本地模式而非进程间通信 让多个task在一个worker内部,task和task直接走进程内通信 Example Trident TLo
5、g,图优化,降低topology层数 将多个模块合并到一个task内部,在这个task内部实现流水线 Example Trident TLog,图优化,在latency和吞吐量之间的取舍 Example EagleEye,Batch,Simpe Obj,常常出现在对数据库的访问中 尽量使用类似groupBy的操作,让相同Key的操作只在一个客户端发生 并且尽量做到均匀hash,Cache/竞争,想清楚 是否流控 是否自动ack Example ,RocketMq、Kafka、TT 客户端,Cpu Jstack/top pH/vmstat Memory Top/jmap/jstat Network Sar/netstat/tcpdump/iperf,调优工具,良好的设计 模块之间解耦,模块和模块之间层次清晰
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 如何依法用地
- 幼儿托班上学期工作总结7篇
- 2024年氟炭漆项目发展计划
- 小学体育走和跑教案6篇
- 2024年固体矿产计算机辅助自动评价系统项目合作计划书
- 2024年铝合金精密模锻件项目发展计划
- 高考物理三轮冲刺 题型练辑 选考题保分练(五)(含解析)-人教版高三全册物理试题
- 重组蛋白药物行业发展趋势
- 卫星遥感应用行业分析报告
- 2024-2030年中国铸造扣件行业发展前景及投资战略规划研究报告
- 丰田的人才培养OJD概述
- 盛世共兴:林业碳票与CCER森林经营方法学的比较
- 远大住工-装配式建筑发展现状和技术标准
- 房车营地规划设计方案报告
- 2023届高三语文一模试卷分类汇编(上海专用)文言文阅读二 (解析)
- 国有资产出租管理办法
- 广告法的主要案例分析
- 余映潮语文教学设计技法80讲
- 2024年甘肃靖煤集团公司招聘笔试参考题库含答案解析
- (2024)消费者咨询业务试题库及答案
- 饮用水采购投标方案
评论
0/150
提交评论