电信x公司应急预案_综合业务支撑系统(IBSS-CRM)_V1.2.doc

广东分公司计算机系统应急预案_综合业务支撑系统（ibss）v1.0xxxxx公司计算机系统应急预案综合业务支撑系统（ibss&crm）version 1.2中国电信股份有限公司xx分公司2008年06月修订控制页修订号修订日期修订内容简述修订人版本号12008-3-20初稿（公共部分）周玉珍陈军黄书成梁振宇唐彪0.122008-3-20初稿（系统和业务部分）陈辉刘长成江粤雄张志伟0.232008-3-26项目组修订、审核项目组0.342008-3-28省公司审核杜涛1.052008-6-5补充1个参考案例，并审核crm配置变更苏智1.162008-6-10补充1个参考案例苏智1.2目 录修订控制页21.总则51.1.编写目的51.2.适用范围51.3.编制依据51.4.编写人员51.5.解释权51.6.版权62.应急处理流程62.1.原则62.2.触发条件62.3.实施流程62.4.重大故障上报流程82.5.职责分工93.系统描述103.1.物理拓扑图103.2.设备列表113.3.系统软件安装/部署123.4.应用软件安装/部署123.4.1.系统逻辑架构123.4.2.系统应用部署133.5.系统重要参数配置153.5.1.数据库服务器.操作系统参数配置.oracle参数配置173.5.2.应用服务器.操作系统参数配置.tuxedo参数配置203.6.关联系统213.7.系统备份223.7.1.系统备份223.7.2.数据库备份233.7.3.应用软件备份244.应急详细技术方案254.1.故障判断254.1.1.故障判断流程254.1.2.流程说明254.2.单点服务器故障274.2.1.故障类型1274.2.2.故障类型2314.2.3.故障类型3324.3.多点服务器故障334.3.1.故障类型4334.3.2.故障类型5344.3.3.故障类型6354.3.4.故障类型7364.3.5.故障类型8374.3.6.故障类型9384.4.数据库软件384.5.磁盘阵列434.5.1.配置信息恢复434.5.2.文件系统数据恢复434.6.光纤交换机494.7.服务器硬件514.8.系统软件（操作系统和cluster）524.8.1.操作系统部分524.8.2.cluster软件部分544.9.网络设备564.10.电源设备565.系统恢复确认565.1.第三方软件检查565.2.主机系统检查565.3.应用程序检查576.附件一：参考案例分析586.1.案例一586.2.案例二586.3.案例三606.4.案例四626.5.案例五646.6.案例六686.7.案例七697.附件二、备份操作步骤707.1.操作系统备份707.1.1.sun平台备份操作707.1.2.hp平台备份操作707.1.3.ibm平台备份操作717.2.磁盘阵列备份717.2.1.配置信息备份717.2.2.数据备份727.3.光纤交换机备份737.4.数据库备份747.4.1.逻辑备份747.4.2.物理备份751. 总则1.1. 编写目的本地综合业务支撑系统（ibss/crm）为xx电信的核心bss系统之一，其不间断运行的能力对xx电信有着重要的作用。本文的编写目的是为各分公司重大系统的应急处理提供操作指导，确保在系统异常时，可以有序的实施恢复操作，及时恢复业务。1.2. 适用范围适用系统：综合业务支撑系统（ibss）1.x，客户关系管理系统（crm） 2.x适用对象：各分公司的ibss系统管理员、维护支撑人员以及其他管理人员。1.3. 编制依据综合业务支撑系统应急方案080229（中山），中国电信中山分公司xx电信it系统数据集中备份规范，xxxxx公司1.4. 编写人员一、xxxxx公司计算机系统应急预案编写工作小组人员名单：组长：孙丹宇副组长：杜涛成员：梁振宇、陈辉、林群辉、黄书成、刘长成、陈军、李少华、李涛、江粤雄、周玉珍、唐彪（亿迅）、张志伟（亿迅）、徐祖科（亿迅）二、本分册主要编写人员名单：陈军、黄书成、梁振宇、周玉珍、陈辉、刘长成、江粤雄、唐彪（亿迅）、张志伟（亿迅）、苏智（亿迅）1.5. 解释权本规范的解释权属于中国电信股份有限公司xx分公司。1.6. 版权本规范的版权属于中国电信股份有限公司xx分公司。2. 应急处理流程2.1. 原则支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复业务，减少业务受影响的范围，缩短业务受阻的历时：1. 确保网络安全，最大限度地预防业务中断，防止业务性能下降扩散。2. 应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益最大化。3. 业务应急按照不同业务类别实施不同的应急策略，优先满足面向客户的业务恢复。2.2. 触发条件同时具备以下条件的时候，经分公司网运部批准后启用应急处理流程：1. 故障级别为二级及以上；2. 判断90分钟内无法排除；3. 严重影响业务；2.3. 实施流程2.4. 重大故障上报流程2.5. 职责分工角色职责描述部门姓名联系电话备注(*)协调部门1、向用户解释系统状况；2、协调相关部门协同处理省noc值班电公司监控中心值班电话上级领导1、向省公司或分公司领导汇报故障处理进度；2、部门间沟通协调。3、决定是否启用应急环境。省公司网运部孙丹公司网运部it维护中心故障协调人员1、组织维护人员分工协作；2、向上级领导汇报进度；系统主管故障处理人员1、判断故障点；2、提出并实施解决方案或应急措施；3、系统恢复后检查系统状况；4、编写故障分析报告。系统平台管理员a 系统平台管理员b数据库管理员a数据库管理员b应用系统管理员a应用系统管理员b厂家支撑人员1、协助判断故障点，可电话技术支持，必要时必须赶到现场处理故障；2、按维保合同提供必要的备件；3、协助分析故障原因并协助整改。硬件提供商hp公司报障电话800-810-7000硬件提供商sun公司报障电话800-810-0035oracle公司报障电话800-810-0366oracle公司紧急热racle公司徐成商普信公司系统成商普信公司应用务配合人员1、执行业务应急措施，向用户解释系统状况；2、系统恢复后检查应用系统状况。市场部政企客户部家庭客户中心业务支持中心10000客服中心区域分公司区域销售中心备注：需要填写售后支持服务所需的贵宾号、序列号或服务号等；厂家支撑人员为示例，需按实际系统列出。3. 系统描述3.1. 物理拓扑图3.2. 设备列表设备名称型号配置用途序列号ip地址数据库服务器1sun fire或hpibss数据库实例1建议填写物理地址+浮动地址数据库服务器2sun fire或hpibss数据库实例2应用服务器1sun fire或hpibss中间件服务+ ibss接口中间件服务+接口后台进程应用服务器2sun fire或hpibss中间件服务+后台独立进程磁盘阵列emc或sun t3省统一光纤交换机brocade 3800省统一网络设备省统一电源设备省统一3.3. 系统软件安装/部署设备名称安装软件作用数据库服务器hp b.11.11/ sunos 5.9操作系统hp cluster/sun cluster/veritas群集管理hp volume manager卷管理软件oracle /7服务器端数据库服务器应用服务器hp b.11.11/ sunos 5.9操作系统volume manager卷管理软件forte c+ enterprise edition 6 update 2编译器（附带中间件服务程序运行包）bea tuxedo 8.1 （64bit）中间件服务器oracle /7客户端oracle客户端3.4. 应用软件安装/部署3.4.1. 系统逻辑架构ibss系统，都配备两应用服务器和两台数据库服务器，既能提供服务的负载均衡，同时两台机又互为备份，即使其中一台机出现故障导致停机，无法提供服务的时候，通过在另一台机上做一些配置调整，ibss系统的仍可以正常运行。系统逻辑架构如下图所示。（除深圳,中山和广州分公司具备单独接口服务器外,其他分公司应用服务器1兼做接口服务器）每一个终端可以通过动态客户端配置随机选择连接其中任意一台应用服务器,使用ibss系统。应用服务器2的接口域则作为冷备份。 应用服务器按照业务逻辑分别连接不同的数据库服务器。3.4.2. 系统应用部署ibss系统生产环境部署如下(相关路径和端口请分公司根据实际情况调整)：主机部署程序程序目录连接数据库运行状态应用服务器1ibss域服务进程/export/.ibss1,ibss2启动接口域服务进程/export/.ibss2启动接口域外适配器进程/export/.ibss2启动接口域转换进程/export/.ibss2启动ibss域后台进程/export/.ibss1不启动crontab启动进程/export/.ibss1不启动应用服务器2ibss域服务进程/export/.ibss1,ibss2启动ibss域后台进程/export/.ibss1启动crontab启动进程/export/.ibss1启动接口域服务进程/export/.ibss2不启动接口域外适配器进程/export/.ibss2不启动接口域转换进程/export/.ibss2不启动tuxedo服务端口设置：1） ibss域（/export/home/ibss）： 应用服务器1 ip:1111 域间通讯：ip:9999应用服务器2 ip: 1111 域间通讯：ip:9999和应用服务器2 ip:56782） ibss接口域（/export/home/intf）： 应用服务器1 ip: 5354 域间通讯：ip: 7777其中，连接数据库和数据库服务名在每个目录下的dbconfig.ini文件里配置。数据库服务名在oracle客户端的$oracle_home/network/admin/tnsnames.ora里配置。表格中红色部分为冷备份部署，正常情况下不启动。对于ibss域，服务进程在两台服务器都要部署一套，并且在两台服务器都要启动。后台进程也是在两台服务器都要部署一套，但是只在一台服务器启动，我们设定只在应用服务器2启动，crontab运行的进程也在应用服务器2设置。在应用服务器1不要启动后台进程，并把所有进程程序的可执行权限禁止，以免误启动。如果应用服务器2出现故障停机，才把应用服务器1上的后台进程手工启动，并增加crontab运行的进程。对于接口域，服务进程和后台进程（外适配器进程和转换进程）都部署在应用服务器1上并启动，在应用服务器2上也部署同样的一套系统，但是所有服务进程和后台进程都不启动，作为冷备份。一旦应用服务器1出现故障宕机，则修改应用服务器2 ibss域相应的域间通讯配置后，启动应用服务器2的接口域，修改应用服务器2 ibss域后台进程配置，指向应用服务器2的接口域，以应用服务器2作为中间件单机运行。3.5. 系统重要参数配置3.5.1. 数据库服务器. 操作系统参数配置solaris操作系统内核参数配置：4cpu，8g内存的主机，操作系统内核参数配置参考值如下：* set semaphoresset semsys:seminfo_semmap=4096set semsys:seminfo_semmni=4096set semsys:seminfo_semmns=4096set semsys:seminfo_semmsl=2048set semsys:seminfo_semmnu=3072set semsys:seminfo_semume=3072set semsys:seminfo_semopm=100set semsys:seminfo_semvmx=32767* set shared memoryset shmsys:shminfo_shmmax=7442450944set shmsys:shminfo_shmmin=200set shmsys:shminfo_shmmni=200set shmsys:shminfo_shmseg=200solaris主机内核参数：8cpu，16g内存的主机，操作系统内核参数配置参考值如下：* set semaphoresset semsys:seminfo_semmap=4096set semsys:seminfo_semmni=5029set semsys:seminfo_semmns=5048set semsys:seminfo_semmnu=3072set semsys:seminfo_semume=3072set semsys:seminfo_semmsl=2163set semsys:seminfo_semopm=100set semsys:seminfo_semvmx=32767* set shared memoryset shmsys:shminfo_shmmaxet shmsys:shminfo_shmmin=200set shmsys:shminfo_shmmni=300set shmsys:shminfo_shmseg=200其他主机的配置在此基础上面，根据比例进行调整。hp-ux系统内核参数：dbc_max_pct 5dbc_min_pct 2nfile (15*nproc+2048)nflocks 5096nproc 5096max_thread_proc 2048maxdsiz 4294963200maxdsiz_64bit 4396972765184maxfiles 2048maxfiles_lim 4096maxrsessiz 8388608maxrsessiz_64bit 8388608maxssiz 401604608maxssiz_64bit 2147483648maxtsiz 100663296maxtsiz_64bit 1073741824maxuprc 4096maxvgs 30semaem 16384semmni 2048semmns 10240semmnu 8196semmsl 2048semume 100semvmx 32767shmmax 16000000000shmmni 400shmseg 300. oracle参数配置4cpu，8g内存的主机，数据库核心参数配置参考如下：db_block_size = 16384open_cursors = 500db_file_multiblock_read_count =32 processes = 1000log_buffer=7mshared_pool_size = 1000mlarge_pool_size500mdb_cache_size3000mpga_aggregate_target1000m8cpu，16g内存的主机，数据库核心参数配置参考如下：db_block_size = 16384open_cursors = 1500db_file_multiblock_read_count =64processes = 3000log_buffer=10mshared_pool_size = 2000mlarge_pool_size700mdb_cache_size5000mpga_aggregate_target2000m其他主机的配置在此基础上面，根据比例进行调整。3.5.2. 应用服务器. 操作系统参数配置solaris操作系统内核参数配置：4cpu，8g内存的主机，操作系统内核参数配置参考值如下：* set semaphoresset semsys:seminfo_semmap=4096set semsys:seminfo_semmni=4096set semsys:seminfo_semmns=4096set semsys:seminfo_semmsl=2048set semsys:seminfo_semmnu=3072set semsys:seminfo_semume=3072set semsys:seminfo_semopm=100set semsys:seminfo_semvmx=32767* set shared memoryset shmsys:shminfo_shmmax=7442450944set shmsys:shminfo_shmmin=200set shmsys:shminfo_shmmni=200set shmsys:shminfo_shmseg=200solaris主机内核参数：8cpu，16g内存的主机，操作系统内核参数配置参考值如下：* set semaphoresset semsys:seminfo_semmap=4096set semsys:seminfo_semmni=5029set semsys:seminfo_semmns=5048set semsys:seminfo_semmnu=3072set semsys:seminfo_semume=3072set semsys:seminfo_semmsl=2163set semsys:seminfo_semopm=100set semsys:seminfo_semvmx=32767* set shared memoryset shmsys:shminfo_shmmaxet shmsys:shminfo_shmmin=200set shmsys:shminfo_shmmni=300set shmsys:shminfo_shmseg=200其他主机的配置在此基础上面，根据比例进行调整。hp-ux系统内核参数：dbc_max_pct 5dbc_min_pct 2nfile (15*nproc+2048)nflocks 5096nproc 5096max_thread_proc 2048maxdsiz 4294963200maxdsiz_64bit 4396972765184maxfiles 2048maxfiles_lim 4096maxrsessiz 8388608maxrsessiz_64bit 8388608maxssiz 401604608maxssiz_64bit 2147483648maxtsiz 100663296maxtsiz_64bit 1073741824maxuprc 4096maxvgs 30semaem 16384semmni 2048semmns 10240semmnu 8196semmsl 2048semume 100semvmx 32767shmmax 16000000000shmmni 400shmseg 300. tuxedo参数配置solaris操作系统内核参数配置：* start for tuxedoset msgsys:msginfo_msgmni=8192set msgsys:msginfo_msgmap=2048set msgsys:msginfo_msgssz=320set msgsys:msginfo_msgmax=65535set msgsys:msginfo_msgmnb=655350set msgsys:msginfo_msgseg=32767set msgsys:msginfo_msgtql=10000set rlim_fd_cur=8192hp-ux操作系统内核参数配置：msgmap 31362msgmax 8192msgmnb 65535msgmni 8192msgseg 32767msgssz 128msgtql 313603.6. 关联系统系统名称关联业务本系统故障对对方系统的影响对方系统故障对本系统的影响计费帐务系统ibss从计费获取：停开机数据和用户欠费数据；计费系统从ibss获取用户资料和优惠资料；无法进行正确的停开机处理、无法查询用户欠费信息无法更新用户资料，无法更新用户的优惠信息。10000号系统ibss提供数据无法提取数据无交换网管系统业务开通无用户无法开通业务综合网络激活系统业务开通无用户无法开通业务多媒体系统业务开通无用户无法开通业务112系统ibss提供数据无法提取数据无phs机卡分离96338激活接口无用户无法开通无分析数据平台从ibss取数据取不到数据无渠道接入平台其它厂家从ibss取数据营收款系统接口从ibss取数据取不到数据无网络智能化接口业务开通无用户业务无法开通多媒体大后台系统业务开通无用户业务无法开通蓝色魅力bnet系统业务开通无用户业务无法开通adsl参数自动配置系统业务开通无用户业务无法开通智能网管接口业务开通无用户业务无法开通资源管理接口ibss提供数据无法提取数据无112系统ibss提供数据无法提取数据无主动营销数据ibss提供数据无法提取数据无互联星空系统业务开通无用户业务无法开通彩铃平台接口业务开通无用户业务无法开通小灵通pcs接口业务开通无用户业务无法开通固网短信接口业务开通无用户业务无法开通灵通200增值业务开销户业务开通无用户业务无法开通公话资料上传ibss提供数据无法提取数据无固网预付费加装宽带停复机接口业务开通无用户业务无法开通114接口ibss提供数据无法提取数据无3.7. 系统备份3.7.1. 系统备份设备名称数据库服务器132.*.*.*应用服务器132.*.*.*存储阵列132.*.*.*存储交换机132.*.*.*备份内容操作系统操作系统配置信息配置信息备份方法1.主机自带磁带机2.hp操作系统软件make_recovery3、具体备份方法见附件二1.主机自带磁带机2.hp操作系统软件make_recovery3、具体备份方法见附件二1文件拷贝2配置拷屏3管理软件备份功能4具体备份方法见附件二1文件拷贝2配置拷屏3具体备份方法见附件二备份周期及时间点1.每季度巡检时2.系统变更前后各一次1.每季度巡检时2.系统变更前后各一次1.每季度巡检时2.配置变更前后1.每季度巡检时2.配置变更前后备份介质磁带dds-4磁带dds-4文件服务器132.*.*.*文件服务器132.*.*.*保存期限6个月6个月6个月6个月3.7.2. 数据库备份设备名称数据库服务器132.*.*.*数据库服务器132.*.*.*数据库服务器132.*.*.*数据库服务器132.*.*.*数据库服务器132.*.*.*备份内容数据库物理全备数据库archive增量备份重要表备份数据库逻辑全备数据库用户备份备份方法hp dp5、oracle rm an具体备份方法见附件二hp dp5、oracle rm an具体备份方法见附件二oracle export、ftp具体备份方法见附件二oracle export、ftp具体备份方法见附件二oracle export、ftp具体备份方法见附件二备份周期及时间点周三及周日21:30每天6:30、13:30、19:30每天每月第2个星期六每周一备份介质hp lto 2/20磁带库磁带hp lto 2/20磁带库磁带备份服务器硬盘132.*.*.*异地备份服务器硬盘132.*.*.*备份服务器硬盘132.*.*.*保存期限2周2周3天2个月2周设备名称数据库服务器132.*.*.*备份内容rman数据库备份方法hp dp5、oracle rm an备份周期及时间点每天备份介质hp lto 2/20磁带库磁带保存期限2周3.7.3. 应用软件备份设备名称应用服务器1132.*.*.*应用服务器2132.*.*.*备份内容程序、配置文件（包括crontab配置）/export/home/ibss/export/home/intf程序、配置文件（包括crontab配置）/export/home/ibss/export/home/intf备份方法文件拷贝文件拷贝备份周期及时间点1.每月2. 程序或配置变更前后1.每月2. 程序或配置变更前后备份介质集中备份服务器硬盘集中备份服务器硬盘保存期限2个月2个月4. 应急详细技术方案4.1. 故障判断4.1.1. 故障判断流程4.1.2. 流程说明1） 故障发生和现象描述：a) 软件或硬件导致宕机,如:数据库、磁盘不可访问、主机不能正常运行、网络不正常、电源掉电、运行温湿度等环境条件超标等b) 操作系统cpu占用率大于95%并严重影响业务超过30分钟c) 操作系统内存消耗超过95%并严重影响业务超过30分钟d) 操作系统i/o等待率大于50%并严重影响业务超过30分钟e) 磁盘使用率达到100%f) 应用程序运行异常,导致业务系统不可用g) 后台应用服务排队h) 系统双机工作异常,严重影响业务处理i) 业务处理性能比平时慢50%以上且持续一段时间2） 网络和服务器可用行检查：包括ping、telnet检查等3） 数据库可用行检查：包括sqlplus访问、表空间、数据库死锁、等待事件、数据库日志查看等4） 服务器系统资源使用情况检查：包括cpu、内存、磁盘空间、系统i/o的使用率和系统日志查看等5） 应用程序健康性检查：包括服务core、服务排队、服务挂死、域间通讯检查和程序运维日志查看等6） 检查的顺序建议按照网络、系统、数据库、中间件和应用日志的顺序进行检查，可以根据故障现象进行实际的调整7） 定位故障等级包括单点故障、多点故障、其他故障8） 需要应急处理的故障如下：故障序号故障现象描述故障等级处理办法备注1应用服务器1出现严重故障无法提供服务单点故障参照4.2.1 故障类型12应用服务器2出现严重故障无法提供服务单点故障参照4.2.2 故障类型23任意一台数据库服务器出现严重故障无法提供服务单点故障参照4.2.3故障类型34任意一台数据库服务器和应用服务器1出现严重故障无法提供服务多点故障参照4.3.1故障类型45任意一台数据库服务器和应用服务器2出现严重故障无法提供服务多点故障参照4.3.2故障类型56两台数据库服务器出现严重故障无法提供服务多点故障参照4.3.3故障类型67两台应用服务器出现严重故障无法提供服务多点故障参照4.3.4 故障类型78两台应用服务器和任意一台数据库服务器出现严重故障无法提供服务多点故障参照4.3.5 故障类型89两台应用服务器和两台数据库服务器同时出现严重故障无法提供服务多点故障参照4.3.6 故障类型910其他类系统故障其他故障联系厂家协调处理特别提示：由于系统切换比较复杂，为确保系统正常运行，故障处理及恢复应该在维护单位的指导下进行。4.2. 单点服务器故障4.2.1. 故障类型1当应用服务器1出现严重故障无法提供服务，需要修改应用服务器2的ip地址和相应的域间通讯配置，然后重启应用服务器2域间通讯服务进程，并上启动接口域的服务进程和后台进程，还需要修改应用服务器2的ibss域后台进程配置，指向应用服务器2的接口域，以应用服务器2作为中间件单机运行。应急切换的具体步骤如下:1) 停掉应用服务器2上的全部应用，用ibss用户登陆应用服务器2，执行：tmshutdown y w1cd /export/home/ibss/batchibsssupershell.sh stopall修改应用服务器2机的ip为应用服务器1机的ip，修改应用服务器2机的机器名（hostname）为应用服务器1机的机器名。执行:ifconfig lan0:1 plumbifcofnig lan0:1 ibssapp1_ip netmask uphostname 新主机名2) 修改应用服务器2机/export/home/ibss/batch目录下的配置文件：（注意以下凡是要修改配置文件，修改之前先作好备份）ibss_process_data 中：找到头一行：如：ibssapp2 /ip2:4888修改成当前机器的机器名和ip：端口（ibssapp1 /ip1:4888） tux.env 中修改下面内容相对的ip：wsnaddr=/ibssapp2_ip:4888改为： wsnaddr=/ ibssapp1_ip:4888imwsnaddr=/ ibssapp2_ip:4878 改为：imwsnaddr=/ibssapp1_ip:48783) 修改应用服务器2机器/export/home/ibss/config目录下ibss域的相关配置ibss域的ubb修改内容：ibssapp2 lmid=simple改为修改后的机器名ibssapp1wsl srvgrp=wslgroup1 srvid=210 clopt=-a -t - -n / ibssapp2_ip:4888 -m 50 -m 100 -x 10 -t 10修改ip，为：wsl srvgrp=wslgroup1 srvid=210 clopt=-a -t - -n / ibssapp1_ip:4888 -m 50 -m 100 -x 10 -t 10重新编译ubb：tmloadcf y ubbibss域的dmconfig的修改内容：simpapp nwaddr=/ibssapp2_ip:4688 nwdevice=/dev/tcp改为：simpapp nwaddr=/ibssapp1_ip:4688 nwdevice=/dev/tcp重新编译dmconfig：dmloadcf y dmconfigtux.env 中修改下面内容相对的ip：wsnaddr=/ ibssapp2_ip :4888; export wsnaddr改为： wsnaddr=/ ibssapp1_ip:4888; export wsnaddr4) 重新编译应用服务器2机器上接口域的域间通信dmconfig和ubb。5) 建立接口目录下的data目录的数据链接link。6) 将之前备份的应用服务器1机的crontab内容加进应用服务器2机的crontab里，运行crontab e进入编辑，增加和应用服务器1上一样的内容，保存退出即可。7) 全部启动应用服务器2上的ibss域和接口域的所有服务和后台独立进程、适配器进程、转换进程。进入目录：/export/home/ibss/config 执行：tmboot y进入目录：/export/home/ibss/batch 执行：ibsssupershell.sh startall进入目录：/export/home/intf/tuxedo/config 执行：. ./intf.envtmboot y进入目录：/export/home/intf/runprog/adapter 执行：adaptersupershell.sh startall进入目录：/export/home/intf/runprog/calltranall 执行：calltranallsupershell.sh startall8) 进行切换后系统的功能的测试。等待应用服务器1故障修复以后,采取类似步骤将系统部署恢复到正常生产的模式。4.2.2. 故障类型2当应用服务器2出现严重故障无法提供服务，需要启动应用服务器1后台独立进程，增加crontab运行的进程，以应用服务器1作为中间件单机运行。应急切换的具体步骤如下:1) 修改应用服务器1机/export/home/ibss/batch目录下的配置文件：找到头一行：如：ibssapp2 /ip2:4888修改成当前机器的机器名和ip：端口（ibssapp1 /ip1:4888）tux.env 中修改下面内容相对的ip：wsnaddr=/ ibssapp2_ip:4888改为： wsnaddr=/ ibssapp1_ip 4888imwsnaddr=/ ibssapp2_ip:4878改为：imwsnaddr=/ ibssapp1_ip:48782) 建立将之前备份的应用服务器2机的crontab内容加进应用服务器1机的crontab里。3） 启动此/export/home/ibss/batch下的独立进程：ibsssupershell.sh startall4） 进行切换后系统的功能的测试。等待应用服务器2故障修复以后,采取类似步骤将系统部署恢复到正常生产的模式。4.2.3. 故障类型3 当其中任意一台数据库服务器出现严重故障无法提供服务，需要修改两台应用服务器数据库的连接指向正常的那台数据库，然后重启应用服务器全部进程,以单台数据库服务器运行。应急切换的具体步骤如下:1) 用oracle用户登陆两台应用服务器。2) 修改应用服务器上面oracle客户端的tnsnames.ora文件，将故障数据库主机的ip和实例名连接修改为正常的那台数据库的连接。等待故障数据库主机修复投入使用后，再把应用服务器的数据库的连接修改回去，重启两台应用服务器的全部ibss服务，恢复到正常生产的模式。4.3. 多点服务器故障4.3.1. 故障类型4当其中任意一台数据库服务器和应用服务器1出现严重故障无法提供服务，需要修改应用服务器2数据库的连接指向正常的那台数据库，然后将应用服务器1的后台进程切换到应用服务器2上面，重启应用服务器全部进程，以单台应用服务器和数据库服务器运行。应急切换的具体步骤如下:1) 参照故障类型1方式修改应用服务器2上面的相关配置。2) 参照故障类型3方式修改应用服务器2上面的数据库连接配置。3) 全部启动应用服务器上面的ibss后台服务和进程。等待故障主机修复投