系统的运作与管理.ppt

1、國 立 交 通 大 學 計 算 機 中 心 陳 昌 盛 E-mail: .tw,Usenet News 系統的運作與管理,Usenet News系統的運作與管理,課程大綱 Outline 1. Usenet News 系統簡介 2. News system INN 的相關操作設定 3. 其它類似 News system 的簡介 4. 新近的 News system 的發展趨勢,Usenet News 系統簡介(1),Usenet News 相關資訊/文件 RFC 977, 1036 977 : 傳送協定的規範 1036 : Usenet 文件的規範 (e.g.

2、 檔頭 header ) FAQ ( e.g, INN, Dnews, ) newsgroups news.admin.*, 主要談行政管理性質. news.software.*, 主要系統技術 news, 臺灣本地的技術討論區,Usenet News 系統簡介(2),Usenet 管理書籍 ( INN + CNews ) OReilly Usenet book, 1997 年底出第一版 Usenet News 相關網站 /inn/ http:/www.freenix.fr/top1000/ .tw/,Usene

3、t News 系統簡介(3),Usenet News 是什麼 ? Usenet 是一個邏輯型態的網路 logical vs physical network 傳統的 8 大分支 comp, humanity, misc, news, rec, sci, soc, talk 另類分支架構, e.g. alt.* 區域性架構 tw, hk, can, de, fj, fr, kr, . 其他 臺灣 BBS 與 NetNews 系統的結合,Usenet 的一般課題(1),Usenet News 程式分類 (Server, Agent, Client) 系統 server (INN, DNews, .

4、) 傳送程式 ( push vs pull model) Push 傳送: innfeed, nntplink,. Pull 傳送: suck, nntpget 閱覽程式 (線上 vs 離線 閱覽 ) netscape, ie, tin, Usenet News 傳送方式 mailing, UUCP, NNTP ( RFC 977),Usenet 的一般課題(2),News 文章的檔頭 ( RFC 1036) Required headers Optional headers News 文章的分類 normal articles (moderated vs un-moderated) cont

5、rol messages ( cancel, newgroup, rmgroup, checkgroups, sendsys, version) 如何新建一個 newsgroup 送 newgroup control message,Usenet 的一般課題(3),articles refused or rejected ( NNTP) refused ( round 1, 存在 history database ) rejected ( round 2) pseudo newsgroups ( active ) control, junk control.cancel, control.ne

6、wgroup, control.rmgroup,Usenet 的一般課題(4),轉換應用程式 (application gateway) mail2news, news2mail, bbs2news, anti-spam vs filtering 匿名問題 (anonymous posting) cancel bot (automatic cancel) PGP verify (control messages) Filtering NoCem ( No-See-Them) Cleanfeed,Usenet News server 的規畫,Usenet News server 的規畫 Netw

7、ork, Memory, Disk, CPU UPS system Memory size 128M bytes ( the more, the better) Hard Disk size Disk capacity 12G bytes (the more, the better) SCSI II, Wide (the newer, the better) Inode number = 2k bytes/inode Filesystem ( hardware or software disk array),News 系統的運作與管理課題,In-coming News ( 接收) Unbatc

8、hing/decompression, Filing, . Indexing support Out-going newsfeeds ( 外送) Expiration ( 清理過期文章) Archive (永久保存) 系統記錄與製做統計報告,關於 news 站的管理,建立外界連絡用的 e-mail address newsadmin, usenet, abuse 例如 .tw 建立 news peering 關係 認識你的 news 上游管理者 建立第二個備援站 (redundant backup site),Usenet server INN 的建

9、置,Usenet News software 的取得 .tw/Packages/news/* INN Server 的安裝 INN README INN Installation Guide ( install.ms) INN FAQ Part 8: Appendix A: Normans install guide Master/slave servers,INN 中典型的系統目錄,僅量分散原則 News Library Directory 子目錄 /usr/local/news/ bin, etc, lbin, lib, locks, man, run,

10、var News Spool Directory 子目錄 /news/ archive, articles, ing, out.going, over.view News Log Directory 子目錄 /var/log/news,INN 上必須編輯設定的檔案,inn.conf, hosts.nntp, nnrp.access newsfeeds, innfeed.conf active, history (*) expire.ctl, innwatch.ctl, control.ctl overview.fmt, moderators innreport.conf ( 外加選項功能 ),

11、INN 的相關系統設定(1),接收 (In-coming connection) hosts.nntp, nnrp.acesss 儲存與內部處理 ( filing) active, control.ctl 外送 (out-going newsfeeding) newsfeed, innfeed.conf (or nntpsend.ctl, ) 加掛特殊功能程式 ( overchan, crosspost, inpath, autoresponder,) newsfeed,INN 的相關系統設定(2),定期清理 ( expiration; news.daily) expire.ctl 系統監督

12、( background 程式 ) innwatch.ctl 系統報告 ( news.daily) innreport.conf 其他次要功能設定 moderators, passwd.nntp, .,INN.conf 的設定,範例 # pathhost: 如果不定, default 就是 FQDN pathhost: netnews.NCTU.edu.tw organization: National Chiao Tung University, Taiwan server: localhost,INN 的 hosts.nntp 設定,格式 : : 範例 .tw: 192.8

13、3.166.5: .tw:!*,tw*,nctu.*,nthu.*,INN 的 nnrp.access,標準格式 : 範例 # -Default is no access, no way to authentication, and no groups. *: -no- : -no- :!* # -General IP address ranges for most Taiwans sites *.tw:R:*,!junk,!control*,!tw.bbs.adm.*,!alt.binaries.* # -NCTU - National Chiao Tung U

14、niversity 140.113.*:Read:*,!junk,!control*,!twbbs.adm.* *.tw:Read Post:*,!junk,!control*,!twbbs.adm.*,INN 的 newsfeeds 設定(1),標準格式 site/exclude,exclude,. :pattern,pattern./distrib,distrib. :flag,flag. :param 詳細說明請參閱 man page - newsfeeds (5),INN 的 newsfeeds 設定(2),範例 ME:!*/!local: # Create the l

15、inks for cross- posted articles xpost:*:Tc,Ap,WR,B4096/1024:/usr/local/news/bin/crosspost # News overview NOV!:*:Tc,WO,B4096/1024:/usr/local/news/bin/overchan # innfeed-0.10.1, 86/04/22 innf!:!*:Tc,Wnm*,B4096/1024 :/usr/local/news/lbin/startinnfeed -c /news/innfeed/innfeed.conf #- CC1/.

16、tw,.tw :*,!control*,!junk :Tm,G20:innf!,關於 feed 型態 特別說明,Feed Type Tc, channel mode Tm, funnel mode Tf, file mode Tp, program(or pipe) mode Tx, exploder mode,INN 的 expire.ctl 設定,格式 /remember/: : 範例 /remember/:10 # Keep for 1-10 days, allow Expires headers to work. # General expire poli

17、cy for most newsgroups *:A:0:0:0 *:U:1:1:31 *:M:1:7:31 tw.*:U:1:7:31 *.answers:M:1:31:31,INN 的 control.ctl 設定,格式 : action 型態 cancel, newgroup, rmgroup, ihave/sendme, sendsys, checkgrup, version, “all” 範例 all:*:*:mail checkgroups:*:*:log=checkgroups sendsys:*:*:log=sendsys newgroup:ltcnews.cc.nctu.ed

18、u.tw:tw.*:doit=newgroup rmgroup:*:*:mail,Crontab entry - An Exmple,# Daily expiration job 40 2 * * * /usr/local/news/bin/news.daily delayrm expireover # Purge News Overview database 40 6 * * * /usr/local/news/bin/expireover -a # Reload newsfeeds 30 0,6,12,18 * * * ( cd /usr/local/news; bin/ctlinnd t

19、hrottle regular reload; bin/ctlinnd reload newsfeeds /dev/null 2 bin/ctlinnd go ) # Path Survey - inpaths 15 9 30 1,3-12 * /usr/local/news/lbin/pathsurvey 15 9 28 2 * /usr/local/news/lbin/pathsurvey,INN 上變動性的 database (1),active ( active, active.times ) 記錄系統接收哪些 newsgroups , 以及其屬性, 流水編號等資料, 同時可供 new

20、s reading 當作指標. history ( history, history.dir, history.pag ) 記錄系統上所有的 news articles 的進出時間, 以及各 articles 的 message-id, 儲存路徑名稱等資料. 用途 1, 以防重覆傳送. 用途 2, expire 時根據這一些資料, 找出要去除的articles.,Usenet 上 active 的格式,格式 name himark lomark flags 範例 tw.test 0000012345 0000012340 y news.answers 0000098765 0000097654

21、 m Flags 種類 y, n, m, x, j, =foo.bar,INN 上變動性的 database (2),newsgroups ( 主要用於 news-reading) 記錄 newsgroups 對應的說明資料 subscriptions ( 系統) 預先設定的 newsgroups 建議列表, 用途 1, 推薦一些實用的 newsgroups 用途 2, 避免初學者, 因不熟悉系統操作, 以為本系統沒有任何 newsgroups 可用. 目前還不是標準功能 (NNTP), 所以並非所有 news-reader 都支援這個功能.,Debug INN 系統,Enable news

22、syslog /etc/syslog.conf Check /var/log/news news.crit, news.err, news.notice ( 系統狀態) news ( 記錄每篇 news article 的流向資料) telnet localhost 119 直接操作 NNTP commands,INN 管理工具程式 ctlinnd,使用 or 身份來執行 列出所有可用的命令 /usr/local/news/bin/ctlinnd help ctlinnd xxx, 其中 xxx 代表 mode, newgroup, rmgroup, pause, reload, go , s

23、hutdown, .,其他 News server 的簡介(1),High Wind 系列 (商用版, 評價很好) Cyclone, Typhoon, Breeze DNews ( Unix, Windows NT) NNTPcache ( Unix ) Diabolo ( FreeBSD, Solaris) freeware, 仍持續發展中, 主要 news feeder,其他 News server 的簡介(2),NNTPrelay ( Windows NT) 商用正式版 Tortoise 即將出現 Netscape server 有 Unix 和 Windows NT 版 從 INN 1

24、.4 開始發展 前景不明 MS IIS server 只適合小規模 intranet 使用,Usenet News 發展新趨勢(1),Feeder 跟 Reader server 分開 如商用的 High Wind 系列走向 tcp port 119 (reader), 433(feeder) 專門的 reader support actived ( mmap, overview ) NNTPcache ( server 分級, kernels vs leaves ) Anti-SPAM PGP verify, Filtering + Cancel-bot, Client-tracking,U

25、senet News 發展新趨勢(2),Filtering cleanfeed ( MD5 hashing, perl hook ) INN, Diablo, Cyclone Expire ( time vs space ) CNFS ( Cyclic News File System) 傳統的 unix bfs vs CNFS 新版 INN 2.0 即將出爐, CNFS 是標準功能 DejaNews - News archive, copyright, . News 系統 HTML化 的衝擊,附錄,Usenet Headers ( RFC 1036) 簡介 Usenet/INN relate

26、d Utility Programs A typical control message A typical innfeed.conf,Usenet Headers ( RFC 1036) - 簡介(1),必要的 (required headers) Newsgroups, Subject User 提供 From, Date, Path, Message-ID 系統產生 選擇性的 (optional headers) Reply-to, Sender Followup-To, References, Xref Expires Control, Aproved Distribution Org

27、anization,Usenet Headers (RFC 1036) - 簡介 (2),其他非 RFC 1036 定義 NNTP-Posting-Host X-Newsreader . RFC 1036 Revised Draft,一些 Usenet 管理的實用程式,Usenet/INN related utility programs innreport flowstats inpath inndf autoresponder Ftp:/.tw/Packages/News/*,A Typical Control Message,Path: netnews.NCTU.

28、edu.tw!.tw!nntp-! !cam- news-!sanjose-news-!sony sjc!vixie!!bounce-back From: (David C Lawrence) Newsgroups: comp.archives Subject: cmsg newgroup comp.archives moderated Control: newgroup comp.archives moderated Approved: Message-I

29、D: Date: Thu, 09 Apr 1998 01:30:01 -0000 Lines: 4 X-Info: /pub/pgpcontrol/README.html /pub/pgpcontrol/README X-PGP-Sig: 2.6.2 Subject,Control,Message-ID,Date,From,Sender iQCVAwUBNSwkmcJdOtO4janBAQEzhwP/Y9JsOopcfVeQmo6HEJ6e21K9FWWjXwdW QipIRmTcC+0UN6RwufFQ9Qe4rHv3twY8+

30、zM+MXZ13LZ4N64gvk1aKB8PIJLT1/yp 9rHmZFG2ac1gPfcyPSQbatsPNiOToc2ncXW5URGysTqC5swgP4h4KE7MZzhFItKL a5uLAm9yrsA= =ju5c Xref: netnews.NCTU.edu.tw control.newgroup:41374 comp.archives is a moderated newsgroup. For your newsgroups file: comp.archives Descriptions of public access archives. (Moderated),# i

31、nnfeed.conf file. See the comment block at the # end for a fuller description. # Global values. Not specific to any peer. These # are optional, but if used will override the # compiled in values. Command-line options used # will override these values. # backlog-directory: /home/innfeed/if-1 backlog-highwater: 5 #host-highwater: 15 #host-highwater: 15 host-queue-highwater: 10 backlog-ck