トラブル，そしてトラブル・・・
今日は一日トラブルDay（泣）．
台風一過の今日，何も無いことを祈りつつ出勤したのだが，
祈りは通じずトラブル．
とあるスイッチの電源モジュールが死んでた・・・
結果，通常はこういう状態のスイッチが，
こうなる．orz...
当然，通信は遮断されたまま・・・
まあ，こうなったら機器を交換するしかないｗ
保守契約先に症状を含め連絡すると，交換機材はあるが，作業員の方が
午後にならないと手配つかない，とのこと．
交換機材のデリバリーは午前中に可能とのことだったので，取り急ぎ
工場出荷状態の機材デリバリーを依頼．
その間，お亡くなりになった機材をラックから降ろし，バックアップしてあった
config流し込む準備を整え機材待ち．
で，機材到着後，マウントキット付け替え，config注入などのキッティングを
すませ，隣の先生のお手を拝借しつつラックへマウント．
これで午前終了（泣）．
そして，昼食食べ終わったころに保守会社の作業員な方から連絡．
交換済みの機材を引き渡し，インシデント終了ｗ
で，午後の講義を終え，非常勤の準備をしていると，再びネットワークが
断続的に落ちてみたり・・・
交換した機材も調子悪かったのか，とログを見るが，特に何もはき出されておらず．
「show int stats」なども投入して，インタフェイスに送受信されたパケット数を
ひらってみたが，全インタフェイスがtrunkなので，詳細分からず．
# VLANごとに見てみたりもしましたよｗ
ただ，全インタフェイスのステータスランプが点滅しまくってたので，こりゃ
broadcast stormか？とか，別の機材が死にかけか？とか，順場にインタフェイスを
落としてみて様子を見たが状況は一向に改善せず（泣）．
非常勤の時間も迫っていたので，半ば諦めかけていたところで，思い立って，
とあるスイッチのインタフェイスを抜くと，floodが止まるｗ
で，その回線を辿っていくと，こんな状態になってた（泣）．
バカL2の下にカスケードされてるバカL2のポート同士を直結されてた...orz
最近のバカL2スイッチは，Auto MDI/MDI-X機能付きなので，ストレートケーブル
1本で簡単にループが形成できる．
おまけにSTPなんて実装されていないので，簡単にstormが生成可能．orz...
実は以前も似たような経験をしたのだが，このときは一応，Catalyst直下のバカL2にて
ループを生成されていたので，CatalystのポートがLOOP_BACK_DETECTEDになり，
ネットワーク全体へ影響が波及することはなかった．
しかし，今回は建物全体のネットワークに負荷がかかってみたり（泣）．
んー，やはり，storm-controlなど設定せねばなるまいか・・・
でも，基本はバカL2のカスケード接続は止めておいた方がよさそう．
Ciscoがベストというワケではないのだけど，次回導入時はバカL2カスケードは
やめておこう（泣）．
台風一過の今日，何も無いことを祈りつつ出勤したのだが，
祈りは通じずトラブル．
とあるスイッチの電源モジュールが死んでた・・・
結果，通常はこういう状態のスイッチが，
こうなる．orz...
当然，通信は遮断されたまま・・・
まあ，こうなったら機器を交換するしかないｗ
保守契約先に症状を含め連絡すると，交換機材はあるが，作業員の方が
午後にならないと手配つかない，とのこと．
交換機材のデリバリーは午前中に可能とのことだったので，取り急ぎ
工場出荷状態の機材デリバリーを依頼．
その間，お亡くなりになった機材をラックから降ろし，バックアップしてあった
config流し込む準備を整え機材待ち．
で，機材到着後，マウントキット付け替え，config注入などのキッティングを
すませ，隣の先生のお手を拝借しつつラックへマウント．
これで午前終了（泣）．
そして，昼食食べ終わったころに保守会社の作業員な方から連絡．
交換済みの機材を引き渡し，インシデント終了ｗ
で，午後の講義を終え，非常勤の準備をしていると，再びネットワークが
断続的に落ちてみたり・・・
交換した機材も調子悪かったのか，とログを見るが，特に何もはき出されておらず．
「show int stats」なども投入して，インタフェイスに送受信されたパケット数を
ひらってみたが，全インタフェイスがtrunkなので，詳細分からず．
# VLANごとに見てみたりもしましたよｗ
ただ，全インタフェイスのステータスランプが点滅しまくってたので，こりゃ
broadcast stormか？とか，別の機材が死にかけか？とか，順場にインタフェイスを
落としてみて様子を見たが状況は一向に改善せず（泣）．
非常勤の時間も迫っていたので，半ば諦めかけていたところで，思い立って，
とあるスイッチのインタフェイスを抜くと，floodが止まるｗ
で，その回線を辿っていくと，こんな状態になってた（泣）．
バカL2の下にカスケードされてるバカL2のポート同士を直結されてた...orz
最近のバカL2スイッチは，Auto MDI/MDI-X機能付きなので，ストレートケーブル
1本で簡単にループが形成できる．
おまけにSTPなんて実装されていないので，簡単にstormが生成可能．orz...
実は以前も似たような経験をしたのだが，このときは一応，Catalyst直下のバカL2にて
ループを生成されていたので，CatalystのポートがLOOP_BACK_DETECTEDになり，
ネットワーク全体へ影響が波及することはなかった．
しかし，今回は建物全体のネットワークに負荷がかかってみたり（泣）．
んー，やはり，storm-controlなど設定せねばなるまいか・・・
でも，基本はバカL2のカスケード接続は止めておいた方がよさそう．
Ciscoがベストというワケではないのだけど，次回導入時はバカL2カスケードは
やめておこう（泣）．
