読者です 読者をやめる 読者になる 読者になる

なんでも備忘録

記録など

イベントネットワークを設計・構築・運用してみた

はじめに

SFC-RG Advent Calendarの9日目の記事です。Open Research Forumという大学のイベントのネットワークを作った時の話をします。実際に構築したネットワークの話だけじゃなくて、どういうスケジュールでネットワークを構築して、それに関係して生じた問題にも言及しています。「ここはこうした方がいいよ!」っていうフィードバックとか頂けたら幸いです。

承前

私が通っている慶應義塾大学湘南藤沢キャンパスでは、三田祭の裏でOpen Research Forumという研究発表会が毎年11月中旬ごろに開かれています。ここで使うネットワーク環境は施設のありものを使ったり、業者に移譲して運用するのではなく、有志の学生が中心となって設計から構築、運用、撤収まで行っています。

そんな中、昨年に引き続き、今年もORFのネットワークオペレーションセンターの一員として活動をさせてもらいました。昨年はブースに展示する監視系をセットアップして、あとは周りの人のお手伝いをしつつ…といった形で会期を終えたのですが、今年はL2/L3担当として、ネットワークの設計と構築を中心にやっていました。

去年の4月ごろからネットワーク分野について勉強をし始めて、研究室のネットワークの運用だったり、研究会合宿のネットワーク構築といった理由でスイッチやルータのコンフィグを叩くことはこれまでに何度かあったのですが、その一方で、自分が中心となって、ゼロからネットワークを設計・構築して、さらに運用もするという経験はこれまでにありませんでした。 それに加えて去年まで中心にいた先輩方もみんな卒業されてしまったので、昨年度までのドキュメントを参考に、手探りで作っていくという形で進めていました。

ネットワークができるまで

9月ごろから2ヶ月間、どういう要件を満たさなければならないか、その上でどういうネットワークを作りたいか、そして、それを実現するためにはどういうコンポーネントが必要かという議論をし、設計していきながら、11月に構築作業を行いました。

こういったイベントネットワークを作るときは、会場に直接赴いて作るのではなく、事前検証期間(一般的に"HotStage"と呼ばれる)に実際に各機器に設定を入れて、想定したとおりにネットワークが動くかどうか確認する段階から始まります。検証期間が終わったら、設定した機材を会場に持っていって、実際に構築を行います。

f:id:skjune12:20161110214454j:plain

年によってスケジュールは多少異なるのですが、今年はHotStageを会期の1週間前から4日間行い、会期の2日前から会場の東京ミッドタウンホールに赴き、構築作業を行いました。会期中は展示者の対応やトラブル対応を行って、最終日に撤収作業。そんなスケジュール感で、ORFのネットワークが運用されていました。

今回のトポロジー

下図が今回の会場ネットワークのトポロジー図です。空いている時期を見計らいながら、パワーポイントでポチポチと作ってました。イラストレータとか使えたら、もっと楽にできたかもしれない。

f:id:skjune12:20161209231710p:plain

※ L3については内部情報が含まれてしまうので省略しています。

対外線接続

慶應義塾大学湘南藤沢キャンパス(SFC)から東京ミッドタウンホールまで、GREによるトンネリングを行っています。東京ミッドタウンまではWIDE-BB(AS2500)を経由して接続されています。WIDEのとある拠点から会場まではNTTの専用線を使用しました。そのため、会場内では東京ミッドタウン内でも大学が所有するアドレスブロックを用いてルーティングを行っています。

ちなみに、最終的には間に合ったのですが、対外線接続が出展者準備日の朝まで上がらなかったという問題がありました。 理由はONUとスイッチ間の設定ミスで、通信速度を明確にしていなかったこと(通信速度を設定してあげたら上がった)と、sw-epsとsw-medicon間のpvstの問題でした。 前者についてはHotStage期間中に検証しなかった/できなかった事項でしたが、後者のように、事前の検証の段階で解決できた問題もありました。こういうのって、実際どう検証するのが良いのでしょう…。

会場ネットワーク

閑話休題、会場内は各フロアの接続および会場のトラフィックをさばくコアスイッチまでを10G線で接続し、それ以外は1G線で接続されています。 ここについては機材の選定が十分にできてなかったこともあって、結果的に汚くなってしまったなー、と反省しています。(結果的にはピーク時でも1Gもトラフィックが出てなかったので間に合いましたが、各フロアとルータ間は十分な帯域を確保したかった。)

4FのカンファレンスルームとB1のホールではプログラムや展示が行われているので、下にはパッチパネルを介してAPがぶら下がっています。

また、sw-mediconという機器がeps室内にありますが、これは物理的なインターフェース不足(HotStage中に発覚)から急遽置いたものです。どれくらいのスループットが出るか、どれだけのポートがあるかということだけじゃなくて、10Gインターフェースがいくつ挿せるかといった細かいところまで、機材調査をしっかりと行うべきでした。今回はSFP+モジュールを使うと、全部で4ポートあるSFPモジュールが挿さるインターフェースが合計2つまでしか使えないという問題にぶち当たってしまった次第です。

NOC控室

マネジメント用のスイッチと、APを置いています。時折、偉い方やOBの方とかがいらっしゃってくださいました。差し入れくれた方も、ありがとうございました!

NOCブース

NOCブース(トポ図では他のフロアと分離されているように見えるけど、実際はB1ホール内にある)では実際にラックを展示して、会場のトラフィック量を可視化して「これくらいのトラフィックが流れていますよ」といった情報や、サーバの死活監視などを展示していました。しかし場所が悪かったのかレイアウトが悪かったのか、当日は展示ブースというよりはむしろ、ヘルプデスクみたいな雰囲気が漂っていて、実際にブースに立っていたときも、展示の説明よりはお問い合せ対応みたいなことばかりやっていました。

来年もブースはあると思うので、そのときはぜひお立寄り頂けたら幸いです。

ネットワークを作ってみて、実際に思ったこと

ここからは自己満足になっちゃうんですけど、もし「今回ネットワークを最初から設計・構築してどう思いましたか?」と聞かれた際にどう答えるかといったことを考えたら、次の事項に収斂されるのかなーって思います。

  1. ゼロから作るネットワークと動いているネットワークを管理するのは全然違う
  2. コミュニケーション超大事
  3. ネットワーク面白い

まず1点目について。普段研究室のネットワークを管理する立場にいるのですが、それとは違った印象を受けました。比較的シンプルなネットワーク構成で、変更すべき箇所ついて明瞭に見据えることができているから、かつ、構築段階ではユーザが自分たちだけだから、構成変更しても影響範囲は大きくないという背景があるからかもしれません。そんな中で作ったネットワークだからこそ、もっと良くしたいとか、ちゃんと使ってもらいたいという意識が生まれて、結果的そう思えたのだと思います。

次に2点目。コミュニケーション超大事だなーって思いました。一人で上流から下流、無線、サーバ群の管理をするようなフルスタックエンジニアもたまにいますが、基本的にはネットワークは一人で作るものではなくて、各担当やユーザと協調して作っていくものだということを今回強く感じました。そういった場面で認識のすり合わせを蔑ろにしていると、後で「あの時…」という話になってしまうし、特にネットワークの分野だと一つでも何かが欠けていたりすると最悪ネットワークが動かなくなるという形で表に出てくる場合があります。具体的な方法論についての言及は避けますが、ちゃんと意思疎通を取って、お互いの認識をすり合わせていくことが大事だな、と思いました。

最後に、やっぱりネットワークって面白いなーと思えました。技術的に面白いということだけじゃなくて、みんなで作ったものを人が使ってくれていて、かつ、その上でも色々と動いているわけで。業界としてあまり注目を浴びるような分野じゃないけど、そういう光景を見ると、やってて良かったなって思えました。

おわりに

そんな具合に今回のORFのネットワークを構築してみました。決して規模は大きくないものの、設計している中で、特に対外線周りで「ここってどうすればいいんだろう」と考え込んだり、構築している段階で思った通りにコンフィグできなかったりと、色々と悩んだ部分もありましたが、その分たくさんのことを学べました。

個人的な反省もいっぱいあります。トポロジー図を出すのが遅くて、その結果他のグループの進度が遅くなってしまったり、機材面および備品面で粗さが目立ったりと、枚挙に暇がないレベルです。それでも、皆様のサポートもあって、最終的には大きな問題なく、ネットワーク環境を提供することができました。関係者の皆様には、本当にお世話になりました。ありがとうございました。