1: 2012-12-15 (土) 13:55:04 なーお   |
2: 2012-12-15 (土) 16:56:02 なーお |
| - | * 自作ＰＣ・家庭内ネットワーク update 2011/10/24 [#ra058104] | + | * 自作ＰＣ・家庭内ネットワーク update 2012/12/16 [#gfc10b24] |
| | | | |
| - | - (2011/10/24) サーバーのVMWare ESXi を 4.1 --> 5.0 にアップし、ストレージをLOCALのＳＳＤと、FreeNASな別サーバーのiSCSIターゲットに更新。 | + | - (2012/12/16) サーバーのVMWare ESXi 5.0U1 にアップし、ストレージをLOCALのSSD＋ローカルeSATA接続のHDDケースRAID-1ストレージに更新。 |
| | | | |
| | ** 過去ログ [#ybb45f63] | | ** 過去ログ [#ybb45f63] |
| | ** １．概要 [#d874ebc1] | | ** １．概要 [#d874ebc1] |
| | | | |
| - | *** 1-1 VMware-ESXi5.0採用の経緯 [#xe86458e] | + | *** 1-1 今回アップデートの経緯 [#xe86458e] |
| | | | |
| - | 2010年3月以降、[[ESXi4で比較的安定運用をしてきた>http://www.naaon.com/modules/plactice/index.php/home/hobby/linux/pc5.htm]]のだけれど、 | + | [[前回構成:http:///modules/dblog1/index.php?page=detail&bid=476&req_uid=2]]の検討段階で、元はeSATA外付HDDケースでRAID-1構成とし、FreeNASのガイブストレージは予定していなかったのだが、[[eSATAケースの書き込み速度が非常に遅くて断念した:http:///modules/dblog1/index.php?page=detail&bid=469&req_uid=2]]ため、省エネに逆行する妥協の産物であった。 |
| | + | 幸いなことに、最近ためしてみたNOVACのケースはESXi5からeSATA接続で書き込み速度もそれなりに出るとわかったので、善は急げということで移行した。 |
| | + | - eSATAのRAID-1ディスクには、基本的には内部データストレージ用。 |
| | + | - 公開用のLinux仮想マシンや、クライアント用Windowsなどは |
| | + | -- システム用VMFSシスクは従来どおり高速なSSDに置く。 |
| | + | -- 万一のクラッシュに備えてデータエリアは今回追加したストレージを、CentOS6でiSCSIターゲットを作りこれをマウントして使用することで、キャッシュの効いた高速なディスクとして使用する。 |
| | | | |
| - | + サーバー容量に余裕がなくなってきたこと | + | *** 1-2 eSATA接続HDDケース [#he029781] |
| - | + 内部用SAMBAファイルサーバーまでESXiな仮想マシンで動かすことの気持ち悪さなどを解消したいためと | + | 今回、お試しで買ってみたところ使えそうだった以下の物を使用。 |
| - | + ESXi5.0が公開されて | + | - 外付けeSATA HDDケース：NOVAC [[2SATA HDDはい～るKIT RAID Data Saver NV-HS222U3S:http://www.novac.co.jp/products/hardware/nv-hd/nv-hs222u3s/index.html]] |
| - | -- SSDが使えるようになったこと | + | -- 実勢価格：[[5,500～6,000円程度:http://kakaku.com/item/K0000337269/]] |
| - | -- REALTEKチップ搭載のNIC用ドライバ（RTL8168,8169）が同梱され、オンボードNICが使える | + | -- USB3.0+eSATA2接続 RAID機能搭載ハードディスクケース (HDD2台収納) |
| - | + 以前からマシンの引っ越しなどメンテナンス上のメリットがあるiSCSIターゲットで使ってみかたったが、 | + | |
| - | -- FreeNASでZFSが使えるようになり、そろそろ枯れてきたかなとの想像 | + | |
| | | | |
| - | ということなど、諸々の気分で 今回の更新に至りました。 | + | - eSATAボード：玄人志向 [[SATA2E2-PCIe:http://www.kuroutoshikou.com/products/serialata/sata2e2-pciefset.html]] (SATAII) eSATAカード |
| - | 本当は、省エネも達成したかったのですが、（参考に載せた当サイトブログにあるとおり）色々テストした結果、思うような構成が取れなかったため断念しています。 | + | -- 実勢価格：[[3,500～4,000円程度:http://kakaku.com/item/05679010380/]] |
| | + | -- SATA2 (3Gbps、NCQ), SiliconImage Sil3132搭載, PCI-Express x1対応 |
| | | | |
| - | + ハードウエア | + | - ドライバはこれを有り難く使用させていただきました。 |
| - | いつものように、できるだけ既存の資産を活用したい。 CPUとマザーボード、電源、ケースはそのままで。 | + | [[ESXi5.0のドライバを作成してみる(Silicon Image 3124/3132/3531編):http://shell.peach.ne.jp/aoyama/archives/2268]]（環境さんぷる） |
| - | + FreeNAS-0.7.2 | + | -- 残念ながら私の環境では、ESXi5.1では動作しませんでした。 |
| - | Openfiler とか、Scientific Linux6.1でiSCSIターゲットを試してみた結果、 | + | -- FreeNASを使わなくなってしまいました。どうぞお許しを・・ |
| - | -- Scientific LinuxではiSCSIの速度も一番良かったけれど、2.5TBのディスクの最初の領域のソフトウエアRAID-1が再起動の度に壊れる不可解なトラブルを解消できず、断念。 | + | |
| - | -- Openfilerでは、大きな問題は無かったものの、USBメモリへのインストールは可能とはいえすぐに書き込み回数上限に達してしまいそうだったのと、 メモリ消費量が半端なく多くスワップしだしてしまう。 | + | |
| - | -- FreeNASはFreeBSDベースで、Solarisで培われた高機能ファイルシステム「ZFS」が使えることが最大のメリット。 ファイルシステムそのものでRAID機能を内蔵しており、最初の同期時間がほとんどかからないことや、構築の容易性など魅力が一杯。 | + | |
| - | 本当は３台のHDDでRAID-Zにしようかとも思ったが、 ここは安定性重視とした。 | + | |
| - | なお、うわさ通りであって使ってみてもわかったけれども、ZFSは結構CPUに負荷がかかる。あまり非力なCPUだと、ESXi用VMFSドライブファイルなどの巨大ファイル転送時などで CPUパワーがボトルネックになり得ると思う。 | + | |
| - | -- GUIの出来がよく纏まっており、マニュアル無しでも操作にそれほど支障がない。 | + | |
| | | | |
| - | ということで、FreeNASを採用しました。 | + | *** 1-3 ESXi5の構成 [#u967fbd9] |
| | + | **** バージョンとパッチ [#d42ec96c] |
| | | | |
| - | CENTER:&ref(FreeNAS-201110.jpg,mw:240,mh:240); | + | ESXi5.0U1にアップすると、ゲストOSの自動起動が無効になってしまいます。 |
| | + | 解決策として、以下のサイトに書かれているように、5.0のパッチを当てていって最新版にしましょう。 但し私の場合は、5.1まで上げると上記のSilicon Image 3124ストレージアダプタのドライバが動作してくれなかったのでESXi5.1は断念しました。 |
| | + | -- [[ESXi500-201111001パッチの適用:http://d.hatena.ne.jp/b3g/comment?date=20111106]]（身の回り4畳半近辺の日記） |
| | | | |
| - | *** 1-2 RAIDカードの放棄 [#he029781] | + | *** 1-4 ストレージ管理ゲストＯＳ： Cent-OS 6.3 [#y9be4e3f] |
| | | | |
| - | 約２年間使用した、（ADAPTEC) ASR-2405 Raidカード。 安定性も抜群で速度も良く出ましたが、発熱もすごかったことと、動作状況のモニタをESXiからできなくて、予備品の関係もあり今回一旦放棄しようと思います。 | + | 2.5TBのストレージを管理する仮想ゲストOSは、新規にインストールしたCentOS-6.3を使用。 |
| | | | |
| - | CENTER:&ref(ASR2405_4disks.jpg,mw:240,mh:240); | + | *** 1-5 消費電力とＣＰＵ負荷 [#od54bbab] |
| | + | UPSの出力モニタで確認ところ、実運用・eSATAストレージ・ルーターなど補機込みで130Ｗ程度です。 前回のFreeNAS用にE350M1/USB3に変更した構成で160W程度でしたから、30Wほどの省エネですね。 当分この消費電力で押さえていけそうな気がします。 |
| | | | |
| - | なお、予備品として中古でASA-2410を購入してありましたが、1TB以上のDISKを使えないようなので、予備品としては失格でした | + | *** 1-6 当サイト内の関連記事 [#b9f0030e] |
| - | | + | |
| - | 今回、INTELのSSD、[[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]を使用します。 ESXi上のゲストOSでCrystalDiskMarkを実行したところ、SATA2環境としては納得できる数値がでました。 | + | |
| - | CENTER:&ref(Intel_SSD_DiskMark.jpg,mw:240,mh:240); | + | |
| - | | + | |
| - | 一方で、FreeNASのiSCSIですが、DISKがWDのGREENシリーズの割には、まあまあだと思います。 ZFSでメモリキャッシュがかなり有効に働いている気がします。（ADAPTEC-RAIDの時には読み書き要求の度にアクセスランプが点灯していたが、今度は時々まとめて読み書きしている感じ） | + | |
| - | CENTER:&ref(iFreeNAS-WD25-raid1_SATA2_M3N78_ESXi4.jpg,mw:240,mh:240); | + | |
| - | | + | |
| - | *** 1-3 メインのホストＯＳ： %%Cent-OS 5.7%% → Scientific Linux 6.1 [#o61026a2] | + | |
| - | | + | |
| - | 公開サーバー用の仮想ゲストOSは、従来通りCent-OSを継続。 但し、近々、Scientific Linux 6.1 載せ換えるように今後準備していきます。 → サーバートラブルでクラッシュしたため、早々に乗り換えました。 2011-11-21 | + | |
| - | | + | |
| - | *** 1-4 消費電力とＣＰＵ負荷 [#od54bbab] | + | |
| - | UPSの出力モニタで確認ところ、実運用で２００Ｗ／２台合計＋ルーターなど補機込み 程度です。 １ヶ月の電気代でいえば、２８００～３２００円程度でしょうか。 前回の構成で150W程度でしたから、50Wほど上昇してしまいました。 | + | |
| - | | + | |
| - | *** 1-5 当サイト内の関連記事 [#b9f0030e] | + | |
| | | | |
| | 以下に、関連記事へのリンクを貼っておきます。 | | 以下に、関連記事へのリンクを貼っておきます。 |
| - | - 2011-10- 7 [[[仮想化] ESXi5.0への移行と省エネ化手順 >http:///modules/dblog1/index.php?page=detail&bid=469&req_uid=2]] | + | - 2012-12-10 [[[仮想化] ESXi-eSATA-外付RAID-1ケースの再チャレンジ:http://www.naaon.com/modules/dblog1/index.php?page=detail&bid=520&req_uid=2]] |
| - | - 2011-10- 1 [[[仮想化] サーバーDISK高速化・省エネ計画 >http:///modules/dblog1/index.php?page=detail&bid=468&req_uid=2]] | + | |
| | | | |
| | ** 2. 内部ネットワークと公開ネットワーク [#d9edd0ae] | | ** 2. 内部ネットワークと公開ネットワーク [#d9edd0ae] |
| | *** 2-1 ネットワーク構成 [#le1b62cb] | | *** 2-1 ネットワーク構成 [#le1b62cb] |
| | | | |
| - | |&ref(network2010_r1.jpg,mw:300,mh:300);| | + | |&ref(Network2013.jpg,mw:300,mh:300);| |
| | #br | | #br |
| | + 社内ネットワークと公開サーバーを置くネットワークとの完全分離は、会社規模の関係もありできませんが、フリーの仮想ブロードバンドルーター「Vyatta」を配置することにより、同一マシン上の仮想ホスト間でセグメントを分離し、通信の遮断をしています。 | | + 社内ネットワークと公開サーバーを置くネットワークとの完全分離は、会社規模の関係もありできませんが、フリーの仮想ブロードバンドルーター「Vyatta」を配置することにより、同一マシン上の仮想ホスト間でセグメントを分離し、通信の遮断をしています。 |
| | | | |
| | |T:70% B:1 BC:#00ffff||c | | |T:70% B:1 BC:#00ffff||c |
| - | |CENTER:写真左側 FreeNASファイルサーバー|CENTER:写真右側 ESXi公開サーバー| | + | |CENTER:写真右側 ESXi公開サーバー| |
| - | |>|CENTER:&ref(/inc/linux/net100305/server100305.jpg,center,mw:300,mh:300);| | + | |CENTER:&ref(/inc/linux/net100305/server100305.jpg,center,mw:300,mh:300);| |
| | | | |
| | #br | | #br |
| | |CPU|>|[[(AMD)Phenom2 X4 910e>http://kakaku.com/item/K0000084201/]] (TDP65W)| | | |CPU|>|[[(AMD)Phenom2 X4 910e>http://kakaku.com/item/K0000084201/]] (TDP65W)| |
| | |Memory|>|（CFD-Elixir）[[W3U1333Q-4G DDR3 (DDR3 PC3-10600)>http://kakaku.com/item/K0000150647/]]x2 計16GB&br;（4GB x2枚組 x2 =計4枚）| | | |Memory|>|（CFD-Elixir）[[W3U1333Q-4G DDR3 (DDR3 PC3-10600)>http://kakaku.com/item/K0000150647/]]x2 計16GB&br;（4GB x2枚組 x2 =計4枚）| |
| - | |SSD|>|（INTEL) [[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]| | + | |SSD|>|（INTEL) [[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]&br;（INTEL) [[330 Series SSDSC2CT120A3K5:http://kakaku.com/item/K0000362036/]]| |
| - | |LAN CARD|(公開側用)&br;(iSCSI用)|(INTEL) [[PRO/1000 GT DESKTOP ADAPTOR>http://www.intel.com/products/desktop/adapters/pro1000gt/pro1000gt-overview.htm]] x1&br;(INTEL) [[Gigabit CT Desktop Adapter>http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm]] x1| | + | |LAN CARD|(公開側用)&br;(内部用2)|(INTEL) [[PRO/1000 GT DESKTOP ADAPTOR>http://www.intel.com/products/desktop/adapters/pro1000gt/pro1000gt-overview.htm]] x1&br;(INTEL) [[Gigabit CT Desktop Adapter>http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm]] x1| |
| | |USB FLASH|>|適当な2GBのもの。ESXiのUSBブートに使用| | | |USB FLASH|>|適当な2GBのもの。ESXiのUSBブートに使用| |
| | | | |
| | - FreeNAS-0.7.2 データストレージ | | - FreeNAS-0.7.2 データストレージ |
| | |CENTER:PARTS|>|CENTER:型式・仕様|h | | |CENTER:PARTS|>|CENTER:型式・仕様|h |
| - | |CASE|>|(ANTEC) [[P-150>http://www.antec.com/Believe_it/global/product.php?Type=Mg==&id=Njcz]](430W高効率電源付)| | + | |HDD CASE|>|(NOVAC)[[2SATA HDDはい～るKIT RAID Data Saver NV-HS222U3S:http://www.novac.co.jp/products/hardware/nv-hd/nv-hs222u3s/index.html]]| |
| - | |M/B|>|[[（ASUS）M3N78-VM>http://www.asus.co.jp/product.aspx?P_ID=ovqEgLFRjnSClhSV]]| | + | |
| - | |~|Socket|AM2+| | + | |
| - | |~|Chipset|(Nvidia)GeForce8200 (MCP78S)&br;SerialHDDコントローラ、ギガLANデバイスとも&br; FreeBSDベースのFreeNASできちんと認識。| | + | |
| - | |CPU|>|[[AMD Athron64 X2(DualCore) 4850e SocketAM2>http://kakaku.com/item/05100511552/]] (TDP45W)| | + | |
| - | |Memory|>|（CFD-Elixir）DDR2 (PC2-6400) 計8GB&br;（2GB x2枚組 x2 =計4枚）| | + | |
| - | |HDD|>|(Intel) [[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]&br;(Western Digital) [[WD25EZRX [2.5TB SATA600] >http://kakaku.com/item/K0000276191/]] x 2&br;(Western Digital) [[WD10EADS (1TB SATA300 5400)>http://kakaku.com/item/05302515949/]] x1 REGZA用| | + | |
| - | |LAN CARD|(内部用)|(玄人志向) [[GbE-PCI3>http://kakaku.com/item/K0000113829/spec/]] x 1 (RTL8169チップ、GbLAN)&br;注意：このカードは速度が出ないため、iSCSI用には向きません。| | + | |
| - | |USB FLASH|>|適当な2GBのもの。ESXiのUSBブートに使用| | + | |
| | | | |
| | **** 2-2-3 その他 [#w35fe9c1] | | **** 2-2-3 その他 [#w35fe9c1] |
| | **** 2-3-1 公開中のサービスとポート [#u7464ad0] | | **** 2-3-1 公開中のサービスとポート [#u7464ad0] |
| | | | |
| - | 公開サーバーでは、主に以下のサービスとポート開放をしています。&br;攻撃対象に成りやすいポート（telnetやsshなど）は閉じてあります。 | + | 以前と変わっていませんが、公開サーバーでは、主に以下のサービスとポート開放をしています。&br;攻撃対象に成りやすいポート（telnetやsshなど）は閉じてあります。 |
| | | | |
| | -- WEBサービス （Apache、PHP、MySQL、Perl） | | -- WEBサービス （Apache、PHP、MySQL、Perl） |
| | | | |
| | **** 2-3-3 移行したサーバー上での公開サイト [#h7f6c8db] | | **** 2-3-3 移行したサーバー上での公開サイト [#h7f6c8db] |
| - | 今回移行した仮想サーバー上で稼動している公開サイトは、以下になります。まだ増やせそうな気がしています。 :hammer: | + | 今回移行した仮想サーバー上で稼動している公開サイトは、以下になります。まだ増やせそうですが、ほとんど休眠サイトになってきました。 :hammer: |
| | | | |
| | + [[なーお'nWEB>http://www.naaon.com/]] （ここですね） | | + [[なーお'nWEB>http://www.naaon.com/]] （ここですね） |
| | | | |
| | 構築の際に参考にさせていただいたページリンクです。 | | 構築の際に参考にさせていただいたページリンクです。 |
| - | - [[非HBA型ハードウェアRAID AER-1200LP>http://extstrg.asabiya.net/pukiwiki/index.php?%C8%F3HBA%B7%BF%A5%CF%A1%BC%A5%C9%A5%A6%A5%A7%A5%A2RAID%20AER-1200LP]] | + | - [[ESXi5.0のドライバを作成してみる(Silicon Image 3124/3132/3531編):http://shell.peach.ne.jp/aoyama/archives/2268]]（環境さんぷる） |
| - | - [[AER-1200LP>http://gomatare.wordpress.com/category/aer-1200lp/]] (ジャンパーズホームページ 日記) | + | - [[ESXi500-201111001パッチの適用:http://d.hatena.ne.jp/b3g/comment?date=20111106]]（身の回り4畳半近辺の日記） |
| - | - [[第4回 vSphere APIを活用する:http://thinkit.co.jp/story/2010/06/23/1617?page=0,2]] | + | -- ESXi5.0U1でゲストOSの自動起動が効かなくなった件の修正パッチの当て方。 |
| - | - [[Openfiler で iSCSI サーバーを作成する / Openfiler:http://virtual.cocolog-nifty.com/virtualmachine/2010/05/openfiler-iscsi.html]] | + | - [[VMware起動2分後にiSCSIターゲットを再スキャンする:http://blog.livedoor.jp/futa_se/archives/3530240.html]]（人見知りネットワークエンジニアのblog） |
| - | - [[ScientificLinux6で iSCSIターゲット/イニシエータ＆マルチパスの設定のテスト:http://d.hatena.ne.jp/pochio_pochiyama/20110622/p1]] | + | -- 同一ホスト上にあるゲストのiSCSIターゲットをマウントする方法。 |
| - | - [[FreeNAS 0.7 を使って iSCSI Target を構成する:http://shell.peach.ne.jp/aoyama/archives/431]] | + | |
| - | - [[「RAID-Z」で高速ストレージを構築しよう(2) - VMWare ESXiでFreeNAS iSCSIボリュームを利用する:http://www.pcserver1.jp/blog/40/20100428/14]] | + | |
| | | | |
| | #navi(inc/linux) | | #navi(inc/linux) |
下位
ページへ戻る
リンク元
