このブログを検索

この記事の内容は、個人の見解、検証の範囲のものであり、誤りがある可能性があります。
個人の責任において情報活用をお願いします。


2018年4月1日日曜日

【VyOS】VyOSでWebプロキシサーバーを設定してみた その4 Webプロキシのログのタイムスタンプをわかりやすくしてみよう


だいぶ時間が経ってしまいましたが、私が検証でよく使うVyOSを使ったWebプロキシをいろいろと試してみたいと思います。

~VyOSでWebプロキシを設定してみた~
1.Webプロキシを試してみた
2.ホワイトリストを試してみた
3.ブラックリストを試してみた 
  準備編 その1:ブラックリストをダウンロード
  準備編 その2:ブラックリストを確認
  利用編 ブラックリストを利用 ←今回
4.Webプロキシのログのタイムスタンプをわかりやすくしてみた 

前回、Webプロキシのブラックリストを利用しました。
今回はWebプロキシのログのタイムスタンプをわかりやすくする為にSquidの設定を変更します。
下記フォーラムの情報を参考に設定します。
Forums VyOS HowTos Webproxy (squid) log format
Webproxy (squid) log format
https://forum.vyos.net/showthread.php?tid=16848


下記ファイルの設定を変更します。

 sudo vi /opt/vyatta/sbin/vyatta-update-webproxy.pl

変更箇所

    if ($config->exists('disable-access-log')) {
        $output .= "access_log none\n\n";
    } else {
        $output .= "access_log $squid_log common\n\n"; # ←追加した行
        #$output .= "access_log $squid_log squid\n\n"; # ←無効にした行  
    }

設定後、VyOSを再起動します。
show webproxy logコマンドでWebプロキシのログを確認します。
時刻表示がわかりやすく変更されました。

vyos@vyos:~$ show webproxy log | tail -n 50
192.168.129.1 - - [01/Apr/2018:23:07:02 +0900] "CONNECT ashiato.rakuten.co.jp:443 HTTP/1.1" 200 3951 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:02 +0900] "CONNECT r.r10s.jp:443 HTTP/1.1" 200 4101 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT g01.api.bookmark.rakuten.co.jp:443 HTTP/1.1" 200 5038 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT api.ranking.rakuten.co.jp:443 HTTP/1.1" 200 19316 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT api.ranking.rakuten.co.jp:443 HTTP/1.1" 200 21266 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT api.ranking.rakuten.co.jp:443 HTTP/1.1" 200 26027 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT api.ranking.rakuten.co.jp:443 HTTP/1.1" 200 15333 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT image.ias.rakuten.co.jp:443 HTTP/1.1" 200 15552 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:03 +0900] "CONNECT image.ias.rakuten.co.jp:443 HTTP/1.1" 200 15673 TCP_MISS:DIRECT

~中略~

192.168.129.1 - - [01/Apr/2018:23:07:08 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 59123 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:08 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 55855 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:08 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 39801 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:08 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 39801 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:08 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 59793 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:09 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 38421 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:09 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 39801 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:09 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 39093 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:13 +0900] "CONNECT fonts.gstatic.com:443 HTTP/1.1" 200 4385 TCP_MISS:DIRECT
192.168.129.1 - - [01/Apr/2018:23:07:19 +0900] "CONNECT images-fe.ssl-images-amazon.com:443 HTTP/1.1" 200 5301 TCP_MISS:DIRECT
vyos@vyos:~$
今回はこの辺で。それでは。

【VyOS】VyOSでWebプロキシサーバーを設定してみた その3 ブラックリストを利用してみよう 利用編


だいぶ時間が経ってしまいましたが、私が検証でよく使うVyOSを使ったWebプロキシをいろいろと試してみたいと思います。

~VyOSでWebプロキシを設定してみた~
1.Webプロキシを試してみた
2.ホワイトリストを試してみた
3.ブラックリストを試してみた 
  準備編 その1:ブラックリストをダウンロード
  準備編 その2:ブラックリストを確認
  利用編 ブラックリストを利用 ←今回

前回、ブラックリストファイルの内容の一部を確認しました。
今回はダウンロードしたブラックリストファイルを利用します。



下記コマンドを設定します。
ブラックリストカテゴリ"shopping"に含まれるWebサイトの閲覧は禁止し、それ以外のWebサイトの閲覧は全て許可します。

set service webproxy url-filtering squidguard block-category 'shopping'
set service webproxy url-filtering squidguard default-action 'allow'

今回利用するWebプロキシの全体の設定は下記となります。

set service webproxy cache-size '100'
set service webproxy default-port '3128'
set service webproxy listen-address 192.168.129.133 port '3128'
set service webproxy url-filtering squidguard block-category 'shopping'
set service webproxy url-filtering squidguard default-action 'allow'

この設定を適用後、YAHOO!JAPANのWebサイトへアクセスするとWebページが表示されます。


ブラックリストカテゴリ"shopping"を設定している為、ドメインがVyOSのブラックリストカテゴリ"shopping"に含まれるAmazonや楽天のWebサイトを表示できません。



ブラックリストカテゴリにドメインが含まれているWebサイトを表示したい場合は、”set service webproxy url-filtering squidguard local-ok”コマンドを設定します。表示できなかったAmazonと楽天のドメインをlocal-okコマンドで追加します。

set service webproxy url-filtering squidguard local-ok rakuten.co.jp
set service webproxy url-filtering squidguard local-ok amazon.co.jp
コマンド設定後、楽天とAmazon.co.jpのWebサイトが表示されるようになります。



しかし、Amazon.comのWebサイトはlocal-okに追加されていない為、表示されません。

Webプロキシのログは下記コマンドで確認できます。

vyos@vyos:~$ show webproxy log
1522586181.237   3674 192.168.129.1 TCP_MISS/200 52453 CONNECT s.yimg.jp:443 - DIRECT/182.22.31.252 -
1522586188.217  13980 192.168.129.1 TCP_MISS/200 73966 CONNECT www.yahoo.co.jp:443 - DIRECT/182.22.31.124 -
1522586188.638  11045 192.168.129.1 TCP_MISS/200 7034 CONNECT chart.yahoo.co.jp:443 - DIRECT/182.22.31.124 -
1522586188.877  11319 192.168.129.1 TCP_MISS/200 5660 CONNECT yads.c.yimg.jp:443 - DIRECT/182.22.31.124 -
1522586189.106  14095 192.168.129.1 TCP_MISS/200 32728 CONNECT s.yimg.jp:443 - DIRECT/182.22.31.252 -
1522586189.163  11592 192.168.129.1 TCP_MISS/200 6200 CONNECT s.yimg.jp:443 - DIRECT/182.22.31.252 -
1522586189.366  14676 192.168.129.1 TCP_MISS/200 9826 CONNECT s.yimg.jp:443 - DIRECT/182.22.31.252 -
1522586189.376  11739 192.168.129.1 TCP_MISS/200 8960 CONNECT yads.yjtag.yahoo.co.jp:443 - DIRECT/182.22.31.124 -
1522586189.827  14816 192.168.129.1 TCP_MISS/200 6865 CONNECT s.yimg.jp:443 - DIRECT/182.22.31.252 -
1522586190.178  11210 192.168.129.1 TCP_MISS/200 6105 CONNECT b4.yahoo.co.jp:443 - DIRECT/183.79.250.123 -

~中略~

1522588927.011  32319 192.168.129.1 TCP_MISS/200 3205 CONNECT www.blogger.com:443 - DIRECT/216.58.197.9 -
1522588927.530 240323 192.168.129.1 TCP_MISS/200 5448 CONNECT accounts.google.com:443 - DIRECT/172.217.26.109 -
1522588948.073  61603 192.168.129.1 TCP_MISS/200 4556 CONNECT v10.vortex-win.data.microsoft.com:443 - DIRECT/111.221.29.254 -
1522588958.440 240428 192.168.129.1 TCP_MISS/200 3522 CONNECT safebrowsing.googleapis.com:443 - DIRECT/216.58.199.234 -
1522589007.365 243112 192.168.129.1 TCP_MISS/200 72089 CONNECT lh3.googleusercontent.com:443 - DIRECT/172.217.161.225 -
1522589037.468    608 192.168.129.1 TCP_MISS/200 4926 CONNECT 0.client-channel.google.com:443 - DIRECT/108.177.97.189 -
1522589038.092    615 192.168.129.1 TCP_MISS/200 5184 CONNECT 0.client-channel.google.com:443 - DIRECT/108.177.97.189 -
1522589067.640 240607 192.168.129.1 TCP_MISS/200 35929 CONNECT 1.bp.blogspot.com:443 - DIRECT/216.58.197.1 -
1522589067.843 240810 192.168.129.1 TCP_MISS/200 203109 CONNECT 4.bp.blogspot.com:443 - DIRECT/216.58.197.1 -
1522589067.930 240898 192.168.129.1 TCP_MISS/200 193595 CONNECT 2.bp.blogspot.com:443 - DIRECT/216.58.197.1 -
vyos@vyos:~$

Webプロキシのアクセスログは下記ディレクトリに保存されています。

vyos@vyos:/var/log/squid3$ ls -l
total 204
-rw-r--r-- 1 proxy proxy 187746 Apr  1 22:35 access.log
-rw-r----- 1 proxy proxy  19141 Apr  1 22:13 cache.log
vyos@vyos:/var/log/squid3$
デフォルト設定のままだとWebプロキシのログで表示される時間がわかりにくいです。
次回、Webプロキシのログ表示のタイムスタンプをわかりやすく変更します。それでは。

【VyOS】VyOSでWebプロキシサーバーを設定してみた その3 ブラックリストを利用してみよう 準備編 その2


だいぶ時間が経ってしまいましたが、私が検証でよく使うVyOSを使ったWebプロキシをいろいろと試してみたいと思います。

~VyOSでWebプロキシを設定してみた~
1.Webプロキシを試してみた
2.ホワイトリストを試してみた
3.ブラックリストを試してみた 
  準備編 その1:ブラックリストをダウンロード
  準備編 その2:ブラックリストを確認 ←今回

前回、Webプロキシのブラックリストファイルをダウンロードしました。
今回、ブラックリストファイルの内容を確認します。



下記コマンドを実行し、ブラックリストファイルに登録されているドメインを確認します。


show webproxy blacklist domains


登録されている大量のドメインが全て表示されます。


vyos@vyos:~$ show webproxy blacklist domains
0nlinemeds.com
1-2-money.com
103092804.com
167.216.142.116
193.128.61.168
193.210.156.114
193.71.196.108
193.71.196.113
193.71.196.126
193.71.196.138
193.71.196.139
193.71.196.184
194.202.238.102
194.231.79.38
194.237.107.11
<以下、省略>


ダウンロードしたブラックリストファイルのカテゴリに登録されているドメインを確認します。
下記コマンドを実施し、カテゴリ"shopping"に含まれる".jp"ドメインを表示します。

show webproxy blacklist domains shopping | grep .jp


Amazonなどのショッピングサイトが含まれていることが確認できます。

vyos@vyos:~$ show webproxy blacklist domains shopping | grep .jp
104web.co.jp
1999.co.jp
2-u.co.jp
2pcs.jp
5055.co.jp
5jp.com
7andy.jp
abc-hanko.jp
abekama.co.jp
aflat.jp
airbrush.co.jp
aji.co.jp
ajprindle.com
all-american-jp.com
alpage.co.jp
alps-kogyo.co.jp
amazon.co.jp
ameyoko-sanko.co.jp
anbe.jp
aokihimono.co.jp
apress.co.jp
aquaside.co.jp
aranet.co.jp
araumi.jp
archivesnet.jp
ariete.jp
arte-shop.jp
asianpower.co.jp
aussie-fan.co.jp
<以下、省略>


”show webproxy blacklist search”コマンドを利用するとどのカテゴリにドメインが含まれているか確認することができます。


vyos@vyos:~$ show webproxy blacklist search .jp
ads/domains     adlantis.jp
adult/domains     -porn-dvd-clips-.blogspot.jp
adult/domains     -porno-sample-vids-.blogspot.jp
adult/domains     000iblogchix.blogspot.jp
adult/domains     0085256969.blogspot.jp
adult/domains     01-18ansanal.blogspot.jp
adult/domains     01800.blogspot.jp
adult/domains     01fragments.blogspot.jp
adult/domains     01tv.jp
adult/domains     02-analsexvideobbwporn.blogspot.jp
adult/domains     02-lyceennesalope.blogspot.jp
adult/domains     02-vieillesalopevideo.blogspot.jp
adult/domains     03films-allopass.blogspot.jp
adult/domains     0e0.jp
adult/domains     0lagersexposed.blogspot.jp
adult/domains     1-adultfriendfinder.blogspot.jp
adult/domains     1-black-tube.blogspot.jp
adult/domains     1-free-porno.blogspot.jp
adult/domains     1-porn-videos-youporn.blogspot.jp
adult/domains     1-porn-youporn.blogspot.jp
adult/domains     1-porno-free.blogspot.jp
adult/domains     1-porno-tube.blogspot.jp
adult/domains     1-porno-youporn.blogspot.jp
<以下、省略>


今回はダウンロードしたブラックリストファイルに含まれるドメインを確認しました。
次回は実際にブラックリストを利用してみます。それでは。