迷惑メールと正当メールのあいだ
迷惑メール（SPAM、UBE）の狭間に、本当に必要なメールが存在する状態になって数年経つ。
当然手をこまねいているワケではなく、数年前からサイトレベルでそれなりの対策を施してきた（つもり）。
太古の昔はRBL（Realtime Blackhole List）を参照しての送信元拒否。
この頃は、我々末端サイトから見れば、迷惑メールの送信元はOpenRelayなメールサーバ
だったので、導入当初はそれなりの効果を挙げていた。
だが、インターネットの爆発的普及でOpenRelayなサーバをRBLで網羅できなくなり、
少なくとも我々の環境下では効果薄に・・・。
RBL更新はそもそもボランティアベースだったので、精度の維持が大変であることは想像に難くない。
次の対策は、我々のサイトに到着したSPAMの送信元（アドレスとIP）をDB化し、それと合致する
送信元は遮断する手法。しかし、これとてSPAM送信手法の変化（OpenRelay → botnet）
に伴い、効果半減（泣）。
じゃあ、ということで、今は一般的になったベイズフィルタを試験的に導入。
迷惑メールを正当メールと誤判定してしまうことを第1種誤り、正当メールを迷惑メールと
誤判定してしまうことを第2種誤りとすれば、当然サイトレベルでは、第1種誤りは許容できても、
第2種誤りは許容できない。
なので、学習判定を極力「ゆるく」設定したのだが、やはり第2種誤りはゼロにはならない。
SpamAssassinも評価してみたのだが、SPAM側もSpamAssassinが付けるヘッダを偽造して
いたりとか、そもそも日本語SPAMが増加した昨今、爆発的な効果も期待できず（泣）。
あとは仕方ないので、到着したSPAMの中身をヒューリステックに解析して、特定URLが
存在していれば遮断する、ということも含めて、結局上記のいくつかを「ゆる〜く」連携
させながら使う、という結論に。
で、感覚的に半分以上はサイトレベルで迷惑メールを遮断できている感触を得ていた。
どうしてもサイトレベルで止めきれなかったものは、クライアント側でタメイキとともに消すか、
メーラをThunderbirdなんかに変えて、地道にベイズフィルタの学習効果を上げるかを
やってもらうしかないな、と。
# Thunderbirdの迷惑メールフィルタ、地道に学習させれば結構かしこいっすよ（笑）。
とまあ、試行錯誤の結果、ある程度の妥協の元にSPAMを遮断しておりました。
ある日、とある偉い人から「取引先からメールが届かん」との問い合わせが。
調べてみるとSPAMフィルタに引っかかってる。そりゃ届かへんわ、と（苦笑）。
その取引先が乗っかってるホスティング屋は、SPAMの温床で有名なところ。
当然我々のサイトにも、そのサイト内の特定ホストからSPAMが山のように来ており、
仕方なくある程度の粒度でそのサイトからのメールは受信拒否してました。
ちなみに、受信拒否したホストからの正当メールは、どうやら当該業者さんだけっぽい。
当然、偉い人に状況を説明して取引先側での対応をお願いしたのですが、取引先の
「うちで使ってるプロバイダは問題ない」一点張り攻撃と、その偉い人の
「その取引先とメールできな困る」攻撃で、やむなくフィルタから外すことに。
もちろん、フィルタから除外することによる「結果」も十分説明した上で・・・。
それから数週間後、とある偉い人から連絡が。
「最近迷惑メール多いんやけど、どうにかならんのか？」
ええ、どうにもなりません（きっぱり）。
続けてその方が・・・
「これって、他の人も迷惑してるんちゃうん？」
ええ、してますよ（きっぱり）。
続けてその方が・・・
「これ、減らす方法ないの？」
ええ、ありますよ（きっぱり）。包み隠さずご説明差し上げました。
「でも、そうしたら支障出ますよね？」という心遣いとともに（笑）。
結局、我々管理者サイドがやってる事って、その背景を知らない人の一言で簡単に
効果半減させられちゃうんすよね。
あ、ちなみにその偉い方、Thunderbirdじゃなくて某MS社のメーラ使ってます・・・。
当然手をこまねいているワケではなく、数年前からサイトレベルでそれなりの対策を施してきた（つもり）。
太古の昔はRBL（Realtime Blackhole List）を参照しての送信元拒否。
この頃は、我々末端サイトから見れば、迷惑メールの送信元はOpenRelayなメールサーバ
だったので、導入当初はそれなりの効果を挙げていた。
だが、インターネットの爆発的普及でOpenRelayなサーバをRBLで網羅できなくなり、
少なくとも我々の環境下では効果薄に・・・。
RBL更新はそもそもボランティアベースだったので、精度の維持が大変であることは想像に難くない。
次の対策は、我々のサイトに到着したSPAMの送信元（アドレスとIP）をDB化し、それと合致する
送信元は遮断する手法。しかし、これとてSPAM送信手法の変化（OpenRelay → botnet）
に伴い、効果半減（泣）。
じゃあ、ということで、今は一般的になったベイズフィルタを試験的に導入。
迷惑メールを正当メールと誤判定してしまうことを第1種誤り、正当メールを迷惑メールと
誤判定してしまうことを第2種誤りとすれば、当然サイトレベルでは、第1種誤りは許容できても、
第2種誤りは許容できない。
なので、学習判定を極力「ゆるく」設定したのだが、やはり第2種誤りはゼロにはならない。
SpamAssassinも評価してみたのだが、SPAM側もSpamAssassinが付けるヘッダを偽造して
いたりとか、そもそも日本語SPAMが増加した昨今、爆発的な効果も期待できず（泣）。
あとは仕方ないので、到着したSPAMの中身をヒューリステックに解析して、特定URLが
存在していれば遮断する、ということも含めて、結局上記のいくつかを「ゆる〜く」連携
させながら使う、という結論に。
で、感覚的に半分以上はサイトレベルで迷惑メールを遮断できている感触を得ていた。
どうしてもサイトレベルで止めきれなかったものは、クライアント側でタメイキとともに消すか、
メーラをThunderbirdなんかに変えて、地道にベイズフィルタの学習効果を上げるかを
やってもらうしかないな、と。
# Thunderbirdの迷惑メールフィルタ、地道に学習させれば結構かしこいっすよ（笑）。
とまあ、試行錯誤の結果、ある程度の妥協の元にSPAMを遮断しておりました。
ある日、とある偉い人から「取引先からメールが届かん」との問い合わせが。
調べてみるとSPAMフィルタに引っかかってる。そりゃ届かへんわ、と（苦笑）。
その取引先が乗っかってるホスティング屋は、SPAMの温床で有名なところ。
当然我々のサイトにも、そのサイト内の特定ホストからSPAMが山のように来ており、
仕方なくある程度の粒度でそのサイトからのメールは受信拒否してました。
ちなみに、受信拒否したホストからの正当メールは、どうやら当該業者さんだけっぽい。
当然、偉い人に状況を説明して取引先側での対応をお願いしたのですが、取引先の
「うちで使ってるプロバイダは問題ない」一点張り攻撃と、その偉い人の
「その取引先とメールできな困る」攻撃で、やむなくフィルタから外すことに。
もちろん、フィルタから除外することによる「結果」も十分説明した上で・・・。
それから数週間後、とある偉い人から連絡が。
「最近迷惑メール多いんやけど、どうにかならんのか？」
ええ、どうにもなりません（きっぱり）。
続けてその方が・・・
「これって、他の人も迷惑してるんちゃうん？」
ええ、してますよ（きっぱり）。
続けてその方が・・・
「これ、減らす方法ないの？」
ええ、ありますよ（きっぱり）。包み隠さずご説明差し上げました。
「でも、そうしたら支障出ますよね？」という心遣いとともに（笑）。
結局、我々管理者サイドがやってる事って、その背景を知らない人の一言で簡単に
効果半減させられちゃうんすよね。
あ、ちなみにその偉い方、Thunderbirdじゃなくて某MS社のメーラ使ってます・・・。
