установка ftp прокси-сервера FROX
11.10.2006 18:14
Администратор
установка ftp прокси-сервера FROX
Автор: lissyara.
Оригинал: http://www.lissyara.su/articles/freebsd/programms/frox/
Прокси-сервер - это программа, которая принимает запросы пользователя и устанавливает соединение за него. Бывают прозрачные и непрозрачные прокси-серверы. Непрозрачный прокси - это тот, о котором нужно знать, чтобы установить соединение, и для того, чтобы им воспользоваться нужно знать его настройки (адрес, порт, возможно пароль). Запросы идут непосредственно к прокси. Прозрачный прокси сервер невидим для пользователя. Т.е. клиент пытается установить соединение с сервером в интернете (http, www, etc...), но на шлюзе тем или иным способом запросы клиента переадресуются на прокси, который и устанавливает соединение с запрашиваемым сервером. Из плюсов прозрачного проксирования - на клиентской машине не нужно делать вообще никаких настроек - достаточно указать шлюз по-умолчанию, адрес DNS-сервера - и всё работает. Из минусов - на нём нельзя организовать авторизацию пользователей (по крайней мере так у squid`a, являющегося образцом для всех остальных). Плюс обоих видов прокси сервера - в том, что если какой-то файл (а html страничка в конечном счёте - тоже файл, даже если она генерится при запросе, она же может быть сохранена) был один раз запрошен, то при повторном запросе его же прокси сервер шлёт коротенький запрос 304 - была ли она изменена, если нет, то он отдаёт страницу из собственного кэша, чем экономится траффик и ускоряется работа инета (причём ускоряется реально - у меня дома под столом стоит машина с 4.11 фряхой, squid и frox. Я как-то на своём десктопе, под форточками, устанавливал кучу софта на FreeBSD в VmWare. А их у меня там три штуки - так вот на первой он честно всё качал из инета, я заколебался ждать, а на остальных скорость скачивания была 3-4 мегабайта в секунду - отдавали из кэша squid, если файл был по http, или frox, если по ftp. Кстати линия у меня 160 кбит/с - это чуть больше 20-ти килобайт в секунду. Экономия времени получилась приличная, в сумме ему было качать почти 200 мегов...)
Итак. frox - ftp прокси сервер. Может быть как прозрачным, так и непрозрачным.
— Встроенная проверка на вирусы (внешним антивирусом, встроенная в том смысле, что это стандартная опция конфига и не надо плясать с бубном чтобы её привернуть, как у сквида - хотя и для последнего, вроде бы, скоро, icap будет встроенный....)
— Может запускаться сам, а может через inetd (к сожалению в последнем случае функция кэширования не работает, из плюсов остаётся только антивирь).
— ACL (Access Control Lists) - можно настроить кому куда можно, и кому можно вообще.
— Поддержка внешнего редиректора, как в squid (в конфиге так и написано - что идея взята именно из него) - т.е. если что-то не удаётся сделать в конфиге, можно написать свой редиректор, который будет например подменять файлы - чтоб всякую дрянь, типа кино не качали :)
Короче много чего может :). Самое хорошее - внятный и понятный конфиг. Из косяков, на мой взгляд, тока два - первое - не может работать на 127.0.0.1 (его приходится вешать на адрес внутренней сетки), и второе - антивирус при проверке запускается заново для каждого файла. Это особенно актуально на слабых машинах, если файлов много - ждать по 4 секунды (на моём P-I 166MMX) на файл размером в пару килобайт - это вешалка.... На более современных машинах это всё конечно много быстрей, но всё равно медленно. В итоге на работе антивирусная проверка ftp-траффика включена, а вот дома - нет.
Ставить будем из портов./root/>cd /usr/ports/ftp/frox
/usr/ports/ftp/frox/>make && make install && make clean
Вылезает синенькое окошко с опциями, где выбираем то, что нам нужно. Я выбрал:
VIRUS_SCAN
LOCAL_CACHE
CCP
Если Вы пользуютесь ipfilter - то надо выбрать и эту строчку, я же пользуюсь IPFW, поэтому мне она не нужна. Зависимости у него "стандартные", если конечно можно так выразиться:
expat-1.95.8_3
gettext-0.14.5
gmake-3.80_2
libiconv-1.9.2_1
Если до этого что-то из портов ставилось - то всё это уже стоит. Если нет - сам притащит. Чем и хороши порты :). Версия самого его на этот момент: frox-0.7.18
Редактируем /usr/local/etc/frox.conf - только изначальное его нет, надо его скопировать из дефолтового конфига:/usr/ports/ftp/frox/>cd /usr/local/etc/
/usr/local/etc/>cp frox.conf.sample frox.conf
/usr/local/etc/>ee frox.conf
У меня он такой (естественно комментарии все убраны, как и неиспользуемые опции, для краткости и наглядности), для использования прозрачного проксирования:Listen 192.168.0.254
Port 2121
User nobody
Group nogroup
WorkingDir /tmp/frox
DontChroot Yes
LogLevel 25
LogFile /var/log/frox.log
PidFile /var/run/frox.pid
APConv yes
BounceDefend yes
CacheModule local
CacheSize 400
MinCacheSize 1
VirusScanner '"/usr/local/bin/clamscan" "-i" "%s"'
VSOK 0
VSProgressMsgs 30
MaxForks 10
MaxForksPerHost 4
ACL Allow * - *
Если собираетесь использовать антивирусную проверку - то надо установить ClamAV или другой антивирус который будете использовать. Тут я описывать это не буду, т.к. настроек никаких особенных нет, просто отошлю к этой статье, там всё подробно расписано. Что касается остальных настроек - смотрите сам сам файл конфигурации - там много комментариев.
Добавляем в /etc/rc.conf строку frox_enable="YES" и запускаем frox:/usr/local/etc/>cd rc.d
/usr/local/etc/rc.d/>./frox.sh start
Starting frox.
/usr/local/etc/rc.d/>Sat Sep 3 22:59:07 2005 frox[88879] Forked to background
/usr/local/etc/rc.d/>
После чего добавляем такую строчку в файрволл, до natd, там же где и squid:
${FwCMD} add fwd ${IpIn},2121 tcp from ${NetIn}/${NetMask} to any 21 via ${LanOut}
где:
FwCMD="/sbin/ipfw" - бинарник ipfw с путём
IpIn="192.168.0.254" - внутренний IP сервака
NetIn="192.168.0.0" - внутренняя сеть
NetMask="24" - маска внутренней сети
LanOut="fxp0" - внешний интерфейс
Вот и всё. Можно пользоваться.
P.S. Насчёт антивирусной проверки - попробуйте, если скорость устроит, то пользуйтесь. У меня была идея написать скриптик на перле, который ему подсовывать вместо антивируса в строке
VirusScanner '"/usr/local/bin/clamscan" "-i" "%s"', а вот скриптик уже бы скармливал файлы clamd висящему в памяти постоянно. Но - нету времени и перл я не очень хорошо знаю :( Если реализуете - напишите. Ценный скриптик был бы :)
P.S.2 У FROX есть ещё одна проблема - если папка на удалённом сервере названа по русски - на неё не войти...
P.S.3 (2005-11-24) Я прикрутил clamd к frox. Правда убил на это весь день, но всё-таки. Смысл, в общем такой - в конфиге меняем строчку антивирусной программы, должна быть такая VirusScanner '"/usr/local/bin/clamdscan" "--quiet" "%s"'
затем выясняем от кого кто у нас работает:/usr/local/etc/>ps -axj | grep clam
clamav 57255 1 57255 c4569dc0 0 Ss ?? 0:00.01 /usr/local/sbin/clamd
/usr/local/etc/exim/>ps -axj | grep frox
lissyara 63164 29190 29190 c44cc080 1 RV p0 0:00.00 grep frox (csh)
nobody 59762 1 59761 c3808ec0 0 I p1 0:00.00 frox
nobody 59763 59762 59761 c3808ec0 0 I p1 0:00.02 frox
nobody 59765 59762 59761 c3808ec0 0 I p1 0:00.01 frox
/usr/local/etc/>
Выясняется, что они работают от разных пользователей. Надо сделать одного. Мне показалось проще перевести ClamAV на пользователя nobody. Это было ошибкой. На него было слишком много завязано. Тогда вернул всё как было, а вот FROX стал запускать от пользователя clamav, заодно надо поменять права на директорию где хранится его кэш:/usr/local/etc/>chown -R clamav:clamav /tmp/frox
/usr/local/etc/>killall -9 frox
/usr/local/etc/>killall -9 frox
No matching processes were found
/usr/local/etc/>rc.d/frox.sh restart
В итоге всё заработало. Выигрыш в быстродействии - едва ли не на порядок, особенно при копировании мелких файлов - раньше шёл запуск clamav на каждый файл, а теперь их проверяет постоянно висящий в памяти clamd.
Обновлено 28.05.2010 13:45
SARG - анализатор логов SQUID
11.10.2006 04:10
Администратор
SARG - анализатор логов SQUID
Автор:lissyara.
Оригинал: http://www.lissyara.su/articles/freebsd/programms/sarg/
SARG (Squid Analysis Report Generator - анализатор логов SQUID и генератор отчётов по ним) - малюсенькая программа (чуть больше 300кб) которая анализирует логи прокси сервера SQUID и выдаёт отчёт - кто, куда лазил, сколько соединений, сколько мегов скачано. Строит достаточно красивые графики - по часам суток, дням месяца и другие. Также выдаёт и побочную инфу - процент попадания в кэш (т.е. сколько squid отдал из своего локального кэша, а не из инета). Программа простая до безобразия, но очень функциональная. Траффик ей особо не посчитаешь - т.к. даже если у вас только инет через squid всё равно SARG считает вместе с инфой отданной из кэша - т.е. всегда будет врать в большую сторону. Статистику выдаёт в html-виде, т.е. для человеческого просмотра нужен установленный WWW-сервер на машине (можно просто вытаскивать её к себе на комп, но это тоже не для слабонервных занятие - несколько тысяч мелких файлов, мегов под 300 размером).
Собираем как обычно - из портов:/root/>cd /usr/ports/
/usr/ports/>make search name='sarg'
Port: sarg-2.0.9
Path: /usr/ports/www/sarg
Info: Squid log analyzer and HTML report generator
Maint:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B-deps: freetype2-2.1.10_1 gd-2.0.33_1,1 jpeg-6b_3 pkgconfig-0.17.2 png-1.2.8_2
R-deps: freetype2-2.1.10_1 gd-2.0.33_1,1 jpeg-6b_3 pkgconfig-0.17.2 png-1.2.8_2
WWW: http://sarg.sourceforge.net/
После сборки (подразумевается что апач у Вас уже стоит - т.к. настройки я привожу для отчётов в html и выкладываемых на локальной машине) радактируем его конфиг до такого состояния: /usr/local/etc/sarg/sarg.conflanguage Russian_koi8
graphs yes
title "Squid User Access Reports"
temporary_dir /tmp
output_dir /usr/local/www/data/statistic/http_stat
max_elapsed 28800000
charset Koi8-r
- конечно же никто Вам не запрещает поизгаляться над стилем отображения всего этого хозяйства - конфиг снабжён очень подробными комментариями. Запускаем командой /usr/local/bin/sarg -l /путь_к_логам_сквида/squid.log
У меня логи cron`ом убираются в отдельные файлы - по месяцам, поэтому при запуске этой команды из скрипта путь подставляется автоматом. На слабых машинах работать будет относительно долго (минуты 4 лохматит месячные логи на 300 мегабайт, машина - P-IV 2GHz, причём много времени уходит на запись самих логов - генерится очень много мелких файлов)
Вот и всё :) Пользуйтесь.
Обновлено 28.05.2010 13:50
|
Прокси-сервер SQUID
07.10.2006 12:30
Администратор
Автор: lissyara.
Оригинал: http://www.lissyara.su/archive/squid_old/
Прокси-сервер - это программа которая выполняет роль "прокладки" между браузером пользователя и WWW сервером. Через него проходят все запросы пользователя по протоколу http и ответы серверов пользователю. Он может фильтровать проходящий траффик по тем или иным признакам, а так же разграничивать доступ к интернету по протоколу http (в случае если используется непрозрачный прокси-сервер).
SQUID - пожалуй, самый лучший прокси под UNIX платформу. Есть сборки и для win32, но, на мой взгляд, это уже совсем не то :) Очень богатая функциональность:
— Поддержка протоколов HTTP, FTP, SSL, HTCP, CAPR
— Каскадирование серверов
— возможность прозраного проксирования
— поддержка протокола SNMP
— кэширование DNS-запросов
Собираем, операционка - FreeBSD4.11. Обновляем дерево портов и приступаем:/root/>cd /usr/ports/www/squid
/usr/ports/www/squid/>make && make install && make clean
Появляется синенькое окошко с кучей опций. Я выбрал:
SQUID_UNDERSCORES - разрешил запрещённый символ подчёркивания(_) в именах - мало ли идиотов в интернете...
SQUID_CHECK_HOSTNAMES - пусть проверяет имена.
SQUID_RCNG - стартовый скрипт squid
Он качает много-много патчей и собирается (впрочем, если выпустят новую версию - то патчей первое время не будет :)). После чего топаем в /usr/local/etc/squid и редактируем squid.conf до такого состояния (все настройки даны для прозрачного прокси-сервера, у "непрозрачного" будут отсутствовать пункты httpd_accel_*):http_port 3128
icp_port 0
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 128 MB
maximum_object_size 8092 KB
maximum_object_size_in_memory 512 KB
cache_dir ufs /usr/local/squid/cache 2048 64 256
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
cache_mgr admin@my_domain.ru
visible_hostname mail.my_domain.ru
tcp_outgoing_address 222.222.222.222
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
redirect_program /usr/local/etc/squid/redirector.pl
redirect_children 10
acl all src 0.0.0.0/0.0.0.0
acl allowed_sites dstdomain \
"/usr/local/my_doc_smb/squid/allowed_sites.conf"
acl limited_IP src \
"/usr/local/my_doc_smb/squid/limited_IP.conf"
acl localhost src 127.0.0.0/8
acl our_networks src 192.168.0.0/24
#acl denied_sites dstdomain \
#"/usr/local/my_doc_smb/squid/denied_ext.conf"
#http_access deny denied_sites
http_access allow allowed_sites
http_access deny limited_IP
http_access allow our_networks
http_access allow localhost
http_access deny all
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_uses_host_header on
coredump_dir /usr/local/squid/cache
pid_filename /usr/local/squid/logs/squid.pid
Это - самый минимум конфигурации, для прозрачного проксирования, и списков людей, которым можно посещать лишь малое количество сайтов (сайты описаны в файле allowed_sites.conf, а ip компов в файле limited_IP.conf), и списка сайтов на которые ходить нельзя никому (denied_ext.conf). Файлы выглядят примерно так:/usr/local/my_doc_smb/squid/allowed_sites.confwww.yandex.ru
mail.yandex.ru
www.ya.ru
www.mail.ru
/usr/local/my_doc_smb/squid/limited_IP.conf192.168.0.8
192.168.0.56
192.168.0.89
/usr/local/my_doc_smb/squid/denied_ext.confwww.sex.com
www.tetki.ru
www.soska.ru
www.porewo.com
По остальным цифирькам:
cache_mem - сколько памяти под кэш потратит (реально в 2.5 раза больше зажрёт. Любит он оперативку. У меня в точно такой конфигурации занимает 297 мегов памяти, примерно через день - когда наберёт объектов в память)
maximum_object_size - максимальный размер объекта сохраняемый на диск (частенько неслушается и сохраняет обекты раза в 2-3 большие)
maximum_object_size_in_memory - максимальный размер объекта хранимого в оперативке
cache_dir - директория для кэша. Должна существовать и юзер от которого работает сквид должен иметь право писать в неё. Там же - ufs - тип файловой системы на которой расположена папка кэша, 2048 - максимальный размер кэша, 64 - число директорий первого уровня
256 - число директорий второго уровня (на директориях экономить не советую, сам столкнулся - кончились папки, но лимит по размеру кэша ещё не был достигнут, инет в итоге работает, но жутко тормозит. Как на модеме хреновеньком.... На 10-ти мегабитной-то линии....)
cache_access_log - местоположение файла логов доступа пользователей к инету - кто, куда, сколько.
cache_log - лог собственно сквида - результаты запусков-остановок, результаты работы с кэшем.
cache_store_log - лог что сохранено в кэше на диске
cache_mgr - е-майл администратора, выводится при ошибках или если доступ к странице запрещён.
visible_hostname - видимое снаружи имя хоста
tcp_outgoing_address - внешний адрес сервера
redirect_program - программа редиректор (занимается анализом запрашиваемых URL и может производить с ними какие-то действия, у меня раньше, таким макаром был прикручен антивирус на проверку входящего http-траффика, а щас висит скрипт срезающий порнуху, от антивиря пришлось отказаться - примерно 30-40% лишнего траффика было, т.к. сайты нынче в основном динамические...)
redirect_children - число процессов программы-редиректора
Затем идут ACL-ы, разрешающие или запрещающие пользование http и поддержка прозрачного проксирования. ACL denied_sites закомментирован, можно пользоваться им самим, но я предпочитаю натравить на него внешнюю программу-редиректор, тогда можно будет вносить в него не сайты целиком, а ключевые слова по которым будет резаться URL - типа sex, deffki, porewo.... Если в запросе будет такое слово (неважно, в середине пути, в имени сервера, или названии файла) то не такой адрес пользователя не пустят. Можно таким макаром зарезать всю графику, например, написать jpg, jpeg, png, gif и всё - графики больше нет :) Можно резать флэши, файлы с нежелательными расширениями, да что угодно....
Учтите, строки типа acl allowed_sites dstdomain "/usr/local/my_doc_smb/squid/allowed_sites.conf" - это одна строка, просто у меня в листинге конфига не влезло и я её так перенёс.
coredump_dir - директория куда будет писаться дамп программы в случае критической ошибки и последующего "выпадания в корку"
pid_filename - имя файла где хранится идентификатор запущенного squid`a
Файлы с запретами и разрешениями (/usr/local/my_doc_smb/squid/allowed_sites.conf,
/usr/local/my_doc_smb/squid/limited_IP.conf,
/usr/local/my_doc_smb/squid/denied_ext.conf) так странно лежат по причине, что из локалки у меня к ним открыт доступ по самбе, просто мне их так удобней редактировать :)
Создаём файлы, папки и запускаем squid:/usr/local/etc/squid/>mkdir -p my_doc_smb/squid
/usr/local/etc/squid/>mkdir -p mkdir /var/log/squid
/usr/local/etc/squid/>touch /usr/local/my_doc_smb/squid/allowed_sites.conf
/usr/local/etc/squid/>touch /usr/local/my_doc_smb/squid/limited_IP.conf
/usr/local/etc/squid/>touch /usr/local/my_doc_smb/squid/denied_ext.conf
/usr/local/etc/squid/>touch /usr/local/etc/squid/redirector.pl
/usr/local/etc/squid/>chmod +x redirector.pl
/usr/local/etc/squid/>chown -R squid:wheel /var/log/squid/
/usr/local/etc/squid/>echo 'squid_enable="YES"' >> /etc/rc.conf
/usr/local/etc/squid/>squid -z
2005/09/20 14:51:04| aclParseAclLine: WARNING: empty ACL: acl
2005/09/20 14:51:04| aclParseAclLine: WARNING: empty ACL: acl
2005/09/20 14:51:04| aclParseAclLine: WARNING: empty ACL: acl
2005/09/20 14:51:04| Creating Swap Directories
Всё нормально, не считая ругани на пустые файлы ACL. На это можно не обращать внимания, или забить туда какие-ньть адреса. Тогда он ругаться перестанет.
Вот содержимое файла /usr/local/etc/squid/redirector.pl#!/usr/bin/perl
$0 = 'redirect' ;
$| = 1 ;
open (IN_FILE, "/usr/local/my_doc_smb/squid/denied_ext.conf") || die $!;
my @tmp_data = <IN_FILE>;
chomp @tmp_data;
push @banners, map { qr /\Q$_\E/ } grep { ! /^\s*$/ } @tmp_data;
close IN_FILE;
while (<>) {
($url, $who, $ident, $method) = /^(\S+) (\S+) (\S+) (\S+)$/ ;
$url = 'http://mail.my_domain.ru/zaglushka.jpg'
if grep ($url=~/$_/i, @banners) ;
print "$url $who $ident $method\n" ;
}
Это простенький перловый скрипт, перебирающий переданный ему URL на соответствие шаблонам лежащим в файле denied_ext.conf, и если они подходят, то вместо этого УРЛа он отдаёт другой - http://mail.my_domain.ru/zaglushka.jpg по которому лежит мелкий рисунок серого цвета (белый неудобно - у меня до кучи он баннеры режет и белые дыры на страницах не смотрятся вообще...)
Ну, а теперь пристегните ремни, сейчас мы попробуем взлететь со всем этим хозяйством (копирайт из старого-старого анекдота):/usr/local/etc/squid/>../rc.d/squid.sh start
Starting squid.
2005/09/20 15:28:35| aclParseAclLine: WARNING: empty ACL: acl allowed_sites
2005/09/20 15:28:35| aclParseAclLine: WARNING: empty ACL: acl limited_IP
2005/09/20 15:28:35| aclParseAclLine: WARNING: empty ACL: acl denied_sites
/usr/local/etc/squid/>ps -ax | grep squid
73072 ?? Ss 0:00.00 /usr/local/sbin/squid -D
73074 ?? D 0:04.75 (squid) -D (squid)
73087 p0 D+ 0:00.00 grep squid
/usr/local/etc/squid/>ps -ax | grep perl
73075 ?? Is 0:00.03 redirect (perl)
73076 ?? Is 0:00.03 redirect (perl)
73077 ?? Is 0:00.03 redirect (perl)
73078 ?? Is 0:00.03 redirect (perl)
/usr/local/etc/squid/>sockstat | grep perl
squid squid 73074 14 tcp4 127.0.0.1:3248 127.0.0.1:4480
squid squid 73074 15 tcp4 127.0.0.1:3922 127.0.0.1:2536
squid squid 73074 16 tcp4 127.0.0.1:2393 127.0.0.1:3906
squid squid 73074 21 tcp4 *:3128 *:*
squid squid 73074 22 udp4 *:3401 *:*
squid squid 73072 4 dgram syslogd[83]:3
squid perl 73076 0 tcp4 127.0.0.1:4371 127.0.0.1:1506
squid perl 73076 1 tcp4 127.0.0.1:4371 127.0.0.1:1506
squid perl 73075 0 tcp4 127.0.0.1:1596 127.0.0.1:2215
squid perl 73075 1 tcp4 127.0.0.1:1596 127.0.0.1:2215
Всё нормально. Добавляем правило в файрволл (ipfw), до divert natd:fwd 127.0.0.1,3128 tcp from 192.168.0.0/24 to any 80 via fxp0
Где fxp0 - внешний интерфейс, и всё, можно работать. Если на ходу возникает необходимость переконфигурить squid то перезапускать необязательно, можно дать команду/usr/local/etc/squid/>squid -k reconfigure
или/usr/local/etc/squid/>killall -1 squid
этого вполне достаточно.
Заполняйте файлы с разрешениями-запретами, и пользуйтесь. Клиентов настраивать не нужно - достаточно указать шлюзом по-умолчанию машину со squid - всё остальное сделает ipfw - перекинет пакеты на squid.
Обновлено 28.05.2010 13:51
|
