Bog BOS: sitelife: Интернет роботы

Политика доступа роботов к сайту определяется файлом robots.txt в корневой директории сайта (локальный URI - "/robots.txt"). Файл состоит из секций, разделяемых пустыми строками (т.е. пустые строки имеют значение!). Секции состоят из строк:
<имя-поля>:[<пробел>]<значение>[<пробел>]
Имя поля нечувствительно к регистру символов. Символ "#" обозначает начало комментария, продолжающегося до конца строки. Секция начинается с одной или нескольких строк, содержащих поле User-agent ( некоторые роботы считают, что строка м.б. только одна, но в ней можно использовать несколько имен через пробел). За ней (ними) следуют одна или несколько строк, содержащие поле Disallow. Другие поля игнорируются. В конце последней секции лучше поставить пустую строку.

Bog BOS: rsh и r*-команды: принципы работы, использование и настройка

Обеспечивают возможность удаленного выполнения команд (rsh, rexec (устарел), rlogin) и копирования файлов (rcp). Надстроенные над базовым уровнем rsh/rcp команды rsync и rdist позволяют синхронизировать состояние файлов/директорий на нескольких компьютерах.

В современных условиях запуск rsh-сервера представляется чистым безумием с точки зрения безопасности, так что рекомендую обратить внимение на SSH. Но если сервер запущен кем-то другим ;), то воспользоваться им можно. К тому же команды rsync и rdist позволяют использовать в качестве транспортного уровня SSH вместо rsh.

Принципы работы

Bog BOS: Анализ сетевого трафика

Анализ сетевого трафика позволяет выявить такие существующие в сети проблемы или симптомы, как повторная передача, застрявшее TCP-окно, широковещательный шторм): tcpdump, wireshark (ethereal), snoop.

Системные средства

ifconfig, netstat, /proc/net.

Bog BOS: Производительность сети и её измерение: ping, traceroute, netperf, iperf, pathrate, pathload, abget

Производительность сети и её измерение

Элементарные единицы производительности сети:

• доступность (простейшие инструменты: ping, nmap -sP)
• доля потерянных пакетов (измеряется при постоянной нагрузке на различных уровнях нагрузки); возможные причины: коллизии, переполнение буфера в промежуточном устройстве
• время ответа (ping, traceroute, netperf); возможные причины больших задержек: перегрузка сети или хоста, ошибки в сети или NIC, неудачный маршрут, несоответствие MTU, загрузка одного из промежуточных устройств посторонними задачами (например, пересчёт OSPF)
• задержка устройства определяется как время от поступления последнего бита кадра на вход устройства до поступления первого бита кадра на выходе устройства; может меняться в зависимости от размера кадра
• общая ёмкость сети, Bandwidth Capacity (pathrate)
• загруженность в течении определённого интервала времени (какую долю времени канал занят передачей данных), Network Utilization (pathload)
• пропускная способность, Network Throughput (остаток ёмкости), максимальная скорость при которой ещё нет потерь; может отличаться для различных условий (размер пакета, дуплекс)

Методы получения информации о производительности сети:

• опрос сетевых устройств (SNMP)
• наблюдение за существующим трафиком
• генерация тестового трафика