Редактор логов

Discussion in 'Hardware and Software' started by stalke, Jan 20, 2011.

  1. stalke

    stalke Well-Known Member

    Joined:
    May 17, 2002
    Messages:
    2,528
    Location:
    Дубна
    Редактор логов

    На днях начальство попросили логи Керио фаервола с целью выявления, кто и чем занимается на рабочем месте. У меня юзеры неавторизованно ходят, поэтому все логи с IP. Пришлось срочно ассоциировать IPшники и хостнеймы. Времени убил много. В связи с этим - вопрос: кто чем пользуется в качестве редактора?
    Основные задачи:
    1. Замена IP на Hostname (чтобы один раз вбить зависимость, а он потом бы заменял).
    2. Сортировка по пользователям, по сайтам, по времени посещения.
    3. Возможность выбрать конкретного пользователя и только по нему смотреть.
    4. Из общего списка выкидывать ненужную информацию, как всякие обновления пунтосвичера, фаерфокса и прочую лабуду.
     
  2. Sea

    Sea Well-Known Member

    Joined:
    Feb 9, 2001
    Messages:
    27,468
    Location:
    Ukraine, Kiev
    Re: Редактор логов

    Ходить авторизовано. Иначе начнут ставить себе ИП других сотрудников.
     
  3. marazm

    marazm Well-Known Member

    Joined:
    Jan 27, 2000
    Messages:
    6,975
    Location:
    Kiev, Ukraine
    Re: Редактор логов

    perl (active perl под виндой), утилиты командной строки *NIX. Если с никсами туго, экспорти в csv и крути Экселем. Как-то так... :)
     
  4. -exec-

    -exec- FH Consultant

    Joined:
    Jan 29, 2000
    Messages:
    24,690
    Location:
    xUSSR
  5. Stefan

    Stefan FH Beta Tester

    Joined:
    Feb 14, 2001
    Messages:
    22,266
    Location:
    Пивбар
  6. stalke

    stalke Well-Known Member

    Joined:
    May 17, 2002
    Messages:
    2,528
    Location:
    Дубна
  7. bimbom

    bimbom FH Beta Tester

    Joined:
    Jan 19, 2006
    Messages:
    7,431
    Location:
    Moscow, Russia
    Re: Редактор логов

    я использую (исторически сложилось) прогу в эксессе.
    все айпишки занесены в базу (кстати, а с какого юзверя могут айпишки поменять?). хосты разделены на группы (работа, сервис, развлекуха, поисковики). импортирую лог и смотрю, кто и на сколько в этом месяце попал. отчёты присутствуют.
     
  8. Ground

    Ground Well-Known Member

    Joined:
    Feb 26, 2001
    Messages:
    7,547
    Location:
    Home, Sweet Home
    Re: Редактор логов

    Если просто заменить-почистить - сед и авк. Но перед этим провернуть моск на тему регэкспов. Зато после месяца изучения ответ будет в одну строчку. :D
     
  9. stalke

    stalke Well-Known Member

    Joined:
    May 17, 2002
    Messages:
    2,528
    Location:
    Дубна
    Re: Редактор логов

    Тут народ такой, что каждый своим делом занимается. Они ни в жизнь не полезут что-нибудь менять. Меня даже дисплеи включать вызывают. Так что за IPшники я не парюсь. :D
    А подробнее?
     
  10. -exec-

    -exec- FH Consultant

    Joined:
    Jan 29, 2000
    Messages:
    24,690
    Location:
    xUSSR
    Re: Редактор логов

    cпорное мнение о cитуации.
    имхо логи филоcофcки не редактируютcя.
    тока кулхацкер может этим интереcоватьcя.
    админ вооcшэ не должен иметь доcтуп на чтение - тока офицер безопаcноcти
     
  11. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Re: Редактор логов

    sed. Возможно с awk

    sort

    grep


    grep -v

    Теоретически, можно найти гуевую приблуду, которая делает то же самое. Но проще и быстрее (при наличии некого опыта) реализовать все в командной строке.
     
  12. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Re: Редактор логов

    "Правильными" ответами будут
    man sed
    man awk

    Это командно-строковые тулзы из юникс-систем. Самый гибкий и самый быстрый путь перелопатить реально большие (сотни мегов и больше) логфайлы и вытянуть из них нужное.
     
  13. Sea

    Sea Well-Known Member

    Joined:
    Feb 9, 2001
    Messages:
    27,468
    Location:
    Ukraine, Kiev
    Re: Редактор логов

    Вот щас он будет ставить юниксячие приблуды в винду, что бы перелопатить логи. Смотря какие объемы - может в access запихивать (если влезет туда)? А оттуда уже запросами, графически, прямо в excel с графиками и табличками.
     
  14. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Re: Редактор логов

    Не обязательно.
    Все что нужно под виндой - это telnet или ssh клиент. Все остальное можно сделать на юникс-машине. Хотя для больших логов при этом желателен гигабитный езернет.
     
  15. Sea

    Sea Well-Known Member

    Joined:
    Feb 9, 2001
    Messages:
    27,468
    Location:
    Ukraine, Kiev
    Re: Редактор логов

    У него Керио - виндовый. Был бы юниксячий не было бы проблем.
     
  16. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Re: Редактор логов

    Да я как бы догадался. Если бы файрволл стоял на юникс-машине, то туда можно было бы зайти по ssh и обработать логи там локально. И никакого гигабитного езернета не потребовалось бы, хватило бы диалапа на 9600 (ну я конечно утрирую, для комфортной работы 9600 мало).

    А так - зайти с винды на юникс машину, скопировать туда лог (или обработать с удаленно смонтированной шары если это возможно в тех условиях). Вот для этого быстрый коннект и нужен.
     
  17. Sea

    Sea Well-Known Member

    Joined:
    Feb 9, 2001
    Messages:
    27,468
    Location:
    Ukraine, Kiev
    Re: Редактор логов

    то еще юникс ставить что бы логи обрабатывать... проще уж cygwin какой-то на винду вгромоздить.
     
  18. Ground

    Ground Well-Known Member

    Joined:
    Feb 26, 2001
    Messages:
    7,547
    Location:
    Home, Sweet Home
    Re: Редактор логов

    Если с линухом незнаком - то седы и грепы таки вредный совет. Но венда потому и венда, что для неё обязательно есть своя парсилка этого прокси, с почти удовлетворяющим функционалом, надо только поискать...
     
  19. stalke

    stalke Well-Known Member

    Joined:
    May 17, 2002
    Messages:
    2,528
    Location:
    Дубна
    Re: Редактор логов

    Теоретически - да. Но тут первый отдел от военных и что такое URL понятия не имеет. Вот видеонаблюдение в каждой комнате - это да, меня туда не пускают. А логи - моё. И я не хочу лишиться части и без того малюсенькой зарплаты из-за посещения довольно безобидной "Темы сисек" на этом форуме. Кто там будет разбираться, что в топике? Достаточно названия.
    Да и вообще, форум читаю с утра и в рабочее время, когда нет срочных дел и не дёргают, ибо даже в законный обед могут позвонить и вызвать в другое здание. А вот за то, что в рабочее время занимался не работой - бонусов не будет точно.

    Спасибо всем, кто откликнулся. На сколько я понял, универсального решения нет. Ладно, буду сам писать редактор...
     
  20. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Re: Редактор логов

    Бздуны и сантехники смотрят на тебя как на пингвиноида :)