В стотысячный раз на самизнаетекаком форуме поднялась ( !) тема про критические дни у сайта, который приглянулись копипастеру.

И тут меня осенило!? Нет, чудес не бывает, я уже как-то раз думал на эту тему, ну а тут случай подвернулся всё прокрутить ещё раз и довести до долгожданного финала свою мысль.

Сайт donor – белый, пушистый, с озабоченным администратором, которому не всё равно на своё детище (это явно не я)
Сайт ?&$ – в его корне стоит парсер, который круглыми сутками только и делает, что тащит, тащит, тащит при чём так, что дай ребёнку адреса обоих сайтов и пообещай мороженное, найди он 5 отличий, дитё останется без сладкого.

Создаёте новый файл стилей, где делаете весь или часть контента скрытым (невидимым) простому пользователю, а в исходнике она естественно остаётся.

Кладём файл в папку ¹

В .htaccess запрещаете доступ к папке с новыми стилями для всех, кроме IP робота, который грабит (если удалось определить его ip).

order deny,allow
deny from all
allow from 11.000.111.000

11.000.111.000 – айпишник бота

В результате на вашем сайте всё идеально, поскольку ни пользователи, ни поисковые роботы не могут загрузить новый файл стилей (им передаётся информация, что такого файла не существует), а на сайте-копии часть или весь контент исчезает.

Можно со спокойной душой писать абузу в яндекс, со своими возмущениями – как, он – ЯНДЕКС, ещё держит в СВОЕЙ поисковой базе этот презренный, унылый сайт, пренебрегающий всеми правилами, написанными работниками Яндекса сайт, использующий незаконные методы оптимизации!

А можно поступить более дерзко: сгенерировать дор и закинуть его в папку на своём сайте, запретив доступ к папке с дором.
Либо загрузить вирус. И тогда не только в яндексе задёргаются (хотя как задёргаются, писал я им как-то про сайт с вирусом, они его в выдаче по 1 запросу приопустили и закрутили огромный болт, на то, что он по другим запросам в топе), но и любой абузоустойчивый хостер начнёт шевелиться, ведь распространение вирусов – это уже проблема куда хуже нескольких сотен (а то и тысяч) недовольных юзеров, которые пишут и пишут каждый день, чтобы заблочили акки нерадивых спамеров.

Остаётся придумать, что делать в случае если копипастер юзает прокси ?!?

1. можно и в файл, но тогда приведённый код для .htaccess работать не будет [↩]

Практический seo семинар в Киеве 28 ноября

– сервис мутации/уникализации статей.
Сейчас проводится конкурс спонсирования. Участников, как мне известно мало, поэтому шансы на победу велики.

Суть конкурса проста:

Вы отправляете в тикеты описание эксперимента, который был бы связан с контентом от сервиса.. Это может быть что угодно: необычный методы быстрого загона сайта в индекс, попытка определить максимально возможную прибыль с сайта на контенте сервиса да и вообще все, что только Вы сможете придумать себе от создания сателлита и до массового производства доров..

Каждое описание эксперимента будет детально изучено и из всех будет выбрано всего два самых необычных и самых интересных эксперимента..

И тут самое интересное: что же получат те, чьи эксперименты будут отобраны?!

А тут все просто – они получат спонсирование от сервиса, и следовательно шанс воплотить свои эксперименты в жизнь.. Что в это входит: в течении следующего месяца каждый из них получит неограниченный(читай бесплатный) доступ к публичным и закрытым от паблика функциям сервиса для проведения своих экспериментов, а все итоги этого будут опубликованы или в блоге спонсируемых или на сервисе в отдельном разделе..

Так что если у Вас были идеи относительно интересных экспериментов, но у Вас просто не хватало или технических, или финансовых возможностей – пишите в тикеты, и возможно именно Вы станете одним из спонсируемых сервисом gen-s..

Кроме того есть и интересные моменты для рефоводов:

1 – пользователю, чей реферал получит спонсирование, будет пополнен счет в сервисе на 5 000 рублей..

2 – если пользователь не является чьим-то рефом, то бонус получит тот пользователь, чей реф окажется на 3 месте в отборе на спонсирование..

3 – если и у номера 3 не будет рефовода, то получит тот чей реф 4 и тд.. Тоесть 10 000 рублей будут отправлены на счет пользователям в любом случае..

А так же, в честь этого конкурса, вводиться бонус система на время его проведения:
Пополнив счет на сумму более 1 000 рублей, Вы получите 30% суммы пополнения дополнительно.

Собирателей различного вида контента с сайтов в общем-то много, но большинство заточено под определенные цели: какие-то парсеры тащат картинки, какие-то сохраняют ссылки, некоторые заточены только под парсинг определенных сайтов. Но сегодня я бы хотел поговорить про универсальные парсеры контента, которые можно настроить под любой сайт.

Multireader
Первым таковым в моей жизни был multireader

Программа эта предназначена для сохранения текстов с любых сайтов, кроме того можно собрать воедино несколько текстовых файлов, и есть парсер gogo.ru
Для граббинга контента с нужного сайта создаёте новый проект, где указываете начальный url, можно поставить галочку “грабить только до уровня” и указать необходимый уровень – очень удобно, когда нужны только свежие статьи, располагающиеся ближе к главной странице.

В программе есть 2 уровня распознавания шаблона контента:
Автоматический – не всегда программа правильно находит текст, поэтому о существовании этого режима лучше вообще забыть.
Ручной – более актуальный способ: выбираете откуда брать заголовки статей (из тайтла, или из тегов h1/h2… но самому указать между какими тегами находится заголовок нельзя, поэтому если ваш “подопытный” свёрстан нестандартно, то вы не сможете получить нормальные заголовки), и указываете где (между какими тегами) находится сам текст статьи.

Кроме того в парсере есть очень удобная фишка, экономящая трафик и время – есть возможность указать условия загрузки и сохранения страниц.
Например, если я укажу слово “tag” в условиях загрузки, то парсер будет заходить только на страницы, содержащие это слово.

При экспорте контента можно создать любой шаблон, например, чтобы сперва выводился заголовок, потом ставился какой-нибудь разделить, а дальше шла сама статья. Экспортировать можно как в отдельные файлы, так и все статьи в один файл.

Но у меня почему-то возникли проблемы с парсингом большого количеств страниц и я перестал им пользоваться, тем более появился другой, более удобный для меня парсер.

Sjs-site-grabber
Sjs – универсальный парсер контента!
Автор этой программы вам должен быть знаком хотя бы по скрипту “живые комментарии“.
Программа появилась несколько дней назад, но бурно развивается.

Здесь же сперва парсятся все внутренние ссылки на сайте на все страницы. В настройках можно указать каких данных не должно быть в url. После завершения работы парсера ссылок полученны данные можно обработать, удалив ненужные ссылки. Если вам требуется контент не со всего сайта, а только из одного раздела, то можно сохранить ссылки только с нужной страницы.
И после создания файла со списком ссылок переходим непосредственно к парсингу статей, для этого создаётся шаблон, где указывается между какими тегами находится заголовок, статья, и откуда брать рубрику для этой статьи (этого нет в других парсерах, здесь же, если вы грабите целый сайт, где несколько разных категорий, то в итоге ваши статьи останутся привязанными к этим категориям).

Статьи можно экспортировать в 4 формата: для WPT, Zebrum Lite, Satellite-X (этот формат подходит и для Autoblog-X) и простой формат.

Минус – нельзя создать свой шаблон для экспорта.

Есть и уникальная функция у этого граббера – он может сохранять изображения, находящиеся в статьях. Этого нет в аналогичных продуктах.

Автор прислушивается к хорошим советам и постоянно обновляет своё детище.

Если вы при покупке сообщить, что вы от меня (от Virtual’a), то вы получите скидку 10%.

UPD. В парсер добавлено:

• Сохранение настроек – теперь не надо каждый раз все настраивать
• Новый формат шаблона контента. Теперь можно использовать до 99 тегов, вместо [title],[text] и т.д. используем [1], [2], [3]… там где надо. В совокупности со следующим пунктом дает огромные возможности в реализации своих сдей.
• Возможность задать свой формат вывода. Теперь можно его менять не обращаясь ко мне. В 1 файл, в кучу файлов, названия этих файлов… все задается.
• Возможность парсить текст с/без ссылок. При желании ссылкам добавляются теги noindex
• Устранены несколько мелких багов. Спасибо всем, кто помогал и продолжает помогать совершенствовать программу.

GEN-S
Парсер статей на gen-s.ru (про сервис я уже писал).

Сам сервис предназначен для мутации (уникализации) статей. В момент написания прошлой статьи качество было ещё “не очень”, сейчас же оно заметно улучшилось, но идеальным оно не станет никогда, сами понимаете – не человек рерайтит статьи.

Основное отличие этого парсера от предыдущих в том, что он условно бесплатный (сперва можно напарсить 100 статей, чтобы продолжить парсинг, эти статьи нужно прогнать через сервис, т.е. за парсер вы не платите, а оплачиваете только уникализацию статей) .
Этот парсер отлично подойдёт для тех, кому нужен уникальный контент для сателлитов.

А в остальном он похож на его вышепредставленных сородичей: точно также указываете между какими тегами находится заголовок, где находится сама статья и с каких страниц парсить контент.
Кроме этого для статей можно сразу ввести метку. В сервисе есть целый мануал по использованию парсера.

Экспортировать статьи можно как все в один файл, так и в xml файл, и в формат для Satellite-X/Autoblog-X.

Кстати, там сейчас проходит акция каждый раз пополняя счет на сумму от 50 рублей Вы получаете бонус в размере 100 рублей.

И на забывайте про счастье, рекламу и бабло.

На этом всё! С вами был Virtual, оставайтесь на первом :D

…Я сел за свой рабочий стол, включил компьютер и вспомнил, что на сервисе мутации статей утром должно появиться новое обновление. Напарсив статей я закинул их в сервис, подтвердил мутацию и перешёл на страницу просмотра. Это было “ЧТО-ТО”. Качество мутированых (сказать синонимизированых уже язык не поворачивается) не отличалось от среднего рерайта…

Пару недель назад у Сеоштейна увидел информацию о наборе тестеров в новый сервис по уникализации статей. “Почему бы и нет?”- подумал я, и постучался в асю саппорту. Через час у меня уже был аккаунт с пятизначной суммой на счету и чёткие инструкции: предложения в тикеты, баги в асю.

И я приступил.

Сперва открылся взору довольно банальный сервис, который предлагал синонимизацию статей, единственным плюсом которого была в основном хорошая база.
Но жизнь не стоит на месте, а если человек думает, то хорошие идеи сами приходят в голову, в итоге мне в голову пришли несколько новых способов по уникализации статей, ну и идеи по улучшению самого сервиса. Вся информация была направлена администрации. Кроме меня было ещё немало тестеров, которые отправляли свои умные мысли.
В итоге получилось то, что получилось.

Исходник:

Ралли «Подмосковье Сlаssiс»

5 сентября в Музее техники на Ильинском шоссе при поддержке НПФ &quоt;ГАЗФОНД&quоt; и Ингосстрах-Еxсlusivе будет дан старт ралли классических автомобилей &quоt;Подмосковье Сlаssiс&quоt;. Ралли, проводящееся уже пятый год подряд, в этом году получило новый статус – оно также является I Этапом Кубка России по соревнованиям на классических автомобилях. По традиции, в соревновании примут участие известные коллекционеры старинных автомобилей, среди которых один из владельцев компании &quоt;Вимм-Билль-Данн&quоt; Евгений Ярославский, председатель комитета классических автомобилей РАФ, сенатор Виталий Богданов, первый заместитель гендиректора ДСК-1 Андрей Паньковский, режиссер Юрий Грымов и актер Даниил Страхов. На мероприятие также приглашены Егор Кончаловский и Любовь Толкалина, Дмитрий Певцов и Ольга Дроздова, Виктория Толстоганова, Елена Корикова, Артем Ткаченко и другие представители российского шоу-бизнеса. Гости и болельщики смогут увидеть в деле такие уникальные автомобили как Rоlls Rоусе Рhаntом 5 (1965 г. выпуска), Аustin-Неаlеу (1960 г.), Корд 810 с самолетным двигателем, на котором когда-то ездил сам Чкалов, кабриолет ВМW 327 (1937 г.), Сhеvrоlеt Соrvеttе (1960 г.), любимый автомобиль старшего командирского состава вермахта Меrсеdеs-Веnz 320 В1 (1936 г.), знаменитые Раскаrd и Саdillас, слывшие звездами гангстерского голливудского кино 1930-х годов, и многие другие. &quоt;Мы решили поддержать ралли &quоt;Подмосковье Сlаssiс&quоt; потому что считаем, что между нашей работой и тем, что делает Ралли Клуб Классических Автомобилей, много общего, – говорит вице-президент НПФ &quоt;ГАЗФОНД&quоt; Дмитрий Коншин. &ndаsh; Деятельность Ралли Клуба – яркий пример того, как можно любить и сохранять историю, продлевая жизнь старым автомобилям. Наши пенсионные программы &ndаsh; это по сути тот же мост из прошлого в будущее. Обеспечивая финансовую стабильность, они дают возможность заниматься любимым делом и по наступлении пенсионного возраста&quоt;. На время проведения мероприятия автогражданская ответственность всех участников пробега будет застрахована Генеральным страховым партнером ралли &quоt;Ингосстрах Еxсlusivе&quоt;. &quоt;Ингосстрах Еxсlusivе&quоt; &ndаsh; новое направление деятельности ведущей страховой компании ОСАО &quоt;Ингосстрах&quоt; в области страхования собственности высшего ценового сегмента. Ингосстрах-Еxсlusivе предлагает своим клиентам индивидуальный сервис, сочетающий управление страховыми продуктами и профессиональные консультации. Особенность спортивного ралли &quоt;Подмосковье Сlаssiс&quоt; – сложная спортивная составляющая гонки.

Мутант:

Ралли «Подмосковье Сlаssiс»

5 сентября в Музее техники на Ильинском шоссе при поддержке НПФ “ГАЗФОНД” и Ингосстрах-Еxсlusivе будет дан старт ралли традиционных автомобилей “Подмосковье Сlаssiс”. Конечно же все знают, что ралли, проводящееся уже пятый год подряд, в этом году получило абсолютно новый статус – оно и еще является I Этапом Кубка России по состязаниям на традиционных автомобилях. И говорить нечего, что по обыкновению, в состязании примут живое участие известные коллекционеры давних автомобилей, из числа коих один из собственников компании “Вимм-Билль-Данн” Евгений Ярославский, председатель комитета традиционных автомобилей РАФ, сенатор Виталий Богданов, первоначальный заместитель гендиректора ДСК-1 Андрей Паньковский, режиссер Юрий Грымов и великий актер Даниил Страхов. Естественно на мероприятие и еще приглашены Егор Кончаловский и Любовь Толкалина, Дмитрий Певцов и Ольга Дроздова, Виктория Толстоганова, Елена Корикова, Артем Ткаченко и иные представители отечесвенного грандиозное шоу-бизнеса.

Возможно, что это странно, но гости и болельщики сумеют увидать в деле эти уникальные автомобили как Rоlls Rоусе Рhаntом 5 (1965 г. выпуска), Аustin-Неаlеу (1960 г.), Корд 810 с самолетным двигателем, на котором если-то ездил своими руками Чкалов, кабриолет ВМW 327 (1937 г.), Сhеvrоlеt Соrvеttе (1960 г.), излюбленный автомобиль старшего командирского состава вермахта Меrсеdеs-Веnz 320 В1 (1936 г.), знаменитые Раскаrd и Саdillас, слывшие звездным небом гангстерского голливудского кино 1930-х годов, и многие другие. Бесспорно, “Мы подумали поддержать ралли “Подмосковье Сlаssiс” потому что считаем, что между нашей деятельностью и тем, что проделывает Ралли Клуб Классических Автомобилей, много общего, – говорит вице-президент НПФ “ГАЗФОНД” Дмитрий Коншин. &ndаsh; Деятельность Ралли Клуба – очень яркий яркий пример того, как можно без памяти любить и хранить ситуацию, продлевая жизнь старым автомобилям. Может казаться, что наши пенсионные программы &ndаsh; это по сути тот же мост из минувшего в будущее. Обеспечивая экономическую устойчивость, они выделяют возможность увлекаться любимым делом и по наступлении пенсионного возраста”. Что точно известно, так это то что на жаркое время проведения мероприятия автогражданская ответственность всех делегатов пробега будет застрахована Генеральным страховым партнером ралли “Ингосстрах Еxсlusivе”. “Ингосстрах Еxсlusivе” &ndаsh; новое направление деятельности ведущей страховой компании ОСАО “Ингосстрах” в области страхования собственности высшего ценового сегмента. Нет сомнения в том, что ингосстрах-Еxсlusivе предлагает своим посетителям личный сервис, сочетающий управление страховыми продуктами и профессиональные консультации. Кстати, особенность спортивного ралли “Подмосковье Сlаssiс” – трудная спортивная составляющая гонки.

Это было при обычном режиме, уникальность статьи получилась 59%. На мой взгляд, если не знать, что это статья уникализирована системой, то об этом никогда и не подумаешь.

Единственное, что я сегодня написал админу сервиса в асю “Я в шоке от качества мутации – это новый революционный прорыв. ” так оно и есть.

Для любителей статей “поуникальнее”, есть спец-функции:

• Мутаген
• Затупин
• Паразитин

Но только по их названиям понятно, что качество статей получается хуже, чем без их использования, зато они становятся более уникальными :)
Администрация всегда прислушивается к предложениям пользователей, и многое реализует.
Есть возможность пакетной загрузки статей, прикрепления к каждой статье своей метки и пакетной выгрузки контента.

Цена мутации 1к букв (именно букв, знаки не учитываются) 3 рубля.

Кроме того, статьи можно выгрузить вXML и импортировать в WP. Возможно так-же автоматически задавать даты публикации.

Gen-s.ru – мутируем статьи по-взрослому!

Гостевые посты используются для пиара собственных блогов.

Размещаются они на блогах популярных блоггеров. Для владельца блога гостевой пост – это дополнительный контент цена которого – пара ссылок.

Автор гостевого поста не получает ничего кроме новых посетителей, которые могут стать постоянными читателями.

Но я предлагаю ещё один бонус при публикации у меня гостевого поста – получить шанс выиграть $80.

Гостевые посты у меня публиковались редко. Я хочу это исправить :)

Чтобы стать участником, вы должны иметь блог и написать гостевой пост. Все посты, опубликованные в этом месяце будут участвовать в конкурсе. В начале сентября я объявлю победителя.
Победит тот, кто напишет наиболее интересный, полезный, запоминающийся материал, который получит наибольший отклик в виде комментариев.

Условия:

Перед тем, как брать перо и садиться за написание шедевра, напишите мне на email. В письме укажите тему на которую вы будете писать пост и вкратце изложите суть своего творения. Если мне понравится ваша идея, то я дам зеленый свет. Если же посчитаю, что идея мягко говоря “не очень”, то смысл в написании для вас будет, только если вы решите пост публиковать у себя в блоге – на моём блоге материал написанный по мотивам отвергнутой идеи, опубликован не будет.

Из всего выше написанного, внимательный читатель и будущий конкурсант должен сделать вывод, что писать всякое УГ, баян или банальщину, в надежде, что участников будет мало, не стоит.  Кроме того, после публикации вашего гостевого поста, вы должны будете в своём блоге опубликовать начало поста с ссылкой на полную версию.

Конкурс будет считаться состоявшимся, если в нём примет участие не меньше 7 блоггеров. Количество статей от 1 участников не ограничено, если материалы будут хорошие это только увеличит ваши шансы на победу.

Лёд тронулся, господа присяжные заседатели!

Ну а тем, кто захочет сказать своё “Фи”, я советую узнать цены на лечение зубов в стоматологии, поскольку я не потерплю такого нахальства.

Мы живём в эпоху web 2.0. Каждый день создаются сотни и тысячи новых сайтов. Стать автором нового проекта может каждый, поскольку особых усилий прикладывать не требуется, достаточно скачать любой из распространенных движков, установить его, найти дизайн, переделать его “под себя” и настроить сайт.

Но большая часть современных сайтов обречена на провал – их не будут посещать, их не будут читать, они не будут приносить доход. И всё это из-за неправильного проектирования своего детища.

Любой интернет-сайт должен развиваться – должен постепенно наполняться новым контентом, привлекать посетителей и, наконец, заполучить постоянную аудиторию.

Одним из ключевых моментов является идея. Идея – это всё, это и есть ваш будущий проект.

Допустим, идея у вас уже есть. Что дальше? А дальше нужно определиться с тем. что будет на сайте, какие разделы, какие статьи, с какой скоростью будут появляться новые материалы. Читать далее »