Для того, чтобы преуспеть, нужно четко знать — Почему и Зачем вам это нужно. Только четко зная это, мы прямо идем к цели. Когда мы знаем «Почему и Зачем» — мы находим «Как это сделать». По сути, начинать надо с конца. То есть, с поиска той самой, Истинной Причины, на кой Леший, вам понадобилось заниматься этим делом?
Вопросы на размышление для особо талантливых:
Вам нужны бабки, тачки, шмотки, или вы устали от того, что за вами никто не ухаживает?
Вам важен БМВ или количество слюны, выделяемой соседями?
Вам нужен автомат Калашникова или вам надоело, что вас никто не уважает?
Мужик голосует на обочине и, наконец, останавливает машину: — Это такси? — Да. — А почему шашечек нет? — Тебе шашечки или доехать?
Если вы не найдете ответа на вопрос: Почему и Зачем вам Все Это Надо, то у вас не будет нужной мотивации для действия. Нечему будет поднимать вас утром ни свет, ни заря с постели, и заставлять действовать, не смотря ни на что. И в этом случае, любое малейшее препятствие, самая маленькая трудность, приведет к отказу от дальнейших действий. Если у вас нет ответа на эти вопросы, то у вас НЕТ достаточной Мотивации, нет ДОСТАТОЧНОГО КОЛИЧЕСТВА ПРИЧИН для того, чтобы добиться успеха!
FFi Почему вы занимаетесь этим бизнесом?Фильм2
Жизнь так долго била некоторых Фэйсом об Тэйбл, что диву даешься — абсолютно одинаковые выражения Фэйсов у большинства. Приплюснуто-Продолговатые, Умно-Голодные, с единственной верой в «светлое будущее» (в конце тоннеля). Лениво-Всезнающие, с явно угадывающейся биркой на лбу: «Я недостоин. » «Это не по мне. » «Я не такая (Я жду трамвая). » «Я уже слишком стар (для большого секса). » «Я еще слишком молода (чтобы, пролетая — залететь). » «Смогу ли Я? (грузинская фамилия). » «Хочу ли Я? (еще одна грузинская фамилия). » «С хрена ли Мне? (просто прибалтийская фамилия)» и т. д., и т. п. А ведь. Если вы сами не управляете своей жизнью, ей будут управлять Другие люди, по своему собственному сценарию. И финал вам, скорее всего, — не понравится
МОТИВАЦИЯ
Таити, Таити. нас и здесь неплохо кормят
«Нет ничего более деморализующего, чем маленький, но стабильный доход». Эдмунд Уилсон
Мотивация — как много в этом звуке. Эта та штука, которая делает так, что люди ходят на работу, встают по утрам и делают покупки. При помощи мотивации человек может делать то. чего он не хочет делать. Но надо.Мотивация — это тот моторчик, который крутит маховик человеческого поведения. Многие люди умеют мотивировать себя сами, будучи обученными это делать.
Например, большинство умеет вставать по утрам самостоятельно, без «внешнего воздействия». Но во многих остальных случаях к ним приходится прикладывать усилие — «волшебный Пендаль».
4 основных причины отсутствия мотивации:
1)Низкая самооценка (с такой дурой, как я, все равно ни один нормальный дурак,не заговорит. ).
2)Прошлый неудачный опыт, (два раза не получилось (ложкой в рот попасть), в третий раз не буду и пытаться. ).
3)Отсутствие привлекательной цели, (что посеял, то и съел, а удивленью нет конца. ).
FFI Почему вы занимаетесь этим бизнесом? Фильм 1
4)Отсутствие «Волшебного Пендаля»! (Таити, Таити, нас и здесь неплохо кормят. )
Нужен пример мотивации? Пожалуйста! Вам известно Что может предложить Сетевой Маркетинг(СМ) — простому человеку? Конечно! Например:
— Вы можете Начать собственное дело с минимальными инвестициями и максимальной доходностью.
-Вы можете Иметь неограниченные доходы и построить карьеру, которые будут зависеть только от ВАС, и только от вашего упорства и собственных усилий.
-Этим бизнесом может заниматься каждый человек. Здесь не имеют значения ни пол, ни возраст, ни образование.
-Подписывая соглашение с компанией СМ, вы получаете заранее оформленное предприятие. Ваша Компания берет на себя заботу о производстве, складировании, отчетности, сертификации, освобождая вас от этих проблем.
-У вас появляется возможность выйти на международный уровень. В СМ, в отличие от непризнанных поэтов, Вас признают по заслугам.
-Общаясь с тысячами людей, Вы приобретаете надежных, необыкновенных друзей. При общении с преуспевающими людьми вы сами растете как личность.
-СМ дает Свободу выбора. Где жить, где и когда работать или отдыхать. СМ дает Возможность путешествовать.
-Ваши спонсоры кровно заинтересованы в Вашем успехе, поэтому вы всегда можете рассчитывать на поддержку партнеров по бизнесу.
-В СМ возможность банкротства исключена полностью. Это безрисковое предприятие.
-Вы получаете возможность пользоваться высококачественной продукцией по доступным ценам. У дистрибьютора фантастические скидки.
-Здесь у вас не будет бестолковых начальников и подчиненных. Вы сами выбираете с кем работать.
-Организованная система обучения Дает возможность преуспеть любому кто этого хочет и стремится к успеху.
Еще?
Начиная этот бизнес сегодня, вы получаете огромные перспективы и мощнейший инструмент для достижения ваших целей. Система оплаты труда в СМ, дает существенные доходы для дистрибьюторов, что позволяет в короткий срок добиваться серьезных заработков. Сетевой маркетинг — это мощный и динамично развивающийся сектор экономики, это тенденция будущего. В сегодняшнее время самые большие финансовые активы скапливаются в структурах организованных потребителей.
ЧТО ЭТО ЗНАЧИТ ЛИЧНО ДЛЯ ВАС? Для вас это означает, что вы сможете быстро начать собственный бизнес, не имея большого стартового капитала, что позволит вам, в короткий срок обрести долгожданную финансовую свободу.
Вы сможете пользоваться высококлассным продуктом за минимальные деньги, не оплачивая услуги посредников. Это повысит ваш уровень жизни и даст возможность реализовать ваши самые смелые идеи и мечты. Каждый из нас, в определенные моменты жизни, оказывается перед выбором. И от того, каким будет этот выбор, зависит течение нашей жизни.
И как это часто бывает, не так-то просто сделать этот выбор. «. Направо пойдешь — ни Хрена не найдешь. Налево пойдешь — Хрен найдешь. Прямо пойдешь — Он Сам тебя найдет. Останешься стоять — Сдохнешь нищим!»
Все зависит от того — достаточно ли у вас причин, для того чтобы изменить свою жизнь? И от того, — ЧТО, конкретно, вы хотите поменять в своей жизни? Каков основной мотив или основная причина, которая влияет на ваши действия? -Для кого-то это недостаток денег или желание зарабатывать больше, чем сейчас; —Для кого-то это желание решить проблемы со здоровьем, свои или своих близких; -Кому-то надоело зависеть от прихоти начальства или от неожиданностей (детских) нашего правительства; —Кому-то нравится путешествовать, и хотелось бы делать это чаще, чем раз в пятилетку; -Кому-то не хватает общения с интересными людьми, возможно, кто-то хотел бы этому научиться; -Кого-то волнует будущее их детей, и хотелось бы уже сегодня, сделать хоть что-то для его обеспечения; -Кто-то мечтает о блестящей карьере в бизнесе, возможно и в международном Бизнесе; -Кому-то хочется видеть себя в окружении состоятельных, успешных людей; -Это может быть всего лишь одно маленькое желание иметь больше свободного времени, для того чтобы чаще проводить это время со своей семьей, детьми, или заниматься любимым делом.
Это может быть всегоодна, единственная причина, для того, чтобы поднятьсвою ленивую задницу с дивана. Их может быть несколько. Важно лишь то, что вы и только высделаете этот выбор. НО!
Вы также можете ничего не делать, и тогда в вашей жизни ничего не изменится. ДОМ — РАБота. РАБота – ДОМ. Тахта. Тапочки. Телевизор. Инфаркт.
Инсульт. Импотенция. Получка. Пиво. Простатит. Ожирение. Отупение. Отстой. И самое интересное, что это решение тоже будет правильным, потому что оно будет вашим. А вы же всегда правы!?
Не так ли?
Фокус в том, что: Отказ от принятия решения ни к чему не приводит, вы все равно решение уже приняли — оставить ВСЕ по-старому. Вот только мне думается, что если бы вас устраивало ваше вчерашнее положение, вряд ли бы вы сегодня пришли в Сетевой Маркетинг. Верно? И если уж вы пришли в этот бизнес, то видимо, на это была веская причина! А причину определяет ответ на вопрос- ПОЧЕМУ?
А результаты определяет ответ на вопрос — ЗАЧЕМ? ПОЧЕМУ и ЗАЧЕМ Вы пришли в Сетевой Маркетинг? Ответ на этот вопрос — будет определять ВСЕ ваши действия в дальнейшем! Именно ответ на ЭТОТ вопрос, приведет вас к ответу на вопрос — «КАК делать этот бизнес?» Вам достаточно МОТИВАЦИИ. Резюме:Прежде чем начать что-либо делать, определите истинную причину того.
Почему и Зачем Вам Это Нужно. И Всегда стоит помнить о том, что: «Если не будешь мотивировать тихо сам себя, для того чтобы двигаться к своей цели, всегда найдутся мотиваторы на твою задницу, потому что голова у них уже есть, а твоя им – без надобности». С. Азимов
Источник: studopedia.info
Почему вы изначально решили заняться именно этим бизнесом?
Вас не удивило, почему я это спросил? Меня интересует ваша мотивация; что именно сподвигло вас взяться за эту деятельность.
Как только вы раскроете и приумножите свой энтузиазм по отношению к бизнесу и к тем людям, ради которых вы его создали, у вас не останется другого выхода, кроме как работать лучше, быстрее, проще и эффективнее. Поэтому мой первый вопрос посвящен тому, чтобы вернуть вас к тем причинам, почему вы начали именно этот бизнес, а не какой-либо другой.
Обычно в основе всего лежит любовь к самой работе и сильное желание сделать нечто для других. Зачастую, по прошествии нескольких лет, вам это наскучивает, и энтузиазм проходит. Решить эту проблему, как правило, проще простого: нужно вспомнить, почему вы выбрали именно это место работы или именно эту профессию.
Надеюсь, что при ответе на мой вопрос вас переполнили воспоминания. “Ого, да я уже и забыл, с чего все начиналось!”. Я очень хочу, чтобы вы снова пережили те чувства, которые двигали вами в самом начале пути. Буду надеяться, что у меня это получилось.
Я также хочу спросить, что именно привлекало ваших клиентов в самом начале – что вы делали, какую методику применяли, какой процесс осуществляли? К чему этот вопрос? Все потому, что сначала многие используют эффективный и действенный способ привлечения клиентов, но со временем бизнес становится более зрелым, формируется определенная клиентская база, и люди перестают делать то, что в начале деятельности принесло им успех.
Воспроизведите ту самую методику, которая позволила вам открыть свой бизнес и остаться на плаву – скорее всего, вы увидите, что забыли одну из самых продуманных и прибыльных концепций работы. Почему так произошло? Веских оснований для этого нет. Вы просто расслабились и стали почивать на лаврах. Так случается со многими.
Далее, я хочу задать вам свой следующий вопрос: «Почему вообще клиенты выбирали именно вас?» Своим ответом вы называете те ценности, преимущества, результаты, которыми обладаете в глазах потребителя.
Зачастую замедление роста или упадок бизнеса вызваны вовсе не обострившейся конкуренцией или увеличением цен, а тем, что бизнесмен утратил былой уровень оказания услуг и клиент перестал получать выгоды. Все очень просто: клиент прекращает обращаться в компанию, если сотрудничество с ней не приносит ему желаемых результатов.
Я задал этот вопрос, чтобы вы мысленно вернулись к первоначальным ценностям, преимуществам и эффективности; к тому, что вы делали на заре своего бизнеса, и спросили себя: «Предоставляю ли я все тот же уровень сервиса? Насколько это очевидно для клиентов? Не становятся ли наши взаимоотношения невыгодными для них?» Спорим, вам пришлось крепко задуматься на эту тему?
Продолжим. Следующий вопрос, наверно, самый значительным из всех, которые вам придется задавать себе самому. Как вы привлекли клиентов в самом начале своей деятельности?
Есть целый ряд причин, почему я добавил этот вопрос. Наиболее простой способ повышения объема продаж, ускорения роста и увеличения прибыльности бизнеса можно найти только при ясном понимании его основной и изначальной движущей силы. Огромное количество профессионалов даже не догадывается, что можно за один день исправить положение дел путем доработки той методики, которая у них уже в ходу. Основная цель, которой я добиваюсь этим вопросом, – заставить вас задуматься о той высоте, на которую вы хотите подняться.
Расслабьтесь, прямо сейчас не нужно давать ответ. Я еще покажу и продемонстрирую вам, как можно легко, без особых усилий, увеличивать эффективность бизнеса, используя все те же бизнес-модели, просто улучшая их. Но я хочу, чтобы вы крепко задумались, вышли за рамки привычных представлений и признали, что из методик, которые уже есть в вашем распоряжении, можно выжать еще очень и очень много.
Я хочу, чтобы вы усвоили еще одну истину, которая может вас сначала смутить, но как только вы разглядите в ней новые возможности, негативные чувства уступят место приятному волнению. В большинстве случаев, невозможно установить, как именно клиенты находят компанию. Часто это не имеет ничего общего с изначальной концепцией развития бизнеса или реализуемой маркетинговой стратегией. Поясню. Вы можете выделить значительные временные, материальные или человеческие ресурсы на рекламу, информационную рассылку или непосредственную дистрибуцию товара, но при анализе того, как клиенты, потребители или пациенты находят вас, вы убедитесь, что большинство из них пришли по чьей-то рекомендации.
Я часто сталкиваюсь с этим на рынке недвижимости, стоматологических и юридических услуг, и это очень показательный пример. Я общался примерно с двумя десятками агентов по недвижимости, и ответа на первый мой вопрос: “Как клиенты вас нашли?” – большинство из них дать не могут.
Я прошу их вернуться к истокам своей карьеры. Тогда они говорят, что от восьмидесяти до девяноста процентов их заказчиков пришли по рекомендации. И тогда я подхожу к главному вопросу. Я спрашиваю их: “Ну, хорошо, рекомендации составляют значительную часть вашего бизнеса?” – они соглашаются, – “Но сколько вы тратите времени и сил на подобное сарафанное радио?” Они смотрят на меня и отвечают, что не тратят поддержание этой части рекламы ни копейки. “Это странно, вам так не кажется?” – заключаю я. И они говорят: “Ну, вообще-то, да”.
Я хочу задать вам те же самые вопросы. Если вы осознаете, что залогом успеха является совсем не то, на что вы тратите деньги, время и трудовые резервы, то остается сделать несложный вывод и в один день перераспределить свои усилия, внимание и ресурсы на то, что действительно приносит плоды. Таким образом, еще одна цель моего вопроса состоит не только в том, чтобы изучить, на что в основном направлен ваш труд, но, что гораздо важнее, понять, что из сделанного приводит к желаемым результатам.
Следующий вопрос о том, насколько вы близки к потребителю, клиенту или пациенту на уровне продаж. То есть, происходит ли этот процесс напрямую. “Почему это важно?” – спросите вы.
В следующих рассылках вы узнаете, что главный принцип роста любого бизнеса – максимально точно знать, какие выгоды, результаты, прибыль и преимущества ждет от вас клиент, и приумножать их. Если связь с клиентом нарушена, вы просто не сможете приумножить то, чего он хочет от вас добиться. Поэтому мой вопрос должен поставить вас перед размышлением: “Прочна ли моя связь с клиентурой? То есть, личная связь, а не информация, поступающая из третьих рук”.
Прекрасно, если вы ответите на это вопрос положительно — тогда вам будет очень легко наладить дела. Но не расстраивайтесь, если вы ответили отрицательно. Все поправимо, если вы согласны регулярно выделять время на личные разговоры с потребителями ради установления доверительных отношений с ними. Хорошая новость: чем теснее будет ваш контакт с клиентами, тем приятнее для вас самих будет процесс ведения бизнеса, продажи товаров или оказания услуг.
Принцип прямого взаимодействия будет проходить красной нитью через все методики, которые вы узнаете в моей рассылке, потому что упрочнение контакта с клиентами и предоставление им лучших результатов – вот те киты, на которых покоится успех в бизнесе.
Контакт – это основа любых отношений. Нет ничего важнее, чем просто общаться, чувствовать нужды клиентов, смотреть на жизнь их глазами, изучать ситуацию с их точки зрения, по их сторону баррикад, следить за их делами, понимать их надежды, мечты и страхи. Все это разительно изменит ваш метод ведения бизнеса, и это привнесет радость, оживление и эффективность в каждое ваше действие и в дела всех, кто вовлечен в этот процесс вместе с вами.
Следующим вопрос о том, откуда именно приходят ваши клиенты, и этот вопрос касается не маркетинговых, а демографических исследований. Поясню. Я не спрашиваю о том, какие технологии служат для привлечения покупателей: меня, в буквальном смысле, интересует, откуда они к вам пришли.
Если они — ваши клиенты, что вы о них знаете такого, что определяет их как целевую аудиторию? Вероятно, они живут в определенной области или районе, или они ищут что-то материальное — например, автомобиль. Может быть, все они предпочитают конкретную марку – Lexus, Cadillac, Mercedes или BMW? Если вы продаете в business to business, то знаете ли вы, в какой нише работают ваши клиенты, как называется эта отрасль? Эти данные помогут определить, в какой из промышленных комплексов входят ваши клиенты, чем конкретно они занимаются чаще всего, а чем не занимаются вообще.
Если вы предоставляете профильные услуги, то насколько хорошо вы понимаете, кто из частных лиц или деловых компаний больше всего нуждается в них? Кто имеет достаточную квалификацию для заказа подобных услуг? В какой ситуации, или в какой период своего развития клиенты наиболее сильно нуждаются в вас? Почему это важно?
Потому что без четкого понимания того, на что стоит тратить свои силы и время, вы никогда не поймете, как распределить имеющиеся ресурсы с максимальной выгодой для себя. Другими словами, нужно сосредоточиться на том месте, где вы встретите наибольшее количество потенциальных клиентов. Логично, не правда ли? Но большинство людей поступают с точностью до наоборот.
Они размещают объявления в газете, 99% читателей которой не являются их потенциальными клиентам, хотя могут составить список рассылки, в котором 100 процентов адресатов – их целевая аудитория. В последнем случае, окупится каждый вложенный доллар и каждая потраченная минута — она станет в 10, а то и в 100 раз более эффективной при десятой или даже сотой части былых затрат.
Со стороны может показаться, что я, как проповедник, говорю об одном и том же, но моя цель – обеспечить максимальную результативность и эффективность каждого вашего действия и усилия, каждой использованной возможности. Вы добьетесь этого, только если сосредоточитесь на тех потенциальных клиентах, у которых наибольшие шансы стать вашими постоянными покупателями. Так что, если вам кажется, что эта тема очень меня волнует, то вы не ошиблись.
Одна-единственная мысль может повысить результативность вашей работы в два, в три, а то и в пять раз, при этом, зачастую, значительно снизить затраты. Так что, я надеюсь, что вас это взволновало не меньше, чем меня. Я задам вам еще один крайне важный вопрос: «Кому полезен ваш успех, кроме лично вас, членов вашей семьи, ваших подчиненных и ваших клиентов?» Давайте разберемся в этом. Если вы начнете практиковать мои идеи, то вы поймете, что нет правила или, тем более, закона, который обязывает вас работать в одиночку. Вы просто не должны этого делать.
На рынке есть ряд компаний, которые заинтересованы в вашем успехе едва ли не больше вас самих. Вы просто не замечали этого, не просили о помощи и не пользовались их желанием оказать ее. А они готовы предоставить вам финансирование или клиентов без риска для вас самих.
Задумайтесь, о чем это я? Кто получает дивиденды от увеличения количества ваших клиентов, объема продаж, вашего бизнеса в целом? Во-первых, выигрывают ваши поставщики. Развивается бизнес, растут продажи, появляются новые клиенты – вам нужно расширять ассортимент предоставляемых товаров и услуг или закупать больше сырья для их производства.
Ваши поставщики будут счастливы нарастить обороты сотрудничества. Что это значит? Это значит, что они напрямую заинтересованы в том, чтобы вы достигали новых высот. Как только вы поймете это, то обнаружите перед собой неисчерпаемые возможности.
Следите за моими постами и развивайте свой бизнес по-новому!
С уважением, Владислав Марясов.
Источник: moybiznesplan.ru
20 млн рублей в год на парсинге сайтов
Так как тема парсинга часто привлекает внимание и вызывает эмоции (в массе негативные), подготовил статью, где ответил на основные вопросы (их получилось 43) с которыми сталкивались в процессе работы и, надеюсь, развеял некоторые мифы.
1. Можно ли зарабатывать на парсинге? Да. Мы стали активно заниматься этим бизнесом в 2018 году и с тех пор к счастью растем. Привожу открытые налоговые данные.
В 2022 году надеемся, что результат будет чуть лучше.
2. В чем заключается бизнес на базе парсинга? Бизнес, условно говоря, можно разделить на две части: сбор данных и аналитика. Мы не занимаемся аналитикой (попробовали и поняли, что не потянем) и сконцентрировались только на сборе “сырых” данных. Другими словами — мы ежедневно предоставляем нашим заказчикам итоги парсинга в формате CSV/XML.
3. Что такое аналитика? Мало собрать данные, с ними надо уметь работать. Например, сервисы, которые занимаются аналитикой маркетплейсов. Эти команды парсят данные и сразу их обрабатывают в удобном для использования виде.
Как упоминал ранее, мы попробовали и не справились. Почему? Нужно очень хорошо знать предметную область, чтобы сделать качественную аналитику. Мы же парсим все, что “шевелится”: ) и далее наши клиенты сами работают с этими данными.
4. Что клиенты делают с данными? Анализируют, но как — мы не знаем. Наша задача обеспечить поставку на ежедневной основе полных данных. Знаю, что часть клиентов загружают данные в 1С для удобства работы менеджеров, кто-то работает с PowerBI/Google BigQuery, а кто-то просто предпочитает Excel и открывать файлы по протоколу WebDav (у вас файлы будут доступны в проводнике Windows, как будто они находятся локально).
5. Что вы парсите? Все то, что в открытом доступе и доступно к сбору руками человека. Например: цены на товары, наличие по магазинам и т. п. Мы не занимаемся парсингом сайтов, где требуется указать логин- пароль (или эти данные должен предоставить сам клиент, понимая, что риски на блокировку полностью на его стороне, но стараемся отговаривать от таких решений).
6. Какой средний чек в этом бизнесе? С некоторой погрешностью можно назвать сумму 15 000 руб. в месяц. Но учитывая, что это бизнес больше проектный, чем продуктовый, разброс цен может быть большой. У нас есть клиенты, которые платят 400 000 р. в месяц за большой набор данных, а есть совсем “малыши” с чеком 5 000 р. в месяц.
7. В чем плюсы и минусы этого бизнеса? 80% клиентов ожидают регулярные данные (ежедневно, еженедельно), что позволяет применять подписную модель (иными словами — регулярные платежи). Минус в большой конкуренции и низкой стоимости входа.
8. Этот бизнес масштабируем? Да, но не так просто, как хотелось бы. Любой новый клиент (если он крупный), требует усиление команды разработчиков.
9. Сколько у вас сейчас персонала? 5 разработчиков full time в штате и команда поддержки (сотрудники, которые занимаются ежедневным тестированием результатов суточного парсинга). У нас очень молодая команда, ребята учатся (магистратура, бакалавриат) и им очень интересно заниматься парсингом, особенно если этому противодействуют.
10. Почему вы занялись этим бизнесом? Совершенно случайно. Нас попросили собрать цены с Леруа Мерлен. Попробовали, получилось ну и закрутилось: ).
11. Много поддержки? Очень. Поддержка фактически прямо пропорциональна количеству сайтов, которые парсим. Любое изменение разметки сайта может привести к тому, что парсинг сломается.
Мы всегда предупреждаем клиентов, что такие риски существуют, но от этого объем работы не уменьшается).
12. Как клиенты получают данные? После многих экспериментов, мы остановились на частном облаке на базе NextCloud и я могу смело его рекомендовать. Удивительно устойчивое и бесплатное решение, регулярно обновляется, есть документированное API.
Мы ежедневно выгружаем огромный объем данных на это облако в виде файлов, а клиенты забирают информацию удобным способом: API, WebDav, браузер. Звучит не так уж сложно, но как показал опыт — работает.
13. Сколько у вас серверов задействовано? Недавно заказали 6-й. Ранее мы парсили с VPS/VDS, но оказалось, что экономически целесообразнее парсить с помощью bare metal серверов (иными словами “железные” выделенные сервера), которые мы арендуем в нескольких ДЦ. В месяц сервера нам обходятся в ~70 000 руб. и сейчас, к сожалению, сильно подорожала аренда.
Перед арендой мы рассказываем хостеру (ДЦ) в чем суть нашего бизнеса, как мы работаем и т. п. Очень редко (может быть раз в год) поступают жалобы на работу наших парсеров хостеру, но всегда вопросы урегулируем.
14. Насколько этот бизнес устойчив к санкциям? Мы, откровенно говоря, ничего не заметили. 100% наших клиентов в СНГ (80% Россия, 20% Казахстан, Беларусь и т. п.). Разве что пришлось открыть еще один расчетный счет помимо Альфа-Банка (клиенты из Казахстана не могли оплачивать).
15. Какие типы сайтов вы парсите? Любые, где есть открытые данные. Подчеркну — парсинг фактически означает автоматизацию того, что может сделать руками человек. Чаще всего (90%) просят парсить Интернет-магазины, которые относятся к категории ТОП 100.
16. Были судебные угрозы? Пару раз мы получали предупреждающие письма от компаний, которые находили у нас примеры парсинга их сайтов. Последний раз я получил письмо от CEO Aviasales, который угрожал судом и жесткой расправой, хотя по факту мы их не парсили на момент обращения.
Претензия была оформлена некой нанятой юридической компанией с непонятными трактовками, т. к. видимо юристы не совсем поняли о чем идет речь вообще. Я думаю, что когда Aviasales столкнулся с массовым парсингом, они сделали рассылку претензии по всем компаниям, которые публично заявляют, что занимаются этим бизнесом на тот случай, что кто-то отреагирует.
Было еще обращение от компании, которая отслеживает упоминание товарных знаков (простите, могу ошибаться, кажется это были brandmonitor), чтобы мы убрали упоминание Эльдорадо. Нам тоже грозили небесными карами, но чуть успокоились и перешли в более конструктивное русло, когда мы запросили официальные документы на подтверждение представления интересов компании Эльдорадо в этом вопросе. Чтобы сгладить вопрос, мы теперь выкладываем примеры парсинга вот с таким названием (см. ниже). Полная чепуха, понимаю, но юридически безопаснее (нет времени и желания заниматься юридической бюрократией).
17. Можно ли получить льготы от государства, как ИТ- компании? Пытаемся, т. к. фактически мы работаем с базами данных (в законе есть соответствующие формулировки). В Сколково точно не возьмут: )
18. Парсить этично? Сложный вопрос, полагаю что да. Вообще мне кажется, что бизнес должны работать в правовом поле, а не рассматривать свое существование как этичное или нет. Вопрос философский, но обсуждаемый, т. к. парсинг зачастую вызывает негативные эмоции. Никто не любит, если их парсят.
Но я сотрудникам всегда говорю — при общении с новым клиентом, если мы вдруг парсим его сайт, обязательно расскажите про это.
19. Парсить законно? Да, если вы соблюдаете некоторые моменты. Я не буду приводить развернутую юридическую оценку нашего бизнеса, но если говорить коротко — то любая общедоступная информация может собираться, если это не наносит вред источнику и не нарушает прав. Канцелярским языком это звучит следующим образом:
Организация вправе осуществлять автоматизированный сбор информации (парсинг сайтов), размещенной в открытом доступе на сайтах в сети интернет если соблюдаются следующие условия:
Информация находится в открытом доступе и не защищается законодательством об авторских и смежных правах.
Автоматизированный сбор осуществляется законными способами.
Автоматизированный сбор информации не приводит к нарушению в работе сайтов в сети интернет.
Автоматизированный сбор информации не приводит к ограничению конкуренции.
Вот, например, обычный запрос от клиента:
“Здравствуйте. Мне нужен парсер, который будет ежедневно собирать остатки с сайта поставщика и отдавать их в виде excel файла или xml фида.”
20. А что относительно авторского права? Не нужно просто парсить (или использовать) информацию, которая может быть объектом авторского права. Например описания товаров.
К счастью, 99% клиентов просят нас собирать фактические данные, которые не попадают под эту категорию: цена, бренд, категория и т. п. Тут уместно упомянуть Яндекс/Google, которые парсят ваш сайт, собирая контент с страниц в свой индекс. Владельцам сайтов это нравится, т. к. это увеличивает посещаемость, а парсинг не нравится, т. к. потенциально усиливает конкурента. Но эти роботы действуют одинаково.
21. Я написал в оферте на моем сайте, что запрещаю парсинг! Простите, но это никого не интересует и вашу оферту никто читать не будет.
22. Усложняю вам парсинг — цену выведу картинкой! Хоть звучит смешно, но встречали и такое на ряде сайтов. Пожалуйста, не тратьте свое время — библиотеки распознавания изображений работают великолепно. Вы же не будете цены на ваши товары выводить следующим образом:
23. Я тогда ограничу количество запросов, а потом попрошу решить капчу (captcha) и это усложнит вам работу сильно! Есть очень дешевые сервисы ручного решения капчи. Упрощенно говоря, когда наши роботы встречают капчу, по API мы подключаем этот сервис, которые перекидывает задачу оператору для ручного решения. В месяц мы тратим порядка 4 000 р. на оплачу этих сервисов.
24. Вы сильно нагружаете сайты, которые парсите? Нет. Никто не хочет сделать так, чтобы владельцы сайта, раздраженные мощной, паразитной нагрузкой от парсеров, стали внедрять механизмы защиты, которые просто усложняют нам «жизнь”. Если говорить про абсолютные цифры, то нормальным считаем парсинг данных с карточки одного товара в 3-4 секунды.
К сожалению, не все придерживаются такой парадигмы и ко мне лично обращались владельцы сайтов, которые уточняли не мы ли их парсим, т. к. нагрузка была запредельной. Чаще всего причина в »кривых руках” разработчиков.
25. Чем парсинг отличается от DDOS? Тем, что наша задача — автоматизированный сбор данных, на регулярной основе, в течении длительного времени. DDOS преследует совершенно иную цель —” сломать” сайт.
26. Вы взламываете сайты? Нет и не планируем. Бывает, что нас просят «как-то решить” с получением данных, которые защищены паролем. Но это не наш бизнес и вообще это не бизнес, а некая »тема” относящаяся уже к darknet.
27. Можно ли защититься от парсинга? Нет, но можно усложнить парсинг до такой степени, что мы начнем отказывать клиентам, т. к. для клиента это будет экономически невыгодно оплачивать нашу исследовательскую работу по обходу защиты. Все что доступно без пароля в сети Интернет так или иначе может быть собрано автоматизированным способом.
28. Все же, какой самый лучший способ защиты? Выложить данные в формате XML и дать ссылку. Вас гарантированно перестанут парсить и будут забирать данные в удобном виде. Звучит, конечно, как некая утопия и я понимаю, что мало кто последует данному совету, но это единственный способ избежать парсинга.
29. У кого самая сложная защита? АВИТО. У них достаточно ресурсов, чтобы заниматься этим вопросом на очень высоком уровне. Причем, как я думаю, в основном компании защищаются не от самого парсинга, а от DDOS — атак, а парсинг, образно говоря, попадает “под раздачу” защитными фильтрами.
30. Нужно ли мне внедрять на своем сайте защиту? В случае промышленного парсинга, лично мое мнение, — защита не очень поможет, но может усложнить задачу. Но совершенно точно любая защита может отсеять «студентов”, которые вчера прочитали книжку «Парсинг с помощью Python для чайников”. Бизнес устроен так, что чем сложнее парсить сайт, тем дороже будет цена для конечного клиента и тем больше усилий будет приложено командой для решения задачи.
31. Много у вас конкурентов? Очень. Много фрилансеров-самозанятых, которые предлагают услуги парсинга значительно дешевле наших. Насколько мне известно, к ним обращаются за разовым услугами, т. к. если заниматься парсингом регулярно, должна уже быть команда специалистов в штате на поддержку.
32. Как вы обходите защиту? Прокси. Разные. Много. Смена fingerprint (цифровой отпечаток браузера).
Плюс — опыт команды, который накопился за несколько лет. Чем сложнее защита, тем медленнее парсинг, т.к. нам приходится, например, решать капчу — а это время. Сайты на 5-6 запрос просят решить капчу, парсер ждет решения человеком, далее продолжает работу (меняя fingerprint), до следующего запроса на решение.
33. Что думаете про cloudflare? Научились обходить. Но отмечу, что этот сервис в основном ставят для CDN/DDOS, а не для защиты от парсинга. С введением санкций количество сайтов с ним упало. Qrator отличное решение для защиты от DDOS — атак тоже добавляем нам сложностей 🙂
34. Как вы ищите клиентов? Тут мы не оригинальны и все клиенты приходят через сайт с помощью органического трафика (Яндекс и Google 50-50%). Мы пытались давать контекстную рекламу, но отдачу не увидели. Самое результативное, что догадались сделать — публиковать примеры (статичные) парсинга известных компаний на своем сайте с возможностью их скачать и изучить.
Дальше люди просят данные уже в динамике и мы заключаем договор. Пример ниже, цифры по скачиванию честные. Сам сайт сделан на WordPress, ничего сложного.
35. На что конкретно заключается договор? Автоматизированный сбор неструктурированных данных с открытых источников в сети Интернет с преобразованием в структурированные данные. Собственно так и есть.
36. Какой запрос на парсинг самый частый? “Соберите мне, пожалуйста, контакты маркетологов фитнес-центров г. Казань”. Это не шутка, именно подобные запросы мы получаем чаще всего. Задача не имеет роботизированного решения, т. к. мы не работаем с персональными данными людей, которые еще и не хотят их делать публичными.
Мы можем сделать, например, базу Интернет-магазинов косметики, с помощью анализа title/description сайтов в зоне. RU/. РФ и собрать публичные адреса электронной почты и телефоны. Но не решить задачу по сбору личных контактов ЛПР.
Какие еще интересные запросы вы получаете? Вот, пожалуйста. Задача тоже не имеет никакого решения.
“Здравствуйте, хотим получить базу стоматологических клиник. При возможности параметры: в городах больше 500,000. Более 4 кабинетов в клинике. Средний чек больше 7000. + Имейл и телефон ЛПР (рабочие, не пустые)”
37. Как делают базы компаний? Создание баз компаний с открытыми данными — производная парсинга. Настраивают роботов, которые обходят все сайты в Рунете (где-то 6.5 млн.) и собирают общедоступные данные. Таким образом можно создать, например, Базу всех ресторанов и кафе, Базу оптовых компаний и т. п. В любом случае, обрабатываются только общедоступные, публичные корпоративные данные.
38. А вы делаете матчинг товаров? Нет. Может быть зря, но наша задача — поставлять данные регулярно, в запрашиваемом клиентом объеме. Признаю, что если сделать “шаг вперед” и заняться матчингом товаров между разными продавцами и продавать аналитическую отчетность, мы могли бы добиться больших результатов.
Могу ошибаться, но именно этим занимаются наши конкуренты (или смежники, так лучше назвать) и финансовые результаты по выручке у них явно лучше (см. ниже, я завидую :). Что удерживает? Ресурсоемкость. Матчить (сопоставлять) между собой товары по названию между разными игроками на постоянно основе очень сложно. Мы пытались внедрять различные алгоритмы, которые частично автоматизируют этот процесс, но результаты были неудовлетворительные (попробуйте, например, сопоставить аптечные препараты с фасовкой-граммовкой-литражом).
39. Почему крупные компании заказывают парсинг на стороне, а не делают сами? Причины разные. Очень крупные, публичные компании, сталкиваются с рекомендациями своих юристов/СБ, чтобы никоем образом не быть самим вовлеченными в автоматизированном сборе данных (это не домыслы, а опыт общения). Другие компании не хотят заниматься наймом дополнительных разработчиков, управлять ими, тестировать результаты и т. п.
40. Компании вообще знают, что вы (или кто-то другой) их парсит? Часто новые клиенты спрашивают (в шутку или нет), а не парсим ли мы их случайно!? Наша позиция — мы честно отвечаем как есть. Только один раз, крупный клиент рассердился и сказал, что если мы хотим с ним работать, прекратить парсить его.
В итоге мы с ним не работаем.
41. Вы храните данные исторические? Нет. Нам не «по карману» хранить историю ежедневного среза цен по всем магазинам. Звучит очень интересно, но нашими силами это не потянуть.
Мы регулярно удаляем данные старше 7 дней.
42. Можете выйти на глобальные рынки? Боюсь что нет. Это больше проектная деятельность, чем продуктовая. Нужен менеджер по работе с клиентами с отличным английским, поддержка на этом языке и т.п. Но совершенно точно — можно работать на локальных рынках и зарабатывать, т.к. услуга востребованная.
Чем больше информации, чем активнее идет цифровая трансформация (простите за этот изъезженный термин), тем больше востребованность превращения неструктурированных данных в структурированные!
Спасибо за внимание, старался быть краток и по делу — не стесняйтесь задавать свои вопросы в комментариях.
p. s. Не ругайтесь: ) я понимаю, что парсинг сразу настраивает на негатив. Но это обычный бизнес, которым, уверяю вас, занимаются 80% торговых компаний (в том или ином виде) .
- парсинг
- парсинг контента
- парсинг сайта
- парсинг json
- парсинг html
Источник: habr.com
