Month: June 2017

Так у вас большие данные или маленький компьютер?

Так у вас большие данные или маленький компьютер?

 Товарищи учёные, доценты с кандидатами уже не первый год совещаются в поте лица, сочиняют определение термина “Big Data”, чтобы потом увековечить его в очередном эпохальном ФЗ. А тем временем я расскажу вам, что это такое.

Многие думают, что Big Data – это когда много данных. А что такое много? Гига-, тера-, пента-? Неспособность вашего компьютера обработать ваши данные (“многа буковок ниасилил”) не делает ваши данные Big Data. Скорее всего, у вас не большие данные, а маленький компьютер.

Главное отличительное свойство Big Data, о котором я сейчас скажу, приведет немало почтеннейшей публики в состояние разрыва шаблона. Оно, это свойство, заключается в том, что, работая с большими данными, вы никогда не получите точный ответ на свой запрос. Как же так? Мы привыкли, что если уж компьютер посчитал – это точно.

Существуют ряд причин, по которым получаемая вами из Big Data информация будет всегда приблизительной, с большей или меньшей степенью ошибки.

Если вы пишете запрос к обычной базе данных найти всех людей по фамилии Иванов, вы уверены, что полученный список будет включать всех существующих Ивановых. В случае с Big Data это не так.

В любой момент времени точное количество Ивановых неизвестно. Часть из них умерла, но информация об этом ещё не занесена в базу данных, а часть – родилась, но тоже ещё не зарегистрированы, потому что в Петропавловске-Камчатском – полночь. У некоторых Ивановых фамилия занесена в базу данных с ошибкой, например – Ивонов, Ивнов и т.д., и они не будут найдены. Часть базы данных, находящаяся в на Дальнем востоке, подверглась кибератаке и не ответила на запрос, поэтому все находящиеся в этом сегменте Ивановы тоже не были найдены. Так как с большими данными работают сотни приложений, сочинённых не совсем пряморукими кодерами, всегда часть из этих приложений глючит (как наш с вами любимый ЛинкедИн), и в любой конкретный момент времени  что-нибудь, да не работает.

То есть, работая с Big Data, вы всегда получаете не точный, а более-менее правильный ответ – с некоторой степенью ошибки. Как в известном анекдоте: «Сколько будет 2х2? – Ну, в основном четыре, редко – пять, а совсем редко – даже 8 бывает». Раньше это был анекдот. А теперь это – нормальный результат работы с Big Data.

Поэтому одна из самых важных проблем, которую приходится решать при работе с большими данными – как при неточных, содержащих ошибки, искажения и тому подобные прелести исходных данных, получить результат с необходимой (приемлемой) точностью. А если вы всё же нашли способ получать в любой момент времени совершенно точный результат при работе с данными – извиняюсь, у вас уже не Big Data, сколько бы тера и пентабайт данных там не было.

Собственно, для получения достаточно точных результатов при некачественных исходных данных существуют всего два метода. Но об этом в другой раз.

Advertisements
Воскресные истории. Черчилл.

Воскресные истории. Черчилл.

 Сегодня воскресенье. Кто-то копает грядки, кто-то пьёт водку в гаражах. А я решил потратить час жизни и написать кое-что для Вас. Уинстон Черчилл – мой любимый политик. Некоторые цитаты, которые я перевёл специально для вас:

1. “Лучшее доказательство против демократии – пятиминутная беседа со средним избирателем.” Мои комментарии: просто правда. А вы как считаете?

2. Когда Bessie Braddock сказала ему на званом ужине: “Уинстон, вы пьяны. И более того, вы отвратительно пьяны” – он ей ответил: “Моя дорогая, вы уродливы. И более того, вы отвратительно уродливы. Но завтра я буду трезвым, а вы – всё также отвратительно уродливы”. Мои комментарии: за пару секунд найти, что ответить на явное оскорбление (будучи пьяным) – и ответить так, что это войдёт в классику….

3. “Мы знаем, что американцы всегда найдут правильное решение проблемы – после того, как они переберут все остальные варианты.” Мои комментарии: жизнь каждый день это подтверждает.

4. “Вы имеете врагов? Отлично, это значит, что вы достигли чего-то в своей жизни.” Мои комментарии: кстати, у меня есть множество врагов.

5. “Ложь облетит половину земного шара, пока правда ищет свои носки”. Мои комментарии: это современные СМИ – интернет окрыляет.

6. Леди Astor: “Уинстон, если бы я была вашей женой, я бы отравила ваш кофе”. Черчилл: “Нэнси, если бы я был вашим мужем, я бы тут же выпил этот кофе”. Мой комментарий: мгновенная реакция находить сбалансированный ответ.

7. “Демократия – это худшая форма правления, если исключить все остальные”. Мой комментарий: а существует ли она вообще?

8. “Я легко удовлетворяюсь самым лучшим”. Мой комментарий: супер самоирония.

9. “Успех – это путь от неудачи к неудаче без потери энтузиазма”. Мой комментарий: так и живём.

10. “Я балдею от свиней. Собаки смотрят на нас снизу вверх. Кошки смотрят на нас сверху вниз. И только свиньи смотрят на нас как на равных”. Мой комментарий: теперь я понял, почему моя жена часто называет меня этим словом и смотрит, как на равного.

11. “Покажите мне молодого консерватора, и я покажу вам человека, у которого нет сердца. Покажите мне пожилого либерала, и я покажу вам человека, у которого нет мозгов.” Мой комментарий: Вспомнились – Поклонская и Познер. Случайно.

12. “Я всегда люблю учиться, но не люблю, когда меня поучают”. Мой комментарий: критическое мышление – основа анализа информации.

13. “Не перебивайте меня, когда я перебиваю вас!” Мой комментарий: это моё жизненное кредо.

И закончу:

14. “Шутка – это очень серьёзная вещь”.

З.Ы.

  1. Наша ежегодная конференция по обеспечению безопасности бизнеса: http://bit.ly/2otLfpw Пока ещё есть места и даже скидки.

2. Ближайший вебинар по большим данным и технологиям интернета вещей во внутреннем контроле (28 июня): http://bit.ly/2rynPpu К сожалению, билетики уже закончились. Технические ограничения системы. Но пишитесь в лист ожидания – 30% записавшихся не приходят, поэтому практикуем overbooking. Мы – как Аэрофлот. Только не летаем:)

Вечный двигатель и искусственный интеллект

Вечный двигатель и искусственный интеллект

Последние лет 200 успешно существуют три фишки для наукообразного развода лохов. На них кормятся тучные стада “британских учёных” и им подобных. Это:

– изобретение вечного двигателя;

– оценка и управление рисками;

– создание искусственного интеллекта.

Была ещё четвёртая фишка – поиск философского камня, способного превращать любое г-но в золото. Но эта фишка, увы, накрылась: способ делать золото из воздуха был монополизирован американским правительством, которое наделало его (золота) из воздуха аж на 20 триллионов. И многие верят, что это золото.

Так что если вы слышите:

– мы изобрели вечный двигатель;

– мы умеем оценивать риски;

– мы создали искусственный интеллект;

то знайте – перед вами шарлатаны. Они, будучи припёртыми к стенке, скажут: “да мы тут не при делах, мы просто маркетологи”:) Все их “изобретения”, на проверку, оказываются просто брехнёй, происходящей из полной безграмотности брешущего.

Оставим в стороне вечный двигатель. С ним, похоже, уже (почти) разобрались. Но те господа-товарищи, которым я задавал уточняющие вопросы по поводу их умения оценивать риски или работы “созданного” ими искусственного интеллекта, демонстрировали в лучшем случае умение хорошо манипулировать конъюнктурой и втирать очки руководству, а в худшем – уровень образования четырех классов церковно-приходской школы. Нет, ц-п школу я зря обидел. Тут всё намного хуже.

Поверьте, если бы кто-то на самом деле умел оценивать риски (вот как они есть, например – случится ли завтра война) – он бы стал самым богатым человеком в мире. Баффет (моё уважение к этому самому великому в мире человеку) просто застрелился бы от зависти.

Поверьте, если бы те люди, которые заявляют, что создали (или завтра создадут) искусственный интеллект, прочитали бы несколько книжек по этой теме, а перед этим получили бы нормальное образование – то им было бы стыдно пороть такую херунду.

Дорогие мои, искусственный интеллект создать невозможно. По причине того, что чтобы создать искусственную копию себя, нужно быть на следующем уровне эволюции. Кошка не может осознать себя на уровне, достаточном для создания копии себя. Я имею в виду – сознательным, не путем полового размножения. Мы можем клонировать кошку, но не способны создать компьютерный её аналог, ведущий себя так же. Что же говорить об “искусственном разуме”?

Если вы думаете, что человек способен создать AI, вам – прямая дорога в церковную семинарию. Потому что из этого прямо следует божественное происхождение человека. Ни одно существо не может создать искусственный аналог себя, а человек может? Уж не бог ли в человеке обитает?

А потом я с удовольствием послушаю вашу проповедь. Я разве против? Люблю слушать, как космические корабли бороздят ….

На самом деле, вечный двигатель существует. Это человеческая лень и глупость.

Мораль сей басни, приложения и продолжения.

  1. Мне жалко тех молодых ребят, которые начинают (и заканчивают) своё образование изучением С++ или любых других языков программирования. Они пытаются разработать искусственный интеллект, и выглядит это как муха, которая долбается об оконное стекло. До тех пор, пока, обдолбанная, не рухнет лапками кверху на подоконник. Хотя открытая форточка – рядом.
  2. Начинать образование надо с начала – с философии, логики и прочей херни, которой страдали не самые тупые люди последнюю пару тысяч лет. Тогда научишься видеть открытую форточку.
По самые помидоры

По самые помидоры

Может быть, кто-нибудь из экспертов объяснит экономический смысл происходящего?

На фото: помидоры, купленные в супермаркете в Словении. Кто не силён в языках, перевожу этикетку: “Помидоры. Выращено в Бельгии”.

А теперь, собственно, несколько фактов – как информация к размышлению.

Факт 1. Огромное количество словенцев работают в соседних Австрии, Германии. Да и в Бельгии их полно. В самой Словении нет ни работы, ни денег. На чек-пойнте платной дороги из Словении в Австрию в прошлое воскресенье, вечером была очередь длиной 6 км – так спешили гастарбайтеры вернутся на свои рабочие места к началу следующей трудовой недели.

Факт 2. Помидоры, выращенные в Бельгии гастарбайтерами (возможно из той же Словении), везут продавать из Бельгии в Словению.

Факт 3. Климат для выращивания помидоров в Словении гораздо более подходящий, чем в Бельгии. Тепла и солнца раза в два больше.

Факт 4. Еще несколько лет назад ездил в Словению пожрать местных помидор по причине их низкой цены (0,50 евро за кг) и шикарного вкуса. Теперь в супермаркете в основном голландские и бельгийские по 1.80-2.90.

А теперь, внимание: вопрос для знатоков:

– В чём и для кого экономический смысл происходящего?

Личная информационная безопасность. Урок 2.

Личная информационная безопасность. Урок 2.

Напоминаю, что рассказываю здесь о таких правилах информационной безопасности, о которых не пишут и информация о которых не так легко доступна. Причина – широкое распространение знаний в массах сделает эти массы менее уязвимыми, а бизнес и управление ими – менее прибыльным. Так вот, сегодня поговорим о публичных WiFi.

У меня есть хорошее сравнение: «Пользоваться бесплатным интернетом – это всё равно, что облизывать тарелки в столовой. И не наешься, и заразу подхватить шансов в сто раз больше».

Придумал специально, чтобы мозги вправлять, воздействуя на эмоциональном уровне. Тем, кто падок на халяву. Основные точки опасности, которые предлагают вам бесплатный интернет: кафе (рестораны), публичный транспорт (московское метро, например), отели и курорты.

Возможны два варианта атаки: 1) от владельца сети (уж не думаете ли вы, что сыр вам бесплатно предлагают?). Кто-то за это платит. Кто бы это мог быть? Угадайте с трёх раз. 2) От некоего частного субъекта (хакера), подключившегося к этой сети с недостаточно чистыми помыслами.

И один из этих вариантов с вами случится в 100% случаев. Помню, отдыхая в Венгрии, в очень неплохом отеле, я как-то необдуманно подключился к местному WiFi. И потом оставшиеся две недели боролся с попытками перехватить все мои пароли и получить доступ ко всему, что только возможно. А рядовой, не отягощенный премудростями ИБ человек ничего бы и не заметил.

Да и скорость у этих публичных WiFi, надо сказать, очень напоминает объедки на тарелке. То пусто, то густо. А то – вообще никак.

Поэтому, друзья – никаких публичных WiFi. Неужели так сложно чуток потерпеть? Или, как я, возите с собой чистый от всяких значимых паролей смартфон. Ну, посерфить там всякие сайты, узнать новости. Если уж невтерпежь.

З.Ы. Наша ежегодная конференция по обеспечению безопасности бизнеса: http://bit.ly/2otLfpw

Ближайший вебинар по большим данным и технологиям интернета вещей во внутреннем контроле (28 июня): http://bit.ly/2rynPpu

Личная информационная безопасность. Урок 1.

Личная информационная безопасность. Урок 1.

В этой серии заметок (по многочисленным просьбам трудящихся) я планирую рассказать об актуальных угрозах личной информационной безопасности – именно о тех, о которых вы нигде больше не сможете прочитать. Потому что распространение такой информации блокируется всеми информационными сервисами. Потому что они зарабатывают на этом деньги.

Итак, совет первый.

Вы получаете на свой смартфон смс-сообщение от сервиса, в котором недавно зарегистрировались: «Уважаемый Иван Иванович, установите наше приложение, и вы сможете … Далее варианты: быть в курсе курса валют, иметь доступ отовсюду, получать нечто почти бесценное, иметь вечную ауру, халяву и т.д. – всё вместе и по отдельности». Услужливо приложена ссылочка, по которой надо кликнуть, чтобы счастье случилось без лишних хлопот.

Перевожу на понятный русский язык: «Уважаемый …., установите наше приложение, и мы сможем получать почти бесценную информацию о вас – где вы сейчас, что собираетесь делать, какие фото вы храните на телефоне, кто ваши контакты, каково содержание ваших смс. И мы будем продавать эту информацию всем, кто готов за неё платить и поставлять спецслужбам».

Даже если приложение, которое вы устанавливаете, не просит разрешения на доступ к вашим изображениям и смс, это не значит, что разработчик приложения не получит к ним доступ. Дело в том, что Гугл, по лицензионному соглашению, которое вы приняли, имеет доступ ко всем этим данным. А разработчик приложения может их купить у Гугл (через пару-тройку прокладок- поставшиков «обезличенных данных»). Главное – чтобы он знал, кого хочет клиент (то есть вас), а для этого надо, чтобы клиент установил приложение.

Скажите, а правда это удобнее – иметь доступ к своему интернет банку со смартфона? Я вот не понимаю, зачем это вам надо. Зачем надо это им, понятно. А вам-то зачем? Срочно проводить платежи на ходу на улице? А оно вам точно надо? С деньгами нужно работать дома, в спокойной обстановке, выключив телевизор и жену. На специальном компьютере, на котором вы ничего больше не делаете, по интернетам не шаритесь, всяких программ соблазнительных и картинок не скачиваете, электронную почту не принимаете. Деньги любят тишину. Вот как-то так.

Так что, не устанавливайте никакие приложения всяких поставщиков услуг и товаров на свой смартфон. И будет вам счастье. Аминь.

З.Ы. А ещё напоминаю, что в октябре у нас будет … не помню какая по счёту (столько не живут) ежегодная конференция по обеспечению безопасности бизнеса. Там всё обсудим поподробнее. Для участников, как обычно, планируем всяческие ценные подарки. Всем уже зарегистрированным – предварительные встречи со спикерами (в видео режиме), а посетившим лично – уникальный круг общения лучших специалистов по безопасности бизнеса.

https://www.acfe-rus.com/annualconferencefraudprevention2017