Команда IT специалистов выполнит подготовку инфраструктуры для вашего бизнеса.
Внедрение самых передовых решений и технологий.
Поддержка и сопровождение ваших сервисов.
Выполнение работ под "ключ", от покупки сервера, до настройки автоматизации процессов.
8(977)608-78-62 adm@nixm.ru

BigData следит за тобой!

Что угодно, кроме мата и нарушения законодательства РФ
Аватара пользователя
Oleg65
Местный говорун
Местный говорун
Сообщения: 859
Зарегистрирован: 18 янв 2015, 10:56
Откуда: г.Коломна Моск.обл.

Re: BigData следит за тобой!

Сообщение Oleg65 »

Это все понятно, но указанное количество данных
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.
это вообще ни о чем, даже для составления поверхностного понимания об индивидууме в узкой полосе анализируемых данных, а здесь-то спектр: 300 случайно поставленных лайков в бесконечном отрезке времени - цифра 300 нивелируется полностью в бесконечности... Если в течении какого-то тестового времени, то возможно, но опять же с очень большими корреляционными отклонениями (ну например, Вы любите, хотите и едите мороженое как только вам представляется случай, но в данный момент времени эта статическая взаимосвязь нарушается, у Вас на тесте стресс, и вы отвечаете на вопрос: вы сильно любите мороженое - да, а на вопрос: вы хотите мороженое - нелогичным нет и т.д. и т.п.). Как бы лукавство... :?
Olej

Re: BigData следит за тобой!

Сообщение Olej »

Oleg65 писал(а):но указанное количество данных
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.
это вообще ни о чем, даже для составления поверхностного понимания об индивидууме в узкой полосе анализируемых данных
1. Это статистика по результатам, публикуемая и обсуждаемая от специалистов по обработка данных. Обсуждение достигнутых цифр.
2. Здесь нет "узкой полосы анализируемых данных", а есть в точности до наоборот: здесь очень большой объём увязываемых данных (хоть и плохо структурируемых): смысл и настроения сообщения, которому поставлен лайк + автор этого сообщения, его участия в социальных группах, закупаемые ним по Интернет товары и т.д. + анализ общественно-политического контекста (новостей) даты простановки лайка, ... и мн. мн. другое. В Интернет ничего не теряется, всё хранится и подлежит анализу. Это целое дерево субъектов и лиц, которое тянется за единственным лайком: автор сообщения, чьи сообщения он лайкает, чьи сообщения они лайкают и далее, далее, далее...
Вы просто не в курсе обсуждаемых технологий и возможностей. А вот авторы этих методов обработки очень даже понимают.
Почитайте подборку статей на хабре (6 или 7 шт.), на 1-ю из которых я показывал ссылку.

P.S. Вот подборка этих публикаций:
Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce
Big Data от А до Я. Часть 2: Hadoop
Big data от А до Я. Часть 3: Приемы и стратегии разработки MapReduce-приложений
Big Data от А до Я. Часть 4: Hbase
Big Data от A до Я. Часть 5.1: Hive — SQL-движок над MapReduce
Big Data от A до Я. Часть 5.2: Продвинутые возможности hive
Аватара пользователя
Oleg65
Местный говорун
Местный говорун
Сообщения: 859
Зарегистрирован: 18 янв 2015, 10:56
Откуда: г.Коломна Моск.обл.

Re: BigData следит за тобой!

Сообщение Oleg65 »

Olej, Вы просто не услышали меня. Систематизировать мое поведение в Интернете можно, но сказать, что я за человек, что мне нравится, чем я живу.... Неее! Например: В интернет-магазине я заказываю вещь, которая понадобилась или понравилась моей жене (какие-то вещи для себя), лайкаю фотку или картинку, которая понравилась другу или моей девушке при совместном просмотре (сам - практически ничего не лайкаю), на форуме я не грублю, толерантен и дружелюбен - в быту тиран, скандалист, склочник и т.д. Обо мне можно узнать только статистику, но никогда не составить мой истинный портрет. У меня был комбат (отличный боевой офицер, вместе служили в ДРА), который любил цветы и вышивал (хобби такое). Если он будет лайкать фотки цветов и чего-то подобное - то что можно сказать о человеке, кроме того, что ему нравятся цветы... Скажу больше: мне приходит много рекламы с товарами, которые я, да и моя жена, никогда не куплю - у них тоже работает что-то подобное, они то же анализируют и составляют мой портрет покупателя,но получается плохо, хотя стараются предлагать достаточно широкий спектр товаров. У человека есть настроение, желание, привычки и они могут меняться под влиянием тех или иных причин, кроме того есть просто случайные поступки, опять таки обусловленные одномоментным изменением обстановки. Не знаю, наверное какие-то технологии и существуют, но все равно - достаточно точно судить о человеке по небольшому количеству (300) случайных данных.... :shock:
Olej

Re: BigData следит за тобой!

Сообщение Olej »

Oleg65 писал(а):Систематизировать мое поведение в Интернете можно, но сказать, что я за человек, что мне нравится, чем я живу.... Неее!
Продолжайте свято верить ... в свою веру. ;)
Аватара пользователя
Oleg65
Местный говорун
Местный говорун
Сообщения: 859
Зарегистрирован: 18 янв 2015, 10:56
Откуда: г.Коломна Моск.обл.

Re: BigData следит за тобой!

Сообщение Oleg65 »

Наверное я не совсем был прав. Если говорить об одном человеке, то да, на основании собранной на него статистики можно собрать на него какой-то приблизительный портрет. Но все-таки, этот портрет, наверное, будет составлять не алгоритм, а специалист на основе этой статистики?
Olej

Re: BigData следит за тобой!

Сообщение Olej »

Oleg65 писал(а):Наверное я не совсем был прав. Если говорить об одном человеке, то да, на основании собранной на него статистики можно собрать на него какой-то приблизительный портрет. Но все-таки, этот портрет, наверное, будет составлять не алгоритм, а специалист на основе этой статистики?
Здесь есть 2 аспекта:
1. Обработку (детализацию алгоритма) будет делать специалист по предметной области ... сейчас их развелось как собак нерезанных: социальная психология, гельштадт психология, бихеоверизм и т.д. и т.п.
2. Обработку алгоритмы Big Data будут вести на чудовищно больших объёмах перекрёстной информации. Таких, которые не влазят ни в какие обозримые размеры оперативной памяти. И для обработки каких объёмов не было никаких технических средств ещё 10 лет назад. На этом временном отрезке происходит качественный слом стереотипов.

Вот и интересно: в каком состоянии находятся алгоритмы обработки и что там можно ожидать?
Olej

Re: BigData следит за тобой!

Сообщение Olej »

Вот интересно в тему:

Четвертая мировая. Big Data :
Примерно тот же фокус и с нашим "сознанием". Мы, конечно, считаем его невероятно мощным, но его действительный КПД курам на смех. Рассуждая, мы можем удерживать в сознании не более семи-девяти объектов, а делая выводы, способны учесть не больше трех-четырех параметров.

Конечно, и этим можно гордиться, особенно сравнивая себя с кольчатыми червями. Но глупо делать то же самое, когда нашим конкурентом выступает машина, которая, принимая решение о нас и нашей жизни, учитывает неограниченное множество элементов ситуации.

Да, искусственный интеллект не сам стал таким сообразительным, но и не мы сделали его таковым, не надо обольщаться. Всему виной человеческая глупость и высокомерие: мы, не осознавая рисков, разоблачились перед ним подчистую, провели, так сказать, полный скрининг своей "экзистенции".

И теперь искусственный интеллект знает про нас все. Это, собственно, и есть та самая BIG DATA, а по-русски говоря, "большие данные".
Искусственному интеллекту не надо «думать»: он просто учитывает все факты и действует соответствующе.
Андрей Курпатов
Или вот посмотрите, как работает переводчик Google — это же диво какое-то расчудесное! Но как он научился так складно писать на всех языках?

Сначала разработчики допустили ту же самую ошибку: они пытались учить машину языку, как первоклашку из школы для детей с отставанием в развитии. Но толку от этого было мало.

Так что и в этом случае создатели искусственного интеллекта плюнули на попытки очеловечивания электроники, загрузили в систему все документы ООН (которые, понятно, одновременно переведены на большинство языков), и искусственный интеллект сам обнаружил в этих файлах все необходимые ему взаимосвязи.

Знает ли переводчик Google язык так же, как знаем его мы? Нет. Знает ли он правила языка, которые знаем мы? Нет. Понимает ли он, о чем идет речь, когда он переводит слово за словом, предложение за предложением? Нет.

А ему и не надо, он просто очень хорошо решает поставленную задачу — сначала выявляет скрытые в больших массивах данных одному ему понятные закономерности, а затем использует их в работе уже с другими данными. Получается идеально.

Короче говоря, там, где мы действуем интуитивно, впотьмах и, мягко говоря, не всегда успешно, искусственный интеллект, взращенный на нивах больших данных, работает четко, строго и результативно. Правда, мы не знаем как. Больше того, мы нашим ограниченным сознанием этого и не поймем.
Ученые шепчутся, а журналисты бодро пишут о том, что Трамп выиграл эти выборы благодаря BIG DATA. Наверняка мы об этом, конечно, ничего не знаем. Но в том, что случилось, согласитесь, обнаруживается масса странностей. Во-первых, оскандалились социологи: по данным предварительных соцопросов, победа Клинтон казалась неизбежной. А вот на тебе. Во-вторых, почти вся американская пресса — этот великий рупор общественного мнения, — была против Трампа. Но Дональду хоть бы хны: в огне не горит, в воде не тонет. Наконец, в-третьих, какая-то совершенно удивительная прицельная стрельба по выборщикам: по этому ключевому для результатов выборов показателю Трамп побеждает Клинтон с большим запасом, тогда как фактических голосов американцев за него отдано на два миллиона меньше.

О том, что в деле замешаны именно BIG DATA, судят по двум весьма косвенным признакам.
Авторство технологии, судя по всему, принадлежит поляку Михалу Козинскому. Работая в Кембриджской лаборатории психометрии, он сделал приложение для Facebook, которое позволило собрать огромное количество данных о психотипах пользователей этой социальной сети.

Сличив эти данные с поведением пользователей в аккаунтах, Козинский получил алгоритм, который всего по 68 лайкам в Facebook определял цвет кожи человека, его сексуальную ориентацию, политические взгляды, уровень интеллекта, религиозность, отношение к алкоголю и так далее, и тому подобное.

Первая научная статья на эту тему была опубликована в 2012 году, а с тех пор прогресс, как вы понимаете, был сделан большой.
Модель Козинского научилась за десять лайков узнавать человека лучше, чем коллеги по работе, а за триста — чем родители или супруг.
Андрей Курпатов
Аватара пользователя
Oleg65
Местный говорун
Местный говорун
Сообщения: 859
Зарегистрирован: 18 янв 2015, 10:56
Откуда: г.Коломна Моск.обл.

Re: BigData следит за тобой!

Сообщение Oleg65 »

Как бы все спорно. Вот здесь -
Психометрия, которую иногда зовут психографией, представляет собой попытку измерить человеческую личность.
Обратите внимание - попытку! При том, что (оттуда же)
С подобными лекциями Козинский разъезжает по всему миру, ведь он является ведущим экспертом в психометрии — разделе психологии, основанном на анализе данных.
Поэтому вангую: это что-то типа фирмы Касперского - отлавливает вирусы, но они все равно залетают в компьютер, так и здесь - ПОЛУЧИЛОСЬ! - и далее весь интернет перепечатывает результаты по лайкам и т.д. Ну, реклама хорошая! Вот тогда встречный вопрос: если это работает, то получается возможным перевести эмоции произведений , ну скажем Достоевского, в плоскость математической формулы (машина же не умеет читать эмоции!)? Тогда следует опять вопрос: простая задача для математика - перемешать равномерно шарики в объеме. Но вот условие - с учетом трения - ставит математиков в ступор.... :shock: Так как же - если мы можем математически определить типизацию индивидума, то почему не возможно решить более "обыденную" задачу? М.б. это все реклама и пугание, а Козинский - просто одаренный (в прямом и в финансовом смысле, как афиша) "козел отпущения"? :oops:
Olej

Re: BigData следит за тобой!

Сообщение Olej »

Oleg65 писал(а):Как бы все спорно. Вот здесь
Очень интересно было почитать!

P.S. А вы сразу в крик: "флу-у-уд ... флу-у-уд ..." ;)
Аватара пользователя
Oleg65
Местный говорун
Местный говорун
Сообщения: 859
Зарегистрирован: 18 янв 2015, 10:56
Откуда: г.Коломна Моск.обл.

Re: BigData следит за тобой!

Сообщение Oleg65 »

Olej, т.е это сложный процесс, в котором участвуют многие и многие, а не одна какая то "технология"... Ну, по крайней мере, рядовому пользователю впадать в параною смысла нет, на него никто не будет тратить столько денег. :D :D :D :D Но тенденция - да, заставляет задуматься (хотя, что там!!! - интернет уже в нас!!! И мы исправно ежемесячно оплачиваем его и все это!!!) :D :D :D
Ответить

Вернуться в «Флудилка»