Система провайдера реагирует именно на p2p траффик, шифрование не помогает, но из этого не следует, что p2p траффик однозначно классифицируется... ¬ ͜ ¬ Непоказательно, значит... Понятно, ты решил, что когда уже столько всего наплел, задний ход давать не комильфо, да и вдруг проканает. ¬ ͜ ¬
Где доказательства, что системы представленных провайдеров реагируют именно на шифрованный p2p-трафик, а не в том числе? Шейпить != блокировать, и active probe китайцы не от скуки придумывали.
Ой молодец, сам же себя поймал... У тебя Yota с одной стороны режет все, что не соответствует белому листу, а с другой "шейпинг на Йоте можно было обойти небольшим тюнингом клиента". К слову, я Yota пользовался, там ограничения p2p обходились по средствам VPN, это про "режет активный обмен данным в принципе", а раньше там вообще p2p никак не шейпился. Такие дела, но то, что ты в не курсе меня не удивляет. ¬ ͜ ¬
К слову, у меня знакомый ей тоже пользовался, и резались там не только торренты, но и игровой трафик, и FTP (sic!). Научились приложения в несколько потоков работать на свою беду. Помогло шифрование, отключение DHT и уменьшение количества соединений. Интеллектуальные системы 21-го века.
Ух какая чудесатая логика. ¬ ͜ ¬ Ты видимо не понимаешь, что разработчики протокола не могут по велению третьего глаза крутить код как им вздумается, они вынуждены постоянно следить за эффективностью протокола и качеством этого самого кода, тогда как разрабам DPI нужно всего лишь определить новый патерн в поведении протокола и добавить его в базу. Как бы помягче сказать, по временным затратам это несопоставимые операции, впрочем ты это и сам понимаешь, но продолжаешь лепить горбатого. ¬ ͜ ¬
Всего лишь. Паттерн, во-первых, должен быть составлен таким образом, чтобы не порезать "честный" трафик. Во-вторых, далеко не все можно решить одними шаблонами (это тебе не URL блокировать), придется лезть и руками править конкретные модули. Учитывая, кстати, мое достаточно продолжительное знакомство с программным кодом в телекоммуникационном оборудовании (китайским в т.ч.), там ни о каких паттернах, как правило, речи вообще не идет. Это на словах все красиво, а на самом деле - ад и Израиль, мир отчаяния и самых страшных кошмаров.
Ну да. Проблема - не зарезать еще банкинг какой-нибудь или чуваков, удаленно администрирующих корпоративные сервера. И, кстати, я действительно могу поднять выделенный сервер где-нибудь в Эквадоре, а потом еще и определенное количество народа через него пускать.
Цель обычно стоит сделать технологию настолько неудобной в использовании, что абсолютное большинство от нее откажется.
Ирония ситуации в том, что авторское право и ограничение информации - вещи еще более неудобные, чем любая технология. Китайцам порезали интернет - они перешли на прокси, порезали прокси - они перешли на тор, порезали тор - перешли на VPN, запретили 4-ое июня - придумали 35-ое мая. И так до бесконечности. Лет 10 назад подобными словами можно было ввести человека в ступор, а сейчас 40-летние сварщики спрашивают на форуме, как поднять I2P. Рядовые пользователи сами сидят и находят дырки в политиках шейпинга у провайдера. Запреты в Интернете - как сухой закон, когда водка в магазинах волшебным образом превращается в самопал внутри чайника. Пока государство борется с торрентами, общество борется с ним самим, и это какбэ естественный процесс сопротивления. Алсо, рассуждая на правах лирического отступления, даже если предположить, что торренты серьезно порежут, в итоге все равно найдутся люди, которые будут доставать контент, выкладывать его в локалках, записывать с винта на винт и так далее. Как в начале 2000-х и раньше.
Алсо, рассуждая на правах лирического отступления, даже если предположить, что торренты серьезно порежут, в итоге все равно найдутся люди, которые будут доставать контент, выкладывать его в локалках, записывать с винта на винт и так далее. Как в начале 2000-х и раньше.
Я с этим не спорю и более того полностью согласен. Вообще вся фабула того, что я написал, про другое, речь о том, что если государство захочет сделать поводок покороче, оно это сделает. Мы сейчас вообще слишком привыкли к доступности различного защищенного авторским правом контента и забыли, что это не "право", а особая "привилегия", которую в силу определенных обстоятельств мы получили и которую нужно ценить. И мы можем, к сожалению, ее лишиться. Вот взять, TPP, о котором тут напомнил Джон, за что ему спасибо. Если оно будет принято, то мы много чего потеряем. Например мы привыкли к тому, что можно спокойно пойти и почитать практически любую мангу, за которую, кстати в Японии хотят неприличных денег, или посмотреть свеженький блюр аниме, за который, кстати, тоже хотят неприличных денег в Японии. Так вот этого может легко не стать благодаря TPP. Хотя учитывая невысокое качество современных тайтлов, я от такого события на стенку лезть не буду.
Шейпить != блокировать, и active probe китайцы не от скуки придумывали.
Возможность шейпить/детектировать конкретный тип трафика - это тоже самое, что и возможность блокировать его. Китайцы active probe придумали потому что сложность и ширина задачи у них сильно другая. В их случае нужно контролировать все, включая до сели невиданные протоколы и их реализации. В нашем же случае нужно контролировать ВСЕГДА МАССОВЫЙ протокол и его реализации. Говоря более понятным языком, китайцам нужно, чтобы даже блоха не проскочила, а нам и ружья на слона хватит. Но это все лирика, давай возьмем немно конкретики. goo.gl/l10a8x (www.openu.ac.il/home/mikel/papers/60490373 [ 1 ].pdf) - вот хорошая статья на тему практической реализации алгоритмов распознавания шифрованного трафика на основе статистической классификации. И там как раз уделено немалое внимание распознаванию шифрованного bittorrent трафика. Пара ключевых тезисов оттуда:
The current paper introduces a hybrid statistical algorithm that integrates two basic and well known machine learning algorithms, known as k-nearest neighbors and k-means. The algorithm is fast, accurate and most important it is insensitive to encrypted traffic.
The strength of our algorithm is demonstrated on Encrypted BitTorrent, one of the hardest applications to identify. The BitTorrent development community puts a lot of effort into detection avoidance and uses port alternation, packet padding (on initial flow packets) and encryption as part of this effort. Actually, as to encryption, it turns out that it identifies encrypted and non-encrypted BitTorrent flows with the exact same accuracy.
One of the main purposes of this study was dealing with encrypted flows in realtime. Indeed, encrypted BitTorrent exhibited results similar to non-encrypted BitTorrent. Also note that Skype (which is encrypted) exhibits an accuracy similar to BitTorrent. These results look very promising and indicate that our algorithm is insensitive to encryption and can classify encrypted traffic as easily as non-encrypted one.
Realtime evaluation.We tested the feasibility of our algorithm in a realtime embedded environment, by implementing the k-nearest neighbors and hybrid algorithms on the SCE2020 platform, one of Cisco’s network traffic controllers. More specifically, the algorithms were developed and implemented as a standalone component (in C++, on a PPC dual core) on SCE 2020.
Technical Limitations. The algorithm employs basic mathematical calculations, mostly simple additions and multiplications. Implementing such an algorithm may be more challenging on a platform that does not support floating point primitives, although this difficulty is of course solvable in software. Memory. The algorithm used 76 bytes per flow on the statistics collection phase and one Megabyte for the training set. Taking into account a concurrency level of a few thousand flows (in the classification phase) and the use of an LRU table, the classifier uses only 4-5Mb. This is a very low figure (for core classifiers) and fits our realtime low memory usage requirement. Performance. Running the algorithm did not appear to exert any stress on the CPU.
Для тех, кто не знает английский, кратко изложу смысл, ученые в этой статье тестировали в реальных условиях алгоритм распознавания различных типов зашифрованного трафика. Делали они это на обычной платформе Cisco SCE 2020, без каких либо масштабных и сложных датацетров, вычислительных кластеров и тому подобного. В процессе тестирования алгоритм показал крайне выскую эффективность распознавания bittorrent траффика не зависимо от шифрования оного. Ниже табличка оттуда. Дело было в 2010м году. Все еще будешь спорить?
Ты хоть знаешь, что такое СОРМ? Или ты хочешь сказать, что внедрить новую сложную систему аналитики информационных потоков и обеспечить доступ к уже существующей системе аналитики информационных потоков - это одно и тоже с точки зрения финансовых затрат!? 0_o Конечно интернет провайдеров обязали расширить логирование и хранить логи дольше, но это, извини, совсем из другой оперы и затраты там минимальные. Хотя я не удивлен, что ты в очередной раз пытаешься съехать на экономику... ¬ ͜ ¬
Где доказательства, что системы представленных провайдеров реагируют именно на шифрованный p2p-трафик, а не в том числе?
Во-первых, если бы даже провайдеры реагировали на что-то другое, это бы не означало, что они не определяют p2p траффик, просто в силу того, что пров может захотеть заблокировать еще что-то, во-вторых если бы что-то подобное имело место быть оно бы было описано в таблице. Напротив же четко написано:
J:COM (Zaq) Ultra 160M, Osaka area. Throttling speeds on all P2P connections only on their 160M plan. 60Kbyte/s - 70Kbyte/s down speed. HTTP / FTP downloads 8 - 12 Mbyte/s.
J:COM (zaq) start speed throttling from August2011.160M connection only shows 15 to 20K speed. They admit that P2P is blocked from now.
К слову, у меня знакомый ей тоже пользовался, и резались там не только торренты, но и игровой трафик, и FTP (sic!).
Если хочется поговорить именно о FTP, у нашей организации в одной из лабораторий в Питере интернет для сотрудников предоставляется через Yota, обмениваться данными через FTP приходится часто, проблем пока не было. То, что ты описал, больше смахивает на ситуацию когда базовая станция просто перегружена. )
Учитывая, кстати, мое достаточно продолжительное знакомство с программным кодом в телекоммуникационном оборудовании (китайским в т.ч.), там ни о каких паттернах, как правило, речи вообще не идет.
Учитывая, что ты до недавнего времени был вообще не в курсе методик идентификация обфусцированного, включая шифрованный, трафика, то у меня, и не только у меня, есть достаточные основания не верить твоим словам. Тогда как у меня нет причин не доверять реально работающим практическим реализациям, эффектность которых я мог лицезреть собственными глазами, на которые присутствует техническая документация в свободном доступе и отзывы других людей, также у меня нет причин не доверять научным публикациям, оформленным по всем правилами.
Заодно попробуй нагуглить их реальную эффективность. С Йотой я уже знаком.
Судя по тому, что и как ты пишешь - ты с ней все же не знаком. С эффективностью нет никаких проблем, что косвенно ты можешь видить по работе нерусских провайдеров из моей таблицы.
Значит сам не можешь, так бы и сказал. У меня уже складывается такое впечатление, что ты решил поднять своей профессиональный уровень за мой счет, сам не знаешь, искать информацию не можешь, зато все время просишь, чтобы я тебе что-то нашел... ¬ ͜ ¬ Билайн использует решения Procera, Мегафон использует решения Huawei, МТС использует решения Cisco.
Ну да. Проблема - не зарезать еще банкинг какой-нибудь или чуваков, удаленно администрирующих корпоративные сервера.
Абсолютно не проблема, просто легализовать шифрование по разрешительному признаку. Кто не согласовал - идет лесом. Причем в этом нет ничего нового, что-то подобное уже использовалось в некоторых государствах Европы(искать лень, а по памяти писать не хочу, чтобы не спутать).
Китайцам порезали интернет - они перешли на прокси, порезали прокси - они перешли на тор, порезали тор - перешли на VPN, запретили 4-ое июня - придумали 35-ое мая. И так до бесконечности.
У китайцев надо дать поправку на то, что там сильно лобби защищающие от тотальных блокировок. Они же какое-то время думали, зарубить весь VPN, который не будет одобрен партией, потом решили отложить эту идею до лучших времен, и не потому, что они не могут, а потому что это не выгодно кому-то . Не, я как бы не спорю, что будут бороться, но ты же сам понимаешь, что до тех пор пока мы говорим о различных вариантах надстроек над текущей инфраструктурой сети, способ блокировать эти надстройки так или иначе найдется. Вот если будут придуманы другие варианты коммуникаций с другими базовыми протоколами, тогда - да, вариант чего-то незакрываемого возможен.
К слову, я Yota пользовался, там ограничения p2p обходились по средствам VPN, это про "режет активный обмен данным в принципе", а раньше там вообще p2p никак не шейпился. Такие дела, но то, что ты в не курсе меня не удивляет. ¬ ͜ ¬
Помогло шифрование, отключение DHT и уменьшение количества соединений. Интеллектуальные системы 21-го века.
Паттерн, во-первых, должен быть составлен таким образом, чтобы не порезать "честный" трафик.
Во-вторых, далеко не все можно решить одними шаблонами (это тебе не URL блокировать), придется лезть и руками править конкретные модули. Учитывая, кстати, мое достаточно продолжительное знакомство с программным кодом в телекоммуникационном оборудовании (китайским в т.ч.), там ни о каких паттернах, как правило, речи вообще не идет. Это на словах все красиво, а на самом деле - ад и Израиль, мир отчаяния и самых страшных кошмаров.
Еще пара слов про VPN:
И, кстати, я действительно могу поднять выделенный сервер где-нибудь в Эквадоре, а потом еще и определенное количество народа через него пускать.
Лет 10 назад подобными словами можно было ввести человека в ступор, а сейчас 40-летние сварщики спрашивают на форуме, как поднять I2P. Рядовые пользователи сами сидят и находят дырки в политиках шейпинга у провайдера.
Запреты в Интернете - как сухой закон, когда водка в магазинах волшебным образом превращается в самопал внутри чайника. Пока государство борется с торрентами, общество борется с ним самим, и это какбэ естественный процесс сопротивления.
Алсо, рассуждая на правах лирического отступления, даже если предположить, что торренты серьезно порежут, в итоге все равно найдутся люди, которые будут доставать контент, выкладывать его в локалках, записывать с винта на винт и так далее. Как в начале 2000-х и раньше.
@Shir0,@Shir0