相关文章
HTTP协议发展历程-HTTP2【协议篇】
HTTP2.0
HTTP2为了解决HTTP1.1中存在的问题。其中慢启动和TCP连接竞争是TCP本身导致的，在H2中依赖的还是TCP协议，不过思路换了一下。 HTTP/2 的思路就是一个域名只使用一个 TCP 长连接来传输数据，这样整个页面资源的下载过程只需要一次慢启动…
HTTP2 协议完整解析
HTTP 协议自诞生以来经历了多次修订和更改, HTTP/2 相比于 HTTP/1.0 和 HTTP/1.1 有了革命性的变更, 从它的大版本号由 1 变为 2 也可以看出这是一次巨大的升级, HTTP/2 主要解决 HTTP/1.x 协议交互效率低下的问题, HTTP 使用 TCP 作为传输层协议, 在 HTTP/1.0 [RFC 1945] 中, …
TDW 2019 | 微众银行AI能力融入系统设计 打破医疗信息化困境
2019年10月30日，第四届TDW腾讯设计周在深圳举办。作为一年一度的设计师盛会，TDW2019以“Design for Good设计向善”为主题，汇聚众多国际大咖与行业专家，分享行业前沿设计理念及应用落地，共探行业突破口，践行…
腾讯TDW千台Spark千亿节点对相似度计算
本文将介绍腾讯TDW使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例，通过实验对比，我们优化后的性能是MapReduce的6倍以上，是GraphX的2倍以上。 相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推…
拿什么保护你---TDW数据安全
互联网时代，大数据扮演着极为重要的角色；腾讯作为中国最大社交平台，具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台，集中了公司90%以上产品（近400款）的核心数据&am…
![腾讯TDW:大型Hadoop集群应用[转载]](http://pic.002.xiahunao.cn/pnds/腾讯TDW:大型Hadoop集群应用[转载])
腾讯TDW:大型Hadoop集群应用[转载]
转自：http://www.uml.org.cn/sjjm/201508103.asp 作者：Uri Margalit 来源：InfoQ 发布于：2015-8-10 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行…
大规模Hadoop集群实践：腾讯分布式数据仓库（TDW）
TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库&…
腾讯大数据之 TDW 计算引擎解析——Shuffle
腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过程进行比较。 目录[-] 1、Shuffle过程介绍…
腾讯-- TDW数据仓库数据安全
互联网时代，大数据扮演着极为重要的角色；腾讯作为中国最大社交平台，具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台，集中了公司90%以上产品（近400款）的核心数据&am…
TDW千台Spark千亿节点对相似度计算
相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销，…
腾讯TDW：大型Hadoop集群应用
PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式…
大规模Hadoop集群在腾讯数据仓库TDW的实践
随着业务的快速增长，TDW的节点数也在增加，对单个大规模Hadoop集群的需求也越来越强烈。TDW需要做单个大规模集群，主要是从数据共享、计算资源共享、减轻运营负担和成本等三个方面考虑。 1. 数据共享。TDW之前在多个IDC部署数十个集群…
腾讯公司数据平台高级架构师 郭玮：TDW在Hadoop上的实践分享
腾讯是一个巨无霸公司，我们日常的生活中已与它产生了千丝万缕的联系，不可避免的也产生了海量的数据，如何正确而快速地处理这些海量数据，腾讯数据平台高级架构师郭玮通过发表主题为“TDW在Hadoop上的实践分享”的演讲，向…
TDW开源：腾讯的分布式数据仓库
腾讯分布式数据仓库 ( Tencent distributed Data Warehouse，简称TDW) 是腾讯基于开源软件研发的大数据处理平台，它基于Hadoop、Hive、PostgreSQL之上进行研发，历经4年多的研发和运营。目前，TDW已经开源。 腾讯分布式数据仓库&…
TDW计算引擎解析——Scheduler
腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造，目前单集群最大规模达到5600台，每日作业数达到100多万，已经成为公司最大的离线数据处理平台。为了满…
学习（待更新）)
ThreeDWorld(TDW)学习（待更新）
目录 前言 1.TDW 2.transport challenge 总结 前言
因为挑战赛了解到tdw仿真平台。
想了解的请点击：
GitHub - threedworld-mit/tdw: ThreeDWorld simulation environment
GitHub - chuangg/tdw-transport-challenge-starter-code 1.TDW
ThreeDWorld (TDW)是一…
腾讯大数据之TDW计算引擎解析——Shuffle
腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造，目前单集群最大规模达到5600台，每日作业数达到100多万，已经成为公司最大的离线数据处理平台。为了满…
MTK7621:交换芯片数据接收
交换机数据接收流程
注册中断接收函数
文件gsw_mt7621.c中，在switch驱动加载时，注册中断接收函数：
int mtk_gsw_init(struct fe_priv *priv)
{struct device_node *np priv->switch_np;struct platform_device *pdev of_find_device_…
WebRTC::FEC
WebRTC::FEC
目录
WebRTC::FEC ULPFECFLEXFECEncode ulpfecDecode ulpfec动态 FEC 冗余度FlexFEC in WebRTC
WebRTC::FEC
Tags: WebRTC FEC WebRTC中的 FEC 实现分为 UlpFEC 和 FlexFEC ulpfec:rfc 5109 FlexFEC还在实现中, 相关标准也还是 RFC草案.详见:FlexFex WebRTC对F…