ITeye博客

云端计算

sid1211 · 共 17 篇文章

博客迁地

我现在的博客地址是http://www.cnblogs.com/sidmeng/

2012-03-26T09:54:51Z · 评论(0)

javascript之闭包

闭包:函数可以在执行的时候访问它被创建时候所处的上下文环境 一个最常见的闭包的例子 var lis = document.getElementsByTagName("li"); //wrong example 绑定的是变量i,而不是函数在构造时候的变量i的值 var addHandler = function(nodes) { var i; for( i = 0; i < nodes.length; i++) { nodes[i].onclick = function() { alert(i); } } }; // addHandler(lis); //正确的例子 var addHandle…

2011-10-08T16:22:52Z · javascript · 评论(0)

pdsh

最近在搞一些集群的配置管理,使用了pdsh,还是比较好使,首先要通过ssh打通集群中所有主机。 pdsh的 使用方法是: pdsh -w ssh:user@node[1-n] command

2011-09-30T11:12:57Z · 评论(0)

VirtualBox设置共享文件夹失败的解决方法

virtualBox安装完成后,需要虚拟机与主机进行通信,有两种方式可以进行传输。 第一种方法是主机使用secureCRT直接从虚拟机传输或获取文件,类似于两台主机之间的通信,他需要虚拟机的网络设置为桥接模式,并且虚拟机安装了ssh server。 第二种方式就是采用共享文件夹的方式进行通信。首先要安装增前功能,同时在virtualBox中分配数据空间,重启后lsmod | grep vboxvsf,确保加载了vboxsf模块,若没有,使用sudo modprobe vboxvsf加载。在加载过程中有可能出现问题,无法加载vboxsf模块。产生的原因是linux kernel的问题,需要手动…

2011-09-27T13:26:59Z · 评论(0)

hadoop corrupt处理流程

Datanode block corrupt流程说明 1、 Datanode上有一个线程DataBlockScanner对Datanode上面的block进行数据校验,其中该类中最重要的方法是verifyBlock(Block block),在verifyBlock(Block block)方法中利用了BlockSender,其方法是将block读入到一个空设备(IOUtils.NullOutputStream())中,通过读写进行检验。 2、 如果检验失败后handleScanFailure(Block block),通过RPC直接向Namenode汇报存在坏块,即调用Namenode的r…

2011-07-27T15:32:00Z · hadoop · 评论(0)

Namenode内部数据结构整理

由于要改进NameNode结构,需要对NameNode内部数据结构进行整理,方便下一步的工作。 NameNode接收Client、DataNode、SecondNameNode的RPC通信后,解析出需要执行的函数,大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构,总结起来有如下一些: 1. BlocksMap blokcsMap; 保存了block-àINode,DatanodeDescriptor的映射 BlocksMap是NameNode中重要的数据结构,保存了三元组,在内存中占据了大量的空间,通过BlocksMap可以获得所有块信息。…

2011-04-14T10:47:00Z · hadoop · 评论(0)

DatanodeDescripto详解

DatanodeDescriptor内部结构说明 说明 DatanodeDescriptor保存了特定Datanode上面的一些统计信息,如硬盘容量、使用量,最后更新时间等,DatanodeDescriptor结构属于Namenode的内部结构,并不通过网络向Datanode和Client传输。 内部重要数据结构 DatanodeDescriptor还保存了一个BlockInfo对象,通过该BlockInfo对象能够遍历到该Datanode上面对应的所有block的信息。 DatanodeDescriptor有三个重要的内部类,分别是: 1. BlockTargetPair,该类主要保存了一…

2011-04-14T09:36:29Z · hadoop · 评论(0)

Hdfs LeaseManager

了解LeaseManager类必须了解Lease结构: Lease的基本结构变量有: private final String holder; 持有lease的client name private long lastUpdate; 用于检查租约是否过期 private final Collection paths = new TreeSet (); 该client持有的租约的文件 Lease的基本方法有: private String findPath(INodeFileUnderConstruction pendingFile) 查找是否该文件持有租约 boolean removePat…

2011-04-06T14:40:05Z · 评论(0)

ThreadLocal学习笔记

什么是ThreadLocal ThreadLocal变量的作用是生成一个线程局部变量,即每个线程独有的变量,其它线程访问不到。 ThreadLocal使用 由于Java对ThreadLocal的定义是以类的形式,而不是以原型变量,所以使用ThreadLocal比C++中的线程局部变量要麻烦。 public class ThreadLocal { public Object get(); public void set(Object newValue); public Object initialValue(); } ThreadLocal的作用 ThreadLocal的作用是生成一个每个线程…

2011-03-24T15:45:20Z · 评论(0)

Hdfs INode结构说明

INode类在Namenode中代表了一个树状结构即Namespace,表示的是目录和文件的抽象,INode类是一个抽象类,INodeFile和INodeDirectory是具体实现。 INode的变量有 protected byte name; protected INodeDirectory parent; protected long modificationTime; protected long accessTime; private long permission; name表示的是该文件或目录名称,parent代表其父节点,modificationTime为修改时间,acces…

2011-03-16T10:31:18Z · 评论(0)

DatanodeDescriptor说明

DatanodeDescriptor类记录了Datanode的使用情况,如capacity,used等统计信息,DatanodeDescriptor是Namenode内部的数据结构,并不是通过RPC通信从Datanode向Namenode通信时候使用。Namenode从DatanodeDescriptor中读取Datanode统计信息,并显示在jsp页面上,这就是在网页上面显示的统计信息的来源。 public class DatanodeDescriptor extends DatanodeInfo 首先来看一下DatanodeInfo public class DatanodeInfo e…

2011-03-15T11:29:46Z · 评论(0)

BlocksMap结构

之前看了HDFS代码,做了一些整理,陆续贴上来,Namenode中最重要的结构是Namespace和BlocksMap,先把BlocksMap写一下。 BlocksMap里面最重要的一个结构是BlocksInfo,先来看一下BlocksInfo Class BlocksInfo extends Block Block类有三个变量,分别是long blockId; 每个block的id值,唯一的 long numBytes; block的大小 long generationStamp; 时间戳,在修改和append有用 BlockInfo在Block的基础上加入了INodeFile inode…

2011-03-14T12:01:49Z · 评论(0)

Namenode 与client通信

在Hadoop中,是通过自己的代码来实现RPC机制的,而不是通过sun的实现。 Namenode中存在与Datanode通信,与client通信,近期整理了一下与Namenode与client通信的一个流程,最主要的是熟悉Namenode类,FSNamespace类,FSDirectory类,以及Namespace树状结构和BlocksMap结构。以下一一说明。 以下是基于Cloudera h3b2版本,所以以下的接口流程也请参考相应版本。 由于visio图贴上来很麻烦,这次先不贴用例图了. 接口流程 以下各个接口,将根据用例图加用例说明加以解释。 mkdir 用例图 用例说明 用例名称:m…

2011-03-14T10:01:59Z · 评论(0)

Yourkit Java Profiler 使用说明

为了调试远程机器的内存及线程等情况,需要进行远程连接调试,按照如下方法进行: 下载YourKit Java Profiler 首先在server上进行安装,即本机。 下载Linux版本的YourKit Java Profiler 在client端进行安装,即远程主机,由于我们使用的是远程主机操作系统为linux,所以以此为准。 本机安装后,需要有key,可以发送邮件获得15天免费使用 由于远程linux主机使用的是console模式,不需要key,即可使用 对远程主机jdk进行设置 方法是: 首先java –version 获得java的一些版本信息,我获得是 注意红框,这里标注了是32 b…

2011-01-20T16:52:25Z · 评论(0)

Hdfs NameNode启动优化

对于生产集群,含有上千万文件,每次启动时间将会长达几十分钟,缩小启动时间将大大提高生产力。所以对启动时的各个环节进行分析并提出相应的解决方案用于减少启动时间。 NameNode启动中对fsimage加载过程解析 Hadoop在对NameNode进行启动时,首先会从映像文件(fsimage)中读取HDFS的状态,即系统目录树,同时将日志文件(edits)与fsimage进行合并,这样保证了内存中目录树是最新的,随后系统会将最新的目录树持久化到映像文件(fsimage)中,并使用一个空的edits文件开始正常操作。 因为NameNode只有在启动阶段才会合并fsimage和edits,所以久而久…

2011-01-13T11:43:41Z · 评论(0)