本文共 2251 字，大约阅读时间需要 7 分钟。

前言

RPC：不同进程间方法的调用

DataNode->去调用NameNode的方法此时DataNode和NameNode属于不同的进程

1. 项目要点

1.1 项目背景

公司集群已运行一年之多，现在集群为满足公司需求，计划将集群扩为300+节点，在过去一年的集群管理中收集到了一些Hadoop集群的bug和性能改造点，故成立了此项目对当前的Hadoop集群进行性能提升和Bug修复。

1.2 项目目标

提升集群性能，保证集群4个9稳定。

2. 项目基础知识

2.1 Hadoop RCP

RPC（Remote Procedure Call）—，它是一种通过从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

代码实现

pom依赖

   			
    
     org.apache.hadoop
    			
    
     hadoop-client
    			
    
     2.7.0
    
   

/** * 协议 * @author Administrator * */public interface ClientProtocol {
   	long versionID=1234L;	void makeDir(String path);}

服务端代码

/** * RPC服务端 * @author Administrator * */public class NameNodeRpcServer implements ClientProtocol {
   	/**	 * 创建目录	 */	@Override	public void makeDir(String path) {
   		System.out.println("服务端："+path);	}			public static void main(String[] args) throws Exception {
   		Server server = new RPC.Builder(new Configuration())		.setBindAddress("localhost")		.setPort(9999)		.setProtocol(ClientProtocol.class)		.setInstance(new NameNodeRpcServer())		.build();			//启动服务端		server.start();			}	}

客户端代码

/** * RPC客户端 * @author Administrator * */public class DFSClient {
   	public static void main(String[] args) throws IOException {
   		ClientProtocol namenode = RPC.getProxy(ClientProtocol.class, 				1234L, 				 new InetSocketAddress("localhost",9999), 				new Configuration());				namenode.makeDir("/user/opt/soft");	}}

RPC总结：

Server server =new RPC.Builder(new Configuration())		.setBindAddress("localhost")		.setPort(9999)		.setProtocol(ClientProtocol.class)		.setInstance(new NameNodeRpcServer())		.build();		/**		 * 这样的话，就把服务给启动起来了		 * 服务启动起来了以后，等待别人的调用。		 */		server.start();

c: jps命令能看得到

6）如果是RPC的客户端：

//获取服务端的代理		ClientProtocol namenode= RPC.getProxy(				ClientProtocol.class,				1234L, 				new InetSocketAddress("localhost", 9999) , new Configuration());		//通过这个代理去调用服务端的代码		namenode.mkdirPath("/usr/local/host");

阅读源码：

不要什么目的都没有，带着你的想法去阅读。接下来我们去看一下hadoop的源码。我们的目标是去验证Namenode和datanode是不是RPC的服务端。

RCP：不同进程的方法的调用

会不会NameNodeRPCserver 才是namenode真正的服务端？

转载地址：https://blog.csdn.net/weixin_37850264/article/details/112297423 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！