本文共 14325 字，大约阅读时间需要 47 分钟。

【JDK源码分析系列】ThreadPoolExecutor 源码解析 -- 任务提交与运行

【1】线程池任务的提交

【1.1】AbstractExecutorService -- submit

submit 方法主要完成的任务

// submit 方法是使用线程池时提交任务的方法，支持 Runable 和 Callable 两种任务的提交，// 方法中 execute 方法是其子类 ThreadPoolExecutor 实现的，不管是哪种任务入参，// execute 方法最终执行的任务都是 FutureTask//// 提交无返回值的 Runnable 任务public Future
    submit(Runnable task) {    if (task == null) throw new NullPointerException();    // ftask 其实是 FutureTask    RunnableFuture
   
     ftask = newTaskFor(task, null);    execute(ftask);    return ftask;}/**    * @throws RejectedExecutionException {@inheritDoc}    * @throws NullPointerException       {@inheritDoc}    */// 提交有返回值的 Runnable 任务，// task 是 Runnable 类型在 FutureTask 中进行向 Callable 的转换public 
    
      Future
     
       submit(Runnable task, T result) {    if (task == null) throw new NullPointerException();    RunnableFuture
      
        ftask = newTaskFor(task, result);    execute(ftask);    return ftask;}/**    * @throws RejectedExecutionException {@inheritDoc}    * @throws NullPointerException       {@inheritDoc}    */// 提交 Callable 任务public 
       
         Future
        
          submit(Callable
         
           task) { if (task == null) throw new NullPointerException(); RunnableFuture
          
            ftask = newTaskFor(task); execute(ftask); return ftask;}
          
         
        
       
      
     
    
   

【1.2】ThreadPoolExecutor -- execute

// 阻塞队列的常见方法总结 :// 1、offer()和add()的区别// add()和offer()都是向队列中添加一个元素// 但是如果想在一个满的队列中加入一个新元素，调用 add() 方法就会抛出一个unchecked 异常，// 而调用 offer() 方法会返回 false；// 2、peek()和element()的区别// peek()和element()都将在不移除的情况下返回队头，// 但是peek()方法在队列为空时返回null，调用element()方法会抛出NoSuchElementException异常；// 3、poll()和remove()的区别// poll()和remove()都将移除并且返回队头，// 但是在poll()在队列为空时返回null，而remove()会抛出NoSuchElementException异常；// 4、take():取走BlockingQueue里排在首位的对象,若BlockingQueue为空,阻塞i进入等待状态直到Blocking有新的对象被加入为止public void execute(Runnable command) {    // 确保 command 不为 null    if (command == null)        throw new NullPointerException();        int c = ctl.get();    // 工作的线程小于核心线程数，创建新的线程，成功返回，失败不抛异常    if (workerCountOf(c) < corePoolSize) {        if (addWorker(command, true))            return;        // 线程池状态可能发生变化        c = ctl.get();    }    // 工作的线程大于核心线程数，或者新建线程失败    // 线程池状态正常，并且可以入队的话，尝试入队列    if (isRunning(c) && workQueue.offer(command)) {        int recheck = ctl.get();        // 如果线程池状态异常 尝试从队列中移除任务，可以移除的话就拒绝掉任务        if (!isRunning(recheck) && remove(command))            // 调用拒绝策略            reject(command);        // 发现可运行的线程数是 0，就初始化一个线程，这里是个极限情况，入队的时候，突然发现        // 线程都被回收了        else if (workerCountOf(recheck) == 0)            // Runnable是空的，不会影响新增线程，但是线程在 start 的时候不会运行            // Thread.run() 里面有判断            addWorker(null, false);    }    // 队列满了，开启线程到 maxSize，如果失败直接拒绝,    else if (!addWorker(command, false))        // 调用拒绝策略        reject(command);}

【1.3】ThreadPoolExecutor -- addWorker

// 结合线程池的情况看是否可以添加新的 worker// firstTask 不为空可以直接执行，为空执行不了，Thread.run()方法有判断，Runnable为空不执行// core 为 true 表示线程最大新增个数是 coresize，false 表示最大新增个数是 maxsize// 返回 true 代表成功，false 失败// break retry 跳到retry处，且不再进入循环// continue retry 跳到retry处，且再次进入循环////addWorker 方法首先是执行了一堆校验，然后使用 new Worker (firstTask) 新建了 Worker，最后使用 t.start () 执行 Worker；//Worker 在初始化时的关键代码：this.thread = getThreadFactory ().newThread (this)，//Worker（this） 是作为新建线程的构造器入参的，所以 t.start () 会执行到 Worker 的 run 方法上private boolean addWorker(Runnable firstTask, boolean core) {    retry:    // 校验各种状态    for (;;) {        int c = ctl.get();        int rs = runStateOf(c);        // Check if queue empty only if necessary.        // rs >= SHUTDOWN 说明线程池状态不正常        /**            * rs!=Shutdown || fistTask！=null || workCount.isEmpty            * 如果当前的线程池的状态>SHUTDOWN 那么拒绝Worker的add 如果=SHUTDOWN            * 那么此时不能新加入不为null的Task，如果在WorkCount为empty的时候不能加入任何类型的Worker，            * 如果不为empty可以加入task为null的Worker,增加消费的Worker            */        if (rs >= SHUTDOWN &&            ! (rs == SHUTDOWN &&                firstTask == null &&                ! workQueue.isEmpty()))            return false;        for (;;) {            int wc = workerCountOf(c);            // 工作中的线程数大于等于容量，或者大于等于 coreSize or maxSize            if (wc >= CAPACITY ||                wc >= (core ? corePoolSize : maximumPoolSize))                return false;            if (compareAndIncrementWorkerCount(c))                // break 结束 retry 的 for 循环                break retry;            c = ctl.get();  // Re-read ctl            // 线程池状态被更改            if (runStateOf(c) != rs)                // 跳转到retry位置                continue retry;            // else CAS failed due to workerCount change; retry inner loop        }    }    boolean workerStarted = false;    boolean workerAdded = false;    Worker w = null;    try {        // 巧妙的设计，Worker 本身是个 Runnable.        // 在初始化的过程中，会把 worker 丢给 thread 去初始化        w = new Worker(firstTask);        final Thread t = w.thread;        if (t != null) {            final ReentrantLock mainLock = this.mainLock;            mainLock.lock();            try {                // Recheck while holding lock.                // Back out on ThreadFactory failure or if                // shut down before lock acquired.                int rs = runStateOf(ctl.get());                if (rs < SHUTDOWN ||                    (rs == SHUTDOWN && firstTask == null)) {                    if (t.isAlive()) // precheck that t is startable                        throw new IllegalThreadStateException();                    // 包含线程池中所有的工作线程                    // private final HashSet
   
     workers = new HashSet
    
     ();                    workers.add(w);                    int s = workers.size();                    if (s > largestPoolSize)                        largestPoolSize = s;                    workerAdded = true;                }            } finally {                mainLock.unlock();            }            if (workerAdded) {                //启动线程                t.start();                workerStarted = true;            }        }    } finally {        if (! workerStarted)            //worker 启动失败则将 woker 从队列中移除并中断该 worker            addWorkerFailed(w);    }    return workerStarted;}
    
   

【1.4】ThreadPoolExecutor -- addWorkerFailed

private void addWorkerFailed(Worker w) {    final ReentrantLock mainLock = this.mainLock;    mainLock.lock();    try {        //将 worker 从队列中移除        if (w != null)            workers.remove(w);        //减少 worker 的数量        decrementWorkerCount();        //尝试终止 workder        tryTerminate();    } finally {        mainLock.unlock();    }}

【2】线程池任务的运行

【2.1】ThreadPoolExecutor -- ​​​​​​​runWorker

final void runWorker(Worker w) {    Thread wt = Thread.currentThread();    Runnable task = w.firstTask;    //帮助gc回收    w.firstTask = null;    w.unlock(); // allow interrupts    boolean completedAbruptly = true;    try {        // 1：任务入队列了，若没有运行的线程，于是新增一个线程；        // 2：线程执行完任务执行，再次回到 while 循环        // 如果 task 为空，会使用 getTask 方法阻塞从队列中拿数据，如果拿不到数据，会阻塞住        while (task != null || (task = getTask()) != null) {            //锁住worker            w.lock();            // 线程池stop中,但是线程没有到达中断状态，帮助线程中断            if ((runStateAtLeast(ctl.get(), STOP) ||                    (Thread.interrupted() &&                    runStateAtLeast(ctl.get(), STOP))) &&                !wt.isInterrupted())                wt.interrupt();            try {                //执行before钩子函数                //由子类实现                beforeExecute(wt, task);                Throwable thrown = null;                try {                    //同步执行任务                    task.run();                } catch (RuntimeException x) {                    thrown = x; throw x;                } catch (Error x) {                    thrown = x; throw x;                } catch (Throwable x) {                    thrown = x; throw new Error(x);                } finally {                    //执行after钩子函数,如果这里抛出异常，会覆盖catch的异常                    //所以这里异常最好不要抛出来                    //由子类实现                    afterExecute(task, thrown);                }            } finally {                //任务执行完成，计算解锁                task = null;                w.completedTasks++;                w.unlock();            }        }        completedAbruptly = false;    } finally {        //做一些抛出异常的善后工作        processWorkerExit(w, completedAbruptly);    }}

【2.2】ThreadPoolExecutor -- ​​​​​​​getTask

// 从阻塞队列中拿任务// 1. 使用队列的 poll 或 take 方法从队列中拿数据，根据队列的特性，队列中有任务可以返回，队列中无任务会阻塞；// 2. 方法中的第二个 if 判断，说的是在满足一定条件下 (条件看注释)，会减少空闲的线程，减少的手段是使可用线程数减一，//      并且直接 return，直接 return 后，该线程就执行结束了，JVM 会自动回收该线程private Runnable getTask() {    boolean timedOut = false; // Did the last poll() time out?    for (;;) {        int c = ctl.get();        int rs = runStateOf(c);        //线程池关闭 && 队列为空，不需要在运行了，直接放回        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {            decrementWorkerCount();            //直接 return 后，该线程就执行结束了，JVM 会自动回收该线程            return null;        }        int wc = workerCountOf(c);        // Are workers subject to culling?        // true  运行的线程数大于 coreSize || 核心线程也可以被灭亡        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;        // 队列以 LinkedBlockingQueue 为例，timedOut 为 true 说明 poll 方法执行返回的是 null        // 说明在等待 keepAliveTime 时间后，队列中仍然没有数据        // 说明此线程已经空闲了 keepAliveTime 了        // 再加上 wc > 1 || workQueue.isEmpty() 的判断        // 所以使用 compareAndDecrementWorkerCount 方法使线程池数量减少 1        // 并且直接 return，return 之后，此空闲的线程会自动被回收        if ((wc > maximumPoolSize || (timed && timedOut))            && (wc > 1 || workQueue.isEmpty())) {            //减少线程池中的线程数量并释放空闲线程            if (compareAndDecrementWorkerCount(c))                return null;            continue;        }        try {            // 从队列中拿 worker            Runnable r = timed ?                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :                workQueue.take();            if (r != null)                return r;            // 设置已超时，说明此时队列没有数据            timedOut = true;        } catch (InterruptedException retry) {            timedOut = false;        }    }}

【2.3】ThreadPoolExecutor -- ​​​​​​​processWorkerExit

//做抛出异常时的善后工作//开始清理并且标记一个即将销毁的Worker//传入参数//Worker w：要执行退出的Worker对象//boolean completedAbruptly：是否用户异常退出，true为异常退出private void processWorkerExit(Worker w, boolean completedAbruptly) {    //添加任务时workerCount已经+1了，completedAbruptly=true表示消费的时候出异常了    //判断是否是意外退出的，如果是意外退出的话，那么就需要把WorkerCount--    if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted        decrementWorkerCount();    final ReentrantLock mainLock = this.mainLock;    mainLock.lock();    try {        //加完锁后，同步将completedTaskCount进行增加，表示总共完成的任务数，        //并且从WorkerSet中将对应的Worker移除        completedTaskCount += w.completedTasks;        workers.remove(w);    } finally {        mainLock.unlock();    }    //调用tryTemiate，进行判断当前的线程池是否处于SHUTDOWN状态，判断是否要终止线程    tryTerminate();    int c = ctl.get();    //判断当前的线程池状态，如果当前线程池状态比STOP大的话，就不处理    if (runStateLessThan(c, STOP)) {        //判断是否是意外退出，如果不是意外退出的话，那么就会判断最少要保留的核心线程数，        //如果allowCoreThreadTimeOut被设置为true的话，那么说明核心线程在设置的KeepAliveTime之后，也会被销毁        if (!completedAbruptly) {            int min = allowCoreThreadTimeOut ? 0 : corePoolSize;            //如果最少保留的Worker数为0的话，那么就会判断当前的任务队列是否为空，            //如果任务队列不为空的话而且线程池没有停止，那么说明至少还需要1个线程继续将任务完成            if (min == 0 && ! workQueue.isEmpty())                min = 1;            //判断当前的Worker是否大于min，也就是说当前的Worker总数大于最少需要的Worker数的话，            //那么就直接返回，因为剩下的Worker会继续从WorkQueue中获取任务执行            if (workerCountOf(c) >= min)                return; // replacement not needed        }        //如果当前运行的Worker数比当前所需要的Worker数少的话，那么就会调用addWorker，        //添加新的Worker，也就是新开启线程继续处理任务        addWorker(null, false);    }}

【2.4】ThreadPoolExecutor -- ​​​​​​​tryTerminate

//试图终止//在以下情况将线程池变为TERMINATED终止状态//shutdown且正在运行的worker和workQueue队列都empty//stop且没有正在运行的worker////这个方法必须在任何可能导致线程池终止的情况下被调用，如：//减少worker数量//shutdown时从queue中移除任务//这个方法不是私有的，所以允许子类ScheduledThreadPoolExecutor调用final void tryTerminate() {    for (;;) {        int c = ctl.get();        //正在运行        if (isRunning(c) ||            //tidying  terminated            runStateAtLeast(c, TIDYING) ||            //shutdown 且 队列不为空            (runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))            //综合上面3个条件，可以推断出当线程池stop或者shutdown            //且任务队列为空，就可以去terminated了            return;        //worker的数量不为零，说明还有任务在执行，所以先不要terminated线程池        if (workerCountOf(c) != 0) { // Eligible to terminate            interruptIdleWorkers(ONLY_ONE);            return;        }        //如果状态是SHUTDOWN，workQueue也为空了，正在运行的worker也没有了，开始terminated        final ReentrantLock mainLock = this.mainLock;        mainLock.lock();        try {            //CAS：将线程池的ctl变成TIDYING(所有的任务被终止，workCount为0，为此状态时将会调用terminated()方法)，            //期间ctl有变化就会失败，会再次for循环            if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {                try {                    //终止线程, 由子类实现                    terminated();                } finally {                    //将线程池的ctl变成TERMINATED                    ctl.set(ctlOf(TERMINATED, 0));                    //唤醒调用等待线程池终止的线程awaitTermination()                    termination.signalAll();                }                return;            }        } finally {            mainLock.unlock();        }        // else retry on failed CAS        // 如果上面的CAS判断false，再次循环    }}

【2.5】ThreadPoolExecutor -- ​​​​​​​interruptIdleWorkers

//回收空余线程//onlyOne如果为true，最多interrupt一个worker//只有当终止流程已经开始，但线程池还有worker线程时,tryTerminate()方法会做调用onlyOne为true的调用//(终止流程已经开始指的是：shutdown状态且workQueue为空或者stop状态)//在这种情况下，最多有一个worker被中断，为了传播shutdown信号，以免所有的线程都在等待//为保证线程池最终能终止，这个操作总是中断一个空闲worker//而shutdown()中断所有空闲worker，来保证空闲线程及时退出private void interruptIdleWorkers(boolean onlyOne) {    final ReentrantLock mainLock = this.mainLock;    mainLock.lock();    try {        //循环回收，onlyOne=false,说明要回收很多个        for (Worker w : workers) {            Thread t = w.thread;            //线程没有被打断，并且worker可以获得锁,那么当前线程可以被打断            if (!t.isInterrupted() && w.tryLock()) {                try {                    //建议线程中断                    t.interrupt();                } catch (SecurityException ignore) {                } finally {                    w.unlock();                }            }            if (onlyOne)                //退出循环                break;        }    } finally {        mainLock.unlock();    }}

参考致谢

【1】

【2】

【3】

【4】​​​​​​​