標籤: 網頁設計公司

　　為了測試MapReduce提交的詳細流程。需要在提交這一步打上斷點：

 　　F7進入方法：

 　　進入submit方法：

 　　注意這個connect方法，它在連接誰呢？我們知道，Driver是作為客戶端存在的，那麼客戶端連接的應該就是Yarn集群，但是在這個簡單的WordCount案例中，並沒有將任務提交到Yarn集群，而是在本機中執行的。所以先假設這裏連接的自然就是本機。

進入這個connect方法，然後在裏面的Cluster（集群的意思）方法上打上斷點：

 很明顯，這是一個構造器，他把集群抽象成了一個對象。進入此方法：

 初始化了一個客戶端協議，進入這個create方法，看看他是如何初始化客戶端協議的：

 　　注意這個mapreduce.framework.name，他就是mapred-site.xml文件中的mapreduce.framework.name項的值，由於我並沒有提交到集群上，而是在本機，所以他會加載本機的mapred-site.xml文件，但是我本機下的該文件並沒有像集群上那樣配置了mapred-site.xml文件，只有一份mapred-site.xml.template文件，更沒有mapreduce.framework.name這一項，所以上面代碼中的值就默認為local了。

　　本機上的配置：

 集群上的配置：

create方法最終反回了一個LocalJobRunner對象，如果上面的值是yarn，返回的則是YarnJobRunner。繼續往下：

 　　會發現這個LocalJobRunner就是客戶端。然後一直往下，直到完成connect方法，會發現整個過程中在connect方法中創建了一個Cluster對象，然後在Cluster對象裏面獲取到了客戶端。

　　緊接着，由於connect方法初始化了cluster對象，所以接下來創建了submitter對象，用於提交任務。進入submitJobInternal方法打上斷點

這個checkSpecs方法就是用來檢查路徑的，當輸入路徑不存在或輸出路徑已存在時會報錯。進入此方法后再進入內部方法就一目瞭然了：

繼續往下執行，完成checkSpecs方法后完初始化一個路徑：

打開此路徑，此時還是空的文件夾：

繼續往下，隨後做了一些獲取IP和往配置文件中設置IP和hostname的操作：

 繼續往下，隨後又在上面的路徑下隨機創建了一個目錄：

繼續往下，見到copyAndConfigureFiles時，進入此方法，然後在進入內部方法uploadFiles()：

在uploadFiles方法中有，執行后的效果：

 這個文件夾暫時不知道幹嘛的，只知道copyAndConfigureFiles方法創建了這個路徑。此方法執行完后，執行到writeSplits進入此方法：

 這個方法是重點：切片是怎麼切的呢？

 maps是int型，這表示這啟動的maptask的數量也該和切片的數量保持一致。而具體切成多少片呢？

上面的方法多態調用到子類的方法writeNewSplits，然後調用getSplits方法：

getSplits方法中有這樣一段：

 　　也就是說：當剩餘長度比切片尺寸大於1.1時，就會產生新的切片，比如說文件65m，splitSize為32m，第一片切到32m，剩餘33m，由於33/32<1.1，所以就不再切片，65m被切成兩片，0~32、32~65，而不是0~32 、 32~64 、 64~65三片。

 　　當執行完writeSplits方法后，會在上面創建的目錄下生成幾個文件：

 上面生成的文件中保存了“切片的規劃信息”。繼續往下，當執行到writeConf方法后，會繼續在上面的目錄下生成與此Job相關的配置文件：

 　　繼續執行，當執行完submitJob方法后，job本身（即WordCount程序本身會被打成jar包被提交）就被提交了：

　　但是由於我是直接在本地執行的，直接從main方法進來執行的，沒必要再打成jar包再從main方法進入，所以並不用提交，但是如果是是在yarn 上執行的時候，會把程序打成jar包放在上面的目錄下。

 　　當任務執行完畢后，上面的目錄會被清空：

 　　至此，整個任務的提交執行完成，試想一下，如果這個任務在Yarn上執行是什麼樣子呢？基本的邏輯不會變：

　　首先，還是執行connect方法，初始化到Cluster對象，然後創建JobRunner，不過在Yarn上執行的JobRunner就不是LocalJobRunner了，而是YarnJobRunner。執行完connect方法後會在HDFS文件系統創建一個路徑，其作用與上面創建的路徑相同，用於保存切片方案信息和配置文件信息，同時會將任務本身的jar包放入其中，最後任務執行完，這些內容又將被銷毀。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

※新北清潔公司,居家、辦公、裝潢細清專業服務

汽柴油車開在路上，產生氮氧化物、未燃燒完全的碳氫化合物、一氧化碳，以及如今相當受重視的 PM2.5 微粒等等空氣污染，如今在全球減碳風潮下，產生的二氧化碳也遭嚴格檢視，尤其在大量能源已經來自可再生能源的數個歐洲國家，汽車排放成為減碳的最大目標之一，荷蘭執政聯盟中的工黨（Partij van de Arbeid，PvdA），提案要求 2025 年禁止所有汽柴油車，而此動議已經提交眾議院。   在這項動議中，至 2025 年荷蘭將禁用所有燃油車輛，不只是全汽柴油車，連同油電混合車也將禁止，也就是說只剩下車輛本身完全無二氧化碳的純電動車與燃料電池車。除此之外，動議還針對減輕荷蘭的交通阻塞狀況，而要求政府積極推動自動駕駛車輛。   在以燃煤為電力大宗來源的國家中，發展純電動車對減碳並不具效益，因為電動車的電力仍然來自燃煤發電，仍然是間接產生大量二氧化碳，但若是電力已經以可再生能源為主，那麼發展電動車可望減少交通方面的二氧化碳排放量。而氫燃料電池車輛是否減碳，則視氫來源而定，許多工業如石化、造紙等產業可回收產製大量氫，而氫也可以是生質能源，如許多技術能從有機廢棄物或排泄物中製氫，從這些方式得到的氫不僅成本較低，也確實能減少總碳排放量，但若以電力製氫，則也是要看電力來源為何。   以荷蘭來說，其實電力主要仍然來自火力發電，以 2015 年 9 月而言，燃煤發電佔總用電量約 49%，燃氣發電約 31%，而全數可再生能源含風力、太陽能、生質能為 9.7%，雖然較 2014 年的 7.2% 有所提升，但比率仍低，核能則為 3.9 %，此外進口電力 2.9%，大多是來自挪威的水力發電。因此，荷蘭目前若推動全電動車與燃料電池車輛，對減碳的實質助益並不大，須配合電力來源也同時全力轉換為可再生能源。   荷蘭執政聯盟中的另一大黨自由民主人民黨（Volkspartij voor Vrijheid en Democratie，VVD）就對此提案表達反對，表示完全禁止燃油車輛「野心太大、不切實際」，該黨經濟部長認為電動車市佔率最好是 15%，超過這個比率，電力管理可能會有問題，工黨的部分議員也抱怨「看報紙才知道」此項提案。不過，工黨提案議員則反駁批評，表示這項提案是讓人民思考未來如何擺脫汽車排氣管的排放污染的面向之一，一瞥國家未來無限可能的發展想像。   這項提案最終實際通過成為法案的可能性很低，不過出現這樣的提案也顯示，類似想法雖然暫時仍「不切實際」，卻已經有許多人開始考慮，未來在各國電力系統持續現代化，提升可再生能源比率，各種電網技術進步將強化電網調度能力，日後再出現類似提案，實際通過機率將逐漸提升，而汽柴油車到時就得真的開始緊張了。   （本文內容由授權使用；首圖來源：）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

※新北清潔公司,居家、辦公、裝潢細清專業服務

Spring Boot 概述

Build Anything with Spring Boot：Spring Boot is the starting point for building all Spring-based applications. Spring Boot is designed to get you up and running as quickly as possible, with minimal upfront configuration of Spring.

上面是引自官網的一段話，大概是說： Spring Boot 是所有基於 Spring 開發的項目的起點。Spring Boot 的設計是為了讓你盡可能快的跑起來 Spring 應用程序並且盡可能減少你的配置文件。

什麼是 Spring Boot

• 它使用 “習慣優於配置” （項目中存在大量的配置，此外還內置一個習慣性的配置，讓你無須手動配置）的理念讓你的項目快速運行起來。
• 它並不是什麼新的框架，而是默認配置了很多框架的使用方式，就像 Maven 整合了所有的 jar 包一樣，Spring Boot 整合了所有框架

使用 Spring Boot 有什麼好處

回顧我們之前的 SSM 項目，搭建過程還是比較繁瑣的，需要：

• 1）配置 web.xml，加載 spring 和 spring mvc
• 2）配置數據庫連接、配置日誌文件
• 3）配置家在配置文件的讀取，開啟註解
• 4）配置mapper文件
• …..

而使用 Spring Boot 來開發項目則只需要非常少的幾個配置就可以搭建起來一個 Web 項目，並且利用 IDEA 可以自動生成生成

• 划重點：簡單、快速、方便地搭建項目；對主流開發框架的無配置集成；極大提高了開發、部署效率。

Spring Boot HelloWorld

導入依賴spring boot相關的依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.chenhao</groupId>
    <artifactId>springboot</artifactId>
    <version>1.0.0-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>springboot</name>
    <description>Demo project for Spring Boot</description>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.1.RELEASE</version>
        <relativePath/>
    </parent>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

編寫主程序

/**
 * @SpringBootApplication來標註一個主程序類，說明這是一個SpringBoot應用
 */ @SpringBootApplication public class HelloWorldMainApplication {

    public static void main(String[] args) {
        //Spring應用啟動
        SpringApplication.run(HelloWorldMainApplication.class, args);
    }
}

編寫Controller、Service

@RestController
public class HelloController {

    @RequestMapping("/hello")
    public String hello(){
        return "Hello world";
    }
}

運行主程序測試

使用maven打包命令將其打包成jar包后，直接使用命令：

java -jar xxx.jar

Hello World探究

POM文件

父項目

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.0.1.RELEASE</version>
    <relativePath/>
</parent>

其父項目是

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-dependencies</artifactId>
    <version>2.0.1.RELEASE</version>
    <relativePath>../../spring-boot-dependencies</relativePath>
</parent>

該父項目是真正管理Spring Boot應用裏面的所有依賴的版本：Spring Boot的版本仲裁中心，所以以後導入的依賴默認是不需要版本號。如下

還有很多版本號沒有截圖出來

啟動器

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

​ spring-boot-starter : spring boot場景啟動器；幫助導入web模塊正常運行所依賴的組件；

​ Spring Boot將所有的功能場景抽取出來，做成一個個的starter(啟動器)，只需要在項目中引入這些starter，那麼相關的場景的所有依賴都會導入進項目中。要用什麼功能就導入什麼場景的啟動器。

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-tomcat</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-webmvc</artifactId>
</dependency>

添加了 spring-boot-starter-web 依賴，會自動添加 Tomcat 和 Spring MVC 的依賴

spring-boot-starter-web中又引入了spring-boot-starter-tomcat

主程序類（主入口類）

@SpringBootApplication public class HelloWorldMainApplication {

    public static void main(String[] args) {
        //Spring應用啟動
        SpringApplication.run(HelloWorldMainApplication.class, args);
    }
}

@SpringBootApplication

• Spring Boot應用標註在某個類上，說明這個類是SpringBoot的主配置類，SpringBoot就應該運行這個類的main方法來啟動SpringBoot應用。

註解定義如下：

@SpringBootConfiguration @EnableAutoConfiguration
@ComponentScan(excludeFilters = {
        @Filter(type = FilterType.CUSTOM, classes = TypeExcludeFilter.class),
        @Filter(type = FilterType.CUSTOM, classes = AutoConfigurationExcludeFilter.class) })
public @interface SpringBootApplication {}

@SpringBootConfiguration

• Spring Boot的配置類
• 標註在某個類上，表示這是一個Spring Boot的配置類

註解定義如下：

@Configuration public @interface SpringBootConfiguration {}

其實就是一個Configuration配置類，意思是HelloWorldMainApplication最終會被註冊到Spring容器中

@EnableAutoConfiguration

• 開啟自動配置功能
• 以前使用Spring需要配置的信息，Spring Boot幫助自動配置；
• @EnableAutoConfiguration通知SpringBoot開啟自動配置功能，這樣自動配置才能生效。

註解定義如下：

@AutoConfigurationPackage
@Import(EnableAutoConfigurationImportSelector.class) public @interface EnableAutoConfiguration {}

@AutoConfigurationPackage

• 自動配置包註解

@Import(AutoConfigurationPackages.Registrar.class) public @interface AutoConfigurationPackage {}

@Import(AutoConfigurationPackages.Registrar.class)：默認將主配置類(
@SpringBootApplication)所在的包及其子包裏面的所有組件掃描到Spring容器中。如下

@Order(Ordered.HIGHEST_PRECEDENCE)
static class Registrar implements ImportBeanDefinitionRegistrar, DeterminableImports {

    @Override
    public void registerBeanDefinitions(AnnotationMetadata metadata,
            BeanDefinitionRegistry registry) {
          //默認將會掃描@SpringBootApplication標註的主配置類所在的包及其子包下所有組件
        register(registry, new PackageImport(metadata).getPackageName());
    }

    @Override
    public Set<Object> determineImports(AnnotationMetadata metadata) {
        return Collections.<Object>singleton(new PackageImport(metadata));
    }
}

@Import(EnableAutoConfigurationImportSelector.class)

EnableAutoConfigurationImportSelector： 導入哪些組件的選擇器，將所有需要導入的組件以全類名的方式返回，這些組件就會被添加到容器中。

 1 //EnableAutoConfigurationImportSelector的父類：AutoConfigurationImportSelector
 2 @Override
 3 public String[] selectImports(AnnotationMetadata annotationMetadata) {
 4     if (!isEnabled(annotationMetadata)) {
 5         return NO_IMPORTS;
 6     }
 7     try {
 8         AutoConfigurationMetadata autoConfigurationMetadata = AutoConfigurationMetadataLoader
 9             .loadMetadata(this.beanClassLoader);
10         AnnotationAttributes attributes = getAttributes(annotationMetadata);
11         List<String> configurations = getCandidateConfigurations(annotationMetadata, attributes); 12         configurations = removeDuplicates(configurations);
13         configurations = sort(configurations, autoConfigurationMetadata);
14         Set<String> exclusions = getExclusions(annotationMetadata, attributes);
15         checkExcludedClasses(configurations, exclusions);
16         configurations.removeAll(exclusions);
17         configurations = filter(configurations, autoConfigurationMetadata);
18         fireAutoConfigurationImportEvents(configurations, exclusions);
19         return configurations.toArray(new String[configurations.size()]);
20     }
21     catch (IOException ex) {
22         throw new IllegalStateException(ex);
23     }
24 }

我們主要看第11行List<String> configurations = getCandidateConfigurations(annotationMetadata, attributes);會給容器中注入眾多的自動配置類（xxxAutoConfiguration），就是給容器中導入這個場景需要的所有組件，並配置好這些組件。我們跟進去看看

protected List<String> getCandidateConfigurations(AnnotationMetadata metadata,
            AnnotationAttributes attributes) {
    List<String> configurations = SpringFactoriesLoader.loadFactoryNames(
        getSpringFactoriesLoaderFactoryClass(), getBeanClassLoader());
    //...
    return configurations;
}

protected Class<?> getSpringFactoriesLoaderFactoryClass() {
    return EnableAutoConfiguration.class;
}

public static final String FACTORIES_RESOURCE_LOCATION = "META-INF/spring.factories";

public static List<String> loadFactoryNames(Class<?> factoryClass, ClassLoader classLoader) {
    String factoryClassName = factoryClass.getName();
    try {
        //從類路徑的META-INF/spring.factories中加載所有默認的自動配置類
        Enumeration<URL> urls = (classLoader != null ? classLoader.getResources(FACTORIES_RESOURCE_LOCATION) :
                                 ClassLoader.getSystemResources(FACTORIES_RESOURCE_LOCATION));
        List<String> result = new ArrayList<String>();
        while (urls.hasMoreElements()) {
            URL url = urls.nextElement();
            Properties properties = PropertiesLoaderUtils.loadProperties(new UrlResource(url));
            //獲取EnableAutoConfiguration指定的所有值,也就是EnableAutoConfiguration.class的值
            String factoryClassNames = properties.getProperty(factoryClassName);
            result.addAll(Arrays.asList(StringUtils.commaDelimitedListToStringArray(factoryClassNames)));
        }
        return result;
    }
    catch (IOException ex) {
        throw new IllegalArgumentException("Unable to load [" + factoryClass.getName() + "] factories from location [" + FACTORIES_RESOURCE_LOCATION + "]", ex);
    }
}

SpringBoot啟動的時候從類路徑下的
META-INF/spring.factories中獲取EnableAutoConfiguration指定的值，並將這些值作為自動配置類導入到容器中，自動配置類就會生效，最後完成自動配置工作。EnableAutoConfiguration默認在spring-boot-autoconfigure這個包中，如下圖

最終有96個自動配置類被加載並註冊進Spring容器中

J2EE的整體整合解決方案和自動配置都在spring-boot-autoconfigure-xxx.jar中。在這些自動配置類中會通過@ConditionalOnClass等條件註解判斷是否導入了某些依賴包，從而通過@Bean註冊相應的對象進行自動配置。後面我們會有單獨文章講自動配置的內容

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益