標籤: 網頁設計公司

2020-03-10

NetCore3.0 文件上傳與大文件上傳的限制

Post By admin 網路資訊 , , , , , , , ,

NetCore文件上傳兩種方式

　　NetCore官方給出的兩種文件上傳方式分別為“緩衝”、“流式”。我簡單的說說兩種的區別，

　　1.緩衝：通過模型綁定先把整個文件保存到內存，然後我們通過IFormFile得到stream，優點是效率高，缺點對內存要求大。文件不宜過大。

　　2.流式處理：直接讀取請求體裝載后的Section 對應的stream 直接操作strem即可。無需把整個請求體讀入內存，

以下為官方微軟說法

緩衝

　　整個文件讀入 IFormFile，它是文件的 C# 表示形式，用於處理或保存文件。 文件上傳所用的資源（磁盤、內存）取決於併發文件上傳的數量和大小。 如果應用嘗試緩衝過多上傳，站點就會在內存或磁盤空間不足時崩潰。 如果文件上傳的大小或頻率會消耗應用資源，請使用流式傳輸。

流式處理 　　

　　從多部分請求收到文件，然後應用直接處理或保存它。 流式傳輸無法顯著提高性能。 流式傳輸可降低上傳文件時對內存或磁盤空間的需求。

文件大小限制

　　說起大小限制，我們得從兩方面入手，1應用服務器Kestrel 2.應用程序（我們的netcore程序），

1.應用服務器Kestre設置

　　應用服務器Kestrel對我們的限制主要是對整個請求體大小的限制通過如下配置可以進行設置(Program -> CreateHostBuilder)，超出設置範圍會報 BadHttpRequestException: Request body too large 異常信息

public static IHostBuilder CreateHostBuilder(string[] args) =>
           Host.CreateDefaultBuilder(args)
               .ConfigureWebHostDefaults(webBuilder =>
               {
                   webBuilder.ConfigureKestrel((context, options) =>
                   {
                       //設置應用服務器Kestrel請求體最大為50MB
                       options.Limits.MaxRequestBodySize = 52428800;
                   });
                   webBuilder.UseStartup<Startup>();
});

2.應用程序設置

　　應用程序設置 (Startup->  ConfigureServices) 超出設置範圍會報InvalidDataException 異常信息

services.Configure<FormOptions>(options =>
 {
             options.MultipartBodyLengthLimit = long.MaxValue;
 });

通過設置即重置文件上傳的大小限制。

源碼分析

　　這裏我主要說一下 MultipartBodyLengthLimit  這個參數他主要限制我們使用“緩衝”形式上傳文件時每個的長度。為什麼說是緩衝形式中，是因為我們緩衝形式在讀取上傳文件用的幫助類為 MultipartReaderStream 類下的 Read 方法，此方法在每讀取一次後會更新下讀入的總byte數量，當超過此數量時會拋出  throw new InvalidDataException($“Multipart body length limit {LengthLimit.GetValueOrDefault()} exceeded.“);  主要體現在 UpdatePosition 方法對 _observedLength  的判斷

以下為 MultipartReaderStream 類兩個方法的源代碼，為方便閱讀，我已精簡掉部分代碼

Read

public override int Read(byte[] buffer, int offset, int count)
 {
          
          var bufferedData = _innerStream.BufferedData;
　　　　　　int read;
　　　　  read = _innerStream.Read(buffer, offset, Math.Min(count, bufferedData.Count));
          return UpdatePosition(read);
}

UpdatePosition

private int UpdatePosition(int read)
        {
            _position += read;
            if (_observedLength < _position)
            {
                _observedLength = _position;
                if (LengthLimit.HasValue && _observedLength > LengthLimit.GetValueOrDefault())
                {
                    throw new InvalidDataException($"Multipart body length limit {LengthLimit.GetValueOrDefault()} exceeded.");
                }
            }
            return read;
}

通過代碼我們可以看到 當你做了 MultipartBodyLengthLimit 的限制后，在每次讀取後會累計讀取的總量，當讀取總量超出

 MultipartBodyLengthLimit  設定值會拋出 InvalidDataException 異常，

最終我的文件上傳Controller如下

　　需要注意的是我們創建 MultipartReader 時並未設置 BodyLengthLimit  （這參數會傳給 MultipartReaderStream.LengthLimit ）也就是我們最終的限制，這裏我未設置值也就無限制，可以通過 UpdatePosition 方法體現出來

using Microsoft.AspNetCore.Http;
using Microsoft.AspNetCore.Mvc;
using Microsoft.AspNetCore.WebUtilities;
using Microsoft.Net.Http.Headers;
using System.IO;
using System.Threading.Tasks;
 
namespace BigFilesUpload.Controllers
{
    [Route("api/[controller]")]
    public class FileController : Controller
    {
        private readonly string _targetFilePath = "C:\\files\\TempDir";
 
        /// <summary>
        /// 流式文件上傳
        /// </summary>
        /// <returns></returns>
        [HttpPost("UploadingStream")]
        public async Task<IActionResult> UploadingStream()
        {
 
            //獲取boundary
            var boundary = HeaderUtilities.RemoveQuotes(MediaTypeHeaderValue.Parse(Request.ContentType).Boundary).Value;
            //得到reader
            var reader = new MultipartReader(boundary, HttpContext.Request.Body);
            //{ BodyLengthLimit = 2000 };//
            var section = await reader.ReadNextSectionAsync();
 
            //讀取section
            while (section != null)
            {
                var hasContentDispositionHeader = ContentDispositionHeaderValue.TryParse(section.ContentDisposition, out var contentDisposition);
                if (hasContentDispositionHeader)
                {
                    var trustedFileNameForFileStorage = Path.GetRandomFileName();
                    await WriteFileAsync(section.Body, Path.Combine(_targetFilePath, trustedFileNameForFileStorage));
                }
                section = await reader.ReadNextSectionAsync();
            }
            return Created(nameof(FileController), null);
        }
 
        /// <summary>
        /// 緩存式文件上傳
        /// </summary>
        /// <param name=""></param>
        /// <returns></returns>
        [HttpPost("UploadingFormFile")]
        public async Task<IActionResult> UploadingFormFile(IFormFile file)
        {
            using (var stream = file.OpenReadStream())
            {
                var trustedFileNameForFileStorage = Path.GetRandomFileName();
                await WriteFileAsync(stream, Path.Combine(_targetFilePath, trustedFileNameForFileStorage));
            }
            return Created(nameof(FileController), null);
        }
 
 
        /// <summary>
        /// 寫文件導到磁盤
        /// </summary>
        /// <param name="stream">流</param>
        /// <param name="path">文件保存路徑</param>
        /// <returns></returns>
        public static async Task<int> WriteFileAsync(System.IO.Stream stream, string path)
        {
            const int FILE_WRITE_SIZE = 84975;//寫出緩衝區大小
            int writeCount = 0;
            using (FileStream fileStream = new FileStream(path, FileMode.Create, FileAccess.Write, FileShare.Write, FILE_WRITE_SIZE, true))
            {
                byte[] byteArr = new byte[FILE_WRITE_SIZE];
                int readCount = 0;
                while ((readCount = await stream.ReadAsync(byteArr, 0, byteArr.Length)) > 0)
                {
                    await fileStream.WriteAsync(byteArr, 0, readCount);
                    writeCount += readCount;
                }
            }
            return writeCount;
        }
 
    }
}

 

 總結：

如果你部署 在iis上或者Nginx 等其他應用服務器 也是需要注意的事情，因為他們本身也有對請求體的限制，還有值得注意的就是我們在創建文件流對象時 緩衝區的大小盡量不要超過netcore大對象的限制。這樣在併發高的時候很容易觸發二代GC的回收.

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-10

Maven系列第9篇：多環境構建支持，核心開發必備！

Post By admin 網路資訊 , , , , , ,

maven系列目標：從入門開始開始掌握一個高級開發所需要的maven技能。

這是maven系列第9篇。

整個maven系列的內容前後是有依賴的，如果之前沒有接觸過maven，建議從第一篇看起，本文尾部有maven完整系列的連接。

如果你作為公司核心開發，打算使用maven來搭建項目骨架，這篇文章的內容是你必須要掌握的。

平時我們在開發系統的時候，會有開發環境、測試環境、線上環境，每個環境中配置文件可能都是不一樣的，比如：數據庫的配置，靜態資源的配置等等，所以我們希望構建工具能夠適應不同環境的構建工作，能夠靈活處理，並且操作足夠簡單。Maven作為一款優秀的構建工具，這方面做的足夠好了，能夠很好的適應不同環境的構建工作，本文主要講解maven如何靈活的處理各種不同環境的構建工作，廢話不多說，上乾貨。

重點提示

本文中的所有案例均在上一篇的b2b項目上進行操作，上一篇還沒有看的可以移步過去看一下：

所有mvn命令均在b2b/pom.xml所在目錄執行。

Maven屬性

自定義屬性

maven屬性前面我們有用到過，可以自定義一些屬性進行重用，如下：

<properties>
    <spring.verion>5.2.1.RELEASE</spring.verion>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>${spring.verion}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-beans</artifactId>
        <version>${spring.verion}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-aop</artifactId>
        <version>${spring.verion}</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-web</artifactId>
        <version>${spring.verion}</version>
    </dependency>
</dependencies>

可以看到上面依賴了4個spring相關的構建，他們的版本都是一樣的，在properties元素中自定義了一個spring.version屬性，值為spring的版本號，其他幾個地方使用${}直接進行引用，這種方式好處還是比較明顯的，升級spring版本的時候非常方便，只需要修改一個地方，方便維護。

上面這個是maven自定義屬性，需要先在properties中定義，然後才可以在其他地方使用${屬性元素名稱}進行引用。

maven的屬性主要分為2大類，第一類就是上面說的自定義屬性，另外一類是不需要自定義的，可以直接拿來使用的。

2類屬性在pom.xml中都是採用${屬性名稱}進行引用，maven運行的時候會將${}替換為屬性實際的值。

下面我們來看一下maven中不需要自定義的5類屬性。

內置屬性

${basedir}：表示項目根目錄，即包含pom.xml文件的目錄
${version}：表示項目的版本號

POM屬性

用戶可以使用該屬性引用pom.xml文件中對應元素的值，例如${project.artifactId}就可以取到project->artifactId元素的值，常用的有：

${pom.build.sourceDirectory}：項目的主源碼目錄，默認為src/main/java/
${project.build.testSourceDirectory}：項目的測試源碼目錄，默認為src/test/java/
${project.build.directory}：項目構建輸出目錄，默認為target/
${project.build.outputDirectory}：項目主代碼編譯輸出目錄，默認為target/classes
${project.build.testOutputDirectory}：項目測試代碼編譯輸出目錄，默認為target/test-classes
${project.groupId}：項目的groupId
${project.artifactId}：項目的artifactId
${project.version}：項目的version，與${version}等價
${project.build.finalName}：項目打包輸出文件的名稱，默認為${project.artifactId}-${project.version}

Settings屬性

這種屬性以settings.開頭來引用~/.m2/settings.xml中的內容，如:

${settings.localRepository}

指向用戶本地倉庫的地址。

java系統屬性

所有java系統屬性都可以使用maven屬性來進行引用，例如${user.home}指向了當前用戶目錄。

java系統屬性可以通過mvn help:system命令看到。

環境變量屬性

所有的環境變量都可以使用env.開頭的方式來進行引用，如：

${env.JAVA_HOME}

可以獲取環境變量JAVA_HOME的值。

用戶可以使用mvn help:system命令查看所有環境變量的值。

上面的maven屬性，我們在pom.xml中通過${屬性名稱}可以靈活的引用，對我們寫pom.xml文件幫助還是比較大的。

實操案例

將下面配置放在b2b-account-service/pom.xml中：

<properties>
    <!-- 項目的主源碼目錄，默認為src/main/java/ -->
    <a>${pom.build.sourceDirectory}</a>
    <!-- 項目的測試源碼目錄，默認為src/test/java/ -->
    <b>${project.build.testSourceDirectory}</b>
    <!-- 項目構建輸出目錄，默認為target/ -->
    <c>${project.build.directory}</c>
    <!-- 項目主代碼編譯輸出目錄，默認為target/classes -->
    <d>${project.build.outputDirectory}</d>
    <!-- 項目測試代碼編譯輸出目錄，默認為target/test-classes -->
    <e>${project.build.testOutputDirectory}</e>
    <!-- 項目的groupId -->
    <f>${project.groupId}</f>
    <!-- 項目的artifactId -->
    <g>${project.artifactId}</g>
    <!-- 項目的version，與${version}等價-->
    <h>${project.version}</h>
    <!-- 項目打包輸出文件的名稱，默認為${project.artifactId}-${project.version} -->
    <i>${project.build.finalName}</i>

    <!-- setting屬性 -->
    <!-- 獲取本地倉庫地址-->
    <a1>${settings.localRepository}</a1>

    <!-- 系統屬性 -->
    <!-- 用戶目錄 -->
    <a2>${user.home}</a2>

    <!-- 環境變量屬性，獲取環境變量JAVA_HOME的值 -->
    <a3>${env.JAVA_HOME}</a3>
</properties>

然後在b2b/pom.xml所在目錄執行下面命令：

D:\code\IdeaProjects\b2b>mvn help:effective-pom -pl :b2b-account-service > 1.xml

上面這個命令會將mvn ...執行的結果輸出到b2b/1.xml目錄，mvn這段命令有看不懂的朋友，可以去看看前面的文章。

b2b目錄中產生了一個1.xml，如下：

我們打開1.xml看一下，部分內容如下：

<properties>
  <a>D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\src\main\java</a>
  <a1>${settings.localRepository}</a1>
  <a2>C:\Users\Think</a2>
  <a3>D:\installsoft\Java\jdk1.8.0_121</a3>
  <b>D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\src\test\java</b>
  <b2>D:\code\IdeaProjects\b2b</b2>
  <c>D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target</c>
  <d>D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\classes</d>
  <e>D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\test-classes</e>
  <f>com.javacode2018</f>
  <g>b2b-account-service</g>
  <h>1.0-SNAPSHOT</h>
  <i>b2b-account-service-1.0-SNAPSHOT</i>
</properties>

大家去和上面的pom.xml中的對比一下，感受一下！

多套環境構建問題

b2b-account-service會操作數據庫，所以我們需要一個配置文件來放數據庫的配置信息，配置文件一般都放在src/main/resources中，在這個目錄中新建一個jdbc.properties文件，內容如下：

jdbc.url=jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8
jdbc.username=root
jdbc.password=root

現在系統需要打包，我們運行下面命令

mvn clean package -pl :b2b-account-service

問題來了：

上面jdbc的配置的是開發庫的db信息，打包之後生成的jar中也是上面開發環境的配置，那麼上測試環境是不是我們需要修改上面的配置，最終上線的時候，上面的配置是不是又得重新修改一次，相當痛苦的。

我們能不能寫3套環境的jdbc配置，打包的時候去指定具體使用那套配置？

還是你們聰明，maven支持這麼做，pom.xml的project元素下面提供了一個profiles元素可以用來對多套環境進行配置。

在講profiles的使用之前，需要先了解資源文件打包的過程。

理解資源文件打包過程

我們將src/main/resouces/jdbc.properties複製一份到src/test/resources目錄，2個文件如下：

我們先運行一下下面命令：

mvn clean package -pl :b2b-account-service

輸出如下：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  1.572 s
[INFO] Finished at: 2019-11-21T17:13:20+08:00
[INFO] ------------------------------------------------------------------------

再去看一下項目的target目錄，如下圖：

下面我們來對這個過程做詳細分析：

從輸出中可以看到有下面幾行：

[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 1 resource

從上面輸出中可以看出，使用了插件maven-resources-plugin的resources目標，將src/main/resouces目錄中的資源文件複製到了target/classess目錄，複製了一個文件，複製過程中使用是GBK編碼。

還有幾行輸出如下：

[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 1 resource

從上面輸出中可以看出，使用了插件maven-resources-plugin的testResources目標，將src/main/resouces目錄中的資源文件複製到了target/classess目錄，複製了一個文件，複製過程中使用是GBK編碼。

resources目錄中的文件一般放的都是配置文件，配置文件一般最好我們都不會寫死，所以此處有幾個問題：

  1. 這個插件複製資源文件如何設置編碼？
  2. 複製的過程中是否能夠對資源文件進行替換，比如在資源文件中使用一些佔位符，然後複製過程中對這些佔位符進行替換。

maven-resources-plugin這個插件還真好，他也想到了這個功能，幫我們提供了這樣的功能，下面我們來看看。

設置資源文件複製過程採用的編碼

這個之前有提到過，有好幾種方式，具體可以去前面的文章看一下。這裏只說一種：

<properties>
    <encoding>UTF-8</encoding>
</properties>

設置資源文件內容動態替換

資源文件中可以通過${maven屬性}來引用maven屬性中的值，打包的過程中這些會被替換掉，替換的過程默認是不開啟的，需要手動開啟配置。

修改src/main/resource/jdbc.properties內容如下：

jdbc.url=${jdbc.url}
jdbc.username=${jdbc.username}
jdbc.password=${jdbc.password}

修改src/test/resource/jdbc.properties內容如下：

jdbc.url=${jdbc.url}
jdbc.username=${jdbc.username}
jdbc.password=${jdbc.password}

b2b-account-service/pom.xml中加入下面內容：

<properties>
    <!-- 指定資源文件複製過程中採用的編碼方式 -->
    <encoding>UTF-8</encoding>
    <jdbc.url>jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8</jdbc.url>
    <jdbc.username>root</jdbc.username>
    <jdbc.password>root</jdbc.password>
</properties>

開啟動態替換配置，需要在pom.xml中加入下面配置：

<build>
    <resources>
        <resource>
            <!-- 指定資源文件的目錄 -->
            <directory>${project.basedir}/src/main/resources</directory>
            <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
            <filtering>true</filtering>
        </resource>
    </resources>
    <testResources>
        <testResource>
            <!-- 指定資源文件的目錄 -->
            <directory>${project.basedir}/src/test/resources</directory>
            <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
            <filtering>true</filtering>
        </testResource>
    </testResources>
</build>

注意上面開啟動態替換的元素是filtering。

上面build元素中的resources和testResources是用來控制構建過程中資源文件配置信息的，比資源文件位於哪個目錄，需要複製到那個目錄，是否開啟動態過濾等信息。

resources元素中可以包含多個resource，每個resource表示一個資源的配置信息，一般使用來控制主資源的複製的。

testResources元素和testResources類似，是用來控制測試資源複製的。

最終pom.xml內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
        <jdbc.url>jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8</jdbc.url>
        <jdbc.username>root</jdbc.username>
        <jdbc.password>root</jdbc.password>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.javacode2018</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>
    </build>

</project>

運行下面命令看效果：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  1.798 s
[INFO] Finished at: 2019-11-21T17:53:48+08:00
[INFO] ------------------------------------------------------------------------

4個文件截圖看一下效果，如下：

target中的2個資源文件內容被動態替換掉了。

上面會將資源文件中${}的內容使用maven屬性中的值進行替換，${}中包含的內容默認會被替換，那麼我們是否可以自定義${}這個格式，比如我希望被##包含內容進行替換，這個就涉及到替換中分隔符的指定了，需要設置插件的一些參數。

自定義替換的分隔符

自定義分隔符，需要我們配置maven-resources-plugin插件的參數，如下：

<plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>2.6</version>
        <configuration>
            <!-- 是否使用默認的分隔符，默認分隔符是${*}和@ ,這個地方設置為false，表示不啟用默認分隔符配置-->
            <useDefaultDelimiters>false</useDefaultDelimiters>
            <!-- 自定義分隔符 -->
            <delimiters>
                <delimiter>$*$</delimiter>
                <delimiter>##</delimiter>
            </delimiters>
        </configuration>
    </plugin>
</plugins>

delimiters中可以配置多個delimiter，可以配置#*#,其中的*表示屬性名稱，那麼資源文件中的#屬性名#在複製的過程中會被替換掉，*前後都是#，表示前後分隔符都一樣，那麼可以簡寫為#，所以#*#和#寫法是一樣的，我們去看一下源碼，delimiters的默認值如下：

this.delimiters.add("${*}");
this.delimiters.add("@");

案例

我們將pom.xml修改成下面這樣：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
        <jdbc.url>jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8</jdbc.url>
        <jdbc.username>root</jdbc.username>
        <jdbc.password>root</jdbc.password>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.javacode2018</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>

        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-resources-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <!-- 是否使用默認的分隔符，默認分隔符是${*}和@ ,這個地方設置為false，表示不啟用默認分隔符配置-->
                    <useDefaultDelimiters>false</useDefaultDelimiters>
                    <!-- 自定義分隔符 -->
                    <delimiters>
                        <delimiter>$*$</delimiter>
                        <delimiter>##</delimiter>
                    </delimiters>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

將兩個jdbc.properties修改成下面這樣：

jdbc.url=${jdbc.url}
jdbc.username=$jdbc.username$
jdbc.password=##jdbc.password##

再運行一下下面的命令：

mvn clean package -pl :b2b-account-service

看一下target/classes中的jdbc.properties文件，變成了下面這樣：

jdbc.url=${jdbc.url}
jdbc.username=root
jdbc.password=root

可以看到後面兩符合分隔符的要求，被替換了，第一個沒有被替換。

指定需要替換的資源文件

在src/main/resources中新增一個const.properties文件，內容如下：

email=javacode2018@163.com
jdbc.url=${jdbc.url}
jdbc.username=$jdbc.username$
jdbc.password=##jdbc.password##

執行下面命令：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 2 resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  1.667 s
[INFO] Finished at: 2019-11-21T18:26:01+08:00
[INFO] ------------------------------------------------------------------------

看一下target/classes中，如下圖：

target/classes/const.properties內容變成下面這樣了：

email=javacode2018@163.com
jdbc.url=${jdbc.url}
jdbc.username=root
jdbc.password=root

說明const.properteis也被替換了。2個資源文件都被複制到了target中，如果我們不想讓cont.properties被複制到target/classes目錄，我們怎麼做？我們需要在資源構建的過程中排除他，可以使用exclude元素信息進行排除操作。

修改pom.xml中resources元素配置如下：

<resources>
    <resource>
        <!-- 指定資源文件的目錄 -->
        <directory>${project.basedir}/src/main/resources</directory>
        <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
        <filtering>true</filtering>
        <includes>
            <include>**/jdbc.properties</include>
        </includes>
        <excludes>
            <exclude>**/const.properties</exclude>
        </excludes>
    </resource>
</resources>

上面使用includes列出需要被處理的，使用excludes排除需要被處理的資源文件列表，採用通配符的寫法，**匹配任意深度的文件路徑，*匹配任意個字符。

再執行下面命令：

mvn clean package -pl :b2b-account-service

再看一下target/classes中，如下：

const.properties被排除了，確實沒有被複制過來。

如果此時我想讓const.propertis只是被複制到target下面，但是不要去替換裏面的內容，該怎麼做呢？此時需要配置多個resouce元素了，如下案例。

多個resource元素的使用案例

修改pom.xml中resources，如下：

<resources>
    <resource>
        <!-- 指定資源文件的目錄 -->
        <directory>${project.basedir}/src/main/resources</directory>
        <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
        <filtering>true</filtering>
        <includes>
            <include>**/jdbc.properties</include>
        </includes>
    </resource>
    <resource>
        <directory>${project.basedir}/src/main/resources</directory>
        <includes>
            <include>**/const.properties</include>
        </includes>
    </resource>
</resources>

現在pom.xml內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
        <jdbc.url>jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8</jdbc.url>
        <jdbc.username>root</jdbc.username>
        <jdbc.password>root</jdbc.password>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.javacode2018</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
                <includes>
                    <include>**/jdbc.properties</include>
                </includes>
            </resource>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
                <includes>
                    <include>**/const.properties</include>
                </includes>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>

        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-resources-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <!-- 是否使用默認的分隔符，默認分隔符是${*}和@ ,這個地方設置為false，表示不啟用默認分隔符配置-->
                    <useDefaultDelimiters>false</useDefaultDelimiters>
                    <!-- 自定義分隔符 -->
                    <delimiters>
                        <delimiter>$*$</delimiter>
                        <delimiter>##</delimiter>
                    </delimiters>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

執行命令看效果：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  2.116 s
[INFO] Finished at: 2019-11-21T18:38:59+08:00
[INFO] ------------------------------------------------------------------------

上面有如下輸出：

[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO] Copying 1 resource

插件處理了2個資源文件。

我們看一下target/classes目錄下兩個文件的內容。

jdbc.proerties:

jdbc.url=${jdbc.url}
jdbc.username=root
jdbc.password=root

const.properties：

email=javacode2018@163.com
jdbc.url=${jdbc.url}
jdbc.username=$jdbc.username$
jdbc.password=##jdbc.password##

2個資源都被複制到target/classes目錄了，只有jdbc.properties中的內容被替換了。

關於資源文件處理的，更詳細的過程可以去看這個插件的源碼，下面我們來說多環境處理的問題。

使用profiles處理多環境構建問題

maven支持讓我們配置多套環境，每套環境中可以指定自己的maven屬性，mvn命令對模塊進行構建的時候可以通過-P參數來指定具體使用哪個環境的配置，具體向下看。

profiles元素支持定義多套環境的配置信息，配置如下用法：

<profiles>
    <profile>測試環境配置信息</profile>
    <profile>開發環境配置信息</profile>
    <profile>線上環境配置信息</profile>
    <profile>環境n配置信息</profile>
</profiles>

profiles中包含多個profile元素，每個profile可以表示一套環境，profile示例如下：

<profile>
    <id>dev</id>
    <properties>
        <jdbc.url>dev jdbc url</jdbc.url>
        <jdbc.username>dev jdbc username</jdbc.username>
        <jdbc.password>dev jdbc password</jdbc.password>
    </properties>
</profile>

id：表示這套環境的標識信息，properties可以定義環境中使用到的屬性列表。

執行mvn命令編譯的時候可以帶上一個-P profileid來使用指定的環境進行構建。

指定環境進行構建

在b2b-account-service/pom.xml加入下面配置：

<profiles>
    <!-- 開發環境使用的配置 -->
    <profile>
        <id>dev</id>
        <properties>
            <jdbc.url>dev jdbc url</jdbc.url>
            <jdbc.username>dev jdbc username</jdbc.username>
            <jdbc.password>dev jdbc password</jdbc.password>
        </properties>
    </profile>
    <!-- 測試環境使用的配置 -->
    <profile>
        <id>test</id>
        <properties>
            <jdbc.url>test jdbc url</jdbc.url>
            <jdbc.username>test jdbc username</jdbc.username>
            <jdbc.password>test jdbc password</jdbc.password>
        </properties>
    </profile>
    <!-- 線上環境使用的配置 -->
    <profile>
        <id>prod</id>
        <properties>
            <jdbc.url>test jdbc url</jdbc.url>
            <jdbc.username>test jdbc username</jdbc.username>
            <jdbc.password>test jdbc password</jdbc.password>
        </properties>
    </profile>
</profiles>

將pom.xml的project->properties中的下面幾個元素幹掉，這些和profile中的重複了，需要幹掉：

<jdbc.url>jdbc:mysql://localhost:3306/javacode2018?characterEncoding=UTF-8</jdbc.url>
<jdbc.username>root</jdbc.username>
<jdbc.password>root</jdbc.password>

此時pom.xml內容如下，建議大家直接貼進去：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
    </properties>

    <!-- 配置多套環境 -->
    <profiles>
        <!-- 開發環境使用的配置 -->
        <profile>
            <id>dev</id>
            <properties>
                <jdbc.url>dev jdbc url</jdbc.url>
                <jdbc.username>dev jdbc username</jdbc.username>
                <jdbc.password>dev jdbc password</jdbc.password>
            </properties>
        </profile>
        <!-- 測試環境使用的配置 -->
        <profile>
            <id>test</id>
            <properties>
                <jdbc.url>test jdbc url</jdbc.url>
                <jdbc.username>test jdbc username</jdbc.username>
                <jdbc.password>test jdbc password</jdbc.password>
            </properties>
        </profile>
        <!-- 線上環境使用的配置 -->
        <profile>
            <id>prod</id>
            <properties>
                <jdbc.url>prod jdbc url</jdbc.url>
                <jdbc.username>prod jdbc username</jdbc.username>
                <jdbc.password>prod jdbc password</jdbc.password>
            </properties>
        </profile>
    </profiles>

    <dependencies>
        <dependency>
            <groupId>com.javacode2018</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
                <includes>
                    <include>**/jdbc.properties</include>
                </includes>
            </resource>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
                <includes>
                    <include>**/const.properties</include>
                </includes>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>

        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-resources-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <!-- 是否使用默認的分隔符，默認分隔符是${*}和@ ,這個地方設置為false，表示不啟用默認分隔符配置-->
                    <useDefaultDelimiters>false</useDefaultDelimiters>
                    <!-- 自定義分隔符 -->
                    <delimiters>
                        <delimiter>$*$</delimiter>
                        <delimiter>##</delimiter>
                    </delimiters>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

修改src/main/resource/jdbc.properties內容如下：

jdbc.url=$jdbc.url$
jdbc.username=$jdbc.username$
jdbc.password=##jdbc.password##

運行下面的構建命令：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service -Pdev
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  2.361 s
[INFO] Finished at: 2019-11-21T18:51:16+08:00
[INFO] ------------------------------------------------------------------------

注意上面命令中多了一個-Pdev參數，-P後面跟的是pom.xml中profile的id，表示需要使用那套環境進行構建。此時我們使用的是dev環境，即開發環境。

看一下target/classes/jdbc.properties，內容變成了下面這樣：

jdbc.url=dev jdbc url
jdbc.username=dev jdbc username
jdbc.password=dev jdbc password

上面文件的內容和pom.xml中dev的profile中的properties對比一下，內容是不是一樣的，說明資源文件中內容被替換為了dev環境的配置，我們再來試試test環境，執行下面命令：

mvn clean package -pl :b2b-account-service -Ptest

看一下target/classes/jdbc.properties，內容變成了下面這樣：

jdbc.url=test jdbc url
jdbc.username=test jdbc username
jdbc.password=test jdbc password

看到了么，神奇的效果出現了，test環境起效了。

開啟默認環境配置

我們在執行下面命令：

mvn clean package -pl :b2b-account-service

看一下target/classes/jdbc.properties，內容變成了下面這樣：

jdbc.url=$jdbc.url$
jdbc.username=$jdbc.username$
jdbc.password=##jdbc.password##

內容沒有被替換，因為我們沒有通過-P來指定具體使用哪個環境進行構建，所以出現了這種現象。

但是我們可以指定一個默認開啟的配置，我們默認開啟dev的配置，修改dev的profile元素，在這個元素下面加上：

<activation>
    <activeByDefault>true</activeByDefault>
</activation>

activeByDefault表示默認開啟這個環境的配置，默認值是false，這個地方我們設置為true，表示開啟默認配置。

此時dev的配置如下：

<profile>
    <id>dev</id>
    <activation>
        <activeByDefault>true</activeByDefault>
    </activation>
    <properties>
        <jdbc.url>dev jdbc url</jdbc.url>
        <jdbc.username>dev jdbc username</jdbc.username>
        <jdbc.password>dev jdbc password</jdbc.password>
    </properties>
</profile>

執行下面命令：

mvn clean package -pl :b2b-account-service

看一下target/classes/jdbc.properties，內容變成了下面這樣：

jdbc.url=dev jdbc url
jdbc.username=dev jdbc username
jdbc.password=dev jdbc password

這次我們沒有指定環境，默認使用了dev環境。

通過maven屬性來控制環境的開啟

剛才上面說了通過-P profileId的方式來指定環境，現在我們想通過自定義的屬性值來控制使用哪個環境。

可以在profile元素中加入下面配置

<activation>
    <property>
        <name>屬性xx</name>
        <value>屬性xx的值</value>
    </property>
</activation>

那麼我們可以在mvn後面跟上下面的命令可以開啟匹配的環境：

mvn ... -D屬性xx=屬性xx的值

-D可以通過命令行指定一些屬性的值，這個前面有講過，-D後面的屬性會和activation->properties中的name、value進行匹配，匹配成功的環境都會被開啟。

將pom.xml中profiles元素修改成下面這樣：

<!-- 配置多套環境 -->
<profiles>
    <!-- 開發環境使用的配置 -->
    <profile>
        <id>dev</id>
        <activation>
            <activeByDefault>true</activeByDefault>
            <property>
                <name>env</name>
                <value>env_dev</value>
            </property>
        </activation>
        <properties>
            <jdbc.url>dev jdbc url</jdbc.url>
            <jdbc.username>dev jdbc username</jdbc.username>
            <jdbc.password>dev jdbc password</jdbc.password>
        </properties>
    </profile>
    <!-- 測試環境使用的配置 -->
    <profile>
        <id>test</id>
        <activation>
            <property>
                <name>env</name>
                <value>env_test</value>
            </property>
        </activation>
        <properties>
            <jdbc.url>test jdbc url</jdbc.url>
            <jdbc.username>test jdbc username</jdbc.username>
            <jdbc.password>test jdbc password</jdbc.password>
        </properties>
    </profile>
    <!-- 線上環境使用的配置 -->
    <profile>
        <id>prod</id>
        <activation>
            <property>
                <name>env</name>
                <value>env_prod</value>
            </property>
        </activation>
        <properties>
            <jdbc.url>prod jdbc url</jdbc.url>
            <jdbc.username>prod jdbc username</jdbc.username>
            <jdbc.password>prod jdbc password</jdbc.password>
        </properties>
    </profile>
</profiles>

運行命令：

mvn clean package -pl :b2b-account-service -Denv=env_prod

target/classes/jdbc.properties內容如下：

jdbc.url=prod jdbc url
jdbc.username=prod jdbc username
jdbc.password=prod jdbc password

說明使用到了prod環境的配置。

啟動的時候指定多個環境

可以在-P參數後跟多個環境的id，多個之間用逗號隔開，當使用多套環境的時候，多套環境中的maven屬性會進行合併，如果多套環境中屬性有一樣的，後面的會覆蓋前面的。

運行下面命令看效果：

mvn clean package -pl :b2b-account-service -Pdev,test,prod

修改pom.xml中的profiles元素，如下：

<!-- 配置多套環境 -->
<profiles>
    <!-- 開發環境使用的配置 -->
    <profile>
        <id>dev</id>
        <activation>
            <activeByDefault>true</activeByDefault>
            <property>
                <name>env</name>
                <value>env_dev</value>
            </property>
        </activation>
        <properties>
            <jdbc.url>dev jdbc url</jdbc.url>
        </properties>
    </profile>
    <!-- 測試環境使用的配置 -->
    <profile>
        <id>test</id>
        <activation>
            <property>
                <name>env</name>
                <value>env_test</value>
            </property>
        </activation>
        <properties>
            <jdbc.username>test jdbc username</jdbc.username>
        </properties>
    </profile>
    <!-- 線上環境使用的配置 -->
    <profile>
        <id>prod</id>
        <activation>
            <property>
                <name>env</name>
                <value>env_prod</value>
            </property>
        </activation>
        <properties>
            <jdbc.password>prod jdbc password</jdbc.password>
        </properties>
    </profile>
</profiles>

注意看一下上面3個環境中都只有一個自定義屬性了

下面我們同時使用3個環境，執行下面命令：

mvn clean package -pl :b2b-account-service -Pdev,test,prod

target中的jdbc.properties文件變成了這樣：

jdbc.url=dev jdbc url
jdbc.username=test jdbc username
jdbc.password=prod jdbc password

查看目前有哪些環境

命令：

mvn help:all-profiles

案例：

D:\code\IdeaProjects\b2b>mvn help:all-profiles -pl :b2b-account-service
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-help-plugin:3.2.0:all-profiles (default-cli) @ b2b-account-service ---
[INFO] Listing Profiles for Project: com.javacode2018:b2b-account-service:jar:1.0-SNAPSHOT
  Profile Id: dev (Active: true , Source: pom)
  Profile Id: prod (Active: false , Source: pom)
  Profile Id: test (Active: false , Source: pom)

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  1.527 s
[INFO] Finished at: 2019-11-21T19:16:34+08:00
[INFO] ------------------------------------------------------------------------

從輸出中可以看到有3個環境，他們的id，默認激活的是那個等信息。

查看目前激活的是哪些環境

命令：

mvn help:active-profiles

案例：

D:\code\IdeaProjects\b2b>mvn help:active-profiles -pl :b2b-account-service -Ptest,prod
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-help-plugin:3.2.0:active-profiles (default-cli) @ b2b-account-service ---
[INFO]
Active Profiles for Project 'com.javacode2018:b2b-account-service:jar:1.0-SNAPSHOT':

The following profiles are active:

 - test (source: com.javacode2018:b2b-account-service:1.0-SNAPSHOT)
 - prod (source: com.javacode2018:b2b-account-service:1.0-SNAPSHOT)



[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  1.387 s
[INFO] Finished at: 2019-11-21T19:25:56+08:00
[INFO] ------------------------------------------------------------------------

從輸出中可以看到啟用了2套環境，分別是test和prod。

新問題：配置太分散了

我們的系統中有2個模塊需要用到數據庫的配置，這兩個模塊是：

b2b-account-service
b2b-order-service

上面我們介紹了b2b-account-service不同環境的構建操作，是在pom.xml中進行配置的，b2b-order-service中數據的配置也可以這麼做，如果以後有更多的模塊都需要連接不同的數據庫，是不是每個模塊中都需要配置這樣的pom.xml，那時候數據庫的配置分散在幾十個pom.xml文件中，如果運維需要修改數據庫的配置的時候，需要去每個模塊中去修改pom.xml中的屬性，這種操作會讓人瘋掉的，我們可以怎麼做？

我們可以將數據庫所有的配置放在一個文件中，運維只用修改這一個文件就行了，然後執行構件操作，重新發布上線，就ok了。

maven支持我們這麼做，可以在profile中指定一個外部屬性文件xx.properties，文件內容是這種格式的：

key1=value1
key2=value2
keyn=value2

然後在profile元素中加入下面配置：

<build>
    <filters>
        <filter>xx.properties文件路徑（相對路徑或者完整路徑）</filter>
    </filters>
</build>

上面的filter元素可以指定多個，當有多個外部屬性配置文件的時候，可以指定多個來進行引用。

然後資源文件複製的時候就可以使用下面的方式引用外部資源文件的內容：

xxx=${key1}

案例

新建文件b2b/config/dev.properties，內容如下：

# b2b-account-service jdbc配置信息
b2b-account-service.jdbc.url=dev_account_jdbc_url
b2b-account-service.jdbc.username=dev_account_jdbc_username
b2b-account-service.jdbc.password=dev_account_jdbc_password

# b2b-order-service jdbc配置信息
b2b-order-service.jdbc.url=dev_order_jdbc_url
b2b-order-service.jdbc.username=dev_order_jdbc_username
b2b-order-service.jdbc.password=dev_order_jdbc_password

新建文件b2b/config/test.properties，內容如下：

# b2b-account-service jdbc配置信息
b2b-account-service.jdbc.url=test_account_jdbc_url
b2b-account-service.jdbc.username=test_account_jdbc_username
b2b-account-service.jdbc.password=test_account_jdbc_password

# b2b-order-service jdbc配置信息
b2b-order-service.jdbc.url=test_order_jdbc_url
b2b-order-service.jdbc.username=test_order_jdbc_username
b2b-order-service.jdbc.password=test_order_jdbc_password

新建文件b2b/config/prod.properties，內容如下：

# b2b-account-service jdbc配置信息
b2b-account-service.jdbc.url=prod_account_jdbc_url
b2b-account-service.jdbc.username=prod_account_jdbc_username
b2b-account-service.jdbc.password=prod_account_jdbc_password

# b2b-order-service jdbc配置信息
b2b-order-service.jdbc.url=prod_order_jdbc_url
b2b-order-service.jdbc.username=prod_order_jdbc_username
b2b-order-service.jdbc.password=prod_order_jdbc_password

b2b-account-service/src/main/resource/jdbc.properties文件內容：

jdbc.url=${b2b-account-service.jdbc.url}
jdbc.username=${b2b-account-service.jdbc.username}
jdbc.password=${b2b-account-service.jdbc.password}

看到了沒，這裏面${}中的屬性名稱取的是上面b2b/config目錄中資源文件中的屬性名稱。

b2b-order-service/src/main/resource/jdbc.properties文件內容：

jdbc.url=${b2b-order-service.jdbc.url}
jdbc.username=${b2b-order-service.jdbc.username}
jdbc.password=${b2b-order-service.jdbc.password}

b2b-account-service/pom.xml內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>com.javacode2018</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
    </properties>

    <!-- 配置多套環境 -->
    <profiles>
        <!-- 開發環境使用的配置 -->
        <profile>
            <id>dev</id>
            <activation>
                <activeByDefault>true</activeByDefault>
                <property>
                    <name>env</name>
                    <value>env_dev</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/dev.properties</filter>
                </filters>
            </build>
        </profile>
        <!-- 測試環境使用的配置 -->
        <profile>
            <id>test</id>
            <activation>
                <property>
                    <name>env</name>
                    <value>env_test</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/test.properties</filter>
                </filters>
            </build>
        </profile>
        <!-- 線上環境使用的配置 -->
        <profile>
            <id>prod</id>
            <activation>
                <property>
                    <name>env</name>
                    <value>env_prod</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/prod.properties</filter>
                </filters>
            </build>
        </profile>
    </profiles>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>
    </build>

</project>

b2b-order-service/pom.xml內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.javacode2018</groupId>
    <artifactId>b2b-order-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>${project.groupId}</groupId>
            <artifactId>b2b-account-api</artifactId>
            <version>${project.version}</version>
        </dependency>
        <dependency>
            <groupId>${project.groupId}</groupId>
            <artifactId>b2b-order-api</artifactId>
            <version>${project.version}</version>
        </dependency>
    </dependencies>

    <properties>
        <!-- 指定資源文件複製過程中採用的編碼方式 -->
        <encoding>UTF-8</encoding>
    </properties>

    <!-- 配置多套環境 -->
    <profiles>
        <!-- 開發環境使用的配置 -->
        <profile>
            <id>dev</id>
            <activation>
                <activeByDefault>true</activeByDefault>
                <property>
                    <name>env</name>
                    <value>env_dev</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/dev.properties</filter>
                </filters>
            </build>
        </profile>
        <!-- 測試環境使用的配置 -->
        <profile>
            <id>test</id>
            <activation>
                <property>
                    <name>env</name>
                    <value>env_test</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/test.properties</filter>
                </filters>
            </build>
        </profile>
        <!-- 線上環境使用的配置 -->
        <profile>
            <id>prod</id>
            <activation>
                <property>
                    <name>env</name>
                    <value>env_prod</value>
                </property>
            </activation>
            <build>
                <filters>
                    <filter>../../config/prod.properties</filter>
                </filters>
            </build>
        </profile>
    </profiles>

    <build>
        <resources>
            <resource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/main/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </resource>
        </resources>
        <testResources>
            <testResource>
                <!-- 指定資源文件的目錄 -->
                <directory>${project.basedir}/src/test/resources</directory>
                <!-- 是否開啟過濾替換配置，默認是不開啟的 -->
                <filtering>true</filtering>
            </testResource>
        </testResources>
    </build>

</project>

見證奇迹的時刻來了。

執行下面命令：

D:\code\IdeaProjects\b2b>mvn clean package -pl :b2b-account-service,:b2b-order-service -Pdev
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] b2b-account-service                                                [jar]
[INFO] b2b-order-service                                                  [jar]
[INFO]
[INFO] ----------------< com.javacode2018:b2b-account-service >----------------
[INFO] Building b2b-account-service 1.0-SNAPSHOT                          [1/2]
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-account-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-account-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-account-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-account-service ---
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-account-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-account\b2b-account-service\target\b2b-account-service-1.0-SNAPSHOT.jar
[INFO]
[INFO] -----------------< com.javacode2018:b2b-order-service >-----------------
[INFO] Building b2b-order-service 1.0-SNAPSHOT                            [2/2]
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ b2b-order-service ---
[INFO] Deleting D:\code\IdeaProjects\b2b\b2b-order\b2b-order-service\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ b2b-order-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ b2b-order-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ b2b-order-service ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] skip non existing resourceDirectory D:\code\IdeaProjects\b2b\b2b-order\b2b-order-service\src\test\resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ b2b-order-service ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ b2b-order-service ---
[INFO] No tests to run.
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ b2b-order-service ---
[INFO] Building jar: D:\code\IdeaProjects\b2b\b2b-order\b2b-order-service\target\b2b-order-service-1.0-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for b2b-account-service 1.0-SNAPSHOT:
[INFO]
[INFO] b2b-account-service ................................ SUCCESS [  2.510 s]
[INFO] b2b-order-service .................................. SUCCESS [  0.257 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  3.026 s
[INFO] Finished at: 2019-11-21T20:11:32+08:00
[INFO] ------------------------------------------------------------------------

看一下兩個模塊target/classes下面jdbc.properties內容，如下圖：

使用了dev環境的配置，dev環境中處理資源文件替換的時候採用了config/dev.properties文件的內容，這部分配置如下，重點在於build->filters元素：

<profile>
    <id>dev</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <property>
            <name>env</name>
            <value>env_dev</value>
        </property>
    </activation>
    <build>
        <filters>
            <filter>../../config/dev.properties</filter>
        </filters>
    </build>
</profile>

我們再使用prod環境看一下效果，執行下面命令：

mvn clean package -pl :b2b-account-service,:b2b-order-service -Pprod

效果圖如下：

感受一下，這次使用了b2b/config/prod.properties文件的內容對資源文件進行了替換，這次將所有配置的信息集中在config目錄的幾個文件中進行處理了，對於運維和開發來說都非常方便了。

profile元素更強大的功能

profile元素可以用於對不同環境的構建進行配置，project中包含的元素，在profile元素中基本上都有，所以profile可以定製更複雜的構建過程，不同的環境依賴的構件、插件、build過程、測試過程都是不一樣的，這些都可以在profile中進行指定，也就是說不同的環境所有的東西都可以通過profile元素來進行個性化的設置，這部分的功能有興趣的大家可以自己去研究一下，截個圖大家感受一下:

從上圖中可以看出這些屬性都可以根據環境進行定製的。

還是那句話，上面這些用法大家會經常用到的，建議大家下去了多練練。看和操作，所獲取到的是不能比的，看的過程中可能覺得一切都知道了，但是實際操作就不一樣了，可能中間會遇到各種問題，然後自己會想辦法解決這些問題，領會和學到的東西是不一樣的！

Maven系列目錄

更多好文章

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-09

電動車電池成長，帶動致茂營收倍翻

Post By admin 網路資訊 , , , , , , ,

受惠於電動車動力電池需求增加，致茂電子的七月合併營收創下歷史新高。今年前七個月的累計營收更已與去年全年相當。

致茂電子表示，因電動車動力電池製造的關鍵技術（turnkey solutions）銷售蓬勃，帶動七月營收大漲，合併營收達新台幣16.2億元，不僅較上月成長71%、更較去年七月成長101%，營收數字創下歷史新高。

此外，母公司的7月單月營收也有128%的月增與172%的年增，達新台幣12.6億元。強勁的需求使致茂今年前七個月的合併營收年增27%來到69.1億新台幣；母公司前七個月的累計營收新台幣45億元，也已相當於去年全年水準。

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益

2020-03-09

傳蘋果電動汽車將採用韓國公司的電池技術

Post By admin 網路資訊 , , , , , , , ,

根據行業消息，蘋果近期與一家韓國電池開發商簽署了保密協議，聯合為代號為“泰坦”的汽車專案開發電池。從今年初開始，他們一直在韓國做行政工作。一名蘋果員工一直在這家韓國公司進行參觀活動，他屬於與蘋果電動汽車電池開發相關的部門。  
  業界認為，這家韓國公司並不是唯一一家負責蘋果電池開發的公司。不過，有消息稱，儘管蘋果從一開始就從完全不同的設計、功能以及性能角度來開發電池，但是他們仍舊一直在挖掘創新技術。業界相信，蘋果專注于開發出只能存在於蘋果自動駕駛汽車的創新電池技術。   這家韓國電池開發商由大約20名電池專家組成，持有空芯電池的國際專利技術。這些電池是圓柱形鋰離子二次電池，有兩根手指那麼厚，不同於其它空芯電池。蘋果並未選擇當前電動汽車普遍使用的標準圓形或矩形電池，但計畫根據韓國公司的空芯電池技術為其電動汽車開發自主電池。   文章來源：鳳凰科技

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-09

續航力600公里的特斯拉 即將問世？

Post By admin 網路資訊 , , , , , ,

續航力是電動車最受關注的性能，而作為全球電動車龍頭廠商的特斯拉（Tesla），似乎也準備好要推出續航力更久的車款了。跟據了解，新的特斯拉電動車可能搭載100kW的電池，續航力最遠可達611公里。

《癮科技》中文版指出，德國監管機關的資料中可查到Model S與Model X的100D與P100D型號的相關資訊；而根據特斯拉為車款型號命名的邏輯，這可能暗示特斯拉將推出搭載100kW電池的車款。

100kW 的電池搭配Model S，預計最高續航里程可來到611公里，比90D的續航里程多了100公里以上。若搭配Model X，續航里程也可來到480 公里之多。這樣的續航力，將能有效減輕美國車主對駕駛特斯拉跨州旅行的疑慮。

（照片來源：Tesla 臉書專頁）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-06

計算機圖形學—— 隱藏線和隱藏面的消除（消隱算法）

Post By admin 網路資訊 , , , , , , ,

 

一、概述

由於投影變換失去了深度信息，往往導致圖形的二義性。要消除二義性，就必須在繪製時消除被遮擋的不可見的線或面，習慣上稱作消除隱藏線和隱藏面（或可見線判定、可見面判定），或簡稱為消隱。經過消隱得到的投影圖稱為物體的真實感圖形。

下面這個圖就很好體現了這種二義性。

消隱后的效果圖：

消隱算法的分類

所有隱藏面消隱算法必須確定:
在沿透視投影的投影中心或沿平行投影的投影方向看過去哪些邊或面是可見的

兩種基本算法

1、以構成圖像的每一個像素為處理單元，對場景中的所有表面，確定相對於觀察點是可見的表面，用該表面的顏色填充該像素.
適於面消隱。

算法步驟：

a.在和投影點到像素連線相交的表面中，找到離觀察點最近的表面；
b.用該表面上交點處的顏色填充該像素；

2、以三維場景中的物體對象為處理單元，在所有對象之間進行比較，除去完全不可見的物體和物體上不可見的部分.適於面消隱也適於線消隱。

算法步驟：
a.判定場景中的所有可見表面；
b.用可見表面的顏色填充相應的像素以構成圖形；

提醒注意

1.假定構成物體的面不能相互貫穿，也不能有循環遮擋的情況。
2.假定投影平面是oxy平面，投影方向為z軸的負方向。

如果構成物體的面不滿足該假定，可以把它們剖分成互不貫穿和不循環遮擋的情況。
例如，用圖b中的虛線便可把原來循環遮擋的三個平面，分割成不存在循環遮擋的四個面。  

二、可見面判斷的有效技術

1、邊界盒

指能夠包含該物體的一個幾何形狀(如矩形/圓/長方體等)，該形狀有較簡單的邊界。

 

邊界盒技術用於判斷兩條直線是否相交。

進一步簡化判斷

2、後向面消除(Back-face Removal)

思路：把顯然不可見的面去掉，減少消隱過程中的直線求交數目

 

 

如何判斷：根據定義尋找外（或內）法向，若外法向背離觀察者，或內法向指向觀察者，則該面為後向面。

 

 

 

 

 

 

 

 

 

 

注意：如果多邊形是凸的，則可只取一個三角形計算有向面積sp。如果多邊形不是凸的，只取一個三角形計算有向面積sp可能會出現錯誤，即F所在的面為前向面也可能出現sp≥0的情況,因此，需按上式計算多邊形F的有向面積。如果sp ≥0，則F所在的面為後向面。

3、非垂直投影轉化成垂直投影

物體之間的遮擋關係與投影中心和投影方向有着密切的關係,因此，對物體的可見性判定也和投影方式有密切的關係。

垂直投影的優點:進行投影時可以忽略z值,即：實物的(x,y)可直接做為投影后的二維平面上的坐標(x,y)

上述討論說明，垂直投影比非垂直投影容易實現，並且計算量小。因此在進行消隱工作之前，首先應將非垂直投影轉換成垂直投影，從而降低算法的複雜性，提高運算速度。

如何把透視投影變為垂直投影,其本質是把稜台變成長方體。

三、基於窗口的子分算法（Warnack算法）

是一種分而治之(Divide-Conquer)的算法。

 

1、關係判斷

2、可見性判斷

3、分隔結束條件

4、提高效率的有效的處理技術

5、算法描述

用多邊形的邊界對區域作劃分，其目的是盡量減少對區域劃分的次數－－利用裁剪算法

 

四、八叉樹算法

為了生成真實感圖形，關鍵問題之一就是對圖像空間的每一個像素進行處理。從場景中所有的在該像素上有投影的表面中確定相對於觀察點是可見表面。為了提高算法效率，自然是希望從可能在像素上有投影的面片中尋找可見表面。八叉樹算法是快速尋找可見面的一種有效方法，是一種搜索算法。

基本思想：將能夠包含整個場景的立方體，即八叉樹的根結點，按照x，y，z三個方向中的剖面分割成八個子立方體，稱為根結點的八個子結點。對每一個子立方體，如果它包含的表面片少於一個給定的值，則該子立方體為八叉樹的終端結點，否則為非終端結點並將其進一步分割成八個子立方體；重複上述過程，直到每個小立方體所包含的表面片少於一個給定的值，分割即告終止。

 

 

那麼對於上述圖所示，視圖平面法向量（1,1,1）那麼此時它的一個排列是0,1,2,4,3,5,6,7，即最遠的八分體是0，與八分體0共享一個面的三個相鄰八分體是1,2和4,與最近八分體7的3個相鄰八分體是3,5和6。

 

五、Z緩衝器算法

1、算法描述

z緩衝器算法是最簡單的隱藏面消除算法之一。
基本思想：對屏幕上每一個像素點，過像素中心做一條投影線，找到此投影線與所有多邊形交點中離觀察者最近的點，此點的屬性(顏色或灰度)值即為這一屏幕像素點的屬性值。

需要兩個緩衝器數組，即：z緩衝器數組和幀緩衝器數組，分別設為 Zdepth[ ][ ] 與  Frame[ ][ ]
z緩衝器是一組存貯單元，其單元個數和屏幕上像素的個數相同，也和幀緩衝器的單元個數相同，它們之間一一對應。
幀緩衝器每個單元存放對應像素的顏色值；z緩衝器每個單元存放對應像素的深度值;

2、算法實現

 

算法的複雜性正比於m*n*N，在屏幕大小即m*n一定的情況下,算法的計算量只和多邊形個數N成正比

3、優缺點

 z-Buffer算法沒有利用圖形的相關性和連續性，這是z-Buffer算法的嚴重缺陷，更為嚴重的是，該算法是像素級上的消隱算法。

 六、掃描線z緩衝器算法

1、算法描述

將z緩衝器的單元數置為和一條掃描線上的像素數目相同。
從最上面的一條掃描線開始工作，向下對每一條掃描線作如下處理：

 

掃描線算法也屬於圖像空間消隱算法。該算法可以看作是多邊形區域填充里介紹過的邊相關掃描線填充算法的延伸。不同的是在消隱算法中處理的是多個面片，而多邊形填充中是對單個多邊形面進行填充。

2、數據結構

對每個多邊形，檢查它在oxy平面上的投影和當前掃描線是否相交？
若不相交，則不考慮該多邊形。
如果相交，則掃描線和多邊形邊界的交點是成對地出現
對每對交點中間的像素計算多邊形所在平面對應點的深度（即z值），並和z緩衝器中相應單元存放的深度值作比較。
若前者大於後者，則z緩衝器的相應單元內容要被求得的平面深度代替，幀緩衝器相應單元的內容也要換成該平面的屬性。
對所有的多邊形都作上述處理后，幀緩衝器中這一行的值便反應了消隱后的圖形。
對幀緩衝器每一行的單元都填上相應內容后就得到了整個消隱后的圖。

每處理一條掃描線，都要檢查各多邊形是否和該線相交，還要計算多邊形所在平面上很多點的z值，需要花費很大的計算
為了提高算法效率，採用跟多邊形掃描轉換中的掃描線算法類似的數據結構和算法.

多邊形Y表

 

實際上是一個指針數組 ,每個表的深度和显示屏幕行數相同.將所有多邊形存在多邊形Y表中,根據多邊形頂點中Y坐標最大值,插入多邊形Y表中的相應位置,多邊形Y表中保存多邊形的序號和其頂點的最大y坐標.

邊Y表

 要注意：Δx是下一條掃描線與邊交點的x減去當前的掃描線與邊交點的x。

多邊形活化表

邊對活化表

其實這裏最難理解的就是Δyl和Δxr了，這裏的意思就是當前掃描線所處的y值和與該掃描線相交邊的最小y值的差值。

就比如說掃描線y=6,與第一個三角形有兩個交點，左交點（4,6），右交點（7,6）那麼Δyl=6-3  Δyr=6-3

3、重溫算法目標

 對每一條掃描線，檢查對每個多邊形的投影是否相交，如相交則交點成對出現，對每對交點中間的每個像素計算多邊形所在平面對應點的深度（即z值），並和z緩衝器中相應單元存放的深度值作比較，若前者大於後者，則z緩衝器的相應單元內容要被求得的平面深度代替，幀緩衝器相應單元的內容也要換成該平面的屬性。
對所有的多邊形都作上述處理后，幀緩衝器中這一行的值便反應了消隱后的圖形，對幀緩衝器每一行的單元都填上相應內容后也就得到了整個消隱后的圖。

4、算法步驟

 

算法描述如下

七、優先級排序表算法

1、算法思想

優先級排序表算法按多邊形離觀察者的遠近來建立一個多邊形排序表，距觀察者遠的優先級低，放在表頭；近的優先級高，放在表尾
從優先級低的多邊形開始，依次把多邊形的顏色填入幀緩衝存儲器中
表中距觀察者近的元素覆蓋幀緩衝存儲器中原有的內容
當優先級最高的多邊形的圖形送入幀緩衝器后，整幅圖形就形成了
類似於油畫家繪畫過程，因此又稱為油畫家算法。

 

 

 

 

 

 

2、算法的優缺點

算法的優點:
簡單,容易實現,並且可以作為實現更複雜算法的基礎;
缺點:
只能處理不相交的面,而且深度優先級表中面的順序可能出錯.

該算法不能處理某些特殊情況。

 

 

解決辦法：把P沿Q平面一分為二，從多邊形序列中把原多邊形P去掉，把分割P生成的兩個多邊形加入鏈表中。具體實現時，當離視點最遠的多邊形P和其他多邊形交換時，要對P做一標誌，當有標誌的多邊形再換成離視點最遠的多邊形時，則說明出現了上述的現象，可用分割方法進行處理 。

用來解決動態显示問題時,可大大提高效率

八、光線投射算法

1、算法原理

要處理的場景中有無限多條光線，從採樣的角度講我們僅對穿過像素的光線感興趣，因此，可考慮從像素出發，逆向追蹤射入場景的光線路徑

 

 

 

 

 

2、算法實現

由視點出發穿過觀察平面上一像素向場景發射一條射線
求出射線與場景中各物體表面的交點
離視點最近的交點的顏色即為像素要填的顏色。
光線投射算法對於包含曲面，特別是包含球面的場景有很高的效率。

 

 

 

 

 

 

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益

2020-03-06

從零開始搭建前後端分離的NetCore2.2（EF Core CodeFirst+Autofac）+Vue的項目框架之十一Swagger使用一

Post By admin 網路資訊 , , , , , , , ,

　一.未使用Swagger狀況

　　相信無論是前端開發人員還是後端開發人員，都或多或少都被接口文檔折磨過，前端經常抱怨後端給的接口文檔或與實際情況不一致。後端又覺得編寫及維護接口文檔會耗費不少精力，經常來不及更新。 其實無論是前端調用後端，還是後端調用後端，都期望有一個好的接口文檔。但是這個接口文檔對於程序員來說，就跟註釋一樣，經常會抱怨別人寫的代碼沒有寫註釋，然而自己寫起代碼起來，最討厭的，也是寫註釋。 所以僅僅只通過強制來規範大家是不夠的，隨着時間推移，版本迭代，接口文檔往往很容易就跟不上代碼了

　二.使用Swagger狀況

　　Swagger 提供了一個可視化的UI頁面展示描述文件，其中包括接口的調用，接口所需參數（header,body,url.params），接口說明，參數說明等。接口的調用方、測試、項目經理等都可以在該頁面中對相關接口進行查閱和做一些簡單的接口請求。只要在項目框架搭建時，對Swagger 進行了配置，後面持續迭代的時候，只會花很小代價去維護代碼、接口文檔以及Swagger描述文件。因為一旦接口發生改變，程序重新部署，接口文檔會重新生成對應新的文檔。

　三.如何使用？

　　在NetCore項目中怎麼去使用Swagger來生成接口文檔呢？

　　首先在 webApi 啟動項目 上 右鍵 點擊管理Nuget程序包， 安裝  Swashbuckle.AspNetCore ，然後到  Startup 中添加引用  using Swashbuckle.AspNetCore.Swagger; 

　　在ConfigureServices方法中添加以下代碼

            #region Swagger

            services.AddSwaggerGen(options =>
            {
                options.SwaggerDoc("v1", new Info
                {
                    Version = "v1",
                    Title = "API Doc",
                    Description = "作者:Levy_w_Wang",
                    //服務條款
                    TermsOfService = "None",
                    //作者信息
                    Contact = new Contact
                    {
                        Name = "levy",
                        Email = "levy_w_wang@qq.com",
                        Url = "https://www.cnblogs.com/levywang"
                    },
                    //許可證
                    License = new License
                    {
                        Name = "tim",
                        Url = "https://www.cnblogs.com/levywang"
                    }
                });

                #region XmlComments

                var basePath1 = Path.GetDirectoryName(typeof(Program).Assembly.Location);//獲取應用程序所在目錄（絕對，不受工作目錄(平台)影響，建議採用此方法獲取路徑）
                //獲取目錄下的XML文件 显示註釋等信息
                var xmlComments = Directory.GetFiles(basePath1, "*.xml", SearchOption.AllDirectories).ToList();

                foreach (var xmlComment in xmlComments)
                {
                    options.IncludeXmlComments(xmlComment);
                }
                #endregion

                options.DocInclusionPredicate((docName, description) => true);

                options.IgnoreObsoleteProperties();//忽略 有Obsolete 屬性的方法
                options.IgnoreObsoleteActions();
                options.DescribeAllEnumsAsStrings();
            });
            #endregion

上面寫的循環是因為項目中可能有多個控制器類庫，為的是排除這種情況

接下來，再到 Configure 方法中添加：

            #region Swagger

            app.UseSwagger(c => { c.RouteTemplate = "apidoc/{documentName}/swagger.json"; });
            app.UseSwaggerUI(c =>
            {
                c.RoutePrefix = "apidoc";
                c.SwaggerEndpoint("v1/swagger.json", "ContentCenter API V1");
                c.DocExpansion(DocExpansion.Full);//默認文檔展開方式
            });

            #endregion

這裏使用了 RoutePrefix  屬性，為的是改變原始打開接口文檔目錄，原始路徑為 swagger/index.html ,現在為 /apidoc/index.html 

這個時候在需要輸出註釋的控制器類庫的屬性 中設置如下信息，並添加上相關註釋

然後運行起來，打開本地地址加上  /apidoc/index.html  就可以看到效果，

特別提醒：如果打開下面這個界面能正常显示，但是提示  Fetch errorInternal Server Error v1/swagger.json  錯誤，說明有方法未指明請求方式，如 HttpGet HttpPost HttpPut 等，找到並指明，重新運行就正常了

 

  點擊方法右上角的 Try it out ，試下調用接口，然後點擊Exectue,執行查看結果，能得到後端方法返回結果就說明成功。

特別說明：有接口不需要展示出去的時候，可以在方法上添加屬性 Obsolete ，這樣就不會显示出來。 前提：有前面ConfigureServices中 後面的 忽略 有Obsolete 屬性的方法 設置才行！！！

 

 最後可以看到接口返回數據正常，並且也能看到接口響應請求嘛等等信息，一個接口應該返回的信息也都有显示。

 

總結：

本文從為開發人員手寫api文檔的痛楚，從而引申出Swagger根據代碼自動生成出文檔和註釋，

並且還可以將不需要的方法不显示等設置。然後進行了簡單的測試使用 。

但是！！一般後端方法都有token等驗證，需要在header中添加token、sid等字段來驗證用戶，保障安全性，

該設置將在下一章節中寫！

 下一章

以上若有什麼不對或可以改進的地方，望各位指出或提出意見，一起探討學習~

有需要源碼的可通過此 鏈接拉取 覺得還可以的給個 start 和點個 下方的推薦哦~~謝謝！

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-06

高質量App的架構設計與思考！

Post By admin 網路資訊 , , , , , ,

最近在做一功能不大、業務也不複雜的小眾App，以往做App是發現自己從來沒有考慮過一些架構方面的問題，只是按照自己以往的習慣去寫代碼，忽略了App的設計。本次分享主要包含一些開發App的小經驗和技巧，來一次App開發與設計的分享。

先和分享下一下實體類的設計與組織形式

實體類的組織

在做App開發的時候有很多的實體類，項目越複雜實體類就會越多，經過我的一番思考大致這可以將實體分為以下幾大數：

  • 面向數據庫的
  • 服務端返回的數據實體
  • 用於渲染View的實體（使用Databinding）

一般情況下實體類的操作會經過以下步驟：

  1. App請求服務器獲取數據
  2. 將數據存入數據庫（可選）
  3. 渲染頁面展示數據

現在的實體的產生只用在請求服務器數據的時候才需要新建，後續的數據庫、頁面渲染其實是可以使用一套實體：

先不說這樣做的行不行，首先三個地方使用同一實體就會引起字段歧義比如服務器數據有Id、本地數據也有Id，那兩個id字段就有衝突了不得不改字段名。

另一種情況渲染和數據本身並不會一一對應，有時候後端數據給的是一個純数字而前端頁面显示的是字符串兩個都對應不上，強行放在一起會起來更多的問題。

所為實體類的的正確組織形式應該是：相互隔離、互不干擾：

數據實體的在渲染之前都需要準備好，比如在ViewModel中將int型的數據轉換成文本型的數據然後再使用Databinding＋頁面渲染實體來渲染頁面。

優雅的處理網絡數據

現在Android開發使用的網絡庫大部分都是Okhttp + Retrofit，使用Retrofit網絡交互變的非常簡單一個Service接口就能搞定一切，美茲茲~~，現在大部分後端返回的數據都會是以下形式：

{
    "code":0,
    "data": {},
    "msg": ""
}

雖然不能涵蓋所有，但還是可以非常贊的數據、消息、成功與否啥都有！對於前面主要是關注data字段，其他msg、code等都屬於輔助字段。前端對應的實體對象應該是這樣的（假代碼）：

public class ApiResponse<T> {
    private int code;
    private T data;
    private String msg;
}

對應的Service那就得定義成這樣（使用了RxJava）：

public intface UserService {
    @GET("/xx/{id}")
    Single<ApiResponse<UserInfo> getUserInfoById(@Path("id") Long userId);
}

從接口中可以看出來，方法的返回值就包了幾層，如果要拿data字段需要經過：ApiResponse -> UserInfo，而且在拿之前還要判斷code字段：


...

if(ApiResponse.code == 0){
    UserInfo info = ApiResponse.getData();
}

...

為了消除這些冗餘的代碼可以使用CallAdapter來使Service方法返回的數據直接就是實體類：

public intface UserService {
    @GET("/xx/{id}")
    Single<UserInfo> getUserInfoById(@Path("id") Long userId);
}

CallAdapter的代碼就不貼了，可以自行查找。這樣做帶來的另外一個問題就是業務代碼如何判斷接口是否成功或失敗，前端必需友好的把錯誤提示給用戶而不是一直搞個Loading在那裡瞎轉~~。現階段最方便的的錯誤傳遞方式是使用Java異常，前端可以定義業務異常或網絡異常：

public class BizException extends RuntimeException {
    ...
}

在CallAdapter中檢查ApiResponse的返回值是否成功：


if(!ApiResponse != 0){
    throw new BizExcepiton(ApiResponse);
}

如果後端返回業務異常那前端就對應拋出一個BizExcepiton，如果是http錯誤如：404、400那可以拋出HttpException。除了BizExcepiton和HttpException外還可使用特定的異常比如後端返回密碼錯誤異常：

public class InvalidPasswordException extends BizException {
    ...
}

如需特殊處理，也可以滿足要求。

健壯的數據層

現在很多應用都開發使用MVVM開發模式數據層都使用Repository來表示，面向數據驅動的開發模式，頁面變化都需要隨着數據變更而更新，數據發生變化然後頁面再做出響應。Repository的拆分要細一點，不建議簡單的弄個UserRepository包含登陸、註冊、更新密碼等等操作，設計Repository的一些想法：

  1. 面向接口編程
  2. 保持單一原則
  3. 功能邊界要清晰（如：登陸、註冊可以分開）
  4. 業務邏輯盡可能的少（複雜的業務考慮Presenter）

一個判斷是否是好的設計的辦法可以這樣：一個登陸頁面從Activive/Fragment到ViewModel再到Repository，有沒有多餘的代碼。比如上面說的UserRepository包含登陸、註冊但是在一個登陸頁面就不需要有註冊功能，從登陸頁面上來看註冊的代碼就是多餘的（有些App登陸/註冊在一個頁面的~~）。

一個包含登陸、註冊的UserRepository簡單圖：

另外一點是盡量將repository使用到的一些東西集中管理，可引入一個基礎的repository：

public class SimpleRepository {
    
    protected final  <T> T getService(Class<T> clz){
        return Services.getService(clz);
    }
}

做為SimpleRepository的子類，就不需要考慮從哪裡獲取service的問題。

簡潔的UI層

UI層面可以分為ViewModel和View（Activity/Fragment）， View的職責應當只有二點：

  1. 展示業務數據
  2. 收集業務數據

例如一些數據的組織、判斷都不應該出現在View中比如：

 if (Strings.isNullOrEmpty(phone)) {
       ...
        return;
 }

 if (Strings.isNullOrEmpty(pwd)) {
        ...
        return;
  }

像上面這類的代碼都不應該出現在View中，而在放置在ViewModel裏面，View只收集用戶數據傳遞給ViewModel由它來進行數據校驗。再比如像這樣的if/else代碼也應該放置在ViewModel中：

 int age = 10;
 String desc = "";
 if(age < 18){
    desc = "青年";
 }else if(age < 29){
    desc = "中年";
 }

如果數據的显示和數據的收集過多，建議使用Databinding來進行雙向綁定數據。再搭配LiveData使View作為觀察者實時監聽數據變化：

registerViewModel.getRegistryResult().observe(this, new SimpleObserver<RegistryInfo>(this));

一旦數據發生變化LiveData就會通知Observer更新，通過DataBinding更新各個頁面數據。

再說ViewModel應該只包含一些簡單的判斷、檢查、打通數據的代碼，如果業務過於複雜可以考慮加Presetner，如果真的超級複雜那可以反思下這個複雜的邏輯應不應該放在前端，能不能放在後端呢？

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

2020-03-05

Fork/Join框架詳解

Post By admin 網路資訊 , , , , , , ,

Fork/Join框架詳解

Fork/Join框架是Java 7提供的一個用於并行執行任務的框架，是一個把大任務分割成若干個小任務，最終匯總每個小任務結果后得到大任務結果的框架。Fork/Join框架要完成兩件事情：

  • 任務分割：首先Fork/Join框架需要把大的任務分割成足夠小的子任務，如果子任務比較大的話還要對子任務進行繼續分割

  • 執行任務併合並結果：分割的子任務分別放到雙端隊列里，然後幾個啟動線程分別從雙端隊列里獲取任務執行。子任務執行完的結果都放在另外一個隊列里，啟動一個線程從隊列里取數據，然後合併這些數據

ForkJoinTask

使用Fork/Join框架，首先需要創建一個ForkJoin任務。該類提供了在任務中執行fork和join的機制。通常情況下我們不需要直接集成ForkJoinTask類，只需要繼承它的子類，Fork/Join框架提供了兩個子類:

  • RecursiveAction
    用於沒有返回結果的任務
  • RecursiveTask
    用於有返回結果的任務

ForkJoinPool

ForkJoinTask需要通過ForkJoinPool來執行。

任務分割出的子任務會添加到當前工作線程所維護的雙端隊列中，進入隊列的頭部。當一個工作線程的隊列里暫時沒有任務時，它會隨機從其他工作線程的隊列的尾部獲取一個任務(工作竊取算法)；

Fork/Join框架的實現原理

ForkJoinPool由ForkJoinTask數組和ForkJoinWorkerThread數組組成，ForkJoinTask數組負責將存放程序提交給ForkJoinPool，而ForkJoinWorkerThread負責執行這些任務;

ForkJoinTask的fork方法的實現原理

當我們調用ForkJoinTask的fork方法時，程序會把任務放在ForkJoinWorkerThread的pushTask的workQueue中，異步地執行這個任務，然後立即返回結果，代碼如下：

public final ForkJoinTask<V> fork() {
    Thread t;
    if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)
        ((ForkJoinWorkerThread)t).workQueue.push(this);
    else
        ForkJoinPool.common.externalPush(this);
    return this;
}

pushTask方法把當前任務存放在ForkJoinTask數組隊列里。然後再調用ForkJoinPool的signalWork()方法喚醒或創建一個工作線程來執行任務。代碼如下：

final void push(ForkJoinTask<?> task) {
    ForkJoinTask<?>[] a; ForkJoinPool p;
    int b = base, s = top, n;
    if ((a = array) != null) {    // ignore if queue removed
        int m = a.length - 1;     // fenced write for task visibility
        U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task);
        U.putOrderedInt(this, QTOP, s + 1);
        if ((n = s - b) <= 1) {
            if ((p = pool) != null)
                p.signalWork(p.workQueues, this);
        }
        else if (n >= m)
            growArray();
    }
}

ForkJoinTask的join方法的實現原理

Join方法的主要作用是阻塞當前線程並等待獲取結果。讓我們一起看看ForkJoinTask的join方法的實現，代碼如下：

public final V join() {
    int s;
    if ((s = doJoin() & DONE_MASK) != NORMAL){
        reportException(s);
    }
    return getRawResult();
}

它首先調用doJoin方法，通過doJoin()方法得到當前任務的狀態來判斷返回什麼結果，任務狀態有4種：已完成（NORMAL）、被取消（CANCELLED）、信號（SIGNAL）和出現異常（EXCEPTIONAL）；
如果任務狀態是已完成，則直接返回任務結果；
如果任務狀態是被取消，則直接拋出CancellationException；
如果任務狀態是拋出異常，則直接拋出對應的異常；
doJoin方法的實現，代碼如下：

private int doJoin() {
    int s;
    Thread t;
    ForkJoinWorkerThread wt;
    ForkJoinPool.WorkQueue w;
    return (s = status) < 0 ? s :
            ((t = Thread.currentThread()) instanceof                                ForkJoinWorkerThread) ? (w = (wt =                                      (ForkJoinWorkerThread)t).workQueue).tryUnpush(this) && (s =                 doExec()) < 0 ? s : wt.pool.awaitJoin(w, this, 0L) :                externalAwaitDone();
}

doExec() :

final int doExec() {
    int s; 
    boolean completed;
    if ((s = status) >= 0) {
        try {
            completed = exec();
        } catch (Throwable rex) {
            return setExceptionalCompletion(rex);
        }
        if (completed){
            s = setCompletion(NORMAL);
        }
    }
    return s;
}

在doJoin()方法里，首先通過查看任務的狀態，看任務是否已經執行完成，如果執行完成，則直接返回任務狀態；如果沒有執行完，則從任務數組裡取出任務並執行。如果任務順利執行完成，則設置任務狀態為NORMAL，如果出現異常，則記錄異常，並將任務狀態設置為EXCEPTIONAL

Fork/Join框架的異常處理

ForkJoinTask在執行的時候可能會拋出異常，但是我們沒辦法在主線程里直接捕獲異常，所以ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經拋出異常或已經被取消了，並且可以通過ForkJoinTask的getException方法獲取異常。代碼如下：

if(task.isCompletedAbnormally())
{
    System.out.println(task.getException());
}

getException方法返回Throwable對象，如果任務被取消了則返回CancellationException。如果任務沒有完成或者沒有拋出異常則返回null:

public final Throwable getException() {
    int s = status & DONE_MASK;
    return ((s >= NORMAL) ? null :
        (s == CANCELLED) ? new CancellationException() :
        getThrowableException());
}

DEMO

需求：求1+2+3+4的結果
分析：Fork/Join框架首先要考慮到的是如何分割任務，如果希望每個子任務最多執行兩個數的相加，那麼我們設置分割的閾值是2，由於是4個数字相加，所以Fork/Join框架會把這個任務fork成兩個子任務，子任務一負責計算1+2，子任務二負責計算3+4，然後再join兩個子任務的結果。因為是有結果的任務，所以必須繼承RecursiveTask，實現代碼如下：

import java.util.concurrent.ExecutionException;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.Future;
import java.util.concurrent.RecursiveTask;

/**
 *
 * @author aikq
 * @date 2018年11月21日 20:37
 */
public class ForkJoinTaskDemo {

    public static void main(String[] args) {
        ForkJoinPool pool = new ForkJoinPool();
        CountTask task = new CountTask(1,4);
        Future<Integer> result = pool.submit(task);
        try {
            System.out.println("計算結果=" + result.get());
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (ExecutionException e) {
            e.printStackTrace();
        }
    }
}

class CountTask extends RecursiveTask<Integer>{
    private static final long serialVersionUID = -7524245439872879478L;

    private static final int THREAD_HOLD = 2;

    private int start;
    private int end;

    public CountTask(int start,int end){
        this.start = start;
        this.end = end;
    }

    @Override
    protected Integer compute() {
        int sum = 0;
        //如果任務足夠小就計算
        boolean canCompute = (end - start) <= THREAD_HOLD;
        if(canCompute){
            for(int i=start;i<=end;i++){
                sum += i;
            }
        }else{
            int middle = (start + end) / 2;
            CountTask left = new CountTask(start,middle);
            CountTask right = new CountTask(middle+1,end);
            //執行子任務
            left.fork();
            right.fork();
            //獲取子任務結果
            int lResult = left.join();
            int rResult = right.join();
            sum = lResult + rResult;
        }
        return sum;
    }
}

通過這個例子，我們進一步了解ForkJoinTask，ForkJoinTask與一般任務的主要區別在於它需要實現compute方法，在這個方法里，首先需要判斷任務是否足夠小，如果足夠小就直接執行任務。如果不足夠小，就必須分割成兩個子任務，每個子任務在調用fork方法時，又會進入compute方法，看看當前子任務是否需要繼續分割成子任務，如果不需要繼續分割，則執行當前子任務並返回結果。使用join方法會等待子任務執行完並得到其結果

本文由博客一文多發平台 發布！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益

2020-03-05

paper sharing ：學習特徵演化的數據流

Post By admin 網路資訊 , , , , , , , ,

特徵演化的數據流

    數據流學習是近年來機器學習與數據挖掘領域的一個熱門的研究方向，數據流的場景和靜態數據集的場景最大的一個特點就是數據會發生演化，關於演化數據流的研究大多集中於概念漂移檢測（有監督學習），概念/聚類演化分析（無監督學習），然而，人們往往忽略了一個經常出現的演化場景：特徵演化。大多數研究都考慮數據流的特徵空間是固定的，然而，在很多場景下這一假設並不成立：例如，當有限壽命傳感器收集的數據被新的傳感器替代時，這些傳感器對應的特徵將發生變化。

    今天要分享的文章出自周志華的實驗室《Learning with Feature Evolvable Streams》（NIPS 2017），它提出了一個新的場景，即在數據流中會有特徵消亡也會有新特徵出現。當出現新的特徵空間時，我們並不直接拋棄之前學到的模型並在新的數據上重新創建模型，而是嘗試恢復消失的特徵來提升模型的表現。具體來說，通過從恢復的特徵和新的特徵空間中分別學習兩個模型。為了從恢復的特徵中獲得提升，論文中提出了兩種集成策略：第一種方法是合併兩個模型的預測結果；第二種是選擇最佳的預測模型。下面我們具體來理解特徵演化數據流以及論文中提出的一些有趣的方法吧~

paper link：

 

什麼是特徵演化數據流？

    在很多現實的任務中，數據都是源源不斷收集的，關於數據流學習的研究近年來受到越來越多的關注，雖然已經有很多有效的算法針對特定的場景對數據流進行挖掘，但是它們都基於一個假設就是數據流中數據的特徵空間是穩定的。不幸的是，這一假設在很多場景下都不滿足。針對特徵演化的場景，最直接的想法就是利用新的特徵空間的數據學習一個新的模型，但是這一方法有很多問題：首先，當新的特徵剛出現的時候，只有很少的數據樣本來描述這些信息，訓練樣本並不足夠去學習一個新的模型；其次，包含消失特徵的舊模型被直接丟棄了，其中可能包含對當前數據有用的信息。論文中定義了一種特徵演化數據流的場景：一般情況下，特徵不會任意改變，而在一些重疊時期，新特徵和舊特徵都存在，如下圖所示：

    其中，T1階段，原始特徵集都是有效的，B1階段出現了新的特徵集，T2階段原始特徵集消失，只有新的特徵集。

    論文提出的方法是通過使用重疊（B1）階段來發現新舊特徵之間的關係，嘗試學習新特徵到舊特徵的一個映射，這樣就可以通過重構舊特徵並使用舊模型對新數據進行預測

問題描述

    論文中着重解決的是分類和回歸任務，在每一輪學習過程中，對每一個實例進行預測，結合它的真實標籤會得到一個loss（反映預測和真實標籤的差異），我們將上面提到的T1+B1+T的過程稱為一個周期，每個周期中只包含兩個特徵空間，所以，之後的研究主要關注一個周期內的模型的學習，而且，我們假設一個周期內的舊特徵會同時消失。定義Ω1和Ω2分別表示兩個特徵空間S1和S2上的線性模型，並定義映射，定義第i維特徵在第t輪的預測函數為線性模型，。損失函數是凸的，最直接的方式是使用在線梯度下降來求解w，但是在數據流上不適用。

 

方法介紹

    上文提到的基本算法的主要限制是在第1,…T1輪學習的模型在T1+1,…T1+T2時候被忽略了，這是因為T1之後數據的特徵空間改變了，我們無法直接應用原來的模型。為了解決這一問題，我們假設新舊特徵空間之間有一種特定的關係：，我們嘗試通過重疊階段B1來學習這種關係。學習兩組特徵之間的關係的方法很多，如多元回歸，數據流多標籤學習等。但是在當前的場景下，由於重疊階段特別短，學習一個複雜的關係模型是不現實的。所以我們採用線性映射來近似。定義線性映射的係數矩陣為M，那麼在B1階段，M的估計可以基於如下的目標方程：

M的最優解可以解得：

    然後，當我觀測到S2空間得數據，就可以通過M將其轉化到S1空間，並應用舊模型對其進行預測。

除了學習這個關係映射之外，我們得算法主要包括兩個部分：

  1. 在T1-B1+1,…T1階段，我們學習兩個特徵空間之間得關係；

  2. 在T1之後，我們使用新特徵空間的數據轉化后的原特徵空間數據，持續更新舊模型以提升它的預測效果，然後集成兩個模型進行預測。

 

預測結果集成

    論文中提出兩種集成方法，第一種是加權組合，即將兩個模型的預測結果求加權平均，權重是基於exponential of the cumulative loss。

其中

    這種權重的更新規則表明，如果上一輪模型的損失較大，下一輪模型的權值將以指數速度下降，這是合理的，可以得到很好的理論結果。

    第二種集成方法是動態選擇。

    上面提到的組合的方法結合了幾個模型來提升整體性能，通常來說，組合多個分類器的表現會比單分類器的效果要好，但是，這基於一個重要的假設就是每個基分類器的表現不能太差（如，在Adaboost中，基分類器的預測精度不應低於0.5）。然而在這個問題中，由於新特徵空間剛出現的時候訓練集較小，訓練的模型不好，因此可能並不適合用組合的方法來預測，相反，用動態選擇最優模型的方法反而能獲得好的效果。

有趣的靈魂在等你長按二維碼識別

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!