• UID80
  • 登录2017-11-16
  • 粉丝63
  • 关注21
  • 发帖1124
  • 主页
  • 金币6471枚
社区居民
忠实会员
原创写手
潇潇宇 发布于2016-01-24 19:59
5/16650

新一代Android渠道打包工具:1000个渠道包只需要5秒

楼层直达

新一代Android渠道打包工具:1000个渠道包只需要5秒

 

源码:https://github.com/mcxiaoke/packer-ng-plugin

 

最新版本

  • v1.0.4 - 2016.01.19 - 完善获取APK路径的方法,增加MarketInfo
  • v1.0.3 - 2016.01.14 - 增加缓存,新增ResUtils,更有好的错误提示
  • v1.0.2 - 2015.12.04 - 兼容productFlavors,完善异常处理
  • v1.0.1 - 2015.12.01 - 如果没有读取到渠道,默认返回空字符串
  • v1.0.0 - 2015.11.30 - 增加Java和Python打包脚本,增加文档
  • v0.9.9 - 2015.11.26 - 测试版发布,支持全新的极速打包方式

项目介绍

packer-ng-plugin 是下一代Android渠道打包工具Gradle插件,支持极速打包,1000个渠道包只需要5秒钟,速度是 gradle-packer-plugin 的1000倍以上,可方便的用于CI系统集成,支持自定义输出目录和最终APK文件名,依赖包:com.mcxiaoke.gradle:packer-ng:1.0.+ 简短名:packer,可以在项目的 build.gradle 中指定使用,还提供了命令行独立使用的Java和Python脚本。实现原理见本文末尾。

使用指南

Maven Central

修改项目根目录的 build.gradle

buildscript {
    ......
    dependencies{
    // add packer-ng
        classpath 'com.mcxiaoke.gradle:packer-ng:1.0.4'
    }
}  

修改Android模块的 build.gradle

apply plugin: 'packer' 

dependencies {
    // add packer-helper
    compile 'com.mcxiaoke.gradle:packer-helper:1.0.4'
} 

注意:packer-ng 和 packer-helper 的版本号需要保持一致

Java代码中获取当前渠道

提示:PackerNg.getMarket(Context)内部缓存了结果,不会重复解析APK文件

// 如果没有使用PackerNg打包添加渠道,默认返回的是""
// com.mcxiaoke.packer.helper.PackerNg
final String market = PackerNg.getMarket(Context)
// 或者使用 PackerNg.getMarket(Context,defaultValue)
// 之后就可以使用了,比如友盟可以这样设置
AnalyticsConfig.setChannel(market)

渠道打包脚本

可以通过两种方式指定 market 属性,根据需要选用:

  • 打包时命令行使用 -Pmarket= yourMarketFilePath 指定属性
  • 在 gradle.properties 里加入 market=yourMarketFilePath

market是你的渠道名列表文件,market文件是基于项目根目录的 相对路径 ,假设你的项目位于 ~/github/myapp 你的market文件位于 ~/github/myapp/config/markets.txt 那么参数应该是 -Pmarket=config/markets.txt,一般建议直接放在项目根目录,如果market文件参数错误或者文件不存在会抛出异常。

渠道名列表文件是纯文本文件,每行一个渠道号,列表解析的时候会自动忽略空白行和格式不规范的行,请注意看命令行输出,渠道名和注释之间用 # 号分割开,可以没有注释,示例:

 Google_Play#play store market
 Gradle_Test#test
 SomeMarket#some market
 HelloWorld

渠道打包的Gradle命令行参数格式示例(在项目根目录执行):

./gradlew -Pmarket=markets.txt clean apkRelease

打包完成后你可以在 ${项目根目录}/build/archives/ 目录找到最终的渠道包。

任务说明

渠道打包的Gradle Task名字是 apk${buildType} buildType一般是release,也可以是你自己指定的beta或者someOtherType,使用时首字母需要大写,例如release的渠道包任务名是 apkRelease,beta的渠道包任务名是 apkBeta,其它的以此类推。

注意事项

不支持productFlavors中定义的条件编译变量,不支持修改AndroidManifest

如果你的项目有多个productFlavors,默认只会用第一个flavor生成的APK文件作为打包工具的输入参数,忽略其它flavor生成的apk,代码里用的是 ariant.outputs[0].outputFile。如果你想指定使用某个flavor来生成渠道包,可以用apkFlavor1ReleaseapkFlavor2Beta这样的名字,示例(假设flavor名字是Intel):

./gradlew -Pmarket=markets.txt clean apkIntelRelease

插件配置说明(可选)

packer {
    // 指定渠道打包输出目录
    // archiveOutput = file(new File(project.rootProject.buildDir.path, "archives"))
    // 指定渠道打包输出文件名格式
    // 默认是 `${appPkg}-${flavorName}-${buildType}-v${versionName}-${versionCode}`
    // archiveNameFormat = ''
}

举例:假如你的App包名是 com.your.company ,渠道名是 Google_Play ,buildType 是 release ,versionName 是 2.1.15versionCode 是 200115 ,那么生成的APK的文件名是 com.your.company-Google_Player-release-2.1.15-20015.apk

  • archiveOutput 指定渠道打包输出的APK存放目录,默认位于${项目根目录}/build/archives

  • archiveNameFormat - Groovy格式字符串, 指定渠道打包输出的APK文件名格式,默认文件名格式是: ${appPkg}-${flavorName}-${buildType}-v${versionName}-${versionCode},可使用以下变量:

    • projectName - 项目名字
    • appName - App模块名字
    • appPkg - applicationId (App包名packageName)
    • buildType - buildType (release/debug/beta等)
    • flavorName - flavorName (对应渠道打包中的渠道名字)
    • versionName - versionName (显示用的版本号)
    • versionCode - versionCode (内部版本号)
    • buildTime - buildTime (编译构建日期时间)

命令行打包脚本

如果不想使用Gradle插件,这里还有两个命令行打包脚本,在项目的 tools 目录里,分别是 ngpacker-x.x.x-capsule.jar 和ngpacker.py,使用命令行打包工具,在Java代码里仍然是使用packer-helper包里的 PackerNg.getMarket(Context) 读取渠道

Java脚本

java -jar ngpacker-x.x.x-capsule.jar release_apk_file market_file
// help: java -jar packer-ng-x.x.x-capsule.jar

Python脚本

python ngpacker.py [file] [market] [output] [-h] [-s] [-t TEST]
// help: python packer-ng.py -h
// python; import ngpacker; help(ngpacker)

不使用Gradle

使用命令行打包脚本,不想添加Gradle依赖的,可以完全忽略Gradle的配置,直接复制 PackerNg.java 到项目中使用即可

实现原理

PackerNg原理

优点

  • 使用APK注释字段保存渠道信息和MAGIC字节,从文件末尾读取渠道信息,速度快
  • 实现为一个Gradle Plugin,支持定制输出APK的文件名等信息,方便CI集成
  • 提供Java版和Python的独立命令行脚本,不依赖Gradle插件,支持独立使用
  • 由于打包速度极快,单个包只需要5毫秒左右,可用于网站后台动态生成渠道包

缺点

  • 没有使用Android的productFlavors,无法利用flavors条件编译的功能

文件格式

Android应用使用的APK文件就是一个带签名信息的ZIP文件,根据 ZIP文件格式规范,每个ZIP文件的最后都必须有一个叫Central Directory Record 的部分,这个CDR的最后部分叫"end of central directory record",这一部分包含一些元数据,它的末尾是ZIP文件的注释。注释包含Comment LengthFile Comment两个字段,前者表示注释内容的长度,后者是注释的内容,正确修改这一部分不会对ZIP文件造成破坏,利用这个字段,我们可以添加一些自定义的数据,PackerNg项目就是在这里添加和读取渠道信息。

细节处理

原理很简单,就是将渠道信息存放在APK文件的注释字段中,但是实现起来遇到不少坑,测试了好多次。

ZipOutputStream.setComment

FileOutputStream is = new FileOutputStream("demo.apk", true);
ZipOutputStream zos = new ZipOutputStream(is);
zos.setComment("Google_Market");
zos.finish();
zos.close();

ZipFile zipFile=new ZipFile("demo.apk");
System.out.println(zipFile.getComment());

使用Java写入APK文件注释虽然可以正常读取,但是安装的时候会失败,错误信息是:

adb install -r demo.apk
Failure [INSTALL_FAILED_INVALID_APK]

原因未知,可能Java的Zip实现写入了某些特殊字符导致APK文件校验失败,于是只能放弃这个方法。同样的功能使用Python测试完全没有问题,处理后的APK可以正常安装。

ZipFile.getComment

上面是ZIP文件注释写入,使用Java会导致APK文件被破坏,无法安装。这里是读取ZIP文件注释的问题,Java 7里可以使用zipFile.getComment() 方法直接读取注释,非常方便。但是Android系统直到API 19,也就是4.4以上的版本才支持ZipFile.getComment() 方法。由于要兼容之前的版本,所以这个方法也不能使用。

解决方法

由于使用Java直接写入和读取ZIP文件的注释都不可行,使用Python又不方便与Gradle系统集成,所以只能自己实现注释的写入和读取。实现起来也不复杂,就是为了提高性能,避免读取整个文件,需要在注释的最后加入几个MAGIC字节,这样从文件的最后开始,读取很少的几个字节就可以定位渠道名的位置。

几个常量定义:

// ZIP文件的注释最长65535个字节
static final int ZIP_COMMENT_MAX_LENGTH = 65535;
// ZIP文件注释长度字段的字节数
static final int SHORT_LENGTH = 2;
// 文件最后用于定位的MAGIC字节
static final byte[] MAGIC = new byte[]{0x21, 0x5a, 0x58, 0x4b, 0x21}; //!ZXK!

读写注释

Java版详细的实现见 PackerNg.java,Python版的实现见 ngpacker.py 。

写入ZIP文件注释:

public static void writeZipComment(File file, String comment) 
throws IOException {
    byte[] data = comment.getBytes(UTF_8);
    final RandomAccessFile raf = new RandomAccessFile(file, "rw");
    raf.seek(file.length() - SHORT_LENGTH);
    // write zip comment length
    // (content field length + length field length + magic field length)
    writeShort(data.length + SHORT_LENGTH + MAGIC.length, raf);
    // write content
    writeBytes(data, raf);
    // write content length
    writeShort(data.length, raf);
    // write magic bytes
    writeBytes(MAGIC, raf);
    raf.close();
}

读取ZIP文件注释,有两个版本的实现,这里使用的是 RandomAccessFile ,另一个版本使用的是 MappedByteBuffer ,经过测试,对于特别长的注释,使用内存映射文件读取性能要稍微好一些,对于特别短的注释(比如渠道名),这个版本反而更快一些。

public static String readZipComment(File file) throws IOException {
    RandomAccessFile raf = null;
    try {
        raf = new RandomAccessFile(file, "r");
        long index = raf.length();
        byte[] buffer = new byte[MAGIC.length];
        index -= MAGIC.length;
        // read magic bytes
        raf.seek(index);
        raf.readFully(buffer);
        // if magic bytes matched
        if (isMagicMatched(buffer)) {
            index -= SHORT_LENGTH;
            raf.seek(index);
            // read content length field
            int length = readShort(raf);
            if (length > 0) {
                index -= length;
                raf.seek(index);
                // read content bytes
                byte[] bytesComment = new byte[length];
                raf.readFully(bytesComment);
                return new String(bytesComment, UTF_8);
            }
        }
    } finally {
        if (raf != null) {
            raf.close();
        }
    }
    return null;
}

读取APK文件,由于这个库 packer-helper 需要同时给Gradle插件和Android项目使用,所以不能添加Android相关的依赖,但是又需要读取自身APK文件的路径,使用反射实现:

// for android code
private static String getSourceDir(final Object context)
        throws ClassNotFoundException,
        InvocationTargetException,
        IllegalAccessException,
        NoSuchFieldException,
        NoSuchMethodException {
    final Class<?> contextClass = Class.forName("android.content.Context");
    final Class<?> applicationInfoClass = Class.forName("android.content.pm.ApplicationInfo");
    final Method getApplicationInfoMethod = contextClass.getMethod("getApplicationInfo");
    final Object appInfo = getApplicationInfoMethod.invoke(context);
    final Field sourceDirField = applicationInfoClass.getField("sourceDir");
    return (String) sourceDirField.get(appInfo);
}

Gradle Plugin

这个和旧版插件基本一致,首先是读取渠道列表文件,保存起来,打包的时候遍历列表,复制生成的APK文件到临时文件,给临时文件写入渠道信息,然后复制到输出目录,文件名可以使用模板定制。主要代码如下:

// 添加打包用的TASK
def archiveTask = project.task("apk${variant.name.capitalize()}",
                type: ArchiveAllApkTask) {
            theVariant = variant
            theExtension = modifierExtension
            theMarkets = markets
            dependsOn variant.assemble
        }
        def buildTypeName = variant.buildType.name
        if (variant.name != buildTypeName) {
            project.task("apk${buildTypeName.capitalize()}", dependsOn: archiveTask)
        }


// 遍历列表修改APK文件
theMarkets.each { String market ->
            String apkName = buildApkName(theVariant, market)
            File tempFile = new File(tempDir, apkName)
            File finalFile = new File(outputDir, apkName)
            tempFile << originalFile.bytes
            copyTo(originalFile, tempFile)
            PackerNg.Helper.writeMarket(tempFile, market)
            if (PackerNg.Helper.verifyMarket(tempFile, market)) {
                copyTo(tempFile, finalFile)
            } 
        }

详细的实现可以查看文件 PackerNgPlugin.groovy 和文件 ArchiveAllApkTask.groovy

同类工具

  • gradle-packer-plugin - 旧版渠道打包工具,完全使用Gradle系统实现,能利用Android提供的productFlavors系统的条件编译功能,无任何兼容性问题,方便集成,但是由于每次都要重新打包,速度比较慢,不适合需要大量打包的情况。(性能:200个渠道包需要一到两小时)
  • Meituan-MultiChannelTool - 使用美团方案的实现,在APK文件的META-INF目里增加渠道文件,打包速度也非常快,但读取时需要遍历APK文件的数据项,比较慢,而且以后可能遇到兼容性问题
  • MultiChannelPackageTool - 将渠道写入APK文件的注释,这个项目没有提供Gradle插件,只有命令行工具,不方便CI集成,使用ZIP文件注释的思路就是来自此项目

关于作者

联系方式

开源项目


 


0人打赏
  • UID5806
  • 登录2016-04-05
  • 粉丝0
  • 关注0
  • 发帖7
  • 主页
  • 金币34枚
社区居民
爱死寂寞人 发布于2016-02-02 14:12
沙发F
收藏备用,谢谢分享
  • UID4401
  • 登录2016-03-08
  • 粉丝1
  • 关注0
  • 发帖30
  • 主页
  • 金币44枚
社区居民
guò澐yǔ 发布于2016-02-19 11:58
板凳F
收藏备用。。
  • UID7842
  • 登录2016-02-20
  • 粉丝0
  • 关注1
  • 发帖5
  • 主页
  • 金币11枚
不知道 发布于2016-02-20 07:13
地板F
收藏备用,谢谢分享
  • UID7461
  • 登录2016-06-08
  • 粉丝1
  • 关注0
  • 发帖211
  • 主页
  • 金币191枚
社区居民
忠实会员
android_chao 发布于2016-02-21 09:59
4楼F
收藏,以备用。
  • UID12
  • 登录2016-06-14
  • 粉丝112
  • 关注50
  • 发帖1415
  • 主页
  • 金币8548枚
社区居民
最爱沙发
忠实会员
喜欢达人
原创写手
极分享 发布于2016-06-03 08:45
5楼F
您需要登录后才可以回帖
发表回复
极贡献
技术问答
专题荟萃
程序人生
视觉设计
Android开发
iOS开发
编程语言
前端开发
后端开发
服务器架构
软件测试
运维方案
创业路上



最热文章墙

  • 79139/378   【精品推荐】200多种Android动画效果的强悍框架,太全了,不看这个,再有动画的问题,不理你了^@^

  • 45194/191   情人节福利,程序员表白的正确姿势:改几行代码就变成自己的表白了

  • 44907/0   Python爬虫:常用浏览器的useragent

  • 41328/260   【精品推荐】Android版产品级的音乐播放器源码,功能太强大了,最好的产品原型有木有?

  • 38618/145   省时省力的Android组件群来了,非常棒的原型参考

  • 29981/142   2016抢红包软件及源码

  • 29261/2   超全!整理常用的iOS第三方资源

  • 29250/71   原创表白APP,以程序员的姿势备战新年后的7夕,持续完善中!

  • 24270/160   Android版类似UC浏览器:非常赞,产品级的源码

  • 22849/30   麻省理工的一帮疯子,真的实现了随意操控万物!(绝对黑科技)

  • 22542/25   Android工程师面试题大全

  • 22450/27   2016程序员跳槽全攻略

  • 21935/9   GitHub上排名前50的iOS项目:总有一款你用得着

  • 20888/20   码魂:程序员的牛B漫画

  • 19014/85   Android小而全的博客源码:非常适合全面掌握开发技巧

  • 19009/73   【持续更新中】Android福利贴(二):资料源码大放送

  • 18993/10   2016年最全的Android面试考题+答案 精编版

  • 18867/42   一个绚丽的loading动效分析与实现!

  • 18734/3   吐槽那些程序员的搞笑牛逼注释

  • 17609/1   iOS 动画总结

  • 17601/45   惊艳的App引导页:背景图片切换加各个页面动画效果

  • 17453/82   仿京东商城客户端Android最新版,不错的原型和学习资料

  • 17414/104   Android带弹幕的视频播放器源码,来自大名鼎鼎的Bilibili弹幕网站

  • 17121/23   个人收集的Android 各类功能源代码

  • 16650/5   新一代Android渠道打包工具:1000个渠道包只需要5秒

  • 16586/21   Android福利第三波【Android电子书】

  • 16401/53   基于瀑布流的美女图片浏览App,有注释的源代码

  • 16386/10   女程序员的梦,众网友的神回复

  • 16358/81   【精品推荐】类似360安全卫士安Android源码:非常赞的产品原型

  • 16322/17   用JavaScript 来开发iOS和Android 原生应用:React Native开源框架中文版来啦

  • 16238/0   iOS中文版资源库,非常全

  • 16081/11   年会上现场review代码是怎么样的体验!

  • 16021/23   珍藏多年的素材,灵感搜寻网站

  • 15489/18   65条最常用正则表达式,你要的都在这里了

  • 14833/15   基于Android支付宝支付设计和开发方案

  • 14228/11   有木有这样一张酷图帮你集齐所有git命令超实用

  • 14163/17   什么是真正的黑客:收获12200+Stars,人气远超微软开源VS

  • 13926/46   在线音乐播放器完整版(商用级的源码):非常赞,可听免费高品质专辑

  • 13704/0   GitHub iOS 库和框架Top100 

  • 13626/61   【技巧一】搭配Android Studio,如何实现App远程真机debug?

  • 13549/7   用程序员的姿势抢过年的火车票

  • 13507/7   一张图搞定iOS学习路线,非常全面

  • 13119/10   成为Java顶尖程序员 ,看这11本书就够了

  • 13086/10   微信支付终于成功了(安卓,iOS),在此分享

  • 12983/18   一张图搞定Android学习路线,非常全面

  • 12792/29   【持续更新中】Android福利贴(一):资料源码

  • 12710/3   基于Node.js的强大爬虫,能直接发布抓取的文章哦

  • 12454/4   46 个非常有用的 PHP 代码片段

  • 11992/3   即时通信第三方库

  • 11431/8   流媒体视频直播方案

  • 11360/18   八个最优秀的Android Studio插件

  • 11238/9   B站建开源工作组:APP想支持炫酷弹幕的看过来

  • 11032/9   烧了5亿美金,这家神秘的公司即将颠覆人类未来!

  • 10994/2   【精品推荐】高质量PHP代码的50个实用技巧:非常值得收藏

  • 10928/10   中国黑客的隐秘江湖:攻守对立,顶尖高手月入千万美元

  • 10207/6   开箱即用!Android四款系统架构工具

  • 10010/10   十大技巧快速提升Android应用开发性能

  • 9951/3   10款GitHub上最火爆的国产开源项目——可以媲美西半球

  • 9897/1   Android性能优化视频,文档以及工具

  • 9760/3   一张图看清Linux 内核运行原理

  • 返回顶部