小米手机播放音乐时锁屏页面可以设置音频可视化效果，这是用OpenGL绘制出来的，我们来实现一下。

首先简单分析一下原理：
图形的每一行代表一个声音片段，它就是一个一维数组，按照数值大小绘制不同的高度，就形成了一条“山脉”；获取到下一个声音片段后，将它绘制到下面一行，然后画面整体向上滚动就可以了。整体类似于绘制一张游戏里常见的3D地形图。

1 初始化MediaPlayer

创建一个MediaPlayer，它可以直接读取res/raw里面的音频文件，start()开始播放

    private MediaPlayer mMediaPlayer;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        setVolumeControlStream(AudioManager.STREAM_MUSIC);
        // Create the MediaPlayer
        mMediaPlayer = MediaPlayer.create(this, R.raw.jay);
//        setupVisualizerFxAndUI();
//        // Make sure the visualizer is enabled only when you actually want to receive data, and
//        // when it makes sense to receive data.
//        mVisualizer.setEnabled(true);
        // When the stream ends, we don't need to collect any more data. We don't do this in
        // setupVisualizerFxAndUI because we likely want to have more, non-Visualizer related code
        // in this callback.
        mMediaPlayer.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
            public void onCompletion(MediaPlayer mediaPlayer) {
                mVisualizer.setEnabled(false);
        mMediaPlayer.start();
2 初始化Visualizer
Visualizer是Android SDK里面提供的音频分析工具，它可以直接获取播放的音频的波形和频谱。onWaveFormDataCapture回调方法里返回的是原始的PCM波形数组，onFftDataCapture回调方法里返回的是经过快速傅里叶方法转换后的声音频谱数组，数组的第一位是直流分量，后面是不同频率的数值。
每次获取到的是一组声音数据，将它传给Render绘制。
    private void setupVisualizerFxAndUI() {
        // Create the Visualizer object and attach it to our media player.
        mVisualizer = new Visualizer(mMediaPlayer.getAudioSessionId());
//        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);
        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[0]);
        mVisualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener() {
            public void onWaveFormDataCapture(Visualizer visualizer, byte[] bytes,
                                              int samplingRate) {
                AudioRender render = (AudioRender) GLAudioActivity.this.render;
                render.update(bytes);
                glSurfaceView.requestRender();
            public void onFftDataCapture(Visualizer visualizer, byte[] bytes, int samplingRate) {
//                AudioRender render = (AudioRender) GLAudioActivity.this.render;
//                render.update(bytes);
//                glSurfaceView.requestRender();
        }, Visualizer.getMaxCaptureRate() / 2, true, true);
3 Shader实现
3.1 绘制地形图
首先确定图形的长宽，宽度w其实是由每组音频的数组长度决定，可以由Visualizer.getCaptureSizeRange()[0]获取，这里获取的是最小的数组，也可以用Visualizer.getCaptureSizeRange()[1]获取最大的数组；长度h可以自己设置想展示多长。
绘制地形图也就是绘制w * h * 2个三角形，创建vao、vbo和ebo，由于顶点的位置都是固定的，可以在顶点着色器中用gl_VertexID获取，所以vbo里面不用传顶点数据，直接传声音数组。
    public static int w = 128, h = 128;
    int[] indices;
    int program;
    ByteBuffer vertexBuffer;
    byte[] lineBytes = new byte[w];
    int lineNum = 0;
    int[] vao;
    int[] vbo;
    IntBuffer intBuffer;
    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {
        program = ShaderUtils.loadProgramAudio();
        //分配内存空间,每个浮点型占4字节空间
        vertexBuffer = ByteBuffer.allocateDirect(w * h)
                .order(ByteOrder.LITTLE_ENDIAN);
        vertexBuffer.position(0);
//        updateBuffer();
        vertexBuffer.position(0);
        vao = new int[1];
        glGenVertexArrays(1, vao, 0);
        glBindVertexArray(vao[0]);
        vbo = new int[1];
        glGenBuffers(1, vbo, 0);
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        glBufferData(GL_ARRAY_BUFFER, w * h, vertexBuffer, GL_STATIC_DRAW);
        indices = strip(w, h);
        intBuffer = IntBuffer.allocate(indices.length * 4);
        intBuffer.put(indices);
        intBuffer.position(0);
        int[] ebo = new int[1];
        glGenBuffers(1, ebo, 0);
        glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, ebo[0]);
        glBufferData(GL_ELEMENT_ARRAY_BUFFER, indices.length * 4, intBuffer, GL_STATIC_DRAW);
        // Load the vertex data
        glVertexAttribPointer(0, 1, GL_FLOAT, false, 1, 0);
        glEnableVertexAttribArray(0);
        glBindBuffer(GL_ARRAY_BUFFER, 0);
        glBindVertexArray(0);
        glClearColor(0.5f, 0.5f, 0.5f, 0.5f);
        glEnable(GL_DEPTH_TEST);
//        glCullFace(GL_BACK);
//        glEnable(GL_CULL_FACE);
3.2 声音队列刷新
由于图形是不断刷新最后一行并向上滚动的，那么需要使用一个队列，为了每一帧数据改变最小，不至于进行大量的数组复制和移动。我们用ByteBuffer vertexBuffer模拟一个循环队列，使用一个行号int lineNum来标记队列的头部。每添加一行数据后，lineNum会加上w，这样ByteBuffer分成了两部分：lineNum * w之后的是新旧数据，之前的是旧数据。
现在我们需要将数据从主内存（vertexBuffer）复制到GPU显存（vbo）。vertexBuffer里是一个循环队列，而vbo里面只能顺序保存（因为ebo序号是顺序的，vbo不是顺序图形就会错乱），更新vbo数据缓存的glBufferSubData方法支持设置偏移位置部分更新。那么我们先将vertexBuffer定位到lineNum * w，将它后面的旧数据复制到vbo的前面；然后将vertexBuffer定位到0，将剩下的新数据复制到vbo的后面。这样就保证了绘制时从上到下，从旧到新。
    public void update(byte[] bytes) {
        vertexBuffer.position(lineNum * w);
        vertexBuffer.put(bytes);
        lineNum = (lineNum + 1) % h;
    @Override
    public void onDrawFrame(GL10 gl) {
        super.onDrawFrame(gl);
        // Clear the color buffer
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
        // 刷新vbo数据
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        vertexBuffer.position(lineNum * w);
        glBufferSubData(GL_ARRAY_BUFFER, 0, (h - lineNum) * w, vertexBuffer);
        vertexBuffer.position(0);
        glBufferSubData(GL_ARRAY_BUFFER, (h - lineNum) * w, lineNum * w, vertexBuffer);
        glBindBuffer(GL_ARRAY_BUFFER, 0);
3.3 着色器处理音频数值
为了让颜色更丰富，这里用了地形图中常用的热度渐变色数组。

理论上音频数值是unsigned byte格式的，但是着色器不支持byte格式，我直接用int vPosition接收数据，然而数值范围不再是0~255了，这有点奇怪，我没有深入研究。简单测试了一下，发现取int的前8位，再进行一点比例缩放，用它去渐变色数组里取颜色，会取得较好的显示效果。
顶点着色器

shader_audio_v.glsl
#version 300 es
// 热度渐变色 64
const int[] colors = int[](-16777216,-16318464,-15859712,-15400960,-14876672,-14417920,-13959168,-13500416,-12976128,-12517376,-12058624,-11599872,-11075584,-10158080,-9240576,-8323072,-7405568,-6488064,-5570560,-4653056,-3735552,-2818048,-1900544,-983040,-65536,-61440,-57088,-52736,-48640,-44288,-39936,-35840,-31488,-27136,-23040,-18688,-14336,-13312,-12032,-11008,-9728,-8704,-7424,-6144,-5120,-3840,-2816,-1536,-256,-235,-214,-193,-171,-150,-129,-108,-86,-65,-44,-23,-1,-1,-1,-1);
layout (location = 0) in int vPosition;
uniform mat4 model;
uniform mat4 view;
uniform mat4 projection;
uniform int lineNum;
uniform int w;
uniform int h;
out vec3 aColor;
vec3 generateColor(int k) {
    int c = colors[k];
    int r = (c >> 16) & 0xff;
    int g = (c >> 8) & 0xff;
    int b = c & 0xff;
    return vec3(float(r)/255.0f, float(g)/255.0f, float(b)/255.0f);
void main() {
    // gl_PointSize = 6.0;
    float fw = float(w);
    int y = gl_VertexID / w;
    int x = gl_VertexID % w;
    float fx = float(x) / fw - 0.5f;
    float fy = 0.5f - float(y) / fw;
    int h = vPosition;
    // 128 ~ 160
    int a = (h >> 24) & 0xff;
//    int r = (h >> 16) & 0xff;
//    int g = (h >> 8) & 0xff;
//    int b = h & 0xff;
    h = a - 128;
    if (h < 0) {
        h = 0;
    int k = h > 31 ? 63 : h * 2;
    aColor = generateColor(k);
    gl_Position  = projection * view * model * vec4(fx, fy, float(h) / 256.0f, 1.0f);
将颜色传给片段着色器显示

shader_audio_f.glsl
#version 300 es
precision mediump float;
in vec3 aColor;
out vec4 fragColor;
void main() {
     fragColor = vec4(aColor, 1.0);
最终效果如下图，录屏设置的码率比较低，实际上是很清晰的。

Github地址
完整项目在SurfacePaint项目下的opengles3模块里的audio。