Clnet
OpenCL for Nets - A Deep Learning Framework based on OpenCL, written by C++. Supports popular MLP, RNN(LSTM), CNN(ResNet). Friendly debugger. Transparent data. No library dependencies. 基于OpenCL的深度学习计算框架，C++开发，支持多层感知器，长短时记忆模型，卷积神经网络，残差网络。调试方便，数据透明。无外部依赖。
Install / Use
/learn @mz24cn/ClnetREADME
clNET: OpenCL for Nets
A Deep Learning Framework based on OpenCL, written by C++. Supports popular MLP, RNN(LSTM), CNN(ResNet) neural networks. 基于OpenCL的深度学习计算框架，C++开发，支持多层感知器，长短时记忆模型，卷积神经网络。
Progress: Currently clnet can successfully run fully connected neural networks (MLP), CharRNN (LSTM) which uses dynamic computing graph to deal with loops, CNN (LeNet5 on MNIST dataset), WRN (Wide Residual Networks, CIFAR).
Tested on Nvidia GTX1080, AMD R9 295X2, Intel HD Graphics 630 GPU.
Support multiple devices training.
已完成进度：
可成功运行MLP全连接多层感知器，CharRNN（LSTM，基于动态计算图的循环实现），CNN（LeNet5，MNIST），WRN（CIFAR）的训练及推断。
三种模型均在Nvidia GTX1080, AMD R9 295X2, Intel HD Graphics 630以及Intel CPU，AMD CPU/APU上测试通过。
测试通过的编译环境：
Windows 10，MSVS2015；
Linux CentOS 7，g++ 4.8.5，Makefile；
eclipse/CDT，MinGW64 6；
eclipse/CDT，CrossGCC: CodeBench Lite 2014/05（gcc 4.8.3）；
支持多显卡训练。
TODO list：Kernel性能尚待进一步优化，分布式有待开发。
演示例子运行命令行：
全连接MLP：
.\Release\OpenCLNet.exe MLP /ds
charRNN：
.\Release\OpenCLNet.exe charRNN /ds :corpus_file D:\DataSets\charRNN\obama.txt :index_file D:\DataSets\charRNN\obama.index
p
save D:\DataSets\charRNN\epoch520_91%.clnetparams
charRNN推断：
.\Release\OpenCLNet.exe charRNN /p :index_file D:\DataSets\charRNN\obama.index :params_file D:\DataSets\charRNN\epoch520_91%.clnetparams :sample "Now it's time"
obama.txt可从http://data.mxnet.io/mxnet/data/char_lstm.zip下载。
MNIST CNN（训练及预测命令行。预测图片需使用28*28大小的24位BMP格式，黑底白字）：
.\Release\OpenCLNet.exe MNIST_CNN /ds :mnist_folder D:\DataSets\MNIST\
.\Release\OpenCLNet.exe MNIST_CNN /p :params_file D:\DataSets\MNIST_CNN.clnetparams :file D:\9.bmp
D:/DataSets/下需包含MNIST数据集文件train-images.idx3-ubyte，train-labels.idx1-ubyte，t10k-images.idx3-ubyte，t10k-labels.idx1-ubyte。可从http://yann.lecun.com/exdb/mnist/下载。目录名末尾请加上路径分隔符。
如何调试：
“/ds”生成执行树，“/ss”执行到第一个Tensor，停留，等待交互命令：
.\Release\OpenCLNet.exe MLP /ss /ds /0
执行到SGD（别名为SGD的Tensor）：
g SGD
观察输入样本X（别名为X的Tensor）：
d X
X
观察梯度值：
d l0_weight
gradient(l0_weight)
只看 部分数据：
gradient(l0_weight)[:,0:8]
l0_weight[:,0:8]
单步模式，执行完SGD，观察参数的变化：
s
c
l0_weight[:,0:8]
修改超参数：
SGD.learning_rate
SGD.learning_rate *= 0.5
执行profile，性能调优：
pf
g
c
p
pf list
