一个Java实现的有道云笔记中包含的图片文件的批量下载工具

package youdao;

import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

class ImageDownloader implements Runnable {
	private String mUrl = null;
	private int index = -1;
	private String parent = null;

	public ImageDownloader(String parent, String url, int index){
		this.mUrl = url;
		this.index = index;
		this.parent = parent;
	}
	
	@Override
	public void run() {
		URL url = null;
		
        try {
            url = new URL(this.mUrl);
            DataInputStream dataInputStream = new DataInputStream(url.openStream());

            String imageName =  parent +
            		"/clipboard" + ++this.index + ".png";

            FileOutputStream fileOutputStream = new FileOutputStream(new File(imageName));
            ByteArrayOutputStream output = new ByteArrayOutputStream();

            byte[] buffer = new byte[1024];
            int length;

            while ((length = dataInputStream.read(buffer)) > 0) {
                output.write(buffer, 0, length);
            }

            fileOutputStream.write(output.toByteArray());
            dataInputStream.close();
            fileOutputStream.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
	}
}

public class YoudaoNoteBatch {

	private static String SHAREID = "a9d31900bb8d0b89ce7b15fa30d1f0d3";
	private static String FOLDERURL = "https://note.youdao.com/yws/public/notebook/";
	private static String NOTEURL = "https://note.youdao.com/yws/public/note/";
	private static String RESULTFOLDER = "C:/Users/i042416/Pictures/wiki/";
		
	private static void createFolder(String title){
		File file = new File(title);
		file.mkdir();
	}
	
	private static List<String> getImageURLArray(JSONObject note){
		String[] uniqueIDs = note.getString("p").split("/");
		String uniqueID = uniqueIDs[2];
		String noteurl = NOTEURL + SHAREID + "/" + uniqueID;
		HttpClient client = HttpClients.createDefault();
		
	    HttpGet get = new HttpGet(noteurl);
	    String result = null;
	    List<String> imageList = new ArrayList<String>();
	        try {
	            HttpResponse response = client.execute(get);
	            HttpEntity entity = response.getEntity();
	            result = EntityUtils.toString(entity, "UTF-8");
	            JSONObject noteDetail = (JSONObject)JSON.parse(result);
	            String content = noteDetail.getString("content");
	            String img = null;
	            Pattern p_image;
	            Matcher m_image;
	            String regEx_img = "<img.*src\\s*=\\s*(.*?)[^>]*?>";
	            p_image = Pattern.compile(regEx_img, Pattern.CASE_INSENSITIVE);
	            m_image = p_image.matcher(content);
	            while (m_image.find()) {
	                img = m_image.group();
	                Matcher m = Pattern.compile("src\\s*=\\s*\"?(.*?)(\"|>|\\s+)").matcher(img);
	                while (m.find()) {
	                	String image = m.group(1);
	                	//System.out.println("image to be downloaded: " + image);
	                	
	                	// Jerry: why this can happen??
	                	if( image.contains("https://wiki.jerry.sap.corp/wiki/")){
	                		imageList.clear();
	                		System.out.println("content: " + content);
	                		return imageList;
	                	}
	                	imageList.add(m.group(1));
	                }
	            }
	        }
	        catch(Exception e){
	        	e.printStackTrace();
	        	System.exit(-1);
	        }
	        return imageList;
	}
	
	private static void start(List<String> images, String parent, String title){
		System.out.println("note image size : " + images.size() + " note: " + title );
		ExecutorService executor = Executors.newFixedThreadPool(10);
		
		for( int i = 0; i < images.size(); i++){
			ImageDownloader cc = new ImageDownloader(parent, images.get(i), i);
			executor.execute(cc);			
		}
		
		executor.shutdown();
		while (!executor.isTerminated()) {
        }
		
		System.out.println("download finished for note: " + parent);
	}
	
	private static void download(JSONObject note){
		List<String> images = getImageURLArray(note);
		if( images.isEmpty()){
			System.err.println("note: " + note.getString("tl") + " image corrupted. Please retry.");
			return;
		}
		String name = note.getString("tl");
		String remove_note = name.substring(0, name.length() - 5);
		String parent = RESULTFOLDER + remove_note;
		
		createFolder(parent);
		start(images, parent, remove_note);
	}
	private static void getPictureList(){
		String entry = FOLDERURL + SHAREID;
		HttpClient client = HttpClients.createDefault();
		
	    HttpGet get = new HttpGet(entry);
	    String result = null;
	        try {
	            HttpResponse response = client.execute(get);
	            HttpEntity entity = response.getEntity();
	            result = EntityUtils.toString(entity, "UTF-8");
	    	    JSONArray aResult = (JSONArray) JSON.parse(result);
	    	    int totalCount = (int) aResult.get(0);
	    	    JSONArray aNoteList = (JSONArray)aResult.get(2);
	    	    System.out.println("Total note: " + totalCount);
	    	    for( int i = 0; i < totalCount; i++){
	    	    	JSONObject note = (JSONObject) aNoteList.get(i);
	    	    	download(note);
	    	    }
	        }
	        catch(Exception e){
	        	e.printStackTrace();
	        	System.exit(-1);
	        }
	}
	public static void main(String[] args) {
		getPictureList();
		System.out.println("*********************** DONE !!! *************************");
	}
}

展开阅读全文

Git 实用技巧

11-24
这几年越来越多的开发团队使用了Git,掌握Git的使用已经越来越重要,已经是一个开发者必备的一项技能;但很多人在刚开始学习Git的时候会遇到很多疑问,比如之前使用过SVN的开发者想不通Git提交代码为什么需要先commit然后再去push,而不是一条命令一次性搞定; 更多的开发者对Git已经入门,不过在遇到一些代码冲突、需要恢复Git代码时候就不知所措,这个时候哪些对 Git掌握得比较好的少数人,就像团队的神一样,在队友遇到 Git 相关的问题的时候用各种流利的操作来帮助队友于水火。 我去年刚加入新团队,发现一些同事对Git的常规操作没太大问题,但对Git的理解还是比较生疏,比如说分支和分支之间的关联关系、合并代码时候的冲突解决、提交代码前未拉取新代码导致冲突问题的处理等,我在协助处理这些问题的时候也记录各种问题的解决办法,希望整理后通过教程帮助到更多对Git操作进阶的开发者。 本期教程学习方法分为“掌握基础——稳步进阶——熟悉协作”三个层次。从掌握基础的 Git的推送和拉取开始,以案例进行演示,分析每一个步骤的操作方式和原理,从理解Git 工具的操作到学会代码存储结构、演示不同场景下Git遇到问题的不同处理方案。循序渐进让同学们掌握Git工具在团队协作的整体协作流程。 在教程会通过大量案例进行分析,案例会模拟在工作遇到的问题,从最基础的代码提交和拉取、代码冲突解决、代码仓库的数据维护、Git服务端搭建等。为了让同学们容易理解,对Git简单易懂,文章详细记录了详细的操作步骤,提供大量演示截图和解析。在教程的最后部分,会从提升团队整体效率的角度对Git工具进行讲解,包括规范操作、Gitlab的搭建、钩子事件的应用等。 为了让同学们可以利用碎片化时间来灵活学习,在教程文章大程度降低了上下文的依赖,让大家可以在工作之余进行学习与实战,并同时掌握里面涉及的Git不常见操作的相关知识,理解Git工具在工作遇到的问题解决思路和方法,相信一定会对大家的前端技能进阶大有帮助。
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值