编者按：人工智能大数据时代，特别是深度学习，需要大量精确标注的数据。而数据标注需要大量的人工，所以数据标注是人工智能背后的人工！既然人工智能可以替代重复性劳动，并且已应用在各行各业，那么，人工智能是否也能替代|加速数据标注这一重复劳作呢？

作者 留德华叫兽 美国Clemson应用数学|运筹学硕士、博士候选人，德国海德堡大学数学|组合优化博士，博士研究方向为离散优化在计算机视觉的交叉应用。读博期间于意大利博洛尼亚大学和法国巴黎综合理工访问10个月，意大利IBM Cplex实习半年。学术不精，转而致力于科普，读博期间创办运筹OR帷幄（运筹学|数据科学|人工智能社区）以及DIY飞跃计划（全球1000+海外硕博留学咨询师）俩个知乎机构号|微信公众号|头条号|社区，并邀请学界|业界大佬联合举办了10+知乎 Live。现于德国某汽车集团无人驾驶部门机器学习组，担任计算机视觉研发工程师。

其实标题的后半段起源于一则位于德国海德堡的实习生招聘，先贴出招聘Title，然后开始我的正文

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT Heidelberg, Baden-Wurttemberg, Germany

 

八卦

苹果造车应该已经不是什么新闻了，作为互联网公司造的车，无人驾驶不可避免将会是其主打噱头。

而无人驾驶因为其特殊性，安全问题是重中之重，也正因如此，深度学习的模型要想能量产，则需要超高精度超大量的标注数据来训练。

因此，数据，可以说是任何无人驾驶公司怎么也绕不过去的大山。

苹果也不例外，早在几年前，就收购了位于德国海德堡的初创标注公司，而该公司创始人，是笔者在海德堡大学读博时期所在的机构-海德堡图像处理中心（HCI，hci.iwr.uni-heidelberg.de）的博士后及资深研究员。

收购了该公司后，苹果便在海德堡开了“分矿”，于是也就有了这则招聘信息。

八卦：校友去年离开了苹果（自己创办的公司），再次创业又成立了一家标注公司（大写的666送给他！

熟悉运筹学优化求解器的小伙伴，听着是不是有Cplex和Gurobi那味了？哈哈～

 01

 —

数据标注科普

1- 标注任务

图中的标注任务叫作语义分割（全景分割），即给图像中每一个像素一个类别，是非常耗时的标注任务。而它被广泛地应用在无人驾驶、工业机器视觉、医疗图像、电商等领域。

语义分割（a）: 对图片中每一个像素标注其类别（如：汽车、行人、道路等）

全景分割（d）：对于每一个像素，在语义分割的基础上再区分目标instance物体（如：汽车1、汽车2、行人5等）

2- 标注格式

通常标注结果还是存成图片的常见格式（如: png）

图片的每一个通道存储不同信息（用数字1-255表示）

例如第一通道存储：该像素所属类别

第二通道：如果该像素属于目标物体，他属于第几个instance

第三通道：通常是0或1，1表示该像素是可以驾驶的区域，0反之

3- 标注流程

标注软件的一般流程是：

标注者输入交互信息-算法自动标注-标注者修改-算法标注

直到标注者满意为止

具体见我这个知乎回答，概述了我博士期间以及在业界做出的一些尝试

有哪些比较好的图像标注工具？[1]

4- 标注成本

非常精细标注一张图片，平均要耗时1.5小时！！！

德国最低工资是9欧元左右/小时

在德国标注一张语义分割图片的成本超过13欧元（约合100块人民币）！！

因此，如何加速标注但不牺牲太多标注精度，是数据标注公司的永恒话题。

视频的7:30-9:20秒，讲述了数据对于无人驾驶系统的重要性。

 02

 —

加速数据标注方法--组合优化交互式分割

如何用组合优化加速数据标注呢？

我在读博期间做出了一些尝试，部分成果在博士毕业2年后，最终发表在了IEEE TIP期刊论文中：

An ILP Model for Multi-Label MRFs With Connectivity Constraints[2]

简单来说，先把图片用超像素做一个降维，降维到2000个左右的超像素（graph node），然后对超像素建立基于图(Graph)的整数规划模型，如下图：

其中变量x代表超像素点被赋予了哪个类别（class/label）。模型允许用户和图片进行交互，例如画涂鸦（scribble），被画到涂鸦的点，即代表该点的类别被固定。求解这个整数规划问题，即可求得每个点所属的类别（和语义分割完全相同！）

下图是计算结果实例，即：标注者只需在图片上画几道涂鸦，我的整数规划模型即可补全剩余点的类别，使得整张图得以标注！

关于模型和算法的具体细节，这里不再叨叨，对这篇paper感兴趣的，欢迎关注公众号：留德华叫兽，并在后台回复：TIP，获取该paper。

当然咯，除了组合优化方法，市面上还有各种奇淫技巧，这里帖一个用图神经网络来加速标注的工作，是多伦多大学和英伟达的杰作。

我从19年该paper刚出的时候就说想实现一下看看到底好不好用，无奈改不了自己“摸鱼”的本质，直到2020尾声了还没能复现出来。

惭愧，惭愧！

这里立个FLAG，2021我一定把它复现出来，并做各种横向对比测试，看看它到底有没有demo里面那么好用！！！

 03

 —

实习职位

放出苹果实习职位前，也给自己所在的Tier 1无人驾驶部门摄像头组打个广告。

我明年初（2021.02-03）应该也会招募一个做半自动化数据标注和数据库管理的实习生，实习期半年或以上，base在德国法兰克福，感兴趣的欢迎在我的公众号后台给我留言。

【以下是苹果在海德堡的实习岗位】

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT - Jobs bei Apple (DE)[4]

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT
Heidelberg, Baden-Wurttemberg, Germany

We are looking for highly motivated talent to shape how Apple crafts machine learning datasets at scale. Apple’s annotation platform teams build the tools that allow machine learning engineers and researchers across Apple to create datasets that enable the amazing intelligent experiences on our current and future Apple devices. We seek individuals with a passion for data and a desire to understand and tackle the intricate challenges involved in generating large, high-quality datasets for a wide array of sophisticated machine learning problems.

Key Qualifications

Background and experience in combinatorial optimisation (anytime algorithms, approximation)

Relational algebra and algebraic structures in general

Python,

Description
As part of the ML platform team, your research will focus on intelligent, leading edge approaches to optimize data annotation workflows itself and the scheduling of thousands of annotation jobs given constraints with respect to delivery dates, available annotator resources and similar. You will have the opportunity to collaborate with teams across Apple, who are working on the most advanced intelligent applications in the world. Your responsibilities will include: building a query planner for human annotation workflows and building a system to effectively schedule annotation jobs based on (predicted) available resources and expected annotation performance metrics. Apple’s most important resource, our soul, is our people. Apple benefits help further the well-being of our employees and their families in meaningful ways. No matter where you work at Apple, you can take advantage of our health and wellness resources and time-away programmes. We’re proud to provide stock grants to employees at all levels of the company, and we also give employees the option to buy Apple stock at a discount — both offer everyone at Apple the chance to share in the company’s success. You’ll discover many more benefits of working at Apple, such as programmes that match your charitable contributions, reimburse you for continuing your education and give you special employee pricing on Apple products. Apple benefits programmes vary by country and are subject to eligibility requirements. Apple is an equal opportunity employer that is committed to inclusion and diversity. We take affirmative action to ensure equal opportunity for all applicants without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability, Veteran status, or other legally protected characteristics. Apple is committed to working with and providing reasonable accommodation to applicants with physical and mental disabilities. Apple is a drug-free workplace.

Education & Experience
Pursuing a PhD in mathematics, computer science or operations research.

Additional Requirements

SQL

Machine learning knowledge

可以看到，JD中提到的大部分技能与整数规划相关，甚至提到了技能点Google OR-Tools, Gurobi and/or CPLEX。

不禁感慨，要是我读博期间有这个职位就好了，都不用挪地儿！

强烈推荐整数规划/组合优化背景的小伙伴申请，也欢迎同行加入@运筹OR帷幄 社区（同名公众号）相关的硕博群（60+细分专业群组）交流！

 04

 —

结语

数据标注是如今深度学习获得巨大成功的基石。

从Feifei Li 创建ImageNet（1千多万张、2万多类别图片）开始，数据集便成为计算机视觉的一个热点话题，而伴随着数据集的各种challenge和刷榜单，也成为CV领域发顶会的标配。

其他专业也不例外，例如我博士老板Gerhard Reinelt 创建的TSPLIB（http://comopt.ifi.uni-heidelberg.de/software/TSPLIB95/）数据集，给无数研究旅行商问题的研究者代来了便利，也为这个行业的发展做出了巨大的贡献。

但往往没有人会去深究，这些造数据者为之付出的艰辛和背后的故事。

这里呼吁“无偿”使用公开数据集的研究者和业界从业者，都能尊重数据集创作者的汗水。

而人工智能的从业者，也能认可那些幕后做着重复枯燥标记工作者的付出（例如：贵阳数据标记村）。

如果大家对TSPLIB数据集背后的故事感兴趣，可以通过点赞或评论来提示我，如果超过100个，我将会尝试联系一下我的导师，来做一期专门采访！

参考文献

[1]https://www.zhihu.com/question/30626971/answer/785480415

[2]https://ieeexplore.ieee.org/document/9102375

[3]https://openaccess.thecvf.com/content_CVPR_2019/papers/Ling_Fast_Interactive_Object_Annotation_With_Curve-GCN_CVPR_2019_paper.pdf

[4]https://jobs.apple.com/de-de/details/200196330/ai-ml-optimisation-internship-annotation-acceleration-mlpt