机器之心原创
作者：李雯、樊晓芳
近年来字节跳动、百度、阿里巴巴、美团点评、微软等各大互联网巨头纷纷加注智能创作/写作，并已在自有资讯、内容平台、电商、办公文书等业务场景中广泛应用；同时达观数据、智搜、妙笔智能、文因互联等NLP领域领先创业公司扎根营销文案、文本业务自动化、金融数据分析等场景，让NLP技术产生更显著的商业价值。
「智能写作」让我们看到论文中SOTA的NLP模型也可以被快速应用到工业场景中，辅助或直接成为人类的生产力。因此我们针对这一技术应用领域，搜集了数百余篇论文、第三方市场报告及国内外新闻报道，并采访了多位国内智能写作公司与产品线的产品经理或技术负责人，撰写了6.2万字报告，从基础概念到技术应用到产品案例，系统性剖析并总结了「智能写作」的技术应用现状、商业价值与未来发展潜力。
语言是人与人交流的工具，也是网络用户与互联网连接的方式。传统人类写作是以表达和传递为目的的对主观和客观世界的记录，从日常生活到资讯、法律、办公、金融等行业都有广泛应用。进入到互联网时代，信息爆炸带来了个人、企业、政府对互联网语言文本处理的强大需求；同时，提升资讯生产速度、延展其覆盖面的需求也不断增加。技术人员开始探讨如何让机器辅助人类更高效、更准确地处理和分析信息，随着自然语言处理（NLP）技术的不断发展，让机器生成有价值的信息也成为可能。
现今，「机器写作」也已不仅仅是「可利用机器来完成写作流程中的程式化环节」，近年自然语言处理模型性能的不断突破，促使其从规则、模板写作发展到了以神经网络模型为核心的「智能机器写作」，从辅助记者创作逐步走向自动化写作，应用场景也从模板化的资讯类数据报告，深入到分析报告、诗歌创作、长故事文本创作、广告营销文本写作等更丰富、复杂的内容形式，贯穿信息监管、素材采集、文本编辑、文本创作、修改优化到敏感信息审核等多项业务环节。
机器之心希望通过本报告《智能写作：人工智能商业应用的制高点——智能写作中人工智能技术的应用现状及趋势展望》，展示「智能写作」产业全貌，为传媒、企业服务、电商、广告营销、金融等行业信息化与技术人员及从业者系统性展示AI技术应用可能性，同时通过对「智能写作」领域头部公司代表产品的技术应用思路的详尽剖析与所对应细分市场竞品的网罗式盘点，为自然语言处理技术领域的研究研发人员、软硬件开发工程师、产品经理，提供技术研发、产品设计、产品商业化策略层面详实的调研参考。
报告目录
部分应用案例
5.3美团点评：信息流摘要式文本写作
主要产品：信息流文本的创意优化
针对信息流的落地场景，主要有三个功能：
可以针对某条分发内容自动摘要生成标题；
能生产有关单个商户的一句话核心卖点描述；
生成完整的内容页包括标题及多条文案的短篇推荐理由，从而实现线上点击转化率的优化
盈利模式及盈利情况：尚未商业化
应用案例及效果：
抽成式标题生成在CTR/CVR/点击曝光量、人工检验通过率、效率优化都累计获得了10%以上的提升。生成式方向探索过程中，对低质内容的标题生成，在线上获得了接近10%的效果提升。
实际应用展示（来源：网络公开信息）
技术思路及主要技术：
1）信息流标题生成：实际应用时，通过抽取和生成的协同使用来实现，主要方式是以业务效果为导向的偏工程化方法（生成内容即作为新增的候选集之一，参与整体的预估排序），另外一个是我们正在探索的一种Copy方法（对Copy和Generate概率做独立建模，其中重点解决在受限情况下的「WhereToPoint」问题。
抽取式标题思路及技术模型：源数据在内容中台完成可分发分析后，针对具体内容，进行系统化插件式的预处理，包括分句拼句、繁简转换、大小写归一等，并进行依存分析；而后将所有可选内容作质量评估，包括情感过滤、敏感过滤等通用过滤，以及规则判别等涉及表情、冗余字符处理与语法改写的二次基础优化；在召回模块中，通过实体识别+TF-IDF打分等方式来评估候选内容标题基础信息质量，并通过阈值召回来保证基础阅读体验，从而避免一些极端的BadCase；最后，针对候选标题直接做句子级别的点击/转化率预估，负责质感、相关性及最终的业务目标的优化。整个流程的基础模型是Bi-LSTM＋Attention模型（输入层是PreTrain的WordEmbedding，经过双向LSTM给到Attention层，Dropout后全连接，套一个交叉熵的Sigmod，输出判别），模型既可以对整句序列做双向语义的建模，同时可以通过注意力矩阵来对词级进行加权。在它的基础上，尝试添加过ELMo的Loss，在模型的第一层双向LSTM进行基于ELMoLoss的PreTrain作为初始化结果，在线上指标也有小幅的提升。而在原文受限问题上，则通过深度模型来表征深层的语义，辅以更多的特征工程来表征用户能感知到的浅层信息，如属性、Topic等。在效率上，采用了谷歌的自注意力的机制来替换RNN-LSTM的循环结构，解决原文表征训练效率和长依赖问题。
2大技术关键点——在标题创意度衡量上，重点对语义＋词级的方向上来对点击/转化率做建模，同时辅以线上EE选优的机制来持续获取标注对，并提升在线自动纠错的能力；在受限上，抽象了预处理和质量模型，来通用化处理文本创意内容的质控，独立了一个召回模块负责体验保障。并在模型结构上来对原文做独立表示，后又引入了TopicFeatureContext来做针对性控制。从而在降低「标题党」概率的同时提高内容相关性。
生成式标题思路及技术模型：为了保证控制和泛化性，初期将标题剥离原文独立建模，通过Context衔接，这样能引入更多的非标数据，并在逐步完成积累的情况下，才开始尝试做原文的深度语义表示。除了尝试目标单独建模和结合原文建模的过程，在描述的泛化性方向也做了不少的尝试，比如尽可能地描述广而泛主题。诸如「魔都是轻易俘获人心的聚餐胜地」，因为只面向上海的商户，内容符合聚餐主题，泛化能力很强，但仍然不能作为一个普适的方案解决问题。这个功能主要应用的是RNN-Base的Seq2Seq模型的整体结构。Encoder端使用的数据包括基于原文和商户理解的主题表示和原文的双向语义表示，输出给注意力层。技术团队借鉴了NMT的一部分研究思想，调整了Transformer的结构，在原结构上额外引入了ContextEncoder，并且在Encoder和Decoder端加入了Context的Attention层，来强化模型捕捉Context信息的能力。Decoder端生成文本时，通过注意力机制学习主题和原文表示的权重关系，从而生成文案。
业务导向的文本生成目标：营销类文本的评价模式是业务相关的点击率，但是这与语言模型最终产出最小化Word级别的交叉熵Loss的目标不一致，所以在具体落实时，通过三个方向解决问题：第一是在Context中显式地标注抽取式模型的Label，让模型学习到两者的差异；第二是在预测Decoder的BeamSearch计算概率的同时，添加一个打分控制函数；第三则是在训练的Decoder中，建立一个全局损失函数参与训练，类似于NMT中增加的CoverageLoss。考虑到稳定性和实现成本，最终尝试了第一和第二种方式。
标题EE机制：采用一种EpsilonGreedy策略来持续获取标注数据，并提升在线自动纠错的能力。这个策略类似经典的Epsilon算法，区别是引入创意状态，根据状态将Epsilon分成多级。目的是将比较好的创意可以分配给较大概率的流量，而不是均分，差的就淘汰，以此来提升效率。在初期优化阶段，这种方式发挥了很大的作用。具体根据标题和图片的历史表现和默认相比，将状态分成7档，从上到下效果表现依次递减，流量分配比例也依次降低，这样可以保证整个系统在样本有噪音的情况下实现线上纠偏。
2）商户文案生成：文案生成和标题生成能够通用整体的生成模型框架，最大区别是由文案的载体商户所决定。为了保证产出的文本的准确性和质量，在输出端需要进行解码控制。一是通过构建机制来让模型自己学习到目标，二是在Decoder的BeamSearch阶段动态地加入所需的控制目标。主要有卖点控制、风格控制、多样性控制控制等控制方法。
卖点控制：在HardConstrained方面，整理了重要的卖点和实体如地域、品类等，在目标理解过程中直接加入Context。对于SoftConstrained，通过卖点的共现计算一个简单的条件概率，并将卖点依此条件概率随机添加进Context中，从而让模型通过注意力学习到受限关系。最后在Decoderfuction部分，新增了一个HardSoftConstrained的匹配打分项，参与最终的概率计算。
风格控制：实现方法和卖点控制非常相似，只是风格其实是通过不同内容之间的差异来间接进行实现的。比如大众点评头条、PGC类的内容与UGC类的的写作风格，就存在极大的差异。内容属性的差异可作为一个Context的控制信号，让模型捕获。
多样性控制：自然语言生成模型选取输出文本时通常优先考虑概率最大的序列，并不考虑多样性，而多样性又是自动生成营销性文本最需要解决的问题。对此，大众点评直接对全局结果进行优化，在预测时把一个聚合页Context放到同一个batch中，batch_size即为文案条数，对已经生成序列上进行实体重复检测和n-gram重复检测，将检测判重的加一个惩罚性打分，这个简单的思想已经能非常好的解决多样性问题。
其他同类产品概述（营销行业）：
营销行业的人工智能写作产品主要应用在SEO广告、信息流广告、邮件广告及电商产品介绍中，相比资讯类产品而言，营销类产品更需要解决的是内容个性化的问题，实现根据地点、用户特点、品牌形象的个性化，以及对文章进行多种风格的改写就成了主要的方向。对这一领域的探索集中爆发在年，但是国内对营销类写作产品展开研发的主要是与电商相关的上市互联网公司如阿里、京东、大众点评，百度。百度最先开始结合人工智能技术与大数据，开发生成方案的工具，但是在两年的尝试后转向了辅助资讯写作。而国外对营销广告工具开展研发的则主要是第三方广告及技术服务商，这类公司大多都获得了投资并有了比较完善的盈利模式。
SEO广告领域，Articoolo的产品使用户能针对一个主题生成多篇不同风格的文章，主要模式是进行原创撰写或改写，除了能为有SEO广告和内容营销需求的客户定制服务之外，还针对个人用户提供按篇销售的收费模式。DentsuAegisNetwork的项目Leo专门根据谷歌广告系统针对性地生成SEO文案，在具体案例中，可以实现单次点击成本降低30%-42%的情况下，广告点击率提高3到10个百分点。年创立的微思写作除了基础的纠错、预测写作功能，也针对网站SEO优化、软文推广、自媒体创作等领域研发了智能仿写工具，对文章进行重写。蓝色光标子公司捷报数据研发的妙笔机器人，可以在1秒内改编出数千篇新闻稿，保证中心内容不变并且根据不同传播渠道特性变换风格，自动插入相关图片、商品链接、名词解释和延伸阅读。通过搜索引擎的审核标准和评判原则对内容和结构进行改进、改编出内容标题与原文相似度极低的seo稿件，提高稿件在搜索结果中的排名，从而提高发布稿件的访问量。并且能监督品牌传播效果，针对内容阅读互动、网站流量、粉丝量的增长，以及用户
联系电话：