赚钱机器,如何利用机器学习赚取收入

对话机器人不是个新技术,以往的机器人产品很多,为什么这次OpenAI公司推出的ChatGPT能这么火?因为以前的机器人只能做简单且有限的事,问天气、放音乐还行,问个复杂一些的事就有点“人工智障”了。ChatGPT可以说技术上的量变引起了效果上的质变,在三个方面让我感觉很惊艳:

有上下文记忆能力,多轮对话衔接得很好,很难看出是机器生成的;有学习纠错能力,在它回答错误之后,如果你纠正了它,第二次就不会再答错;有思维链推理能力,具备一些常识知识,能做复杂一些的算数题。ChatGPT背后的关键技术是什么?

在ChatGPT背后起关键作用的是一种被称为大规模语言模型(Large Language Model,LLM)的东西,ChatGPT用的这款语言模型命名为GPT-3.5,GPT是生成式预训练(Generative Pre-Training)的缩写,目前的版本号是3.5版。此外,在GPT-3.5之上,ChatGPT还通过基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF),使GPT能够记住之前的对话、承认错误、在连续的多轮对话中给人很顺畅的感觉。大规模语言模型顾名思义,大规模语言模型就是非常大的语言模型。什么是语言模型呢?语言模型简单说来,语言模型的作用就是根据已知句子的一部分,来预测下一个单词或者空缺部分的单词是什么。比如,给你前半句:“国庆前夕,天安门广场前伫立起一个____”,你会预测出空白部分大概率会是“大花篮”。其实,你天天都在用语言模型,当你使用手机或电脑里的输入法回复消息时,它就在推荐你下一个单词。ChatGPT使用的GPT-3.5可比输入法中的语言模型要大很多。输入法语言模型占用的存储空间可能只有50MB,而GPT-3.5有800GB。神经网络GPT为什么会那么大?因为它内部是神经网络的结构。大规模语言模型的基础单元叫做感知机,它模拟了人脑中神经元的结构。这些感知机组织成庞大的网络结构,用来“山寨”人脑的神经网络。一般情况下,一个正常人的大脑约有800~1000亿个神经元,以及约100万亿个突触。神经科学家Paul Maclean提出的三元脑(triune brain)模型,将大脑结构分为三类:爬行脑、哺乳脑、人类脑。爬行脑最早进化出来,负责呼吸、心跳、血压等,完全自动运作。哺乳脑负责情感、记忆、习惯形成等,能够做出非常快的决策。人类脑最晚形成,负责一些复杂的分析推理,是做慢决策,即所有需要深思熟虑的事物。GPT-3.5的参数总量达到1750亿,虽然距离人脑突触的量级还有差距,但也已经显现出之前小规模模型所不具备的推理能力。要想足够智能,网络规模足够大是个必要条件。Transformer大模型的核心是一个叫Transformer的组件,Transformer在这里可不是”变形金刚”的意思,也许翻译成”变压器”意思更接近些。想想我们国家的西电东输工程,西部利用水力、风力、日光所转化的电能,经过变压器压缩成高压甚至特高压,再在电网上传输,到了东部之后再逐级降压,然后才能使用。变压器在其中先升压再降压,有效降低了能量在传输过程中的损耗。我们人类在交流过程中也有类似的过程,同事A跟你说了一件事,你并没有逐字逐句的记在脑子里,而是理解了其中的语义,在脑子里形成一种意识流,这是一种压缩编码的过程。你脑子里保留的意识流具体是什么,你也说不清楚—也不需要说清楚。当你向同事B复述这件事的时候,你重新把它组织成语言,保留了其中的各项重点内容,通过一系列的发音或文字表达给对方,这是解码的过程。这种先编码再解码的过程,就是Transformer的工作原理。另外,在实际当中,有些语言模型只用到堆叠多层的编码器,有些只用到堆叠多层的解码器;堆叠的层数也多有不同,少的有6层、12层,多的有48层。如果你有一些计算机基础,听说过词袋模型(Bag of Words,BOW)、循环神经网络(Recurrent Neural Network,RNN),那么对Transformer就更容易理解了。

BOW完全丢弃了词的位置信息,没有把文本当作有顺序的序列,因此语义理解能力较差。例如,“不,我很好”和“我很不好”,两句话虽然用词一样,但词的位置不同,语义上差别巨大。RNN能较好的保留词的位置信息,可以考虑到词的先后顺序对预测的影响,但是,如果处理的文本长度很长,关键的词之间距离较远时,效果会显著下降。Transformer中引入“注意力”机制,多个组件分别关注句子中不同方面的重点,而且随着网络层次的增加,能够提取出更高级更抽象的语义信息,理解能力更强。Transformer除了语义提取能力强,还能从无标注的数据中学习,而且场景迁移能力好。

思维链此外,大规模语言模型还带给人们的一项意外的惊喜,那就是让人细思极恐的思维链(Chain-of-Thought,CoT)能力。简单地说,思维链就是让LLM将一个问题拆解为多个步骤,最后给出答案,而不是让LLM直接给出答案。直接给答案的出错率更高。比如,你给LLM出了一个题目:“张三养了10条狗,每天照顾每条狗都要花半小时,请问他照顾这些狗要花费多长时间?”LLM直接给答案的话可能会出错,当你提示LLM要“一步步地回答”时,它会告诉你:“张三养了10条狗,每天照顾每条狗都要花半小时,那就是10 x 0.5 = 5小时/天。5小时/天 x 7天/周 = 35小时/周。答案是每周35小时。”这项能力并不是设计者的初衷(初衷只是学习如何说人话),而是在随后的代码训练、提示学习中挖掘出来的,这些能力原本就已经存在于大模型之中,它从代码、书籍、网页中学到了一些常识知识并具备了一定的推理能力。基于人类反馈的强化学习人类问问题的方式对于LLM而言不是最自然的理解方式,为了让ChatGPT给出的答案更贴近人类的问题、更符合公序良俗,它在发布前采取了一种叫做“基于人类反馈的强化学习”(Reinforcement Learning by Human Feedback,RLHF)的训练策略。简单来说,就是花钱找人给模型提出各种可能的问题,并对模型反馈的错误答案进行惩罚、对正确的答案进行奖励,从而实现提升ChatGPT回复质量的目的。光有海量的、无标注的数据还不够,还要有少量的、高质量的标注数据才行。前者用来训练语言模型,让它学会说人话,后者用来训练对话模型,让它别啥都瞎说,比如:回答中不能含有种族歧视和性别歧视的内容,拒绝回答不当问题和知识范围之外的问题。

我能训个ChatGPT吗?

简单地回答:极大概率是不能的。起码在现阶段,这不是招几个人、花些钱就能做成的事,能训出ChatGPT的人可能比做出4纳米芯片的人还要少。这其中的原因是什么?咱先来捋捋ChatGPT超能力的来源,再对比看看自己手中的家底。算力算力,也就是数据的处理能力,与数据、算法,并称为AI三要素。据估计,仅仅训练一次GPT-3,Open AI可是花费了460万美元。对于ChatGPT而言,支撑其算力基础设施至少需要上万颗英伟达A100的GPU,一次模型训练成本超过1200万美元。然而,在这些必要非充分条件中,算力是最容易解决的。数据模型要足够深、足够大,才能解决远距离的语义理解能力、才能产生抽象的推理能力,这些高级的基础的能力具有很好的通用性。因此,高级的能力可能只存在于大型模型中,而训练大模型,需要足够的数据量。全球高质量文本数据的总存量在4.6万亿到17.2万亿个字符之间。这包括了世界上所有的书籍、科学论文、新闻文章、维基百科、公开代码以及网络上经过筛选的达标数据,例如网页、博客和社交媒体。最近的一项研究数据显示,数据总数大约为3.2万亿个字符。DeepMind的Chinchilla模型是在1.4万亿个字符上训练的。也就是说,在这个数量级内,我们很有可能耗尽世界上所有有用的语言训练数据。此外,反观中文网站的数据资源,大致占全世界总资源的1.3%。中文内容相比英文有四五十倍的差距,人工智能脱离不了人类知识的土壤,这方面的先天条件不是短期内花钱或凭一己之力就能解决的。人才ChatGPT公开出来的少量材料中,披露出了一系列训练技巧,比如:代码训练、指令微调、上下文学习等。更多的细节目前还没有公开,即便公开了也不见得是全部,即便全部公开也未必能重现。因为整个过程链条非常长,有大量的工程技巧在里边。俗话说魔鬼藏在细节里,具体的实现和工程技巧才是重头戏,好比刚学做菜的人,即便有足够的食材,照着菜谱也不可能做出一套满汉全席。今年2月初,谷歌已向人工智能初创公司Anthropic投资约3亿美元,并获得该公司10%股份。该公司2021年创立,目前团队规模仅在40人左右,初创期的11位核心成员都曾经参与过GPT-2、GPT-3模型的研发。可见,业界对于人才的重视程度以及人才的稀缺性。

如何用ChatGPT赚钱?

ChatGPT似乎打破了人们关于AI模型的一项固有认知:“通用的不好用,好用的不通用。”大模型革命的一个关键趋势就是,通用大模型比专用小模型表现得更好。对于定位在垂直细分领域里的初创公司来说,既不能自研出大模型,效果上又失去了竞争力,因此是不是就没有活路了?我觉得不是,ChatGPT的能力可以分成chat和GPT两部分来看,即上层的对话和图片的生成能力、底层的语言和推理能力。在ToC类内容消费市场,未来可能会出现大量的、碎片化的AIGC应用,比如生成头像、诗文、甚至短视频等,重点是在有趣的细分场景里发挥创造性和想象力。在消费电子市场里,有对话能力的智能音箱、智能家电在去年的出货量有所下滑,借助更强的对话能力,也许还能挽回一些颓势。在ToB类企业服务市场,AI不再只是替代简单重复性的体力劳动,还将替代简单规律性的脑力劳动,并在逻辑复杂的脑力劳动中辅助员工提升工作效率。简单的脑力劳动,比如营销文案撰写、初级程序员和插画师等。复杂的脑力劳动,可能会围绕具体业务的推理能力,以虚拟工作助手的形式出现。对于处于ToB赛道的科技公司而言,中间层可能会越来越薄,对于行业KnowHow的积累会成为越来越重要的竞争门槛。这其中可能会遇到很多挑战,比如:如何在使用强大的通用模型和构建自己的垂直模型之间进行迭代,如何将通用无标注的大规模数据和领域小规模知识相结合,如何将领域事实知识注入到LLM中使得LLM的输出内容可控。在目前的研究范式下,领域内高质量的标注数据 领域推理能力,两者如何形成“飞轮效应”是非常重要的问题。

划重点

说了这么多,总结一下重点,不管你能记住多少,起码下次在电梯里遇到老板或者在饭局上遇到同学时,在聊起ChatGPT的时候,你能插上几句话。

关于大规模语言模型:训练时要用到万亿级的数据、花费百万美元的算力,才能使它能说人话,并具有一定的“思维链”推理能力。大模型的超能力:模型要足够深、足够大,才能产生抽象的推理能力,这些高级的基础能力具有很好的通用性。大模型革命的一个关键趋势就是,通用大模型比专用小模型表现的更好,打破了人们一项固有认知:“通用的不好用,好用的不通用。”应用场景:ToC类应用要找准细分的内容生成场景,ToB类应用要围绕推理能力去发挥,让它成为脑力工作者的辅助,替代一部分简单的脑力工作,辅助员工的做创造性工作。

本站部分内容由互联网用户自发贡献,该文观点仅代表作者本人,本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如发现本站有涉嫌抄袭侵权/违法违规等内容,请联系我们举报!一经查实,本站将立刻删除。

(0)

相关推荐

  • 头条有2万粉丝能赚多少钱

    疫情期间,从抖音开始发布西瓜视频申请中视频伙伴计划,播放量突破17000用了5天,粉丝破百用了7天,第六天进驻头条写原创文章,第七天文章收益2.74元,第八天文章收益6.35元。收益不多,但是很有成就感。 从3月27日开始,我开始申请中视频伙伴计划任务,发布视频17条,4月4日突破17000播放量,自动提交审核,中视频伙伴计划审核需要7天,自己做的视频不再更…

    2022-04-30 投稿
  • 学生党赚钱的正规软件推荐

    又到了假期时间,各位学生党大多都开始想找一份工作来赚取一些钱来帮家里分到学费的压力或者是买一些自己想要的东西了。说到假期工作大家选择的方向总体分为两种:1.具体的实践性工作。2.虚拟网络类的工作。 具体的来说第一种实践性工作,实践性工作分为很多种,大致有1.身体强壮同学选择的下体力性工作,这种工作特点就是累!很累!本人主学校放假偏早,刚放假的时候选择了一家物…

    投稿 2022-04-28
  • 适合学生党赚钱的游戏软件用微信登录提现到微信

      作为一个学生党,我之前是没有想过存钱的,一直都是父母给多少就花多少,笔记本和手机都是入学的时候父母就安排好了的。 直到这学期开学,我知道大学近两年的室友凭借自己兼职,已经拥有十万存款!我才觉得自己也该做些兼职存些钱,不然假期旅行或者谈个恋爱都承担不起。 我和他的功课还是挺多的,空余时间都喜欢玩游戏,我很疑惑他是花什么时间做的兼职,而且收入这么高…

    2022-04-28 投稿
  • 网上有没有打字赚钱的工作,网上有打字赚钱的吗

    我一90后的朋友告诉我打字能赚钱 一开始我是不信的直到我试了之后才知道居然是真的我就打字赚了200+了就让我来和你们分享一下然后打字赚钱很多人都不知道公众号也是可以申请打字赚钱的200-500一篇投稿一般400-600不等一开始可能有点乏味赚了钱才知道原来赚钱怎么简单就算两天有一篇也就少了20元左右 投稿渠道 这先投稿的渠道大家可以先保存我这周就投了一稿就已…

    2022-04-28
  • 快手打榜卖货什么意思?打榜卖货的玩法

    首先大家得知道什么是快手打榜,这个是快手得独特得一个卖货得方式。主播直播,商家去刷礼物,到了什么礼物,主播就会跟你连麦,帮你导流粉丝,帮你卖货,其实就是个翻版得付费推广。 快手打榜,这个中间赚钱的逻辑就是卖货,卖不出去就会亏,因为打榜的钱是要不回来的。 所以这个打榜的关键点其实就挺清楚的了。 第一:选品 价格不能太贵;100以内,30以上;利润点不能太低,百…

    投稿 2022-04-29
  • 2021公众号突破最新方法,公众号注册突破50个

    这是一个公众号第三方查询平台查到的,可 以看到这家公司名下有172个公众号?   可不是说 一家公司最多注册50个公众号么?这家公司是 怎么做到的?今天就为你来揭秘。 本教程适合以下两种情况: 1、 同一个主体注册已满50个公众号,无法继续 提升 2、 虽然注册没满50个公众号,但由于有公众号 违规,无法继续注册 事先申明:操作有一定风险。风险点在…

    2020-12-12
  • 网上调查赚钱,如何通过网上调查赚钱:揭秘有效的方法

    网络赚钱是一个广泛而且令人感到兴奋的话题,因为它可以给人们提供一种便利的方式来赚取收入,而无需离开家庭或投入太多的资金。以下是一些网络赚钱的方法和技巧,希望能够为您提供帮助。 2、做网络调查 第二个网络赚钱的方法是做网络调查。有许多公司和组织需要收集市场数据和消费者意见,他们愿意为您的帮助支付报酬。您可以在网上找到许多网站,注册成为调查员,然后开始做调查赚取…

    2023-05-10
  • 加工什么挣钱,如何利用加工制造赚钱

    聊起包装膜,其实这种产品在生活中的使用量还是非常大的,尤其是在货运领域,包装一些易损件,那基本都可以用的到。 经过一些了解,尤其是像气泡类包装膜,整体的消耗量还是比较大的,所以这类包装膜在市场上也是比较火热。 其实说这些,并不是在给大家讲这个行业有多么好,或者是讲这个行业有多挣钱等等,而是希望通过我个人对这个行业的一些见解,让大家更加了解到这个商机而已。 那…

    2023-05-08
  • 投资10元赚钱 快速赚钱的方法正规

    逆向思维:怎么快速提升自己的赚钱能力,一个最简单方法。 总有好友在知信行者思维实践群提问,怎么提升自己能力,如何修炼自己? 其实,你要想解决自己的所有问题,本质上都是你的思维问题。 人都是思维动物,思维指引你的行为,行为给你带来外在结果的改变。 所以你要想做出任何提升改变,首先就是要改变你的思维。 知信行者换句话说,你想要改变自己,提升自己的能力? 你能完全…

    2023-04-09
  • 淘宝开店赚钱,淘宝女装代销是否可行?

    有一个朋友看到我之前在淘宝开店,然后做的还是淘宝女装代销,添加了我的微信,问我现在做淘宝女装代销怎么样? 因为我做淘宝女装代销是非常早的时间了,那时候淘宝刚兴起没有几年时间,那个时候的淘宝的竞争远没有现在那么强烈,加上近几年也没怎么玩过淘宝,所以不能给出比较确切的看法。 只能结合自己的看法给点建议,具体适不适合自己考虑考虑。 代销货源 聊的时候说起了淘宝代销…

    2020-03-23
  • 每天能赚30—50元的游戏 网上赚钱的方法

    大学期间每天用闲暇时间做过各种赚钱兼职,也开启了各类不同类型的副业尝试,当然肯定也被骗过,学费也交了一些。今天免费分享副业赚钱的经验,满满的干货,拿起你们的小板凳坐好。空闲时候做一下,日赚一百,月入三千还是比较easy~ 你的赞同是我持续更新干货最大的动力,笔芯~ 每个都能赚钱,最快一天内可以有收入!但是每个人努力程度不同,最后的收益不同~ 1.众人赚:手机…

    赚钱案例 2023-04-07
  • 适合学生配音赚钱的软件,配音赚钱软件推荐

    相信你肯定看到过各个社交平台的广告推送,1元就能学配音,0基础也能学习配音,可以通过短短几期课程的培训,让零基础的人变成专业的配音员,广告、影视剧、有声读物都能配,真的有这么好的事吗? 小丽是一名在校大学生,刚放暑假不久,想着在家也是没事干,还不如出去赚赚点小钱,于是在招软件上找工作,刷着刷着看到一条招聘信息,点进去仔细看了一番。 靠声音也能赚钱,配音1小时…

    2022-04-28 投稿