ИНВЕСТИЦИОННЫЙ ПОРТАЛ ВОЛГОГРАДСКОЙ ОБЛАСТИ

Мы определяем социальную теорию широко, как набор научно определенных конструктов, таких как раса, пол, социальный класс, неравенство, семья и институты, а также их причины и последствия друг для друга. Использование социальной теории в машинном обучении означает задействование этих конструкций в том виде, в каком они определены и описаны с научной точки зрения, и учет установленных механизмов и моделей поведения, порождаемых этими конструкциями.Например, теория расового образования Оми и Винанта (2014) утверждает, что раса — это социальная идентичность, которая постоянно конструируется политическими, экономическими и социальными силами. Что делает кого-то «черным» или «белым» в Соединенных Штатах, а также возможности и неравенство, связанные с этим различием, кардинально изменились на протяжении всей истории и продолжают меняться сегодня. Хотя существуют и другие научные определения расы и активные дебаты о ее причинах и последствиях, взаимодействие с ними на каждом этапе конвейера машинного обучения позволяет нам ответить на важные вопросы о том, какие данные мы должны использовать, функции, которые мы должны разработать, и что считается ярмарка (Benthall, Haynes, 2019; Hanna et al., 2019).

Статья состоит из двух широких разделов. В разделе «Теория » в разделе мы обсуждаем, как социальная теория может помочь нам при работе с конвейером построения модели. В разделе Theory Out мы говорим о контрольном списке желаний, которые у нас есть для моделей и результатов, которые мы производим, таких как обобщаемость, и обсуждаем, как социальная теория может помочь улучшить эти результаты нашей работы. Каждый подраздел внутри Theory In и Theory Out фокусируется на конкретной исследовательской проблеме или задаче и рассматривает серию из пяти вопросов:

1.Какую цель или проблему необходимо решить?

2. Как мы пытались решить эту проблему с помощью вычислений?

3. Каковы пределы этих технических решений?

4. Какие решения предлагает социальная теория?

5. Как можно использовать социальные теории для решения этих проблем в нашей работе?

В каждом подразделе мы отвечаем на каждый вопрос и используем примеры, чтобы проиллюстрировать наши утверждения. Хотя каждый подраздел посвящен уникальному элементу Theory In или Theory Out, решения, определенные на одном этапе, часто позволяют нам решать проблемы на других.Например, экономная модель часто более интерпретируема. Отсутствие решения проблемы за один шаг также может помешать решению проблем, которые могут возникнуть ниже по течению. На самом высоком уровне отсутствие социальной теории, входящей в модель, может помешать ее построению. Эти совпадения являются сильной стороной, а не недостатком структуры данной статьи. Как Olteanu et al. (2016), мы считаем, что, подчеркивая как уникальность, так и критические отношения между различными частями конвейера, мы можем понять, как неспособность решить проблемы может распространяться от одного этапа к другому и в конечном итоге влиять на то, какие выводы мы делаем из исследования. .

2. Сопутствующие работы

Социологи давно установили, что теория может решать методологические и аналитические проблемы, недоступные новым методам. Например, Смолл (2017) утверждал, что одна теория может ответить на вопросы о том, как лучше всего измерить, что значит для человека иметь тесные социальные связи. В настоящей работе мы регулярно обращаемся к этой литературе, видя много параллелей между предшествующими методологическими инновациями, такими как линейные модели и анализ последовательностей (Abbott, 1988, 1995).

Другие ученые, работающие на стыке машинного обучения и социальных наук, также предложили важные критические замечания, на которые мы опираемся на протяжении всей статьи. Эти критические замечания делятся на четыре большие категории. Во-первых, ученые утверждают, что во многих статьях по машинному обучению слишком много внимания уделяется предсказанию по сравнению с объяснением (Wallach, 2018) или измерением (Jacobs and Wallach, 2019). Приоритет прогноза по сравнению с объяснением приводит к моделям, которые работают хорошо по неизвестным причинам, что приводит к специальным обоснованиям для модельных решений и производительности.Приоритет прогнозу над измерением ведет к неспособности признать всегда несовершенную связь между тем, что мы пытаемся измерить, и тем, что мы можем определить количественно.

Другие, например, Нельсон (2017), утверждают, что машинное обучение, применяемое к социальным данным, должно идти рука об руку с развитием новой социальной теории. С этой точки зрения мы не обязательно знаем, какая модель будет работать для каких данных, и, как правило, у нас нет теории, чтобы сказать нам, чего ожидать. Следовательно, нам нужно создавать новую теорию по мере разработки и применения методов.Такой подход помогает нам понять, почему модели машинного обучения могут давать результаты, которые на первый взгляд кажутся неинтуитивными, но которые действительно отражают подлинные закономерности, которые должны заставить нас пересмотреть наше понимание социального мира. Однако это также требует априорного понимания потенциальных теорий, которые могут применяться, и стремится адаптировать существующую теорию, а не создавать новую теорию полностью постфактум.

Третьи поставили задачу перед конкретными исследованиями или сериями исследований, утверждая, что им не удается понять социотехнический контекст, в котором создаются их данные (Lazer et al., 2009; Туфекчи, 2014; Olteanu et al., 2016). Например, Tufekci (2014) утверждает, что, несмотря на общие утверждения, превышающие универсальное социальное поведение во многих статьях, исследования с использованием данных Twitter вряд ли многое расскажут о социальном взаимодействии в Facebook, потому что у них очень разные правила, данные и нормы. Аналогичным образом Olteanu et al. (2016) предоставляют головокружительный набор потенциальных ловушек при анализе социальных данных, подчеркивая необходимость проверенных временем идей из социальных наук, таких как сопоставление и анализ систематической ошибки выборки, для решения этих проблем.Эти критические замечания указывают на тот факт, что машинное обучение часто выполняется, не обращая внимания на особенности данных.

Наконец, с появлением алгоритмов, которые принимают все более важные решения, возникло сообщество FAccT для изучения того, как эти алгоритмы могут служить для отражения социальных предубеждений, встроенных в сложные социотехнические системы, в которые они встроены, и как мы можем быть в состоянии решить эти проблемы. Однако недавняя критика литературы о справедливости утверждает, что слишком много внимания уделялось техническим «решениям» несправедливых и / или «предвзятых» алгоритмов по сравнению со структурными причинами и последствиями этих алгоритмов (Green, 2018; Crawford et al. ., 2019; Хоффманн, 2019). Такие исследования утверждают, что дисциплины социальных наук должны быть на переднем крае нашего понимания того, как бороться с этими первопричинами.

Каждая из этих критических оценок — это предсказание не равнозначно пониманию, что мы должны быть готовы построить новую теорию для интерпретации наших результатов, что в используемых нами данных и методах скрывается бесчисленное множество предубеждений, и что эти методы могут привести к дискриминационным результатам с системным причины — имеет решающее значение для того, чтобы подтолкнуть нас к лучшему и более ответственному применению машинного обучения к социальным данным.Кроме того, многие работы, рассмотренные ниже, в которых машинное обучение применяется к социальным данным с учетом этих проблем, дают дополнительное представление о потенциале этой версии науки.

В данной работе мы стремимся объединить эти критические замечания, утверждая, что каждая из них направлена ​​на разные части одной и той же основной проблемы — попытки использовать технологии или ad hoc , рассуждения пост-ex facto, только для решения проблем. социальная теория может решить. Ниже мы утверждаем, что одна теория может привести нас к обоснованным объяснительным моделям, к которым стремился Уоллах (2018), чтобы гарантировать, что мы делаем правильные выводы из изначально неинтуитивных результатов, чтобы помочь нам охарактеризовать опасные предположения в наших процессах сбора данных и помочь нам понять и бороться с дискриминационным, предвзятым или несправедливым модельным поведением.

3. Теория в

В этом разделе мы обсуждаем конвейер исследований, в которых машинное обучение используется для анализа социальных данных, от концепции проблемы до выбора модели.

В этом разделе возникают две общие темы. Во-первых, учитывая объем доступных нам данных, мы иногда действуем оппортунистически; мы используем то, что у нас есть, чтобы быстро решать новые проблемы. Это стремление к быстрому решению насущных социальных проблем с использованием широко доступных данных и методов приводит нас, например, к использованию набора данных для ответа на исследовательский вопрос, для которого набор данных не подходит.Из-за этих решений могут возникнуть проблемы, которые полностью подорвут полезность исследования — например, выбор плохой выборки данных может подорвать внешнюю валидность исследования.

Во-вторых, мы часто полагаемся на интуицию при принятии решений о дизайне исследования. Например, при построении задач аннотации интуиция может привести к чрезмерно упрощенному дизайну, в то время как многие другие потенциальные подходы также могут быть одинаково или более действенны (Joseph et al., 2017a). Часто этой интуиции достаточно для выполнения поставленной задачи.Однако, когда наша интуиция ошибочна, результаты могут быть проблематичными. Например, следование ошибочным интуитивным представлениям о сексуальности и ее причинах может привести к неверным утверждениям, сделанным в дополнение к неверным решениям по дизайну исследования, о биологической природе сексуальности (Wang and Kosinski, 2018).

Такое сочетание оппортунизма и интуиции может быть особенно пагубным в сочетании с недостатком теории. Хотя социологи также часто полагаются на интуицию (Tavory and Timmermans, 2014), они могут полагаться на основы, предоставленные предыдущей теоретической работой, направляя их к лучшему дизайну исследования и / или пониманию своих данных.В разделе 3 мы обсуждаем, как мы можем использовать социальную теорию, чтобы помочь нам ограничить наш оппортунизм и интуицию существующими знаниями о социальном мире, предоставленными нам социальной теорией. Это увеличивает наши шансы на создание новой, устойчивой науки, которая помогает продвигать наше понимание общества.

3.1. Выбор проблемы и обрамление

Как исследователи, мы постоянно спрашиваем себя: «Какую проблему мы должны изучать?»

К сожалению, хотя технические подходы иногда могут помочь выявить странности в социальных данных, которые стоит исследовать, не существует технического решения для выявления хороших вопросов исследования социальных наук.Эти идеи требуют понимания того, что уже известно о социальном мире и в чем заключаются пробелы в этих знаниях. Однако с натиском больших данных мы слишком часто оптимизируем для удобства, используя данные, которые у нас есть, для изучения проблем только потому, что они кажутся разрешимыми, и потому, что они кажутся актуальными в реальном мире. Например, мы используем общедоступные данные Twitter для прогнозирования передвижения людей в городах (Bauer et al., 2012) или агрегированные данные поиска из Google Trends для прогнозирования распространенности гриппа (Lazer et al., 2014).

Такой удобный подход к выбору и постановке задач приводит к двум проблемам. Во-первых, это может побудить нас формулировать и решать проблемы, которые кажутся важными, но на самом деле служат главным образом упражнением в предсказании, не дающим нового понимания социального мира. Во-вторых, это может привести нас к решению проблем, которые наша интуиция точно считает важными, но заставляет нас изо всех сил пытаться сформулировать причины того, почему эта проблема важна. Социальная теория может помочь решить эти проблемы.

Во-первых, теория подсказывает нам, какие проблемы стоит решать. Например, прогноз выборов является важным инструментом исследования, поскольку он обеспечивает модель для понимания политических процессов (Beauchamp, 2017; Kennedy et al., 2017). Однако теория говорит нам, что из-за законов поляризации, мошенничества и финансирования избирательных кампаний большинство американских выборов сегодня очень предсказуемы, имея только одну часть данных — знание того, кто является действующим президентом. Однако теория также говорит нам, что в номинально конкурентных гонках опрос является следующим лучшим предсказателем, потому что политика определяется мнением.Однако голосование стоит дорого и доступно только для самых громких гонок. Таким образом, теория предполагает, что в области выборов правильной проблемой для изучения является моделирование мнений на конкурентных выборах и выборах с недостаточным количеством голосов.

Во-вторых, теория может помочь нам мотивировать и формулировать проблемы, которые кажутся интуитивно важными. Может быть очевидно, что прогнозирование распространенности гриппа может помочь спасти жизни. Однако менее очевидно, какая проблема решается при прогнозировании, например, политической принадлежности человека на основе его поведения в социальных сетях (например,g., на основе их твитов) (Cohen and Ruths, 2013). Однако недавняя работа по политической поляризации побуждает нас изучить принадлежность как функцию партизанской идентичности (Levendusky, 2009) и показывает, что такая идентичность быстро подрывает социальную и культурную стабильность в Соединенных Штатах (Doherty, 2017). Таким образом, социальная теория объясняет, почему важно предсказывать политическую принадлежность — чтобы изучить ее связь с культурной поляризацией (DellaPosta et al., 2015).

Таким образом, хотя могут быть ситуации, в которых проблема, которую необходимо решить, может быть мотивирована исключительно необходимостью повышения точности (например,g., правильно определяя информацию о местоположении согласившегося человека по сигналам Wi-Fi), многие задачи машинного обучения можно сделать более интересными и актуальными, если они будут основаны на основной теории изучаемого социального поведения. Есть много примеров, когда ученые, использующие машинное обучение на социальных данных, использовали теорию для выявления и постановки важных проблем. Например, несколько ученых обратились именно к проблеме опроса общественного мнения на конкурентных и недостаточно опрошенных выборах с использованием больших данных (Wang et al., 2015; Бошан, 2017). И Cranshaw et al. (2012) взяли интуитивно интересную задачу — сгруппировать заведения на четырех площадях по общим для них покровителям — и теоретически обосновали ее на основе городских исследований значения термина «соседство», чтобы мотивировать и сформулировать свою работу как решение нерешенной проблемы как следует определять границы соседства.

3.2. Определение результата

Установив интересующую проблему, мы переходим к задаче определения и измерения нашего результата.В идеале наша мера результата должна быть основной истиной для моделируемого нами явления, то есть наблюдением самого явления. Например, если мы заинтересованы в изучении партийности, мы можем установить основную истину с помощью различных средств — будь то голосование за одну партию (Poole and Rosenthal, 1991), кому они жертвуют деньги (Bonica, 2014) или что-то еще. темы, о которых они пишут в Твиттере (Tsur et al., 2015). К сожалению, эти данные часто нелегко получить. Самое простое «техническое решение» — просто использовать переменную, имеющуюся в наших данных, как основную истину или, как мы обсуждали в разделе 3.5, чтобы создать переменную с помощью быстрой краудсорсинговой задачи аннотации.

Однако это техническое решение не помогает нам полностью охарактеризовать связь между переменной, которую мы выбираем в качестве результата, и концепцией, которую мы хотим изучить. Например, никакое техническое решение не может определить, является ли поведение при голосовании или политические настроения в твитах более достоверным показателем пристрастия (Cohen and Ruths, 2013). Чтобы ответить на подобные вопросы, нужна социальная теория. В этом случае теория необходима, чтобы помочь определить, что мы подразумеваем под партийностью, или, более конкретно, под либеральным противостоянием.консервативный. В свою очередь, мы должны подходить к истине как к чему-то, что теоретизируется исследователями. Следовательно, имеет смысл делать это таким образом, чтобы существующая социальная теория говорила нам, что она действительна для фиксации конструкции, которую мы стремимся измерить (Hacking, 1986).

Возвращаясь к либерализму и консерватизму, например, политические теории партийной сортировки и идеологического выравнивания показывают, что люди и социотехнические системы формируют «основную истину». Лишь недавно либеральные и консервативные ярлыки партийной приверженности стали ассоциироваться с Демократической и Республиканской партиями в Соединенных Штатах — то, что называется партийной сортировкой (Mason, 2015).Например, Gentzkow et al. (2016) показывают, что партийная идеология стала различимой в выступлениях в Конгрессе только с 1980 года. То есть язык стал партизанским только за последние 40 лет.

Эти теоретические выводы, в свою очередь, помогают нам получить достоверный результат. Вместо предсказания либерализма / консерватизма — меры, которая только недавно пришла в соответствие с партийностью, теория партийной идентичности (Ван Бавель и Перейра, 2018) предлагает нам вместо этого сосредоточиться на том, является ли кто-то демократом или республиканцем.Теория может дополнительно объяснить, как идентифицировать этот интересный результат в данных социальных сетей. В частности, теория партийной идентичности утверждает, что членство в партии определяется партийной идентификацией. Демократом делает человека не то, что он поддерживает общественное здравоохранение или регулирование рынка, а то, что он идентифицирует себя с демократами. Таким образом, если мы хотим вывести чью-либо политическую партию из их твитов, мы должны смотреть, на чью сторону они выступают в дебатах, а не на конкретные вопросы, которые они поддерживают.В своей кампании Дональд Трамп, как известно, поддерживал либеральную политику, такую ​​как здравоохранение, и критиковал войну в Ираке. Такая позиция не делала его умеренным консерватором. Они сделали его республиканцем-популистом, а не республиканцем истеблишмента.

3.3. Выбор данных

Процесс выбора данных определяется как идентификация одного или нескольких наборов данных, которые можно использовать для решения исследуемой проблемы. Выбор данных обычно осуществляется с использованием любого прецедента (т.е. с использованием существующих данных) или удобства (то есть с использованием легко собираемых данных) в качестве эвристики.

Такое использование приоритета и удобства проистекает из нашего интереса не только к ответам на вопросы о социальном мире, но и из желания делать это с помощью новых методологий. Например, при построении новых решений существующих проблем мы стремимся использовать установленные наборы данных, для которых существуют предварительные результаты для сравнения. А для нового сбора данных нашим методам часто требуются большие наборы данных, поэтому удобный сбор этих данных является практически необходимым условием.

Но расчет на удобство или прецедент может вызвать проблемы для вопросов социальных наук, потому что все данные содержат как включения, так и исключения, которые проявляются в различных формах предвзятости (Olteanu et al., 2016). Выбирая ярлыки для выбора данных, мы часто игнорируем или игнорируем эти включения и исключения. Например, Blodgett et al. (2016) показывают, что инструменты языковой идентификации, показавшие себя хорошо работающими с широким спектром текстовых корпусов (Луи и Болдуин, 2012), значительно страдают при различении афроамериканского английского как английского в текстах социальных сетей.Поскольку ученые часто использовали этот инструмент для фильтрации неанглоязычных твитов, результатом стал набор исследований данных социальных сетей, в которых голоса афроамериканцев приуменьшены по сравнению с голосами белых американцев.

As Blodgett et al. (2016) предполагают, что социолингвистическая теория могла бы помочь нам предвидеть потенциальные проблемы при использовании удобного языкового классификатора, который они изучали, для определения английского и неанглоязычного контента. В частности, теоретические модели того, как формируются диалекты, подчеркивают, что вариации письменного английского языка не всегда могут быть согласованы с точки зрения основных характеристик, используемых в модели классификации языков, n-граммов символов (Rickford and Labov, 1999).Кроме того, социолингвистическая теория, подчеркивающая важность афроамериканского английского языка и его отличия от других диалектов английского языка в представлении американцев о себе в Интернете (Флорини, 2014), подчеркнула бы необходимость того, чтобы исследователи социальных сетей пересмотрели представление о том, что существует единое определение английского языка, которое они хотят изучать.

В более широком смысле, социальная теория помогает нам понять последствия того, как мы принимаем решения о том, какие данные включать или не включать в нашу выборку.Это особенно важно, когда мы ожидаем, что другие будут повторно использовать наши данные или модели, которые мы строим на их основе. Например, в значительном количестве исследований использовались предварительно обученные векторы слов из неизданного корпуса новостей Google, что означает, что систематические ошибки в данных неясны и неизвестны. Напротив, Lundberg et al. (2019) используют теории статистической выборки и обследования, заложенные в Исследование благополучия уязвимых семей, чтобы создать проблему уязвимых семей — общий набор данных, который специалисты по вычислительной социологии могут использовать для разработки моделей, прогнозирующих критические социальные факторы, такие как доход, здоровье и жилье. .Использование теории для выявления и объяснения важных переменных включения и исключения позволило исследованиям, проведенным во время испытания, внести успешный вклад в социальные научные знания о развитии ребенка (Salganik et al., 2019).

3.4. Технические характеристики

Разработка функций включает в себя процесс преобразования наших необработанных данных в количества, которые можно ввести в модель машинного обучения. Ключевой вопрос, конечно, заключается в том, как мы узнаем, что разработали правильные функции?

Техническое решение этого вопроса — это, как правило, привилегированные характеристики модели.Проблема с этим подходом к проектированию функций заключается в том, что выбранные нами функции могут повысить нашу производительность, но не могут помочь нам отличить подлинный сигнал от ложного. Переоснащение шумом — это один из способов, которым необдуманный выбор функций может повысить производительность. Другой — включить функции, которые ложно связаны с нашим интересующим результатом, или исключить функции, которые напрямую связаны.

Возьмем, к примеру, случай прогнозирования рецидивов. Чтобы предсказать, кто вернется в тюрьму, нам нужны не только функции, которые сигнализируют о склонности человека к совершению преступления, но также функции, которые фиксируют полицейские и судебные процессы в отношении тех, кто может быть арестован и осужден за преступление.Например, концепция «обычных преступлений» Судноу отражает то, как повседневная работа обвинения определяет порядок обработки определенных видов дел от определенных категорий обвиняемых, в частности, кто получает какие соглашения о признании вины и рекомендуется ли тюремное заключение (Sudnow, 1965). Отсутствие признаков, отражающих как совершение преступления, так и осуждение по уголовному делу, дает плохо определенную модель, которая хорошо работает.

Автоматизированный причинно-следственный вывод в масштабе — это еще не достигнутый святой Грааль в машинном обучении.Таким образом, без теории мы не можем перечислить, какие функции мы должны включить, а какие исключить. Предварительное определение теоретической модели — единственный способ перечислить, какие функции мы должны сгенерировать (Rohrer, 2018; Pearl, 2019). Построение теоретических моделей позволяет нам определить, какие функции следует включить, и если они будут сочтены важными для модели, что они могут означать. Более конкретно, Уоллах (2018) утверждает, что мы всегда должны информировать наш выбор характеристик и понимание проблемы, имея в виду причинно-следственные модели, основанные на теории.

Этот аргумент, конечно, противоречит утверждениям о «безликих» моделях, как многие утверждают, что модели глубокого обучения. Например, если раньше нам, возможно, приходилось предоставлять модель для распознавания именованных сущностей с тегами части речи для каждого входного слова, современные архитектуры глубокого обучения не требуют этого этапа разработки функции (Goldberg, 2016). Однако даже с такими моделями мы все еще принимаем неявные решения о наших функциях, например, решая, использовать ли слова или символы в качестве входных данных для модели (Devlin et al., 2018). Кроме того, представляющие интерес причинные процессы часто выходят за рамки решений о том, использовать ли слова или символы. Например, независимо от того, какую глубокую модель НЛП мы выбираем для моделирования языка человека, выбор слов часто определяется более трудными для восприятия переменными, такими как возраст и пол (Schwartz et al., 2013).

3,5. Аннотация

Часто мы не можем идентифицировать какую-то критическую функцию, которую мы хотим смоделировать из наших данных. Например, Twitter не предоставляет данные о поле или религиозной принадлежности своих пользователей.В таких случаях мы часто просим людей, будь то мы сами или другие, просмотреть данные и вручную определить интересующий объект.

При аннотировании данных основная цель — обеспечить согласие аннотаторов. Из-за шума и внутренних различий между людьми разные люди смотрят на одни и те же данные и придумывают разные ярлыки. Наш интерес, особенно при поиске некоторой объективной основной истины, состоит в том, чтобы, несмотря на эти различия, мы могли идентифицировать некоторое аннотированное значение, с которым большинство аннотаторов примерно согласны.Ученые в области социальных наук давно установили статистические критерии согласия в аннотациях (Krippendorff, 2004), которые легко используются в конвейере машинного обучения. Однако исследователи машинного обучения также разными способами пытались добиться согласия (Snow et al., 2008). Эти технические усилия по увеличению согласованности в значительной степени полагаются либо на попытки найти лучших аннотаторов (то есть тех, которые чаще всего соглашаются с другими (Ipeirotis et al., 2010)), либо на поиск лучших схем агрегации (Raykar et al., 2010; Passonneau and Carpenter, 2014), или просто увеличив объем помеченных данных (Snow et al., 2008).

Однако в основе многих разногласий между аннотаторами лежит то, что конструкции, которые мы пытаемся аннотировать, часто трудно определить. Например, Джозеф и др. (2016) построили классификатор для определения социальной идентичности в твитах, концепция, которая, как известно, различается по своему значению в социальных науках. Таким образом, даже эксперты расходятся во мнениях относительно того, что именно представляет собой социальная идентичность.Неудивительно, что Джозеф и др. обнаружили, что аннотаторы, не являющиеся экспертами, предоставляют ненадежные аннотации даже после периода обсуждения. Аннотации языка ненависти столкнулись с аналогичной борьбой, с ограниченным соглашением между аннотаторами (Davidson et al., 2017) и со значительными различиями между аннотаторами с разной демографией (Waseem, 2016).

В таких случаях, когда сложно определить конструкцию, технические решения, такие как добавление дополнительных аннотаторов или выполнение различных схем агрегирования, вряд ли улучшат согласие.Это связано с тем, что, как и в случае с определением результата, технические решения не могут решить фундаментальную проблему — определение самой конструкции. Другими словами, технические решения не могут быть использованы для ответа на вопросы «что такое социальная идентичность?» Или «что такое язык вражды?» Вместо этого мы должны полагаться на теорию, чтобы дать определение. Например, теория контроля над аффектом в социологии фокусируется не на общей идее социальной идентичности, а скорее на «ярлыках культурной идентичности», определяемых как «(1) ролевые идентичности, указывающие позиции в социальной структуре, (2) социальные идентичности. указывает на членство в группах, и (3) членство в категории, которое происходит в результате идентификации с некоторой характеристикой, чертой или атрибутом »(Smith-Lovin, 2007, p.110). Используя это определение и аннотации теоретиков Affect Control, Джозеф и др. (2016) отметили значительное повышение качества аннотаций.

Аннотации, особенно со сложными явлениями, такими как идентичность, язык вражды или фальшивые новости (Grinberg et al., 2019), поэтому требуют начала с теории конструкции, которую мы хотим измерить, и ее пересечения с субъективными процессами наших аннотаторов. Еще один инструмент, который стоит отметить для решения этой задачи, который разработали социологи, — это когнитивное интервью , (Beatty and Willis, 2007).Когнитивное собеседование включает в себя беседу с потенциальными аннотаторами о том, как они думают о конструкции, ее потенциальных метках, о том, как они будут идентифицировать эти метки, а затем заставить их фактически попытаться применить нашу задачу к некоторым тестовым данным. Хотя это похоже на идею пилотной задачи аннотации, с которой, вероятно, знакомы исследователи машинного обучения, когнитивное интервью определяет конкретные способы применения теории до, во время и после пилотного проекта, чтобы помочь сформировать определение конструкции.Наконец, хотя это выходит за рамки настоящей работы, также важно, чтобы аннотации следовали лучшим методологическим практикам анализа структурированного контента в социальных науках (Geiger et al., 2019).

3,6. Модель Конструкция

При создании модели машинного обучения для социальных данных наша цель — предсказать, описать и / или объяснить какое-то социальное явление. Наша задача, таким образом, состоит в том, чтобы определить модель, которая наилучшим образом достигает этой цели в соответствии с определением наилучшего. Наша задача — определить, какой из множества подходов к моделированию (например,g., глубокая нейронная сеть против случайного леса), которую мы можем взять, и какую конкретную модель (ы) (например, какую архитектуру модели с какими гиперпараметрами) в этом широком массиве мы будем использовать для анализа.

Иногда бывает сложно выбрать, какую модель использовать для данного анализа. Рассмотрим, например, цель понимания тем в корпусе текста. Ранняя работа по тематическому моделированию Blei et al. (2003), был процитирован более 28000 раз. Многие из этих цитат взяты из расширений исходной модели.Например, существуют тематические модели для включения характеристик автора (Rosen-Zvi et al., 2004), характеристик автора и настроения (Mukherjee, 2014), сообщества авторов (Liu et al., 2009), которые имеют дело конкретно с коротким текстом ( Yan et al., 2013), которые включают нейронные вложения слов (Card et al., 2017) и подчеркивают разреженность (Eisenstein et al., 2011). Как построить модель, которая лучше всего подходит для нашего анализа?

O’Connor et al. (2011) описывают такой выбор моделирования как происходящий по двум осям — вычислительная сложность и предположения предметной области.Вычислительная сложность используется в широком смысле, чтобы представить сложность вычислительного времени и «лошадиных сил». Допущения предметной области варьируются от нескольких предположений, по сути предполагающих, что «модель все узнает», до случаев, когда мы явно моделируем теорию. Однако О’Коннор и др. оставьте открытым вопрос о том, где именно в этом пространстве, вероятно, окажется «правильная» модель для конкретной проблемы, или как определить правильные допущения в предметной области.

Вот где приходит теория. Определяя цель модели — предсказание, объяснение, описание и так далее; и обеспечивая четкие ожидания относительно предположений нашей предметной области, теория помогает нам ориентироваться в пространстве вычислений / предметной области.В контексте тематического моделирования Структурная тематическая модель (STM) (Roberts et al., 2013, 2014) обеспечивает общую основу для определения наших допущений в предметной области на основе факторов, которые, как мы ожидаем, будут важны для формирования тем, которые появляются в документ. Включая ковариаты в процесс моделирования, который, по нашему предположению, является релевантным, мы можем использовать теорию как для создания модели, которая «лучше соответствует данным», так и для получения результатов модели, которые мы можем использовать для непосредственного тестирования расширений нашей теории.Таким образом, правильная модель определяется теорией. Например, Фаррелл (2016) использует теории поляризации посредством «противоположных кампаний», которые исходят от хорошо финансируемых организаций, для определения конкретного экземпляра Структурной тематической модели, которую они используют для изучения того, как возникла поляризация по теме изменения климата.

Таким образом, STM полезен тем, что, учитывая установленный набор общих предположений моделирования и определенный уровень вычислительной сложности, мы можем использовать теорию для определения конкретной модели, которую мы строим.Аналогичные усилия были предприняты и в других областях анализа текста. Например, Hovy и Fornaciari (2018) используют концепцию гомофилии, согласно которой люди с одинаковым социальным статусом используют аналогичный язык, чтобы модифицировать свою модель встраивания слов. Это обусловленное теорией изменение позволило модели использовать новую информацию, в результате чего модель стала более производительной. Таким образом, использование теории для руководства моделями обработки естественного языка может служить планом для применения теории в других областях социальных данных.

4. Теория окончена

Машинное обучение традиционно ориентировано на максимальное повышение эффективности прогнозирования. Это означает, что первые результаты, представленные в статьях по машинному обучению, в «Таблице 1», часто представляют собой отчет о прогностической эффективности модели по сравнению с некоторыми базовыми показателями. Однако ученых все больше интересуют другие аспекты результатов моделирования, такие как интерпретируемость и справедливость. В прикладных исследованиях ученым важно продемонстрировать, что их модель помогает нам понять данные и объясняет, почему делаются те или иные прогнозы.Эти новые требования к выпуску моделей машинного обучения создают проблемы, для которых были предложены технические решения. В этом разделе мы утверждаем, что этого технического новшества недостаточно. Мы должны использовать соответствующие социальные теории, если мы хотим использовать наши модели для изучения социального мира.

4.1. Интерпретируемость, объяснимость и построение теории

Мало кто критиковал модели машинного обучения больше, чем обвинение в том, что они не поддаются интерпретации.Хотя конкретное определение интерпретируемости было неуловимым (Lipton, 2016), общая критика заключалась в том, что модели машинного обучения часто являются «черными ящиками», выполняющими сложные и ненаблюдаемые процедуры, дающие результаты, которым мы должны доверять и использовать. Пытаясь открыть черный ящик и объяснить наши модели, три различных вопроса часто рассматриваются как взаимозаменяемые:

• Чему научилась модель и насколько хорошо она усвоила? Это означает, что для конкретных входных данных, как модель преобразует их в выходные данные и насколько точно эти выходные данные соответствуют нашим ожиданиям? Мы называем это вопросом интерпретируемости .

• Почему модель узнала об этом? Что такого в (социальном) мире привело к тому, что модель изучила эти конкретные отношения между входами и выходами? Мы будем называть это вопросом об объяснимости .

• Что мы узнали о мире с помощью этой модели? Какие новые знания о социальном мире можно почерпнуть из результатов нашей модели? Мы называем это вопросом построения теории .

Интерпретируемость, объяснимость и построение теории сливаются воедино в технических решениях, которые были разработаны, чтобы открыть черный ящик. Например, механизмы, вызывающие разреженность, такие как регуляризация (Friedman et al., 2009) и внимание (в нейронных сетях; Vaswani et al., 2017), повышают интерпретируемость, сводя к минимуму количество проверяемых параметров. В свою очередь, эти технические решения помогают нам объяснить, как параметры соотносятся с процессом генерации данных (Загоруйко, Комодакис, 2016).Мы также используем моделирование на основе моделей, настраивая входные данные, чтобы показать, как они производят разные результаты (Ribeiro et al., 2016), и состязательные примеры, которые обманывают модель, чтобы исследовать ее производительность (интерпретируемость) и пределы ее понимания мира (теория- здание) (Wallace et al., 2019).

Однако, хотя есть много методологических совпадений; Интерпретация, объяснение и построение теории — это разные исследовательские вопросы, требующие различных применений социальных теорий.

При интерпретации моделей социальная теория позволяет нам выйти за пределы технического вопроса , как смотреть на модель, до , что смотреть на .Чтобы выбрать, какие части модели визуализировать, нам необходимо иметь заранее определенные ожидания относительно того, как предположительно будет работать и что должен делать , основываясь на теориях о том, как изучаемое нами явление представлен в наших данных. Например, социальная теория, такая как модель расы Сена и Вазоу как «связка палочек» (Sen and Wasow, 2016), говорит нам, что раса состоит из множества различных измерений, помимо цвета кожи. Например, расовые предубеждения, обусловленные тоном кожи, называемые «колоризмом», отличаются от расовых предубеждений, обусловленных такими культурными кодами, как акцент и прическа (Todorov et al., 2008). Следовательно, если мы хотим понять, как раса представлена ​​в модели компьютерного зрения, мы должны обратить внимание на различные измерения, по которым построена раса. Это может помочь различить, например, являются ли смещения в модели результатом культурных норм, заложенных в популяции, составляющей данные обучения, или недостаточного представления людей с определенными оттенками кожи в данных обучения (или того и другого) (Benthall and Haynes , 2019; Hanna et al., 2019).

Хорошим примером того, как теория может использоваться для руководства интерпретацией, является работа Bamman et al.(2014), которые выделяют образы литературных персонажей. Они подтверждают свою модель, проверяя конкретные параметры на соответствие ряду гипотез, основанных на теории. Эти гипотезы, выведенные из теории стилей письма авторов в течение периода исследования, приняли форму «символ X больше похож на символ Y, чем X или Y на персонажа-отвлекающего персонажа Z». Хорошими моделями были те, которые точно предсказывали теоретические сходства персонажей.

Часто мы опираемся на нашу интерпретацию поведения модели и разрабатываем объяснение того, почему модель сделала то, что она сделала, на основе этой интерпретации.Это часто служит объяснением того, что делала модель, и попыткой построить новую теорию. Однако, когда мы строим объяснения, основанные только на модели поведения, мы рискуем разработать народную теорию (d’Andrade, 1995). Народная теория предполагает опору на общее понимание, чтобы «прочесть чайные листья» (Chang et al., 2009), характеризуя человеческое поведение как просто «имеющее смысл». Однако это опасно (Kerr, 1998). Модели всегда будут выводить или , и некоторые модели всегда будут превосходить другие по некоторым показателям.Построение теории только на основе результатов модели часто служит укреплению мифов и предубеждений.

Для того, чтобы наши объяснения способствовали более широкому пониманию социального мира, нам нужно не только найти правильное объяснение для каждой модели, но также интегрировать многие модели и объяснения в связное описание мира. Работа Нельсона по развитию феминизма второй волны — яркий тому пример. Она использовала социальные сети и теорию феминизма для построения различных моделей на основе машинного обучения для структуры феминистских сообществ в Нью-Йорке и Чикаго.Затем она сравнила структуры социальных сетей и сетей идей, чтобы показать, что идеи, центральные для феминистского сообщества в Нью-Йорке, больше соответствовали тому, что мы сегодня понимаем как феминизм «второй волны», и что их сообщество было более тесно связано, чем в Чикаго. . Она утверждает, что эта плотная взаимосвязь позволила феминисткам в Нью-Йорке определить повестку дня феминизма в 1960-х и 1970-х годах.

Работа Нельсона и Баммана и др. Также дает представление о том, как машинное обучение может помочь нам пересмотреть старую или построить новую теорию с учетом эмпирических результатов модели машинного обучения.Для этого, как говорится в их работе, необходимо сначала признать существующие теоретические рамки, которые использовались для характеристики проблемы. Следуя их работе, один из способов сделать это — использовать эти теории для создания гипотез о том, как могут выглядеть эмпирические результаты, и предоставить альтернативные гипотезы о том, как результаты могут выглядеть, если новая или пересмотренная теория была верной.

Еще один способ сделать это — построить модель машинного обучения, которая соответствует теоретической модели, а затем показать, что добавление дополнительных компонентов к модели, вдохновленное новой или пересмотренной теорией, улучшает производительность этой модели.Например, Джозеф и др. (2017b) показывают, что модели стереотипов, разработанной в Теории контроля над аффектами (Heise, 2007), может оказаться недостаточно, если включить дополнительные компоненты модели, основанные на когнитивных теориях стереотипов, основанных на параллельных моделях удовлетворения ограничений (Kunda and Thagard, 1996).

4.2. Обобщаемость

Обобщаемость относится к цели понимания того, насколько хорошо результаты применимы к случаям, которые не были протестированы. Например, если мы разработаем модель для прогнозирования безработицы с использованием данных мобильных телефонов в Европе (Toole et al., 2015), анализ обобщаемости может включать оценку того, будет ли тот же подход работать в Алжире, Канаде или Мексике или с другими видами данных, такими как поиск в Интернете или данные о транзите.

В машинном обучении обобщаемость часто технически решается путем повторного применения той же методологии к другим данным, чтобы увидеть, работает ли она аналогично исходной. Например, возможность обобщения тематической модели может быть проверена путем применения подобранной модели к различным типам данных.Мы также проверяем возможность обобщения конкретного аналитического подхода, повторно применяя его в различных областях. Например, Лукас и др. (2015) использовали машинный перевод на нескольких языках, чтобы изучить, были ли политики в разных странах основаны на одних и тех же вопросах, обсуждаемых одинаково. Наконец, в последнее время были предприняты усилия по обучению модели, которая изучает представления некоторых универсальных входных данных, которые затем можно настроить для применения к множеству проблем. Например, ResNet (Szegedy et al., 2017) и BERT (Devlin et al., 2018) изучают общие представления изображений и предложений, соответственно, и затем могут быть настроены для различных задач классификации.

Хотя эти технические решения могут сделать отдельные модели более универсальными, они не могут помочь нам установить, почему результат для одного набора данных может быть обобщен (или нет) для других. Для этого нам нужны теории, которые говорят нам, какие сходства и различия являются существенными. Туфекчи (2014) подчеркивает это, утверждая, что мы не можем рассматривать одну онлайн-платформу (т.е., Twitter) в качестве замены для всех остальных — как модельный организм для общества. Правила платформы, социальная динамика и численность населения, которые делают Twitter привлекательным для пользователей, также в корне отличают его от таких сервисов, как Facebook, Instagram и WhatsApp. Например, теории гомофилии предполагают, что на любой платформе люди будут общаться с такими же людьми, как они. Тем не менее, общие черты, на которых мы строим связи, зависят от самой платформы. Наши друзья, коллеги и общественные деятели находятся в Твиттере, а наша семья — в Фейсбуке.Следуя теории представления себя Гоффманом, эти различия в аудитории заставляют людей вести себя по-разному на разных платформах (Goffman, 1959).

Конечно, идеального набора данных не существует, и наука должна иметь возможность продолжать работу, несмотря на это. Социальную теорию можно использовать в продвижении вперед не как способ поиска точных данных, а скорее как способ разработки парадигм для понимания конкретных сильных и слабых сторон различных типов данных, таких как данные из разных платформ социальных сетей, и того, как модели могут быть настроенным, чтобы обобщать за пределами несовершенных данных, на которых они были обучены.

4.3. Экономия

Экономия относится к цели построения модели с минимально возможным количеством параметров при максимальной производительности. Модели машинного обучения выигрывают от экономии, поскольку они уменьшают сложность и стоимость, ограничивают опасность переобучения и упрощают визуализацию (Hastie et al., 2009).

Существует множество технических подходов к построению экономных моделей. Например, мы можем использовать регуляризацию, темы или факторинг, чтобы уменьшить размерность функции.В случае нейронных сетей мы также используем такие методы, как выпадение (Gal and Ghahramani, 2016) или пакетная нормализация (Ioffe and Szegedy, 2015).

Однако у этих технических подходов есть три общих недостатка. Во-первых, поскольку многие функции коррелированы друг с другом и с результатом, эти подходы часто произвольно выбирают одни коррелированные функции, а не другие. Этот произвольный выбор может затруднить различие между действительно нерелевантными функциями и теми, которые просто коррелируют с другими релевантными функциями.Во-вторых, решения о том, когда модель является «достаточно экономной», в значительной степени зависят от эвристических сравнений между производительностью модели на данных обучения и проверки [например, «правило 1-стандартной ошибки», используемое в популярном пакете glmnet в R (Фридман и др., 2009)]. Наконец, стандартное предположение машинного обучения о том, что нам нужно много функций, может быть неверным даже при относительно низких значениях. В задачах социальных наук часто бывает так, что небольшой набор переменных может легко объяснить большую часть дисперсии.Регуляризатор может выбрать 1000 функций из 10 000, в то время как лучшей модели может потребоваться только 50.

Социальная теория предлагает решение этих проблем, помогая нам определять небольшие наборы или «корзины» переменных, которые, как мы ожидаем, объясняют большую часть дисперсии результата. Теории указывают нам направление наиболее важных переменных. Вместо того, чтобы начинать с множества функций и пытаться отсеять нерелевантные, мы можем использовать теорию для создания базового уровня предсказуемости, на основе которого мы можем оценить, обеспечивают ли дополнительные функции дополнительную производительность.Точно так же, поскольку теория предоставляет нам функции, которые, как мы ожидаем, будут важными, мы можем выявить случаи, когда регуляризация удаляет важные, стабильные предикторы из-за корреляции между переменными.

Идея выявления экономных, теоретически обоснованных базовых моделей для сравнения доказала свою эффективность на практике. Теории сетевой центральности и гомофильности оказались надежными предсказателями для множества задач. Например, в своем исследовании каскадов Twitter Goel et al.(2015) показывают, что простая модель, учитывающая только популярность пользователя, является чрезвычайно надежной базой для прогнозирования размера каскада ретвитов. Эти идеи согласуются с теориями достоверности источников (Hovland and Weiss, 1951) и распространения информации (Marsden and Friedkin, 1993).

Попытки раздвинуть границы предсказуемости послужили основой для развития более формальной социальной теории пределов предсказуемости социальных систем (Hofman et al., 2017), что может еще больше расширить нашу способность оценивать степень экономии, ожидаемой для конкретных проблем. .Например, в задаче «Хрупкие семьи» лучшие материалы с использованием тысяч переменных и различных моделей не очень хорошо предсказывали жизненные результаты, такие как средний балл успеваемости, материальные трудности и упорство, и были лишь незначительно лучше, чем базовые модели с использованием только четырех переменных (Salganik et al. др., 2020). Рассматривая дальнейшую экономию, нам необходимо лучше понимать случаи, когда инструменты машинного обучения существенно дополняют нашу модель мира за пределами существующей теории.

4.4. Справедливость

Как в популярных СМИ (Li, 2019), так и в академической литературе (Mitchell et al., 2018) значительное внимание было обращено на вопрос о том, как модели машинного обучения могут привести к усилению дискриминации или несправедливости по отношению к определенным социальным группам . Основная часть работы по обеспечению справедливости была сосредоточена на том, чтобы сделать входные данные более репрезентативными или модифицировать существующие модели для обеспечения справедливых результатов (Kamishima et al., 2011; Kearns et al., 2017). Ученые также недавно сосредоточились на разработке показателей, которые учитывают такие социологически значимые явления, как интерсекциональность (Foulds and Pan, 2018), на компромиссах между существующими показателями (Kleinberg, 2018) и на лучшем понимании причинных допущений различных показателей (Glymour и Herington, 2019) среди других задач.

Однако, как утверждается в ряде недавних работ, существуют важные сложности при техническом определении справедливости (Crawford, 2016; Barocas et al., 2017; Green, 2018; Selbst et al., 2018; Hoffmann, 2019; Mitchell et al. ., 2020). Во-первых, у разных людей разные взгляды на то, что справедливо. Во-вторых, взгляды власть имущих — это те взгляды, которые будут использоваться с наибольшей вероятностью. В-третьих, модели возникают из обширного и сложного социотехнического ландшафта, где дискриминация возникает во многих других местах, помимо самих моделей.Наконец, «справедливость» может быть неправильной метрикой для количественной оценки вреда алгоритмов. Один из выводов заключался в том, что справедливый алгоритм не может исправить дискриминационный процесс. Например, алгоритмы прогнозирования рецидивов почти наверняка будут использоваться дискриминационным образом, независимо от того, являются ли сами модели справедливыми (Green, 2018). Нам нужна социальная теория, например теория критических рас (Hanna et al., 2019), чтобы лучше понять социальные процессы, в которые встроены эти алгоритмы и данные, на которых они основаны.Как утверждается в этой предыдущей работе, социальная теория позволяет нам отличать дискриминацию, вызванную алгоритмом, от дискриминации, происходящей в самой социальной системе.

Возможно, не менее важно, что теория также может помочь нам понять последствий несправедливых и / или предвзятых алгоритмов. Возьмем, к примеру, недавнюю работу, показывающую, что алгоритмы поиска возвращают стереотипные изображения пола и расы для различных профессий (Kay et al., 2015). Социально-психологические теории, например, Гипотеза блеска (Bian et al., 2017), уделяя особое внимание репрезентации, подчеркивают, что с раннего возраста мы усваиваем представления о занятиях и навыках, которые заставляют нас сдвигаться в сторону тех, которые стереотипны в отношении нашего собственного предполагаемого пола. Таким образом, хотя технические решения могут помочь нам выявить такие проблемы, они не могут объяснить влияние этих предубеждений и, следовательно, почему их следует решать и как.

Наконец, социальная теория помогает определить, как несправедливое машинное обучение влияет на наши знания о мире.Предвзятые алгоритмы, например те, которые определяют пол и расу для демографических сравнений (Jung et al., 2017), могут искажать результаты научных исследований. Теория точки зрения и другие критические эпистемологические теории показали, как кто занимается наукой и чьи данные используются для какого анализа, влияет на то, что мы знаем о социальном мире (Haraway, 1988; Harding, 2004). Мы не хотим копировать модели исключения и стигматизации, обнаруженные в истории медицины (Martin, 1991), психологии (Foucault, 1990) и социологии (Zuberi and Bonilla-Silva, 2008), отбрасывая данные о маргинализированных людях. только изучают маргинальных людей как Других или не позволяют маргинальным людям говорить за себя о своих данных.

Недавно аналогичная критика была сделана Джейкобсом и Уоллахом (2019). Они утверждают, что теория измерения, особая область социальной теории, занимающаяся обоснованностью и надежностью различных способов измерения социальных построений, может предоставить конкретный и полезный язык, с помощью которого можно оценить различные определения справедливости и влияние алгоритмов. Их работа представляет собой важный пример того, как социальную теорию можно использовать для привнесения старых социально-теоретических взглядов в область текущих исследований машинного обучения социальных данных.

5. Заключение

Сочетание методов машинного обучения и больших социальных данных предлагает нам потрясающий набор научных возможностей. Однако работа в этой области слишком часто отдает предпочтение моделям машинного обучения, которые работают лучше, чем моделям, основанным на более глубоком понимании изучаемого общества. В лучшем случае этот компромисс ставит нас перед опасностью продвижения только информатики, а не информатики и социальных наук. В худшем случае эти усилия подталкивают использование машинного обучения для социальных данных к псевдонауке, где используются незаконно присвоенные алгоритмы для принятия дискриминационных решений и выдвигаются необоснованные социальные научные утверждения.

Однако, как показывают многочисленные положительные примеры, которые мы здесь выделили, машинное обучение и большие социальные данные могут использоваться для проведения важных новаторских исследований. Для этого в приведенных нами примерах социальная теория встроена в каждый этап конвейера машинного обучения. Эти работы не выбирают какую-то одну теорию постфактум, чтобы поддержать свои утверждения. Вместо этого они используют несколько потенциально конкурирующих теорий на каждом этапе конвейера, чтобы оправдать свои входные данные и помочь проверить свои результаты.Используя или, по крайней мере, признавая конкурирующие теории, мы можем выяснить, где существуют разногласия и, следовательно, какие технические компромиссы являются наиболее важными.

Положительные примеры, которые мы выделяем, наш обзор отрицательных примеров и связанные с ними работы, которые мы проводим, открывают путь для научно обоснованного и этичного применения машинного обучения к социальным данным. Но наши усилия должны выходить за рамки того, как мы проводим исследования, к тем, как мы их анализируем, потребляем и поощряем как исследовательское сообщество.Как рецензенты, например, мы должны спросить себя, оправдана ли работа, которую мы рассматриваем, не только статистической теорией, но также и социальной теорией. И как сообщество, мы должны найти способы показывать и продвигать статьи, которые могут не иметь самой яркой «Таблицы 1», но которые обеспечивают тщательное и хорошо обоснованное социологическое исследование.

Машинное обучение может и должно стать важной частью социальных наук. Решение не обязательно требует, чтобы компьютерный ученый «пошел искать социолога» или наоборот.Уже есть богатство знаний, из которых можно извлечь, и мы не должны позволять себе или другим избегать вникать в них просто потому, что они «не в нашей сфере». Для тех, кто не знает, с чего начать, мы надеемся, что эта статья станет руководством для каждого, как использовать эти знания для решения конкретных вопросов исследования. Точно так же социальные науки должны становиться все более важной частью машинного обучения. Безусловно, определенные проблемы, с которыми сталкивается машинное обучение, являются вычислительными проблемами (например, как эффективно выполнять выборку из сложного распределения), для решения которых социальная теория будет мало пригодна.Но, внедряя социальную теорию в свою работу, исследователям машинного обучения не нужно отказываться от производительности модели как конечной цели; мы утверждали, что вместо этого теория может помочь направить путь к еще более совершенным моделям и прогнозным характеристикам.

Авторские взносы

Все перечисленные авторы внесли существенный, прямой и интеллектуальный вклад в работу и одобрили ее к публикации.

Финансирование

кДж было поддержано грантом NSF, IIS-1939579.

Конфликт интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Мы очень ценим помощь Лауры Нельсон, Селесты Кампос-Касильо, Стефа Шустера, Атри Рудры, Эмиля ван Мильтенбурга и Дэвида Лазера, которые предоставили неоценимые отзывы о более ранних версиях этой работы. Тем не менее, эти люди, конечно же, не несут ответственности за текущий контент, все проблемы, ошибки и упущения являются виной только авторов.

Сноски

Список литературы

Эбботт А. (1995). Анализ последовательности: новые методы для старых идей. Annu. Rev. Sociol . 21, 93–113. DOI: 10.1146 / annurev.so.21.080195.000521

CrossRef Полный текст | Google Scholar

Бамман Д., Андервуд Т. и Смит Н. А. (2014). «Байесовская модель со смешанными эффектами литературного персонажа», Труды 52-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL’14) (Балтимор, Мэриленд).DOI: 10.3115 / v1 / P14-1035

CrossRef Полный текст | Google Scholar

Бауэр, С., Нолас, А., Сигда, Д., Кларк, С., и Масколо, К. (2012). «Говорящие места: моделирование и анализ лингвистического контента в Foursquare», в журнале Privacy, Security, Risk and Trust (PASSAT), Международная конференция 2012 г. и Международная конференция 2012 г. по социальным вычислениям (SocialCom) (Амстердам), 348–357. DOI: 10.1109 / SocialCom-PASSAT.2012.107

CrossRef Полный текст | Google Scholar

Битти, П.К. и Уиллис Г. Б. (2007). Синтез исследования: практика когнитивного интервьюирования. Общественное мнение. Вопрос . 71, 287–311. DOI: 10.1093 / poq / nfm006

CrossRef Полный текст | Google Scholar

Бошам, Н. (2017). Прогнозирование и интерполяция опросов на уровне штата с использованием текстовых данных Twitter. Am. J. Полит. Sci . 61, 490–503. DOI: 10.1111 / ajps.12274

CrossRef Полный текст | Google Scholar

Бентхолл, С., Хейнс, Б. Д. (2019). «Расовые категории в машинном обучении», в Proceedings of the Conference on Fairness, Accountability and Transparency (New York, NY: ACM), 289–298.DOI: 10.1145 / 3287560.3287575

CrossRef Полный текст | Google Scholar

Биан, Л., Лесли, С.-Дж., и Симпиан, А. (2017). Гендерные стереотипы об интеллектуальных способностях возникают рано и влияют на интересы детей. Наука 355, 389–391. DOI: 10.1126 / science.aah6524

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Блей Д. М., Нг А. Ю. и Джордан М. И. (2003). Скрытое размещение дирихле. J. Mach. Учить. Res .3, 993–1022. DOI: 10.1162 / jmlr.2003.3.4-5.993

CrossRef Полный текст | Google Scholar

Блоджетт, С. Л., Грин, Л., и О’Коннор, Б. (2016). «Демографические диалектные вариации в социальных сетях: пример афроамериканского английского», в материалах Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (Копенгаген). DOI: 10.18653 / v1 / D16-1120

CrossRef Полный текст | Google Scholar

Болукбаси, Т., Чанг, К.-В., Цзоу, Дж.Ю., Салиграма, В., Калаи, А. Т. (2016). «Мужчина для программиста, как женщина для домохозяйки? устранение искажений при внедрении слов », в Advances in Neural Information Processing Systems (Barcelona), 4349–4357.

Google Scholar

Кард, Д., Тан, К., и Смит, Н. А. (2017). Нейронная структура для обобщенных тематических моделей. arXiv 1705.09296.

Google Scholar

Чанг, Дж., Бойд-Грабер, Дж. Л., Герриш, С., Ван, К., и Блей, Д.М. (2009). Чтение чайных листьев: как люди интерпретируют тематические модели. Протокол НИПС . 22, 288–296. Доступно в Интернете по адресу: http://dl.acm.org/citation.cfm?id=2984093.2984126

Google Scholar

Коэн, Р., Рутс, Д. (2013). «Классифицировать политическую ориентацию в Твиттере: это непросто!» in Proceedings of the Seventh International AAAI Conference on Weblogs and Social Media (Cambridge, MA).

Google Scholar

Краншоу, Дж., Шварц, Р., Хонг, Дж. И., и Садех, Н. (2012). «Проект жизнеобеспечения: использование социальных сетей для понимания динамики города», в материалах Шестой Международной конференции AAAI по веб-блогам и социальным сетям, ICWSM ’12 (Дублин: AAAI).

Google Scholar

Кроуфорд, К. (2016). Может ли алгоритм быть агонистическим? Десять сцен из жизни в расчетливой публике. Sci. Technol. Гм. Значения 41, 77–92. DOI: 10.1177 / 0162243

Смит-Ловин, Л. (2007). Сила слабой идентичности: социальные структурные источники личности, ситуации и эмоционального опыта. Soc. Psychol. Вопрос . 70, 106–124. DOI: 10.1177 / 0150707000203

CrossRef Полный текст | Google Scholar

Сноу Р., О’Коннор Б., Джурафски Д. и Нг А. Ю. (2008). «Дешево и быстро — но разве это хорошо ?: оценка аннотаций, не являющихся экспертами для задач естественного языка», в Proceedings of the Conference on Empirical Methods in Natural Language Processing (Гонолулу, Гавайи: Ассоциация компьютерной лингвистики), 254–263 . DOI: 10.3115 / 1613715.1613751

CrossRef Полный текст | Google Scholar

Sudnow, D.(1965). Нормальные преступления: социологические особенности уголовного кодекса в должности государственного защитника. Soc. Проблема . 12, 255–276. DOI: 10.2307 / 798932

CrossRef Полный текст | Google Scholar

Сегеди К., Иоффе С., Ванхаук В. и Алеми А. А. (2017). «Inception-v4, inception-resnet и влияние остаточных связей на обучение», в Тридцать первая конференция AAAI по искусственному интеллекту (Сан-Франциско, Калифорния).

Google Scholar

Тавори, И., и Тиммерманс, С. (2014). Абдуктивный анализ: теоретические качественные исследования . Чикаго, Иллинойс: Издательство Чикагского университета. DOI: 10.7208 / Чикаго / 9780226180458.001.0001

CrossRef Полный текст | Google Scholar

Тодоров А., Саид К. П., Энгелл А. Д. и Остерхоф Н. Н. (2008). Понимание оценки лиц по социальным параметрам. Trends Cogn. Sci . 12, 455–460. DOI: 10.1016 / j.tics.2008.10.001

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Тул, Дж.Л., Лин, Ю.-Р., Мюлеггер, Э., Шоаг, Д., Гонсалес, М. К., и Лазер, Д. (2015). Отслеживание потрясений в сфере занятости с использованием данных мобильного телефона. J. R. Soc. Интерфейс 12: 20150185. DOI: 10.1098 / rsif.2015.0185

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Цур О., Калаччи Д. и Лазер Д. (2015). «Настроение: использование статистических моделей для выявления кампаний по формированию рамок и установления повестки дня», в материалах материалов 53-го ежегодного собрания Ассоциации компьютерной лингвистики и 7-й Международной совместной конференции по обработке естественного языка (Том 1: Длинные документы) (Лиссабон), 1629–1638.DOI: 10.3115 / v1 / P15-1157

CrossRef Полный текст | Google Scholar

Tufekci, Z. (2014). «Большие вопросы для больших данных в социальных сетях: репрезентативность, достоверность и другие методологические ошибки», в ICWSM ’14: Материалы 8-й Международной конференции AAAI по блогам и социальным сетям, (Анн-Арбор, Мичиган).

Google Scholar

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). «Внимание — это все, что вам нужно», в Advances in Neural Information Processing Systems (Long Beach, CA), 5998–6008.

Google Scholar

Уоллес, Э., Фенг, С., Кандпал, Н., Гарднер, М., и Сингх, С. (2019). Универсальные состязательные триггеры для нлп. arXiv 1908.07125. DOI: 10.18653 / v1 / D19-1221

CrossRef Полный текст | Google Scholar

Уоллах, Х. (2018). Вычислительные социальные науки ≠ информатика + социальные данные. Commun. ACM 61, 42–44. DOI: 10.1145 / 3132698

CrossRef Полный текст | Google Scholar

Ван, В., Ротшильд, Д., Гоэл, С., Гельман, А. (2015). Прогнозирование выборов с помощью непредставительных опросов. Внутр. J. Прогноз . 31, 980–991. DOI: 10.1016 / j.ijforecast.2014.06.001

CrossRef Полный текст | Google Scholar

Ван Ю., Косински М. (2018). Глубокие нейронные сети точнее людей определяют сексуальную ориентацию по изображениям лиц. J. Pers. Soc. Психол . 114: 246. DOI: 10.1037 / pspa0000098

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Васим, З.(2016). «Вы расист или я что-то вижу? Влияние аннотатора на обнаружение языка ненависти в Twitter », в NLP + CSS 2016, 138. Остин, Техас. DOI: 10.18653 / v1 / W16-5618

CrossRef Полный текст | Google Scholar

Ву, X., и Чжан, X. (2016). Автоматический вывод о преступности с использованием изображений лиц. arXiv 1611.04135.

Google Scholar

Янь, X., Го, Дж., Лань, Y., и Ченг, X. (2013). «Битермическая тематическая модель для коротких текстов», Труды 22-й Международной конференции по всемирной паутине (Рио-де-Жанейро: ACM), 1445–1456.DOI: 10.1145 / 2488388.2488514

CrossRef Полный текст | Google Scholar

Загоруйко, С., Комодакис, Н. (2016). Уделять больше внимания вниманию: повышение производительности сверточных нейронных сетей за счет передачи внимания. arXiv 1612.03928.

Google Scholar

Зубери, Т., и Бонилла-Сильва, Э. (2008). Белая логика, белые методы: расизм и методология . Лэнхэм, Мэриленд: Rowman & Littlefield Publishers.

Google Scholar